اطلاعات متقابل: تفاوت میان نسخه‌ها
محتوای حذف‌شده محتوای افزوده‌شده
ابرابزار/ جزئی |
جز ویکی‌سازی رباتیک (درخواست کاربر:Freshman404)(۷.۶) >متغیرهای تصادفی مستقل، توزیع احتمال مشترک، تابع چگالی احتمال، متغیرهای تصادفی، نظریه احتمالات، نظریه اطلاعات، متغیر تصادفی، توزیع احتمال، انتگرال معین |
||
خط ۱:
[[پرونده:Entropy-mutual-information-relative-entropy-relation-diagram.svg|بندانگشتی|یک نمودار ون که به طور نمادین رابطهٔ معیارهای اطلاعاتی مختلف متغیرهای تصادفی X و Y را نشان می‌دهد. رنگ بنفش در شکل اطلاعات متقابل را نشان می‌دهد.]]
در [[نظریه احتمالات]] و [[نظریه
اطلاعات متقابل میزان شباهت بین توزیع مشترک <math>p(X,Y)</math> و ضرب احتمال‌های حاشیه ای یعنی <math>p(X)p(Y)</math> را مشخص می‌سازد.
خط ۱۱:
\right) }</math>
که در رابطه فوق <math>p(x,y)</math> تابع [[توزیع احتمال مشترک]] <math>X</math> و <math>Y</math>، و <math>p(x)</math> و <math>p(y)</math> تابع‌های [[توزیع احتمال]] حاشیه ای به ترتیب <math>X</math> و <math>Y</math> می‌باشند.
در صورتی که [[متغیرهای تصادفی]] پیوسته باشند، رابطه به صورت زیر بر اساس [[انتگرال معین]] دوگانه تعریف می‌گردد:
<math>I(X;Y) = \int_Y \int_X
خط ۱۹:
\right) } \; dx \,dy</math>
که در رابطهٔ فوق اکنون <math>p(x,y)</math> [[تابع چگالی احتمال]] مشترک <math>X</math> و <math>Y</math>، و <math>p(x)</math> و <math>p(y)</math> تابع‌های چگالی احتمال حاشیه ای به ترتیب <math>X</math> و <math>Y</math> می‌باشند.
اگر لگاریتم در پایهٔ ۲ استفاده شود، واحد اطلاعات متقابل بیت خواهد بود.
خط ۲۷:
اطلاعات متقابل میزان وابستگی را بر اساس توزیع مشترک <math>X</math> و <math>Y</math>، در مقایسه با توزیع مشترک <math>X</math> و <math>Y</math> تحت فرض استقلال، به دست می‌آورد. اطلاعات متقابل در نتیجه وابستگی را در معنای زیر اندازه‌گیری می‌کند:
<math>I(X;Y)=0</math> اگر و فقط اگر <math>X</math> و <math>Y</math> [[متغیرهای تصادفی مستقل]] باشند. بررسی این حقیقت از یک سمت آسان است: اگر <math>X</math> و <math>Y</math> مستقل باشند، در این صورت <math>p(x,y)=p(x)p(y)</math> و در نتیجه:
<math>\log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0 </math>
خط ۷۳:
[[رده:آنتروپی اطلاعات]]
[[رده:نظریه اطلاعات]]
[[رده:ویکی‌سازی رباتیک]]
| |||