تفاوت میان نسخه‌های «نظریه اطلاعات»

۲٬۵۰۷ بایت اضافه‌شده ،  ۴ سال پیش
جز
بدون خلاصه ویرایش
جز (ربات:افزودن الگو ناوباکس {{سایبرنتیک}}+تمیز (۹.۲))
جز
برچسب: برخی خطوط با فاصله آغاز شده‌اند
 
این زمینه از علم مخابرات، به زیربخش‌های [[کدگذاری منبع]] و [[کدگذاری کانال]] تقسیم می‌گردد. مباحث [[رمزنگاری]] مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان [[نظریه کدینگ جبری کانال]] را نام برد.
 
== کمیت های مربوط به اطلاعات ==
نظریه اطلاعات بر مبنای ''نظریه ی احتمالات'' و ''علم استاتیک(ایستایی شناسی)'' به وجود آمده است. مهم ترین کمیت های مربوط به اطلاعات عبارتند از:
''آنتروپی''(که اطلاعات داخل یک متغیر تصادفی است) و ''اطلاعات متقابل''(که مقدار اطلاعات مشترک بین دو متغیر تصادفی است). کمیت اول(آنتروپی)، به ما نشان می دهد که یک داده ای از نوع پیام تا چه حد می تواند ''فشرده سازی'' شود؛ در حالی که کمیت دوم(اطلاعات متقابل)، می تواند برای یافتن سرعت ارتباط در یک ''کانال'' مورد استفاده قرار گیرد.
 
انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعات را مشخص می کند. رایج ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی(باینری) است. دیگر واحد ها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی(بر اساس لگاریتم معمولی) هستند.
پیرو مطالب قبل، در یک عبارت به شکل <math>p \log p \</math> ، زمانی که <math>p=0</math> است، طبق قرارداد، عبارت هم برابر صفر در نظر گرفته می شود. این مطلب به راحتی اثبات می شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر میل می کند، برابر با صفر است.
<math>\lim_{p \rightarrow 0+} p \log p = 0</math>
 
== آنتروپی ==
[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی آزمایش برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می شود.<math>H_\mbox{b}(p)</math>.
مقدار آنتروپی در 1 بیشینه است در هر آزمایشی که دو نتیجه ی ممکن به طور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه به طور بی طرفانه]]
آنتروپی<math>H</math> یک متغیر تصادفی<math>X</math>، از اندازه گیری مقدار احتمالات مربوط به مقدار <math>X</math> به دست می آید.
 
== جستارهای وابسته ==
۱

ویرایش