نظریه اطلاعات: تفاوت میان نسخهها
محتوای حذفشده محتوای افزودهشده
جز ویرایش بهوسیلهٔ ابرابزار: |
←قضایای شانون: تصحیح فنی و نوشتاری متن. برچسبها: متن دارای ویکیمتن نامتناظر ویرایشگر دیداری |
||
خط ۱:
{{نظریه اطلاعات}}
'''نظریه اطلاعات'''، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[دادهها]] و [[اطلاعات]] فراهم میآورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّیسازی و اندازهگیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیرهسازی بهینهٔ دادهها و اطلاعات میپردازد. تمرکز اصلی این نظریه بر روی محدودیتهای بنیادین ارسال و تحلیل دادهها است، و کمتر به نحوهٔ عملکرد دستگاههای خاص میپردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده میشود.
نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات مفهوم اطلاعاتی که توسط شانون مطالعه شد، از دید == تاریخچه ==
سطر ۶ ⟵ ۱۰:
تحقیق دربارهٔ نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقالهای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار میدهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. نایکویست وجود نرخ ماکسیمم ارسال اطلاعات را متوجه شده و فرمولی برای محاسبه آن ارائه کرد. کار مهم دیگر در این زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایههای ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica" />[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریه اطلاعات را میتوان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنالهای مخابراتی را باید از بررسی اطلاعاتی که
شانون در آن زمان در آزمایشگاههای بل<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در طراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که میتوان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال میتوان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانالهای بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانالهای با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان میداد.<ref name="Britanica" />
سطر ۱۴ ⟵ ۱۸:
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد.
== قضایای شانون ==
در این نظریه، [[کلاود شانون]] نحوهٔ [[مدلسازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایهای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه
* حداقل
* حداکثر
این
== کمیتهای مربوط به اطلاعات ==
نظریه اطلاعات بر مبنای
''آنتروپی'' (که میانگین محتوای اطلاعاتی یک منبع اطلاعات است) و ''اطلاعات متقابل'' (که مقدار اطلاعات مشترک بین دو متغیر تصادفی است). کمیت اول (آنتروپی)، به ما نشان میدهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد میتواند ''فشرده'' شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، میتواند برای یافتن سرعت ارتباط در یک ''کانال'' مورد استفاده قرار گیرد.▼
* [[آنتروپی اطلاعات|آنتروپی]]، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است، و
* [[اطلاعات متقابل]]، که مقدار اطلاعات مشترک دو متغیر تصادفی است.
▲
در عبارت <math>p \log p</math>، زمانی که <math>p=0</math> است، عبارت هم برابر صفر در نظر گرفته میشود، زیرا <math>\lim_{p \rightarrow 0+} p \log p = 0</math>
▲انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعات را مشخص میکند. رایجترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند.
== آنتروپی ==
[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی متغیر تصادفی برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده میشود.<math>H_\mbox{b}(p)</math>.
مقدار آنتروپی در ۱ بیشینه است در هر آزمایشی که دو نتیجهٔ ممکن بهطور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه بهطور بی طرفانه.]]
[[آنتروپی
== جستارهای وابسته ==
|