تفاوت میان نسخه‌های «نظریه اطلاعات»

بدون خلاصه ویرایش
(خنثی‌سازی ویرایش 27695203 از 31.56.191.97 (بحث))
برچسب: خنثی‌سازی
{{نظریه اطلاعات}}
'''نظریه اطلاعات'''، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[داده‌ها]] و [[اطلاعات]] فراهم می‌آورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّی‌سازی و اندازه‌گیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیره‌سازی بهینهٔ داده‌ها و اطلاعات می‌پردازد. تمرکز اصلی این نظریه بر روی محدودیت‌های بنیادین ارسال و تحلیل داده‌ها است، و کمتر به نحوهٔ عملکرد دستگاه‌های خاص می‌پردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده می‌شود.
 
نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات است، هرچند از برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]، [[کتابداری و اطلاع‌رسانی|کتاب‌داری و اطلاع‌رسانی]]، و [[اطلاعات و دانش‌شناسی|علومِ شناختی]] (Cognitive Sciences) نیز استفاده می‌شود.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref>
 
مفهوم اطلاعاتی که توسط شانون مطالعه شد، از دید آمار و احتمالات بوده و با مفاهیم روزمره اطلاعات مانند «دانش» یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت دارد. اگر چه نظریه اطلاعات رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیلبه دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>
 
== تاریخچه ==
خلق تلگراف و تلفن، توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشینگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که زیرِ زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی (از طریق تیر) منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده کرده ولی تمرکز آن‌ها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica" />
 
تحقیق دربارهٔ نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار می‌دهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. نایکویست وجود نرخ ماکسیمم ارسال اطلاعات را متوجه شده و فرمولی برای محاسبه آن ارائه کرد. کار مهم دیگر در این زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica" />[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریه اطلاعات را می‌توان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی اطلاعاتی که حمل می‌کنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی می‌باشد، هرچند از دید ناظری که معانی آن‌ها را نداند، بی‌معنی هستند. مثال دیگر، جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین‌سان شانون پیشنهاد کرد که مسئله ارسال سیگنال‌ها را از ارسال اطلاعات موجود در آن‌ها جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.<ref name="Britanica" />
 
شانون در آن زمان در آزمایشگاه‌های بل<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در طراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان می‌داد.<ref name="Britanica" />
 
== مفهوم اطلاعات و راه‌های اندازه‌گیری آن ==
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید «آمار و احتمالات» بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت می‌دارد. اگر چه نظریه اطلاعات رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی به دلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است.<ref name="SAYRE, KENNETH M. 1998" />
 
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد.
 
== قضایای شانون ==
در این نظریه، [[کلاود شانون]] نحوهٔ [[مدل‌سازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه کرده‌است. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]‌های شانون، عبارت‌اند از:
== کمیت‌های مربوط به اطلاعات ==
نظریه اطلاعات بر مبنای [[نظریه احتمالات|نظریهٔ احتمالات]] و [[فرایند تصادفی|فرایندهای اتفاقی]] (Probability Theory and Stochastic Processes) به وجود آمده‌است. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از
* [[آنتروپی اطلاعات|آنتروپی]]، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است، و
 
* [[اطلاعات متقابل]]، که مقدار اطلاعات مشترک دو متغیر تصادفی است.
* [[آنتروپی اطلاعات|آنتروپی]]، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است، و
* [[اطلاعات متقابل]]، که مقدار اطلاعات مشترک دو متغیر تصادفی است.
 
کمیت اول (آنتروپی)، نشان می‌دهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد می‌تواند [[فشرده‌سازی داده‌ها|فشرده]] شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، نرخ انتقال اطلاعات در یک [[کانال مخابراتی]] را تعیین می‌کند.
 
رایج‌ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، نوع واحد آنتروپی اطلاعات را مشخص می‌کند.
 
در عبارت <math>p \log p</math>، زمانی که <math>p=0</math> است، عبارت هم برابر صفر در نظر گرفته می‌شود، زیرا <math>\lim_{p \rightarrow 0+} p \log p = 0</math>