تفاوت میان نسخه‌های «نظریه اطلاعات»

جز
replaced: به طور ← به‌طور (2)، آنها ← آن‌ها (3) با ویرایشگر خودکار فارسی
(←‏تاریخچه: تصویر انبار)
جز (replaced: به طور ← به‌طور (2)، آنها ← آن‌ها (3) با ویرایشگر خودکار فارسی)
 
== تاریخچه ==
خلق تلگراف و تلفن توجه و علاقه،نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشینگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده جسته ولی تمرکز آنهاآن‌ها بیشتر به جنبه عملی و مهندسی موضوع بود.<ref name="Britanica" />
 
شروع تحقیق در مورد نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار می‌دهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> انجام شد. نایکویست وجود نرخ ماکزیمم ارسال اطلاعات را متوجه شده و فرمولی جهت محاسبه این نرخ ماکزیمم ارائه کرد. کار مهم دیگر در این زمان مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica" />
[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها حمل می‌کنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل می‌کند جدا در نظر گرفته نمی‌شد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی می‌باشد، هرچند از دید ناظری که معانی آنهاآن‌ها را نداند، بی‌معنی هستند. مثال دیگر این جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنال‌ها را از ارسال معانی موجود در آنهاآن‌ها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.<ref name="Britanica" />
 
شانون در آن زمان در آزمایشگاه بل*<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به اغتشاش ([[نسبت سیگنال به نویز]]) بر ظرفیت کانال را را آشکار می‌کرد.<ref name="Britanica" />
== آنتروپی ==
[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی آزمایش برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می‌شود.<math>H_\mbox{b}(p)</math>.
مقدار آنتروپی در ۱ بیشینه است در هر آزمایشی که دو نتیجهٔ ممکن به طوربه‌طور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه به طوربه‌طور بی طرفانه]]
آنتروپی<math>H</math> یک متغیر تصادفی<math>X</math>، از اندازه‌گیری مقدار احتمالات مربوط به مقدار <math>X</math> به دست می‌آید.
 
۱۳۳٬۲۴۲

ویرایش