نظریه اطلاعات: تفاوت میان نسخه‌ها

'''نظریه اطلاعات''' (انگلیسی: Information theory)، به مقداردهی (Quantification)، ذخیره و انتقال اطلاعات می‌پردازد. این نظریه، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[اطلاعات]] (داده‌ها) به‌دست می‌دهد. تمرکز این نظریه بر محدودیت‌های بنیادین ارسال و پردازش اطلاعات است، و کمتر به چگونگی عملکرد و پیاده‌سازی روش‌های انتقال و پردازش اطلاعات می‌پردازد. پیدایش این نظریه در پی کارهای [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در ۱۹۴۸ بوده‌است.

اختراع تلگراف و پس از آن تلفن، توجه به مفهوم اطلاعات و انتقال آن را افزایش داد. در ۱۸۴۴، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی میان [[واشینگتن]] و [[بالتیمور]] در آمریکا برپا کرد. مورس در ارسال اطلاعات به مشکلات الکتریکی عملی برخورد. او دریافت که خطوط انتقالی که زیرِ زمین کشیده شده‌اند مشکلات بیشتری از خطوط انتقال هوایی (روی تیر) دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در ۱۸۷۵ و گسترش آن، برخی به بررسی مشکلات انتقال اطلاعات پرداختند. بیشتر این تحقیقات از [[تبدیل فوریه]] استفاده کرده، اما تمرکز آن‌ها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica"/>

تحقیق دربارهٔ نظریه اطلاعات نخستین بار در ۱۹۲۴ از سوی [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که بر سرعت تلگراف اثر می‌گذارند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. او به بیشترین نرخ ارسال اطلاعات پی برد و فرمولی برای محاسبه آن پیش نهاد. کار مهم دیگر در آن زمان، مقاله «انتقال اطلاعات» در ۱۹۲۸ از سوی هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که نخستین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica"/>[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]

تولد واقعی نظریه اطلاعات را می‌توان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> از سوی [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی اطلاعاتی که حمل می‌کنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط «؟» نوشته بود و در پاسخ نامه‌ای دریافت کرد که فقط «!» در آن بود. این دو نماد برای هر دو طرف معنی داشتند، هرچند از دید ناظری که معنی آن‌ها را نمی‌دانست، مبهم بودند. مثال دیگر، جمله‌ای طولانی است که به زبان فارسی نوشته شده‌است، ولی برای انگلیسی‌زبانی که فارسی نمی‌داند مفهومی ندارد. بدین‌سان شانون پیشنهاد کرد که مسئله ارسال سیگنال‌ را از ارسال اطلاعات موجود در آن‌ جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.<ref name="Britanica"/>

شانون در آن زمان در آزمایشگاه‌های بل<ref>Bell Laboratories</ref> کار می‌کرد و سعی در طراحی خطوط تلفن با ضریب اطمینان بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و بیشترین تعداد مکالمات تلفنی که می‌توان روی خطوط تلفن منتقل کرد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر بیشترین میزان اطلاعاتی است که می‌توان روی کانال مخابره کرد. فرمول ظرفیت کانال شانون نه تنها برای کانال‌های بی[[نویز]]، بلکه برای کانال‌های نویزدار هم قابل استفاده بود. او فرمولی پیش نهاد که اثر [[پهنای باند کانال]]، و نسبت توان سیگنال به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان می‌داد.<ref name="Britanica"/>

[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی متغیر تصادفی برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می‌شود. <math>H_\mbox{b}(p)</math>.

مقدار آنتروپی در ۱ بیشینه است در هر آزمایشی که دو نتیجهٔ ممکن به‌طور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه به‌طور بی طرفانه.]]

[[آنتروپی اطلاعات|آنتروپی]] یک متغیر تصادفی، با اندازه‌گیری احتمالات آن متغیر تصادفی به‌دست می‌آید. مفهوم آنتروپی در طول دهه های گذشته دستخوش تغییرات شده و به کاربردهای مهمی در دیگر شاخه های علوم از جمله [[فشرده‌سازی داده‌ها]]، [[علوم اعصاب]]<ref>سید علیرضا خاتون آبادی، روش انتخاب دقت بصری با رویکرد اصل انرژی آزاد در پردازش تصویر، پایان نامه دکترا، دانشکده علوم ریاضی دانشگاه تربیت مدرس، ۱۳۹۷ </ref> ، [[مهندسی مخابرات]] و [[کدگذاری کانال]] انجامیده‌ است.