نظریه اطلاعات: تفاوت میان نسخه‌ها

'''نظریه اطلاعات''' (انگلیسی: Information theory)، به مقداردهی (Quantification)، ذخیره و انتقال اطلاعات می‌پردازد. این نظریه، [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در پردازش و انتقال [[داده‌ها]] و [[اطلاعات]] فراهم می‌آورد. نظریهٔ اطلاعات با ارائهٔ روشی برای «کمّی‌سازی و اندازه‌گیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیره‌سازی بهینهٔ (داده‌ها) وبه‌دست اطلاعات می‌پردازدمی‌دهد. تمرکز اصلی این نظریه بر روی محدودیت‌های بنیادین ارسال و تحلیلپردازش داده‌هااطلاعات است، و کمتر به نحوهٔچگونگی عملکرد دستگاه‌هایو خاصپیاده‌سازی روش‌های انتقال و پردازش اطلاعات می‌پردازد. پیدایش این نظریه عموماًدر به یک مهندس برق بهپی نامکارهای [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده می‌شودبوده‌است.

نظریه اطلاعات مورد استفاده خاص مهندسان مخابرات است، هرچند از برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]، [[کتابداری و اطلاع‌رسانی|کتاب‌داری و اطلاع‌رسانی]]، و [[اطلاعات و دانش‌شناسی|علومِ شناختی]] (Cognitive Sciences) نیز استفاده می‌شود.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref>

مفهوم اطلاعاتی«اطلاعات» که توسط شانون مطالعهپیش شد،نهاد، از دیددیدگاه آمار و احتمالات بوده و لزوماً با مفاهیممفهوم روزمرهرایج اطلاعات مانندبه معنی «دانش» یا دیگر استفاده‌های روزمره از آن در زبان طبیعیمحاوره‌ای مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوتیکی داردنیست. اگر چه نظریه اطلاعات بر رشته‌های دیگر مانند روان‌شناسی و فلسفه رااثر تحتگذاشته، تأثیرولی قرار داده، ولیاثرش به دلیلعلت مشکلاتمشکل تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>

خلقاختراع تلگراف و تلفن،پس توجهاز وآن علاقهتلفن، نسبتتوجه به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی،۱۸۴۴، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهایمیان [[واشینگتن]] و [[بالتیمور]] در آمریکا ساختبرپا کرد. مورس هنگامدر ارسال اطلاعات به مشکلات الکتریکی عملی الکتریکی برخورد. او متوجهدریافت شدکه کهخطوط خطوطیانتقالی که زیرِ زمین کشیده شده‌اند مشکلات بیشتری از خطوطیخطوط کهانتقال هوایی (از طریقروی تیر) منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثربیشتر این تحقیقات از [[تبدیل فوریه]] استفاده کردهکرده، ولیاما تمرکز آن‌ها بیشتر روی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica"/>

تحقیق دربارهٔ نظریه اطلاعات اولیننخستین بار در سال ۱۹۲۴ توسطاز سوی [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که بر سرعت تلگراف رااثر تحت تأثیر قرار می‌دهندمی‌گذارند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> آغاز شد. نایکویستاو وجودبه بیشترین نرخ ماکسیمم ارسال اطلاعات را متوجهپی شدهبرد و فرمولی برای محاسبه آن ارائهپیش کردنهاد. کار مهم دیگر در اینآن زمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادیاز توسطسوی هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولیننخستین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica"/>[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]

تولد واقعی نظریه اطلاعات را می‌توان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسطاز سوی [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی اطلاعاتی که حمل می‌کنند جدا کرد، در حالی که پیش از او چنین نبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. و در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» در آن بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادیمعنی می‌باشد،داشتند، هرچند از دید ناظری که معانیمعنی آن‌ها را نداند،نمی‌دانست، بی‌معنیمبهم هستندبودند. مثال دیگر، جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد،شده‌است، ولی برای یک انگلیسی زبانیانگلیسی‌زبانی که فارسی نمی‌داند مفهومی ندارد. بدین‌سان شانون پیشنهاد کرد که مسئله ارسال سیگنال‌هاسیگنال‌ را از ارسال اطلاعات موجود در آن‌هاآن‌ جدا کرده، و برای موضوع اول نظریه ریاضی ارائه کرد.<ref name="Britanica"/>

شانون در آن زمان در آزمایشگاه‌های بل<ref>Bell Laboratories</ref> مشغول به کار بودمی‌کرد و سعی در طراحی خطوط تلفن با ضریب اعتماداطمینان بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و بیشترین تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجودمنتقل انجام دادکرد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزانبیشترین حداکثرمیزان اطلاعاتی است که می‌توان روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها بهبرای کانال‌های بدون اغتشاش (بدون بی[[نویز]])، بلکه حتی بهبرای کانال‌های با اغتشاش واقعینویزدار نیزهم قابل اعمالاستفاده بود. شانوناو فرمولی ارائهپیش کردنهاد که نحوه تأثیراثر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به توان نویز ([[نسبت سیگنال به نویز]]) را بر ظرفیت کانال نشان می‌داد.<ref name="Britanica"/>

در این نظریه، [[کلاود شانون]] نحوهٔدر [[مدل‌سازی]]کارهایش، مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی کرده،کرد، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائهپیش کرده‌استنهاد. او مسئلهٔ ارسال اطلاعات از یکفرستنده (منبع اطلاعات) به یکگیرنده (مقصد اطلاعات) را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]‌های شانون، عبارت‌اند از:

نظریه اطلاعات بر مبنایپایه [[نظریه احتمالات|نظریهٔ احتمالات]] و [[فرایند تصادفی|فرایندهای اتفاقی]] (Probability Theory and Stochastic Processes) بهشکل وجود آمده‌استگرفته‌است. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از

* [[آنتروپی اطلاعات|آنتروپی]]، که میانگین محتوای اطلاعاتی یک منبع اطلاعات است، واست.

کمیت اول (آنتروپی)، نشان می‌دهد که اطلاعات خروجی یک منبع اطلاعات تا چه حد می‌تواند [[فشرده‌سازی داده‌ها|فشرده]] شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])،متقابل، نرخ انتقال اطلاعات در یک [[کانال مخابراتی]] را تعیین می‌کند.

رایج‌ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند. انتخاب مبنای لگاریتم، نوع واحد آنتروپی اطلاعات را مشخص می‌کند.

[[آنتروپی اطلاعات|آنتروپی]] یک متغیر تصادفی، با اندازه‌گیری احتمالات آن متغیر تصادفی به‌دست می‌آید. مفهوم آنتروپی در طول دهه های گذشته دستخوش تغییرات فراوانی شده کهو به کاربردهای بسیار مهمی در سایردیگر شاخه های علوم از جمله [[فشرده‌سازی داده‌ها]]، [[علوم اعصاب]] <ref>سید علیرضا خاتون آبادی، روش انتخاب دقت بصری با رویکرد اصل انرژی آزاد در پردازش تصویر، پایان نامه دکترا، دانشکده علوم ریاضی دانشگاه تربیت مدرس، ۱۳۹۷ </ref> ، [[مهندسی مخابرات]] و [[کدگذاری کانال]] انجامیدهانجامیده‌ است.