تفاوت میان نسخه‌های «نظریه اطلاعات»

تصحیح نوشتاری و فنی متن.
جز (ابزار پیوندساز: افزودن پیوند اطلاعات متقابل به متن)
برچسب: متن دارای ویکی‌متن نامتناظر
(تصحیح نوشتاری و فنی متن.)
برچسب‌ها: متن دارای ویکی‌متن نامتناظر ویرایش‌گر دیداری
{{نظریه اطلاعات}}
'''نظریه اطّلاعاتاطلاعات''' [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل مؤثر در انتقالپردازش و پردازشانتقال [[داده‌ها]] و [[اطلاعات|اطّلاعات]] فراهم می‌آورد. نظریهٔ اطلاعات با ارائهٔ روشی جهتبرای «کمّی‌سازی و اندازه‌گیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیره‌سازی بهینهٔ داده‌ها و اطلاعات می‌پردازد. تمرکز اصلی این نظریه بر روی محدودیت‌های بنیادین که در ارسال و تحلیل داده‌ها وجود دارد می‌باشد،است، و کمتر به نحوهٔ عملکرد دستگاه‌های خاص می‌پردازد. پیدایش این نظریه عموماً به یک مهندس برق به نام [[کلاود شانون|کلود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده می‌شود. نظریه اطلاعات مورد استفاده خاص مهندسینمهندسان مخابرات بوده، هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]، [[کتابداری و اطلاع‌رسانی]]، و [[اطلاعات و دانش شناسی]] نیز مورد استفاده قرار گرفته‌است.<ref name="Britanica">«information theory," Encyclopædia Britannica</ref> مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعاتشد، از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت دارد. اگر چه نظریه اطلاعات رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است.<ref name="SAYRE, KENNETH M. 1998">SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>
 
== تاریخچه ==
خلق تلگراف و تلفنتلفن، توجه و علاقه،نسبتعلاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشینگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده جستهکرده ولی تمرکز آن‌ها بیشتر بهروی جنبه عملی و مهندسی موضوع بود.<ref name="Britanica" />
 
شروع تحقیق در مورددرباره نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار می‌دهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> انجامآغاز شد. نایکویست وجود نرخ ماکزیممماکسیمم ارسال اطلاعات را متوجه شده و فرمولی جهتبرای محاسبه این نرخ ماکزیممآن ارائه کرد. کار مهم دیگر در این زمانزمان، مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت.<ref name="Britanica" />[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریه اطلاعات را می توان به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون|کلود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ایاطلاعاتی که آن سیگنال‌ها حمل می‌کنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل می‌کند جدا در نظر گرفتهچنین نمی‌شدنبود. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی می‌باشد، هرچند از دید ناظری که معانی آن‌ها را نداند، بی‌معنی هستند. مثال دیگر ایندیگر، جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمودکرد که مسئله ارسال سیگنال‌ها را از ارسال معانیاطلاعات موجود در آن‌ها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولیدارائه نمودکرد.<ref name="Britanica" />
[[پرونده:ClaudeShannon MFO3807.jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها حمل می‌کنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل می‌کند جدا در نظر گرفته نمی‌شد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی می‌باشد، هرچند از دید ناظری که معانی آن‌ها را نداند، بی‌معنی هستند. مثال دیگر این جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنال‌ها را از ارسال معانی موجود در آن‌ها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.<ref name="Britanica" />
 
شانون در آن زمان در آزمایشگاه های بل*<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در تعبیهطراحی خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل مؤثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تأثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالی به اغتشاش ([[نسبت سیگنال به نویز]]) بر ظرفیت کانال را را آشکارنشان می‌کردمی داد.<ref name="Britanica" />
 
== مفهوم اطلاعات و راه‌های اندازه‌گیری آن ==
 
== قضایای شانون ==
در این نظریه، [[کلاود شانون]] نحوهٔ [[مدل‌سازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی نموده، و مدل کاملی برای [[مدل‌سازی ریاضی]] منبع اطلاعات، کانال ارسال اطلاعات و بازیابی آن ارائه نموده‌است. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل نمودکرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]‌های شانون، عبارت‌اند از:
 
۱- حداقل میزان نرخیمیزانی که می‌توان نرخ فشرده کردن اطلاعات یک منبع تصادفی اطلاعات را به آن محدود نمود برابر با [[آنتروپی اطلاعات|آنتروپی]] آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع اطلاعات را با نرخی کمتر از آنتروپی آن منبع ارسال نمود.
 
۲- حداکثر میزان نرخی که می‌توان بر روی یک کانال مخابراتی اطلاعات ارسال نمود به نحوی که قادر به آشکارسازی اطلاعات در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن [[ظرفیت کانال]] می‌گوئیم. ارسال با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود.
 
این زمینه از علم مخابرات، به ترتیب به زیربخش‌های [[کدگذاری منبع|کُدینگ منبع]] (source coding) و [[کدگذاری کانال]]|کدینگ تقسیم می‌گردد. مباحث [[رمزنگاریکانال]] مطرح(channel شدهcoding) توسطتقسیم شانون نیز از این بنیان ریاضی بهره جسته‌استمی‌شود. از زیر شاخه‌هایزیرشاخه‌های مرتبط با آنکدینگ کانال، می‌توان [[نظریه کدینگ جبری کانال]] (Algebraic coding theory) را نام برد.
 
البته بخش دیگری از کار شانون به مسئله امنیت انتقال اطلاعات (information security) می پردازد که ربط مستقیمی به دو نتیجه بالا ندارد و مبنای نظری رمزنگاری (cryptography) نوین است. به عبارت بهتر، مسئله اطمینان انتقال اطلاعات (information reliability) که با دو نتیجه بالا توصیف می شود را نباید با مسئله امنیت انتقال اطلاعات (information security) اشتباه گرفت؛ هدف این دو کاملا متفاوت است.
 
== کمیت‌های مربوط به اطلاعات ==
نظریه اطلاعات بر مبنای ''نظریهٔ احتمالات'' و فرایندهای اتفاقی''علم استاتیک (ایستاییProbability شناسیTheory and Stochastic Processes)'' به وجود آمده است. مهم‌ترین کمیت‌های مربوط به اطلاعات عبارتند از:
''آنتروپی'' (که اطلاعاتمیانگین داخلمحتوای اطلاعاتی یک متغیرمنبع تصادفیاطلاعات است) و ''اطلاعات متقابل'' (که مقدار اطلاعات مشترک بین دو متغیر تصادفی است). کمیت اول (آنتروپی)، به ما نشان می‌دهد که یکاطلاعات داده‌ایخروجی ازیک نوعمنبع پیاماطلاعات تا چه حد می‌تواند ''فشرده سازی'' شود؛ در حالی که کمیت دوم ([[اطلاعات متقابل]])، می‌تواند برای یافتن سرعت ارتباط در یک ''کانال'' مورد استفاده قرار گیرد.
 
انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعات را مشخص می‌کند. رایج‌ترین واحد اطلاعات، بیت است که بر مبنای لگاریتم دودویی (باینری) است. دیگر واحدها شامل نتنَت (بر اساس لگاریتم طبیعی) و هارتلی (بر اساس لگاریتم معمولی) هستند.
پیرو مطالب قبل، در یک عبارت به شکل <math>p \log p</math> ، زمانی که <math>p=0</math> است، طبق قرارداد، عبارت هم برابر صفر در نظر گرفته می‌شود. این مطلب به راحتی اثبات می‌شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر میل می‌کند، برابر با صفر است.
<math>\lim_{p \rightarrow 0+} p \log p = 0</math>
 
== آنتروپی ==
[[پرونده:Binary entropy plot.svg|بندانگشتی|چپ|200 px|آنتروپی آزمایشمتغیر تصادفی برنولی به صورت تابعی از احتمال موفقیت، اغلب به نام تابع باینری آنتروپی نامیده می‌شود.<math>H_\mbox{b}(p)</math>.
مقدار آنتروپی در ۱ بیشینه است در هر آزمایشی که دو نتیجهٔ ممکن به‌طور مساوی محتملند؛ همانند شیر یا خط آوردن یک سکه به‌طور بی طرفانه.]]
آنتروپی<math>H</math> یک متغیر تصادفی<math>X</math>، ازبا اندازه‌گیری مقدار احتمالات مربوط به مقدار <math>X</math> به دست می‌آید.
 
== جستارهای وابسته ==