تفاوت میان نسخه‌های «نظریه اطلاعات»

بدون خلاصه ویرایش
(قرار دادن {{داده‌های کتابخانه‌ای}} با اطلاعات ویکی‌داده)
{{نظریه اطلاعات )نگره ازدایش) }}
'''نظریّهٔنگرهٔ اطّلاعات (نگره ازدایش) ''' [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل موثر در ترابُرد (انتقال) و پردازش [[داده‌ها]] و [[اطلاعات|اطّلاعات]] فراهم می‌آورد. نظریهٔنگرهٔ اطلاعات با ارائهٔ روشی جهت برای«کمّی سازی و اندازه‌گیری عددی اطلاعاتداده ها و ازدایش» به موضوعاتی مانند ارسال،فرستادن، دریافت، و اندوزش (ذخیره‌سازی) بهینهٔ داده‌ها و اطلاعات می‌پردازد. تمرکز اصلی این نظریّهنگره بر روی محدودیت‌های بنیادین که در ارسالفرستادن و تحلیلواکاوی داده‌ها وجود دارد می‌باشد، و کمتر به نحوهٔشیوهٔ عملکردکارکرد دستگاه‌های خاص می‌پردازد. پیدایش این نظریهنگره عموماً به مهندس برقی به نام [[کلاود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده می‌شود. نظریهنگره اطلاعاتازدایش مورد استفاده خاص مهندسین مخابرات بوده، هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]،[[کتابداری و اطلاع رسانی]]، و [[اطلاعاتازدایش و دانش شناسی]] نیز مورد استفاده قرار گرفته‌است.<ref name="Britanica">«information theory,» Encyclopædia Britannica</ref> مفهوم اطلاعاتیازدایشی که توسط شانون مطالعهبررسی شد اطلاعاتازدایش از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از اطلاعاتازدایش مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی ازدایگان(اطلاعات)»، «تحلیلواکاوی ازدایگان(اطلاعات)»، «چهارراه اطلاعاتازدایش» و غیره تفاوت می‌دارد. اگر چه نظریهنگره اطلاعاتازدایش رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعاتازدایش» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعاتازدایش بوده‌است.<ref>SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>
== واژه نامه ==
 
در زبان پهلوی ازدینیدن (azdinidan) به معنای اطلاع دادن است که از ریشه "ازد" آمده است، در فارسی از فعل ازداییدن و واژه ازدایش به چم¬های اطلاع دادن و اطلاعات می توان بهره برد.
== تاریخچه ==
خلق تلگراف و تلفن توجه و علاقه نسبت به مفهوم اطلاعاتازدایش و انتقالترابُرد آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بین شهرهای [[واشنگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام ارسالفرستادن اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط [[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات انتقالترابُرد اطلاعات ازدایش پرداختند. اکثر این تحقیقات از [[تبدیل فوریه]] استفاده جسته ولی تمرکز آنها بیشتر به جنبه عملی و مهندسی موضوع بود.<ref name="Britanica"/>
 
شروع تحقیق در مورد نظریهنگره اطلاعاتازدایش اولین بار در سال ۱۹۲۴ توسط [[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار می‌دهند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> انجام شد. نایکویست وجود نرخ ماکزیمم ارسالفرستادن اطلاعات را متوجه شده و فرمولی جهت محاسبه این نرخ ماکزیمم ارائه کرد. کار مهم دیگر در این زمان مقاله «انتقالترابُرد اطلاعاتازدایش» در سال ۱۹۲۸ میلادی توسط هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولین پایه‌های ریاضی نظریهنگره اطلاعاتازدایش را بنا گذاشت.<ref name="Britanica"/>
[[پرونده:Claude_Elwood_Shannon_(1916-2001).jpg|بندانگشتی|چپ|150 px|کلود شانون]]
تولد واقعی نظریهنگره اطلاعاتازدایش را به مقاله «نظریهنگره ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون توجهنگاه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها حمل می‌کنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل می‌کند جدا در نظر گرفته نمی‌شد. شانون همچنین به این نکته توجه کرددرنگریست که طول یک سیگنال همیشه متناسب با میزان اطلاعاتازدایش آن نیست. مثلاً نقل شده‌است که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعاتازدایش زیادی می‌باشد، هرچند از دید ناظریبیننده ای که معانی آنها را نداند، بی‌معنی هستند. مثال دیگر این جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسالفرستادن سیگنال‌ها را از ارسالفرستادن معانی موجود در آنها جدا کرده، و برای موضوع اول نظریهنگره ریاضی ای تولید نمود.<ref name="Britanica"/>
 
شانون در آن زمان در آزمایشگاه بل*<ref>Bell Laboratories</ref> مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل موثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتیازدایشی است که روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون [[نویز]])، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر [[پهنای باند کانال]]، و نسبت توان سیگنال ارسالیفرستادنی به اغتشاش ([[نسبت سیگنال به نویز]]) بر ظرفیت کانال را را آشکار می‌کرد.<ref name="Britanica"/>
 
== مفهوم اطلاعاتازدایش و راه‌های اندازه‌گیری آن ==
مفهوم اطلاعاتیازدایشی که توسط شانون مطالعهبررسی شد اطلاعاتازدایش از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از اطلاعاتازدایش مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیلواکاوی اطلاعات»، «چهارراه اطلاعاتازدایش» و غیره تفاوت می‌دارد. اگر چه نظریهنگره اطلاعاتازدایش رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعاتازدایش» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعاتازدایش بوده‌است.<ref>SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>
 
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریهنگره اطلاعاتازدایش برعهده دارد.
* آنتروپی اطلاعاتازدایش
 
== قضایای شانون ==
در این نظریه،نگره، [[کلاود شانون]] نحوهٔ [[مدل‌سازی]] مسئله ارسالفرستادن اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی نموده، و مدل کاملی برای [[مدل‌سازی ریاضی]] منبع اطلاعات، کانال ارسالفرستادن اطلاعات و بازیابی آن ارائه نموده‌است. او مسالهٔ ارسالفرستادن اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیلواکاوی نمود. دو نتیجهٔ بسیار مهم، معروف به [[قضیه|قضیه‌های]] شانون، عبارت‌اند از:
 
۱- حداقل میزان نرخی که می‌توان نرخ فشرده کردن اطلاعاتازدایش یک منبع تصادفی اطلاعات را به آن محدود نمود برابر با [[آنتروپی اطلاعاتازدایش|آنتروپی]] آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع اطلاعاتازدایش را با کمتر از آنتروپی آن منبع ارسالفرستادن نمود.
 
۲- حداکثر میزان نرخی که می‌توان بر روی یک کانال مخابراتی اطلاعاتازدایش ارسالفرستادن نمود به نحوی که قادر به آشکارسازی اطلاعاتازدایش در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن [[ظرفیت کانال]] می‌گوئیم. ارسالفرستادن با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود.
 
این زمینه از علم مخابرات، به زیربخش‌های [[کدگذاری منبع]] و [[کدگذاری کانال]] تقسیم می‌گردد. مباحث [[رمزنگاری]] مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان [[نظریهنگره کدینگ جبری کانال]] را نام برد.
 
== کمیت های مربوط به اطلاعاتازدایش ==
نظریهنگره اطلاعاتازدایش بر مبنای ''نظریه ی احتمالات'' و ''علم استاتیک(ایستایی شناسی)'' به وجود آمده است. مهم ترین کمیت های مربوط به اطلاعاتازدایش عبارتند از:
''آنتروپی''(که اطلاعاتازدایش داخل یک متغیر تصادفی است) و ''اطلاعاتازدایش متقابل''(که مقدار اطلاعاتازدایش مشترک بین دو متغیر تصادفی است). کمیت اول(آنتروپی)، به ما نشان می دهد که یک داده ای از نوع پیام تا چه حد می تواند ''فشرده سازی'' شود؛ در حالی که کمیت دوم(اطلاعاتازدایش متقابل)، می تواند برای یافتن سرعت ارتباط در یک ''کانال'' مورد استفاده قرار گیرد.
 
انتخاب مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی اطلاعاتازدایش را مشخص می کند. رایج ترین واحد اطلاعات،ازدایش، بیت است که بر مبنای لگاریتم دودویی(باینری) است. دیگر واحد ها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی(بر اساس لگاریتم معمولی) هستند.
پیرو مطالب قبل، در یک عبارت به شکل <math>p \log p \</math> ، زمانی که <math>p=0</math> است، طبق قرارداد، عبارت هم برابر صفر در نظر گرفته می شود. این مطلب به راحتی اثبات می شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر میل می کند، برابر با صفر است.
<math>\lim_{p \rightarrow 0+} p \log p = 0</math>
۲۳۶

ویرایش