نظریه اطلاعات: تفاوت میان نسخه‌ها

'''نگرهٔ اطّلاعات (نگره ازدایش) ''' [[مدل ریاضی|مدلی ریاضی]] از شرایط و عوامل موثر در ترابُرد (انتقال) و پردازش [[داده‌ها]] و [[اطلاعات|اطّلاعات]] فراهم می‌آورد. نگرهٔ اطلاعات (ازدایش) با ارائهٔ روشی برای«کمّی سازی و اندازه‌گیری عددی داده ها و ازدایش» به موضوعاتی مانند فرستادن، دریافت، و اندوزش (ذخیره‌سازی) بهینهٔ داده‌ها و اطلاعات می‌پردازد. تمرکزنگاه اصلی این نگره بر روی پاوندهای (محدودیت‌های) بنیادین که در فرستادن و واکاوی داده‌ها وجود داردهست، می‌باشد، و کمتر به شیوهٔ کارکرد دستگاه‌های خاص می‌پردازد. پیدایش این نگره عموماً به هندازشگر(مهندس) برقی به نام [[کلاود شانون]]<ref group="پانویس">Claude Elwood Shannon</ref> در سال ۱۹۴۸ میلادی نسبت داده می‌شود. نگره ازدایش موردبدست استفادههندازشگران خاصمخابرات مهندسینبکارگرفته مخابراتمی بوده،شود، هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند [[روان‌شناسی]]، [[زبان‌شناسی]]،[[کتابداری و اطلاع رسانی]]، و [[ازدایش و دانش شناسی]] نیز موردبکارگیری استفادهشده قرار گرفته‌استاست.<ref name="Britanica">«information theory,» Encyclopædia Britannica</ref> مفهوم ازدایشی که توسط شانون بررسی شد ازدایش از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از ازدایش مانند «دانش» و یا استفاده‌هایبهره مندیهای روزمره از آن در زبان طبیعی مانند «بازیابی ازدایگان(اطلاعات)»، «واکاوی ازدایگان(اطلاعات)»، «چهارراه ازدایش» و غیره تفاوت می‌دارد. اگر چه نگره ازدایش رشته‌های دیگردیگری مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده،هناییده، ولی بدلیل مشکلات همگرداندن (تبدیل) «مفهوم آماری ازدایش» به «مفهوم معنایی دانش و محتوا» تأثیراتشهنایشش بیشتر از نوع القای احساساتی نسبت به مفهوم ازدایش بوده‌است.<ref>SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>

خلقپدیدآورش تلگراف و تلفن توجهنگاه و علاقه نسبتدلبستگی به مفهوم ازدایش و ترابُرد آن را افزایش داد. در سال ۱۸۴۴ میلادی، [[ساموئل مورس]]<ref group="پانویس">Samuel F.B. Morse</ref> خط تلگرافی بینمیان شهرهای [[واشنگتن]] و [[بالتیمور]] در آمریکا ساخت. مورس هنگام فرستادن اطلاعاتداده به مشکلات عملی الکتریکی برخورد. او متوجهپی شدبرد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقلتَرابُرده می‌شوند دارند و این خود زمینه‌ای برای تحقیقاتپژوهشهای بعدیپس از این شد. با پَراوش (اختراع) تلفن توسط بدست[[الکساندر گراهام بل]]<ref group="پانویس">Alexander Graham Bell</ref> در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات ترابُرد ازدایش پرداختند. اکثر این تحقیقاتپژوهش ها از [[تبدیل فوریه]] استفادهبهریده جستهاند ولی تمرکزنگاه و درنگری آنها بیشتر به جنبه عملیدانشی و هندازشی(مهندسی) موضوع بود.<ref name="Britanica"/>

شروعآغاز تحقیقپژوهش در مورد نگره ازدایش اولیننخستین بار در سال ۱۹۲۴ توسط بدست[[هری نایکوئیست]]<ref group="پانویس">Harry Nyquist</ref> در مقاله‌ای به نام «عوامل خاصیویژه ای که سرعت تلگراف را تحت تأثیر قرارمی می‌دهندهنایند»<ref group="پانویس">Certain Factors Affecting Telegraph Speed</ref> انجام شد. نایکویست وجود نرخ ماکزیممبیشینه فرستادن اطلاعات را متوجهپی شدهبرده و فرمولی جهتبرای اَفماردن (محاسبه) این نرخ ماکزیممبیشینه، ارائهپیش کردنهاد. کار مهم دیگر در این زمان مقاله «ترابُرد ازدایش» در سال ۱۹۲۸ میلادی توسطبدست هارتلی<ref group="پانویس">R.V.L. Hartley</ref> بود که اولیننخستین پایه‌های ریاضی نگره ازدایش را بناپی گذاشتنهاد.<ref name="Britanica"/>

تولد واقعی نگره ازدایش را به مقاله «نگره ریاضی مخابرات»<ref group="پانویس">The Methematical Theory of Communication</ref> توسط [[کلاود شانون]] نسبت داد. یکی از نکات اصلی مقاله شانون نگاه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها حملمی می‌کنندبرند جدا کرد، در حالی که پیش از او اطلاعاتازدایش موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقلمی می‌کندترابرد جدا در نظر گرفتهانگاشته نمی‌شد. شانون همچنین به این نکته درنگریست که طول یک سیگنال همیشه متناسب با میزان ازدایش آن نیست. مثلاً نقلآورده شده‌استاند که در نامه‌ای که [[ویکتور هوگو]] به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقطتنها حاویدربردارنده نماد «!» بود. این دو نماد برای هر دو طرفدو، حاویدربردارنده ازدایش زیادیبسیاری می‌باشد، هرچند از دید بیننده ای که معانی آنها را نداند، بی‌معنی هستند. مثال دیگر این جمله‌ایجمله‌ طولانیدرازی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که پرسمان (مسئله) فرستادن سیگنال‌ها را از فرستادن معانی موجود در آنها جدا کرده،جداییده، و برای موضوع اول نگره ریاضی ای تولید نمودساخت.<ref name="Britanica"/>

شانون در آن زمان در آزمایشگاه بل*<ref>Bell Laboratories</ref> مشغولکار بهمی کار بودکرد و سعیدر درزمینه تعبیه خطوط تلفن با ضریب اعتماد بالا داشتمی کوشید. پیش از شانون عوامل موثر در استفادهبکارگیری بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثربیشینه مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخصآشکار بودنبود. شانون پس از ارائهپیشنهاد تعریفی ریاضی از [[کانال مخابراتی]]، ''[[ظرفیت کانال|ظرفیتی]]'' به کانال مخابراتی نسبت داد که بیانگر میزاناندازه حداکثربیشینه ازدایشی است که روی کانال می‌توان مخابره کردفرستاد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون [[نویزنوفه]])، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر [[پهنای باند کانال]]، و نسبت توان سیگنال فرستادنی به اغتشاش ([[نسبت سیگنال به نویز]]) بر ظرفیت کانال را را آشکار می‌کرد.<ref name="Britanica"/>

مفهوم ازدایشی که توسط شانون بررسی شد ازدایش از دید ''آمار و احتمالات'' بوده و با مفاهیم روزمره از ازدایش مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعاتازدایگان»، «واکاوی اطلاعاتازدایگان»، «چهارراه ازدایش» و غیره تفاوت می‌دارد. اگر چه نگره ازدایش رشته‌های دیگر مانند روان‌شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری ازدایش» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم ازدایش بوده‌است.<ref>SAYRE, KENNETH M. (1998). Information theory. In E. Craig (Ed.), Routledge Encyclopedia of Philosophy. London: Routledge.</ref>

در این نگره، [[کلاود شانون]] نحوهٔ [[مدل‌سازی]] مسئله فرستادن اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی نموده، و مدل کاملی برای [[مدل‌سازی ریاضی]] منبع اطلاعات،ازدایش، کانال فرستادن اطلاعاتازدایش و بازیابی آن ارائهپشنهاده نموده‌استاست. او مسالهٔ فرستادن اطلاعاتازدایش از یک منبع به یک مقصد را به کمکیاری علمدانش احتمالات بررسی و واکاوی نمود. دو نتیجهٔپیامد بسیار مهم، معروف به [[قضیه|قضیه‌های]] شانون، عبارت‌اند از:

۱- حداقلکمینه میزاناندازه نرخی که می‌توان نرخ فشرده کردن ازدایش یک منبع تصادفی اطلاعات را به آن پاوند کرد (محدود نمود) برابر با [[آنتروپی ازدایش|آنتروپی]] آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع ازدایش را با کمتر از آنتروپی آن منبع فرستادن نمود.

۲- حداکثربیشینه میزانانازه نرخی که می‌توان بر روی یک کانال مخابراتی ازدایش فرستادن نمودفرستاد به نحوی که قادر به آشکارسازی ازدایش در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن [[ظرفیت کانال]] می‌گوئیم. فرستادن با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود.

این زمینه از علمدانش مخابرات، به زیربخش‌های [[کدگذاری منبع]] و [[کدگذاری کانال]] تقسیم می‌گردد. مباحث [[رمزنگاری]] مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان [[نگره کدینگ جبری کانال]] را نام برد.

نگره ازدایش بر مبنای ''نظریهنگره ی احتمالات'' و ''علم استاتیک(ایستایی شناسی)'' به وجودپدید آمده است. مهم ترین کمیت های مربوط به ازدایش عبارتند از:

انتخابگزینش مبنای لگاریتم در فرمول زیر، نوع واحد آنتروپی ازدایش را مشخص می کند. رایج ترین واحد ازدایش، بیت است که بر مبنای لگاریتم دودویی(باینری) است. دیگر واحد ها شامل نت(بر اساس لگاریتم طبیعی) و هارتلی(بر اساس لگاریتم معمولی) هستند.

پیرو مطالب قبل،پیشین، در یک عبارت به شکل <math>p \log p \</math> ، زمانی که <math>p=0</math> است، طبق قرارداد، عبارت هم برابر صفر در نظر گرفتهانگاشته می شود. این مطلب به راحتی اثبات می شود؛ چون مقدار حدی p log p هنگامی که مقدار p همسایگی راست صفر میل می کند،گراید، برابر با صفر است.