نظریه اطلاعات: تفاوت میان نسخه‌ها

در این نظریه، [[کلاود شانون]] نحوهٔ [[مدل‌سازی]] مسئله ارسال اطلاعات در یک [[کانال مخابراتی]] را به صورت پایه‌ای بررسی کرده، و مدل ریاضی کاملی برای منبع اطلاعات، کانال ارسال اطلاعات و بازیابی اطلاعات ارائه کرده‌است. او مسئلهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل کرد. دو نتیجهٔ بسیار مهم، معروف به [[قضیه]]‌های شانون، عبارت‌اند از:

* حداقل نرخ [[فشرده‌سازی داده‌ها|فشرده‌کردن اطلاعات]] یک منبع تصادفی، برابر با [[آنتروپی اطلاعات|آنتروپی]] آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی یک منبع اطلاعات را با نرخی کمتر از آنتروپی آن منبع ارسال کرد.

 

این دو نتیجه، به ترتیب به [[کدگذاری منبع|کُدینگ منبع]] (source coding) و [[کدگذاری کانال|کدینگ کانال]] (channel coding) می‌انجامند. از موضوعات مرتبط با کدینگ کانال، می‌توان به [[نظریه کدینگ جبری کانال]] (Algebraic coding theory) اشاره کرد.