قضیه کدگذاری منبع شانون

قضیه کدگذاری منبع شانون (به انگلیسی: Shannon's source coding theorem) (و یا قضیه کدگذاری بدون نویز) در نظریه اطلاعات، محدودیت حداکثر فشرده سازی داده‌ها و معنای عملیاتی آنتروپی شانون را مشخص می‌کند.

قضیه کدگذاری منبع شانون نشان می‌دهد که نمیتوان داده‌ها چنان فشرده کرد که بدون آن که اطلاعات از دست برود ،کد ریت (متوسط تعداد بیت در هر نماد) کمتر از آنتروپی شانون منبع شود.

قضیه کدگذاری منبع برای کدهای نماد ، یک حد بالایی و پایین را در حداقل طول انتظار ممکن از codewords به عنوان تابعی از آنتروپی کلمه ورودی (که به عنوان یک متغیر تصادفی مشاهده می شود) و از اندازه الفبای هدف قرار می دهد.

اظهارات

کدگذاری منبع یک نگاشت از (دنباله) نمادها از یک منبع اطلاعات به دنباله‌ای از نمادها (معمولاً بیت) است به طوری که که منبع نمادها را بتوان دقیقاً از بیت‌های دودویی به دست آورد (کدینگ lossless)

قضیه کدگذاری منبع

در نظریه اطلاعات از منبع برنامه‌نویسی قضیه (شانون در سال 1948) غیررسمی آمده است که (مککی 2003). 81, پوشش:فصل 5):

Nمتغیرهای تصادفی هر کدام را با آنتروپی H(X)می توان به بیش از N H(X) بیت با اغماض خطر از دست دادن اطلاعات فشرده کرد زمانی که N → ∞; اما اگر آنها فشرده به کمتر از N H(X) بیت شود تقریباً مسلم است که اطلاعات از دست خواهد رفت.