اصل حداکثر آنتروپی

اصل حداکثر آنتروپی بیان می‌نماید توزیعی که با توجه به اطلاعات داده‌شده یا داده‌های مورد آزمایش بهترین حالت را نشان می‌دهد، توزیعی است که حداکثر آنتروپی را دارا می‌باشد.

آنتروپی در نظریه اطلاعات معیاری عددی از میزان اطلاعات یا میزان تصادفی بودن یک متغیر تصادفی است. به بیان دقیق‌تر آنتروپی یک متغیر تصادفی، امیدریاضی میزان اطلاعات حاصل از مشاهدهٔ آن است. همچنین آنتروپی یک منبع اطلاعات، حد پایین امید بهترین نرخ فشرده‌سازی بدون اتلاف داده‌ها برای آن منبع است.

شرح اصل

از اصل حداکثر آنتروپی زمانی استفاده می‌گردد که یک سری اطلاعات دربارهٔ یک توزیع احتمال وجود دارد، ولی این اطلاعات به اندازه‌ای کافی نمی‌باشند که با استفاده از آن‌ها بتوانیم توزیع را مشخص نماییم. نخست در زیر به ارائه مفهوم آنتروپی پرداخته و سپس به شرح این اصل می‌پردازیم.

آنتروپی یک مشخصه از توزیع احتمال است که میانگین شگفتی کلیه پیشامدها را نشان می‌دهد. شگفتی یک پیشامد مقدار شگفت‌زدگی ما در صورت رخداد آن پیشامد است!برای مثال یک فضای نمونه از $n$ پیشامد را که احتمال رخداد پیشامد $i$برابر با $P_{i}$است را در نظر بگیرید.شگفتی رخداد پیشامد $i$برابر با $-\log {P_{i}}$تعریف می‌شود. بنابر این شگفتی از بی‌نهایت شروع شده و به صفر کاهش می‌یابد. یعنی اگر $P_{i}$برابر با صفر باشد شگفتی رخداد پیشامد برابر با بی‌نهایت و اگر برابر با یک باشد شگفتی رخداد پیشامد برابر با صفر می‌باشد. آنتروپی برابر با امیدریاضی تمامی شگفتی‌ها می‌باشد که فرمول آن در زیر آورده شده‌است.

$Entropy=-\sum _{i=1}^{n}{P_{i}\log {P_{i}}}$

اصل حداکثر آنتروپی بیان می‌کند بهترین توزیعی که می‌توان از یک سری اطلاعات داده شده به دست آورد، توزیعی است که بیشترین آنتروپی را دارا می‌باشد، یا به عبارتی میزان غیرقابل پیش‌بینی بودن آن نسبت به دیگر توزیع‌هایی که با اطلاعات موجود می‌توان ساخت بیشتر می‌باشد. برای مثال فرض کنید از یک توزیع احتمالاتی تنها میانگین و واریانس آن را داریم. با استفاده از اطلاعات داده شده بی‌نهایت متغیرتصادفی قابل‌تولید است. اما متغیرتصادفی را انتخاب می‌نماییم که حداکثر آنتروپی را دارا می‌باشد.

محدوده کاربرد

اصل حداکثر آنتروپی تنها زمانی کاربرد دارد که ما با اطلاعات سنجش‌پذیر سروکار داریم. اطلاعات سنجش‌پذیر دسته ای از اطلاعات دربارهٔ توزیع احتمالی می‌باشند که درستی یا غلطی آن به‌طور مشخص تعریف شده باشد. برای مثال امید ریاضی X برابر با ۲.۷۸ باشد و $p_{2}+p_{3}>0.6$ باشد فرضیاتی از اطلاعات سنجش‌پذیر می‌باشند. با اطلاعات سنجش‌پذیر داده شده، روند پیدا کردن حداکثر آنتروپی شامل پیدا کردن توزیعی که بیشترین آنتروپی اطلاعات را دارا باشد می‌باشد.

ارتباط با فیزیک

اصل حداکثر آنتروپی ارتباطی با فرضی کلیدی از نظریه جنبشی گازها که به عنوان هرج‌ومرج مولکولی شناخته می‌شود دارد. ادعا می‌شود ذراتی که وارد برخورد می‌شوند را می‌توان با استفاده از اصل حداکثر آنتروپی مشخص نمود. اگرچه این بیانیه می‌تواند به عنوان یک نظریه فیزیکی شناخته شود، ولی می‌توان آن را به عنوان فرضیه‌ای مبتنی‌بر محتمل‌ترین پیکربندی ذرات پیش از انجام برخورد دانست. در واقع پیش از برخورد،ذرات آرایشی را به خود می‌گیرند که بیشترین آنتروپی ممکن را دارا باشند.