مدل مارکوف

در نظریه احتمال، یک مدل مارکوف یک مدل تصادفی است که برای مدل‌سازی سیستم‌های با تغییر شبه تصادفی استفاده می‌شود. فرض بر این است که وضعیت‌های آینده فقط به وضعیت فعلی بستگی دارد، نه به رویدادهایی که قبل از آن رخ داده‌است (یعنی ویژگی مارکوف را فرض می‌کند). به‌طور کلی، این فرض استدلال و محاسبات را با مدلی که در غیر این صورت غیرقابل حل بود، امکان‌پذیر می‌کند. به همین دلیل، در زمینه‌های مدل‌سازی پیش‌بینی‌کننده و پیش‌بینی احتمالی، مطلوب است که یک مدل معین ویژگی مارکوف را نشان دهد.

مدل مارکوف

مقدمه

بسته به اینکه آیا هر حالت متوالی مشاهده‌پذیر است یا نه و اینکه آیا سیستم بر اساس مشاهدات انجام شده تنظیم می‌شود، چهار مدل رایج مارکوف در موقعیت‌های مختلف استفاده می‌شود:

مدل‌های مارکوف

	حالت سیستم مشاهده‌پذیر است	حالت سیستم به‌طور جزئی مشاهده‌پذیر است
سیستم خودگردان است	زنجیر مارکوف	مدل مارکوف پنهان
سیستم کنترل‌شده است	فرایندهای تصمیم‌گیری مارکوف	فرایند تصمیم‌گیری مارکوف مشاهده‌پذیر جزئی

زنجیر مارکوف

مقالهٔ اصلی: زنجیر مارکوف

ساده‌ترین مدل مارکوف زنجیره مارکوف است. وضعیت یک سیستم را با یک متغیر تصادفی که در طول زمان تغییر می‌کند مدل می‌کند. در این زمینه، ویژگی مارکوف نشان می‌دهد که توزیع برای این متغیر فقط به توزیع یک حالت قبلی بستگی دارد. نمونهٔ استفاده از زنجیره مارکوف، زنجیره مارکوف مونت کارلو است، که از ویژگی مارکوف برای اثبات اینکه یک روش خاص برای انجام یک گام تصادفی از توزیع مشترک نمونه برداری می‌کند، استفاده می‌کند.

مدل مارکوف پنهان

مقالهٔ اصلی: مدل مارکوف پنهان

یک مدل مارکوف پنهان یک زنجیره مارکوف است که وضعیت آن فقط تا حدی مشاهده‌پذیر است یا به‌طور پر سر و صدا مشاهده‌پذیر است. به عبارت دیگر، مشاهدات مربوط به وضعیت سیستم هستند، اما معمولاً برای تعیین دقیق وضعیت کافی نیستند. چندین الگوریتم معروف برای مدل‌های پنهان مارکوف وجود دارد. به عنوان مثال، با توجه به دنباله ای از مشاهدات، الگوریتم ویتربی محتمل‌ترین دنباله متناظر از حالت‌ها را محاسبه می‌کند، الگوریتم جلورونده احتمال دنباله مشاهدات را محاسبه می‌کند، و الگوریتم الگوریتم باوم-ولچ احتمالات شروع، تابع انتقال و تابع مشاهده یک مدل مارکوف پنهان را تخمین می‌زند. یکی از کاربردهای رایج برای تشخیص گفتار است که در آن داده‌های مشاهده شده شکل موج صوتی گفتار و حالت پنهان متن گفتاری است. در این مثال، الگوریتم ویتربی محتمل‌ترین دنباله کلمات گفته شده را با توجه به صدای گفتار پیدا می‌کند.

فرایندهای تصمیم‌گیری مارکوف

مقالهٔ اصلی: فرایندهای تصمیم‌گیری مارکوف

فرایند تصمیم‌گیری مارکوف یک زنجیره مارکوف است که در آن انتقال حالت به وضعیت فعلی و بردار عملی که بر روی سیستم اعمال می‌شود بستگی دارد. به‌طور معمول، یک فرایند تصمیم مارکوف برای محاسبه سیاست اقداماتی استفاده می‌شود که برخی از مطلوبیت‌ها را با توجه به پاداش‌های مورد انتظار به حداکثر می‌رساند.

فرایند تصمیم‌گیری مارکوف مشاهده‌پذیر جزئی

فرایند تصمیم‌گیری مارکوف تا حدی مشاهده‌پذیر (POMDP) یک فرایند تصمیم‌گیری مارکوف است که در آن وضعیت سیستم فقط تا حدی مشاهده می‌شود. این تصمیم‌ها به عنوان NP کامل شناخته می‌شوند، اما تکنیک‌های تقریب اخیر آنها را برای کاربردهای مختلف، مانند کنترل عامل‌های ساده یا ربات‌ها مفید ساخته‌است.

میدان تصادفی مارکوفی

مقالهٔ اصلی: میدان تصادفی مارکوفی

یک میدان تصادفی مارکوف، یا شبکه مارکوف، ممکن است یک کلیت از زنجیره مارکوف در ابعاد چندگانه در نظر گرفته شود.در یک زنجیره مارکوف، هر حالت فقط به حالت قبلی در زمان بستگی دارد، در حالی که در یک میدان تصادفی مارکوف، هر حالت در هر یک از جهات چندگانه به همسایگان خود وابسته است. یک میدان تصادفی مارکوف ممکن است به عنوان یک میدان یا گرافی از متغیرهای تصادفی تجسم شود، که در آن توزیع هر متغیر تصادفی به متغیرهای همسایه ای که با آنها مرتبط است بستگی دارد. به طور خاص، توزیع مشترک برای هر متغیر تصادفی در گراف را می توان به عنوان حاصل ضرب "پتانسیل های خوشه" همه خوشه های موجود در نمودار که حاوی آن متغیر تصادفی هستند، محاسبه کرد. مدل‌سازی یک مسئله به‌عنوان یک میدان تصادفی مارکوف مفید است زیرا نشان می‌دهد که توزیع‌های مشترک در هر رأس در گراف ممکن است به این روش محاسبه شود.

مدل های مارکوف سلسله مراتبی

مدل های مارکوف سلسله مراتبی را می توان برای دسته بندی رفتار انسان در سطوح مختلف انتزاع به کار برد. به عنوان مثال، یک سری از مشاهدات ساده، مانند مکان یک فرد در یک اتاق، می تواند برای تعیین اطلاعات پیچیده تر تفسیر شود، مانند اینکه فرد در چه کار یا فعالیتی انجام می دهد. دو نوع مدل مارکوف سلسله مراتبی عبارتند از مدل مارکوف پنهان سلسله مراتبی و مدل مارکوف پنهان انتزاعی. از هر دو برای تشخیص رفتار استفاده شده است و ویژگی‌های استقلال شرطی معینی بین سطوح مختلف انتزاع در مدل امکان یادگیری و استنتاج سریع‌تر را می‌دهد.

مدل مارکوف متحمل

یک مدل زنجیره مارکوف احتمالی-الگوریتمی است. این احتمالات را با توجه به زمینه شرطی اختصاص می دهد که آخرین نماد را از دنباله ای که رخ می دهد، به عنوان محتمل ترین نماد به جای نماد واقعی در نظر می گیرد. یک مدل مارکوف متحمل می‌تواند سه ماهیت مختلف را مدل‌سازی کند: جایگزینی، حدف و اضافه. کاربردهای موفقیت آمیز به طور موثر در فشرده سازی توالی های DNA اجرا شده است.

مدل های پیش بینی زنجیره مارکوف

زنجیره های مارکوف به عنوان یک روش پیش بینی برای چندین موضوع استفاده شده است، به عنوان مثال، روند قیمت، نیروی باد، و تابش خورشیدی. مدل‌های پیش‌بینی زنجیره مارکوف از تنظیمات مختلف، از گسسته‌سازی سری‌های زمانی گرفته تا مدل‌های پنهان مارکوف همراه با موجک‌ها و مدل توزیع مخلوط زنجیره مارکوف (MCM) استفاده می‌کنند.