فرض چندگانه

فرض چندگانه ویرایش

فرضیه چندگانه بیان می‌کند که داده‌های با ابعاد بالا در دنیای واقعی بر روی فضا با بعد کمتر می‌توانند قرار گیرند. فرضیه چندگانه در واقع فقط یک اصطلاح فنی است که برای طبقه بندی فضاهایی با ابعاد دلخواه استفاده می‌شود. برای هر عدد کامل یک فضای مسطح به نام فضای اقلیدسی وجود دارد که ویژگی‌هایی بسیار شبیه به دستگاه مختصات دکارتی دارد^[۱]. به عنوان مثال، قضیه فیثاغورس در فضای مسطح برقرار است و بنابراین کوتاه‌ترین فاصله بین نقاط یک خط مستقیم است (در مقابل، این در یک دایره یا کره صادق نیست). بعد یک فضای اقلیدسی اساساً تعداد درجات آزادی (مستقل) است - اساساً تعداد جهات (متعامد) که می توان در داخل فضا "حرکت" کرد^[۲]. یک خط دارای یک چنین بعدی است، یک صفحه نامتناهی دارای 2، و یک حجم نامتناهی دارای 3 و به همین ترتیب تا n می‌توان پیش رفت. فرضیه چندگانه اساساً تعمیم فضای اقلیدسی است به طوری که به صورت محلی (مناطق کوچک) تقریباً با فضای اقلیدسی یکسان است اما کل فضا وقتی به طور کامل مشاهده می‌شود نمی‌تواند ویژگی‌های یکسان فضای اقلیدسی را داشته باشد. نتیجه این است که اکنون طبقات فضاهایی که حساب دیفرانسیل و انتگرال بر اساس آنها منطقی است، گسترش یافته و فضاهایی را شامل می‌شود که ممکن است به روش‌های دلخواه منحنی شوند، یا حتی حفره هایی مانند دونات داشته باشند.^[۳]

فرضیه چندگانه به اثربخشی تکنیک‌های کاهش غیرخطی ابعاد در یادگیری ماشین مربوط می‌شود. بسیاری از تکنیک‌های کاهش ابعادی این فرض را ایجاد می‌کنند که داده‌ها در امتداد یک زیرمنیفولد کم‌بعد قرار دارند، مانند تراز منیفولد و منظم‌سازی منیفولد.

مثالی از کاربرد فرضیه چندگانه ویرایش

بنابراین اکنون این ایده را می‌گیریم و آن را برای داده های با ابعاد بالا اعمال می‌کنیم. تصور کنید ما علاقه مند به طبقه بندی تمام تصاویر (سیاه و سفید) با ابعاد mxn هستیم. هر پیکسل یک مقدار عددی دارد و هر پیکسل بسته به نوع تصویر می‌تواند متفاوت باشد، به عنوان مثال بخشی از صورت انسان تا یک نویز بی معنی. نکته این است که ما mxn درجه آزادی داریم، بنابراین می‌توانیم تصویری از mxn پیکسل را به عنوان یک نقطه در فضایی با ابعاد N=mn در نظر بگیریم، حال مجموعه تمام تصاویر mxn که یک گربه را مشخص می‌کنند، در نظر بگیرید. واضح است که با این شرط، مقدار و رابطه‌ای که بین پیکسل‌ها وجود دارد، محدود می‌شود. بدیهی است که انتخاب‌های تصادفی، تصویری از گربه را تولید نمی‌کنند. بنابراین، ما انتظار داریم که آزادی انتخاب کمتری وجود داشته باشد و از این رو:

فرضیه چندگانه بیان می‌کند که این زیرمجموعه در واقع باید در فضایی با ابعاد پایین‌تر قابل نمایش باشد، در واقع ابعادی بسیار بسیار کوچکتر از N.

اهمیت این قضیه در یادگیری ماشین ویرایش

فرضیه چندگانه توضیح می‌دهد که چرا تکنیک‌های یادگیری ماشینی قادر به یافتن ویژگی های مفید و تولید پیش بینی‌های دقیق از مجموعه داده‌هایی هستند که دارای تعداد بالقوه زیادی ابعاد (متغیرها) هستند. این واقعیت که مجموعه داده‌های واقعی مورد علاقه در واقع در فضایی با ابعاد پایین‌تر قابل نمایش هستد، به این معنی است که یک مدل یادگیری ماشین معین فقط باید یاد بگیرد که روی چند ویژگی کلیدی مجموعه داده برای تصمیم‌گیری تمرکز کند. با این حال، این ویژگی‌های کلیدی ممکن است توابع پیچیده از متغیرهای اصلی باشند.

فرض چندگانه در یادگیری عمیق ویرایش

همانطور که می‌دانیم، در هر لایه از شبکه عصبی ، نخست ورودی لایه در وزن‌ها ضرب می‌شود و سپس با مقدار ثابتی جمع می‌شود و در نهایت هم از تابع فعال‌سازی گذر می‌کند تا خروجی آن بخش به دست آید.

اگر بیشتر به لایه‌های شبکه عصبی استاندارد فکر کنیم – یعنی با یک تبدیل وابسته و به دنبال آن یک تابع فعال‌سازی نقطه‌ای – بیشتر متوجه می‌شویم که این نوع استفاده، برای فرضیه چندگانه مناسب نیست چون که عملا از همان ابعاد داریم استفاده می‌کنیم و تنها تعداد نورون‌ها را می‌توان کم یا زیاد کرد که هدفش با فرضیه چندگانه متفاوت است. چیزی که طبیعی است این است که یک میدان برداری را در جهتی که می‌خواهیم فرضیه چندگانه را اعمال کنیم، به وجود آوریم و سپس فضا را بر اساس آن تغییر شکل دهیم.

می توان میدان برداری را در نقاط ثابت یاد گرفت (فقط چند نقطه ثابت را از مجموعه آموزشی بگیرید تا به عنوان لنگر استفاده کنید) و به نوعی درون یابی کنید. فیلد برداری بالا به شکل زیر است:

که در آن v₀ و v₁ بردار هستند و f₀(x) و f₁(x) گاوسی های n بعدی هستند. این کمی از توابع پایه شعاعی الهام گرفته شده است^[۴].

منابع ویرایش

↑ Cayton, L., 2005. Algorithms for manifold learning. Univ. of California at San Diego Tech. Rep, 12(1-17), p.1.
↑ Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan (2016-02-09). "Testing the manifold hypothesis".
↑ DeepAI, Manifold Hypothesis
↑ Christopher Olah, Neural Networks, Manifolds, and Topology

مطالعه‌ی بیشتر ویرایش

Brown, Bradley C. A.; et al. (2022). "The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling". arXiv:2207.02862.

[1] Cayton, L., 2005. Algorithms for manifold learning. Univ. of California at San Diego Tech. Rep, 12(1-17), p.1.

[2] Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan (2016-02-09). "Testing the manifold hypothesis".

[3] DeepAI, Manifold Hypothesis

[4] Christopher Olah, Neural Networks, Manifolds, and Topology

[۱]

[۲]

[۳]

[۴]