یادگیری عمیق توپولوژیکی (TDL)

حوزه ای را در تقاطع توپولوژی و یادگیری عمیق نشان می دهد و رویکردهایی را برای تجزیه و تحلیل و یادگیری از داده های ساختار یافته در فضاهای توپولوژیکی ارائه می دهد. با استفاده از اصول توپولوژی، TDL رویکردی برای درک و پردازش داده های پشتیبانی شده در فضاهای توپولوژیکی ارائه می دهد.

انگیزه

یادگیری عمیق معمولی اغلب با این فرض عمل می کند که داده های مورد بررسی در یک فضای برداری خطی قرار دارند و می توانند به طور موثر با استفاده از بردارهای ویژگی مشخص شوند. با این حال، به رسمیت شناختن فزاینده ای وجود دارد که این دیدگاه مرسوم ممکن است برای توصیف مجموعه داده های مختلف دنیای واقعی ناکافی باشد. برای مثال، مولکول‌ها به‌طور مناسب‌تری به‌عنوان نمودار نشان داده می‌شوند تا بردارهای ویژگی. به طور مشابه، اشیاء سه بعدی، مانند آنهایی که در گرافیک کامپیوتری و پردازش هندسه با آن مواجه می شوند، بهتر به عنوان مش نمایش داده می شوند. به‌علاوه، داده‌هایی که از شبکه‌های اجتماعی سرچشمه می‌گیرند، جایی که بازیگران به روش‌های پیچیده‌ای به هم متصل هستند، توصیف‌های ساده مبتنی بر برداری را به چالش می‌کشند. در نتیجه، علاقه به ادغام مفاهیم از توپولوژی در چارچوب‌های یادگیری عمیق سنتی برای به دست آوردن نمایش ساختاری دقیق‌تر از داده‌های اساسی افزایش یافته است.

مقدمه ای بر حوزه های توپولوژیکی

یکی از مفاهیم اصلی در یادگیری عمیق توپولوژیکی دامنه ای است که این داده ها بر اساس آن تعریف و پشتیبانی می شوند. در مورد داده های اقلیدسی، مانند تصاویر، این دامنه یک شبکه است که مقدار پیکسل تصویر بر روی آن پشتیبانی می شود. در یک محیط کلی تر، این دامنه ممکن است یک دامنه توپولوژیکی باشد. در مرحله بعد، رایج ترین حوزه های توپولوژیکی را که در یک محیط یادگیری عمیق با آنها مواجه می شوند، معرفی می کنیم. این حوزه ها شامل گراف ها، کمپلکس های ساده، کمپلکس های سلولی، کمپلکس های ترکیبی و هایپرگراف هستند، اما نه محدود به آنها.

با توجه به یک مجموعه محدود S از موجودات انتزاعی، یک تابع همسایگی 𝑁 {\displaystyle {\mathcal {N}}} در S تخصیصی است که به هر نقطه متصل می شود {\displaystyle x} 𝑥 در S زیر مجموعه ای از S یا یک رابطه. چنین تابعی را می توان با تجهیز S به یک ساختار کمکی القا کرد. یال ها یک راه برای تعریف روابط بین موجودات S ارائه می دهند. به طور خاص، یال ها در یک نمودار به فرد اجازه می دهد تا مفهوم همسایگی را با استفاده از مفهوم همسایگی یک هاپ تعریف کند. با این حال، یال‌ها ظرفیت مدل‌سازی محدودی دارند، زیرا فقط می‌توانند برای مدل‌سازی روابط باینری بین موجودات S استفاده شوند، زیرا هر یال معمولاً به دو موجودیت متصل است. در بسیاری از کاربردها، اجازه دادن به روابطی که بیش از دو موجودیت را در بر می گیرند، مطلوب است. ایده استفاده از روابطی که بیش از دو موجودیت را شامل می شود، در حوزه های توپولوژیکی مرکزی است. چنین روابط مرتبه بالاتری اجازه می دهد تا طیف وسیع تری از توابع همسایگی در S تعریف شود تا تعاملات چند طرفه بین موجودیت های S را به تصویر بکشد.

در ادامه، ویژگی‌های اصلی، مزایا و معایب برخی از حوزه‌های توپولوژیکی معمولاً مورد مطالعه را در زمینه یادگیری عمیق، از جمله مجتمع‌های ساده (انتزاعی)، کمپلکس‌های سلولی منظم، هایپرگراف‌ها و مجتمع‌های ترکیبی مرور می‌کنیم.

مقایسه بین حوزه های توپولوژیکی

هر یک از حوزه های توپولوژیکی برشماری ویژگی ها، مزایا و محدودیت های خاص خود را دارند:

مجتمع های ساده
- ساده ترین شکل دامنه های مرتبه بالاتر.
- برنامه های افزودنی مدل های مبتنی بر نمودار
- ساختارهای سلسله مراتبی را بپذیرید و آنها را برای کاربردهای مختلف مناسب کنید.
- نظریه هاج را می توان به طور طبیعی بر روی کمپلکس های ساده تعریف کرد.
- نیاز است که روابط زیرمجموعه‌ای از روابط بزرگ‌تر باشند و محدودیت‌هایی را بر ساختار تحمیل کنند.

مجتمع های سلولی
- تعمیم مجتمع های ساده
- انعطاف پذیری بیشتری در تعریف روابط مرتبه بالاتر فراهم کنید.
- هر سلول در یک مجموعه سلولی همومورفیک به یک توپ باز است که از طریق نقشه های متصل به یکدیگر متصل شده اند.
- سلول های مرزی هر سلول در مجموعه سلولی نیز سلول های موجود در مجتمع هستند.
- به صورت ترکیبی از طریق ماتریس های بروز نشان داده می شود.

هایپرگراف ها
- اجازه دادن به روابط دلخواه از نوع مجموعه بین موجودیت ها.
- روابط توسط روابط دیگر تحمیل نمی شوند و انعطاف پذیری بیشتری را فراهم می کنند.
- بعد سلول ها یا روابط را به صراحت رمزگذاری نکنید.
- زمانی مفید است که روابط در داده ها به محدودیت های اعمال شده توسط مدل های دیگر مانند مجتمع های ساده و سلولی پایبند نباشد.

مجتمع های ترکیبی:
- شکاف های بین کمپلکس های ساده، کمپلکس های سلولی و هایپرگراف ها را تعمیم دهید و پل بزنید.
- ساختارهای سلسله مراتبی و روابط نوع مجموعه را در نظر بگیرید.
- ترکیب ویژگی های مجتمع های دیگر در حالی که انعطاف پذیری بیشتری در روابط مدل سازی فراهم می کند.
- می تواند به صورت ترکیبی، مشابه کمپلکس های سلولی نمایش داده شود.

ساختار سلسله مراتبی و روابط نوع مجموعه

ویژگی‌های کمپلکس‌های ساده، کمپلکس‌های سلولی و هایپرگراف‌ها دو ویژگی اصلی روابط را در حوزه‌های مرتبه بالاتر ایجاد می‌کنند، یعنی سلسله مراتب روابط و روابط نوع مجموعه.

تابع رتبه

یک تابع رتبه در یک دامنه مرتبه بالاتر X یک تابع حفظ مرتبه rk است: X → Z، که در آن rk(x) یک مقدار صحیح غیر منفی را به هر رابطه x در X متصل می کند و گنجاندن مجموعه را در X حفظ می کند. سلول و ساده مجتمع‌ها نمونه‌های رایج حوزه‌های مرتبه بالاتر هستند که به توابع رتبه و در نتیجه سلسله مراتب روابط مجهز هستند.

روابط نوع مجموعه

روابط در یک دامنه مرتبه بالاتر روابط نوع مجموعه نامیده می شوند اگر وجود یک رابطه توسط رابطه دیگری در دامنه مستلزم نباشد. هایپرگراف ها نمونه هایی از دامنه های مرتبه بالاتر مجهز به روابط نوع مجموعه را تشکیل می دهند. با توجه به محدودیت‌های مدل‌سازی مجتمع‌های ساده، مجتمع‌های سلولی و ابرگراف‌ها، ما مجتمع ترکیبی را توسعه می‌دهیم، یک دامنه مرتبه بالاتر که هم سلسله مراتب روابط و هم روابط نوع مجموعه را دارد.

یادگیری در فضاهای توپولوژیکی

وظایف یادگیری در TDL را می توان به طور کلی به سه دسته طبقه بندی کرد:

طبقه بندی سلول: پیش بینی اهداف برای هر سلول در یک مجتمع. مثال‌ها شامل تقسیم‌بندی مش مثلثی است، که در آن وظیفه پیش‌بینی کلاس هر وجه یا لبه در یک مش مشخص است.
طبقه بندی مجتمع: پیش بینی اهداف برای کل مجموعه. به عنوان مثال، کلاس هر مش ورودی را پیش بینی کنید.
پیش‌بینی سلول: ویژگی‌های برهم‌کنش‌های سلولی را در یک مجتمع پیش‌بینی می‌کند، و در برخی موارد، پیش‌بینی اینکه آیا یک سلول در مجتمع وجود دارد یا خیر. یک مثال، پیش‌بینی پیوند بین موجودات در لبه‌های یک هایپرگراف است.

در عمل برای انجام وظایف فوق الذکر باید مدل های یادگیری عمیق طراحی شده برای فضاهای توپولوژیکی خاص ساخته و اجرا شوند. این مدل‌ها که به عنوان شبکه‌های عصبی توپولوژیکی شناخته می‌شوند، برای عملکرد مؤثر در این فضاها طراحی شده‌اند.

شبکه های عصبی توپولوژیکی

شبکه‌های عصبی توپولوژیکی (TNN) در مرکز TDL قرار دارند، معماری‌های تخصصی که برای کار بر روی داده‌های ساختار یافته در حوزه‌های توپولوژیکی طراحی شده‌اند. و کمپلکس های سلولی با استفاده از توپولوژی ذاتی داده ها، TNN ها می توانند هم روابط محلی و هم جهانی را به تصویر بکشند و تجزیه و تحلیل و تفسیر دقیق را ممکن می سازند.

ارسال پیام از شبکه های عصبی توپولوژیکی

در یک حوزه توپولوژیکی عمومی، ارسال پیام مرتبه بالاتر شامل تبادل پیام بین موجودیت ها و سلول ها با استفاده از مجموعه ای از توابع همسایگی است.

شبکه های عصبی توپولوژیکی بدون عبور پیام

در حالی که اکثر TNN ها از پارادایم ارسال پیام پیروی می کنند. چند مدل پیشنهاد شده است که این مدل نمی افتد. به عنوان مثال، در اهرم اطلاعات هندسی از مجتمع های ساده که در فضاهای چند بعدی با استفاده از مختصات گره جاسازی شده اند. این قابلیت تفسیر و سازگاری هندسی را بدون تکیه بر ارسال پیام ارائه می دهد. علاوه بر این، در یک روش متضاد مبتنی بر ضرر برای یادگیری بازنمایی ساده پیشنهاد شد.

برنامه های کاربردی

TDL به سرعت در حال یافتن برنامه های جدید در زمینه های مختلف از جمله فشرده سازی داده ها، افزایش ظرفیت بیانی شبکه های عصبی گراف، تشخیص عمل و پیش بینی مسیر است.

منابع

حاجیج، م. زمزمی، جی. پاپامارکو، تی. میولن، ن. گوزمان-سانز، آ. رامورتی، ک.ن. Schaub، M. T. (2022)، یادگیری عمیق توپولوژیکی: فراتر از داده های نمودار.
پاپیلون، م. سنبورن، اس. حاجیج، م. Miolane، N. (2023). "معماری یادگیری عمیق توپولوژیکی: بررسی شبکه های عصبی توپولوژیکی".
ابلی، س. دیفرارد، ام. Spreemann، G. (2020)، شبکه های عصبی ساده.
باتیلورو، سی. تستا، ال. گیوستی، ال. ساردلیتی، اس. دی لورنزو، پی. بارباروسا، اس. (2023)، شبکه های عصبی توجه ساده تعمیم یافته.
یانگ، م. ایسوفی، ای. (1392)، یادگیری کانولوشنال بر روی مجتمع های ساده.
چن، ی. ژل، ی.ر. پور، H. V. (2022)، "BScNets: بلوک کردن شبکه های عصبی پیچیده ساده"، مجموعه مقالات کنفرانس AAAI در زمینه هوش مصنوعی، 36 (6): 6333-6341.
حاجیج، م. استوان، ک. زمزمی، جی (2020)، شبکه های عصبی پیچیده سلولی.
ماگز، ک. هکر، سی. Rieck، B. (2023)، یادگیری بازنمایی ساده با فرم‌های $ k $ عصبی.
رامورتی، ک.ن. گوزمان سانز، آ. Hajij, M. (2023)، Topo-mlp: یک شبکه ساده بدون ارسال پیام، ص 1-5.
باتیلورو، سی. دی لورنزو، پی. Ribeiro، A. (سپتامبر 2023)، یادگیری فرهنگ لغت پارامتریک برای نمایش سیگنال توپولوژیکی، IEEE، صفحات 1958-1962.

کتابشناسی - فهرست کتب

حاجیج، م. زمزمی، جی. پاپامارکو، تی. میولن، ن. گوزمان-سانز، آ. رامورتی، ک.ن. Schaub، M. T. (2022). "یادگیری عمیق توپولوژیکی: فراتر رفتن از داده های نمودار"arXiv:2206.00606
پاپیلون، م. سنبورن، اس. حاجیج، م. Miolane، N. (2023). "معماری یادگیری عمیق توپولوژیکی: بررسی شبکه های عصبی توپولوژیکی" arXiv:2304.10031
حاجیج، م. پاپیلون، م. فرانتزن، اف. آگربرگ، جی. الجبعه، من. بالستر، آر. Miolane، N. (2024). "TopoX: مجموعه ای از بسته های پایتون برای یادگیری ماشین در حوزه های توپولوژیکی"arXiv:2402.02441