توهم (هوش مصنوعی)
این مقاله نیازمند ویکیسازی است. لطفاً با توجه به راهنمای ویرایش و شیوهنامه، محتوای آن را بهبود بخشید. |
توهم (به انگلیسی: Hallucination) یا توهم مصنوعی (به انگلیسی: artificial hallucination) در هوش مصنوعی، یک پاسخ مطمئن توسط هوش مصنوعی است که به نظر نمیرسد با دادههای آموزشی آن توجیه شده باشد.[۱] به عنوان مثال، یک چت بات متوهم بدون اطلاع از درآمد شرکت تسلا ممکن است یک عدد تصادفی (مانند ۱۳٫۶ میلیارد دلار) را انتخاب کند که خود، آن را محتمل میداند و سپس به اشتباه و مکرراً اصرار کند که درآمد این شرکت ۱۳٫۶ میلیارد دلار است. درحالی که هیچ سندی مبنی بر این ادعا وجود ندارد و این عدد محصول تخیل آن چتبات است.[۲]
چنین پدیدههایی را «توهم» مینامند که قابله مقایسه با پدیده توهم در روانشناسی انسان است. توجه داشته باشید در حالی که توهم انسانی ادراک انسان است که نمیتواند بهطور معقولی با بخشی از دنیای بیرونی که انسان در حال حاضر مستقیماً با اندامهای حسی آن را مشاهده میکند مرتبط باشد، توهم هوش مصنوعی در عوض پاسخی مطمئن توسط هوش مصنوعی است که از پایه بی اساس است.[۱] توهم هوش مصنوعی در حدود سال ۲۰۲۲ در کنار رونمایی از برخی از «مدلهای زبان بزرگ» (به انگلیسی: Large Language Model) مانند چتجیپیتی برجسته شد. کاربران شکایت داشتند که چنین رباتهایی اغلب بهنظر میرسد که «اجتماعیآمیز» و بیمعنی دروغهای تصادفی قابل قبولی را در محتوای تولید شده خود جاسازی میکنند.[۳] نمونه دیگری از توهم در هوش مصنوعی زمانی است که هوش مصنوعی یا ربات چت فراموش میکند که ربات است و ادعای انسان بودن میکند.[۴]
تا سال ۲۰۲۳ تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری «مدلهای زبان بزرگ» در نظر گرفتند.[۵]
تحلیل و بررسی
مجله وایرد به محققان متفاوتی اشاره کرد که توهمات متخاصم را به عنوان یک پدیده آماری با ابعاد بالا طبقهبندی کردهاند یا این توهمات را به دادههای آموزشی ناکافی ربط دادهاند. تعدادی از محققان باور دارند که برخی از پاسخهای هوش مصنوعی «نادرست» که توسط انسان به عنوان «توهم» در مورد تشخیص اشیا طبقهبندی شدهاند، امکان دارد در واقع با دادههای آموزشی قابل توجیه باشند. یا حتی ممکن است یک هوش مصنوعی پاسخ «درست» را بدهد که افراد ناظر، قادر به تشخیص آن نیستند. به عنوان مثال، یک تصویر متخاصم که برای یک انسان مانند یک تصویر معمولی از یک سگ به نظر میرسد، ممکن است در واقع توسط هوش مصنوعی حاوی الگوهای کوچکی باشد که (در تصاویر معتبر) فقط هنگام مشاهده گربه ظاهر میشوند. هوش مصنوعی الگوهای بصری دنیای واقعی را شناسایی میکند که انسانها نسبت به آنها حساسیتی ندارند.[۶]
با این حال، این یافتهها توسط محققان دیگر به چالش کشیده شدهاست.[۷] به عنوان مثال، اعتراض شد که مدلها میتوانند نسبت به آمارهای سطحی تعصب داشته باشند، که باعث میشود آموزش خصمانه در سناریوهای دنیای واقعی قوی نباشد.[۷]
در پردازش زبان طبیعی
در پردازش زبان طبیعی، توهم اغلب به عنوان «محتوای تولید شده که به محتوای منبع ارائه شده بیمعنا یا بیوفا است» تعریف میشود. خطا در رمزگذاری و رمزگشایی بین متن و بازنمایی میتواند باعث توهم شود. آموزش هوش مصنوعی برای ایجاد پاسخهای متنوع نیز میتواند منجر به توهم شود. زمانی که هوش مصنوعی بر روی مجموعه دادهای آموزش داده میشود که در آن خلاصههای برچسب گذاری شده، علیرغم اینکه از نظر واقعی دقیق هستند، مستقیماً بر اساس دادههای برچسب گذاری شدهای که ظاهراً «خلاصه» شدهاند، مستقر نیستند، توهم نیز ممکن است رخ دهد. مجموعه دادههای بزرگتر میتوانند مشکل دانش پارامتریک (دانشی که در پارامترهای سیستم آموختهشده بهطور سخت سیمکشی شدهاست) ایجاد کنند، اگر سیستم بیش از حد به دانش سیمکشی شده خود اعتماد داشته باشد، توهم ایجاد کند. در سیستمهایی مانند GPT-3، یک هوش مصنوعی هر کلمه بعدی را بر اساس دنباله ای از کلمات قبلی (شامل کلماتی که خود قبلاً در پاسخ فعلی ایجاد کردهاست) تولید میکند، که باعث ایجاد یک توهم احتمالی با طولانی شدن پاسخ میشود.[۱] تا سال ۲۰۲۲، مقالاتی مانند نیویورک تایمز ابراز نگرانی کردند که با ادامه رشد پذیرش رباتهای مبتنی بر مدلهای زبان بزرگ، اعتماد بی اساس کاربران به خروجی ربات میتواند مشکلاتی را بهوجود آورد.[۸]
در اوت ۲۰۲۲، متا در طول انتشار BlenderBot 3 هشدار داد که سیستم مستعد «توهم» است، که متا آن را به عنوان «گزارههای مطمئنی که درست نیستند» تعریف کرد.[۹] در ۱۵ نوامبر ۲۰۲۲، متا از نسخهٔ نمایشی Galactica رونمایی کرد که برای «ذخیره، ترکیب و استدلال دربارهٔ دانش علمی» طراحی شده بود. محتوای تولید شده توسط Galactica با این هشدار همراه بود: «خروجیها ممکن است غیرقابل اعتماد باشند! مدلهای زبانی مستعد متنهای توهمآمیز هستند." در یک مورد، هنگامی که از گالاکتیکا خواسته شد مقاله ای در مورد ایجاد آواتارها تهیه کند، به مقاله ساختگی از یک نویسنده واقعی که در زمینه مربوط کار میکند استناد کرد. متا در ۱۷ نوامبر Galactica را به دلیل تهاجمی و عدم دقت کنار کشید.[۱۰][۱۱]
در نظر گرفته میشود که دلایل احتمالی زیادی برای مدلهای زبان طبیعی برای توهم دادن دادهها وجود دارد.[۱] مثلا:
- توهم از دادهها: تفاوتهایی در محتوای منبع وجود دارد (که اغلب با دادههای آموزشی بزرگ اتفاق میافتد)،
- توهم از آموزش: توهم هنوز همزمانی رخ میدهد که واگرایی کمی در مجموعه دادهها وجود داشته باشد. در آن صورت، از نحوه آموزش مدل ناشی میشود. دلایل زیادی میتواند در ایجاد این نوع توهم نقش داشته باشد، مانند:
- رمزگشایی اشتباه از ترانسفورماتور
- سوگیری از توالیهای تاریخی که مدل قبلاً ایجاد کرده بود
- یک سوگیری ایجاد شده از روشی که مدل دانش خود را در پارامترهای خود رمزگذاری میکند
ChatGPT
ChatGPT OpenAI که در نسخه بتا برای عموم در دسامبر ۲۰۲۲ منتشر شد، بر اساس خانواده مدلهای زبان بزرگ GPT-3.5 است. پروفسور اتان مولیک از وارتون، ChatGPT را یک کارآموز دانای کل و مشتاق به لطف میداند که گاهی به شما دروغ میگوید. «ترزا کوباکا»، دانشمند داده، ساختن عمدی عبارت «الکترومگنون معکوس سیکلوئیدی» و آزمایش ChatGPT را با پرسش از ChatGPT در مورد پدیده (غیرموجود) بازگو کردهاست. ChatGPT پاسخی با صدای معقول ابداع کرد که با استنادهایی به ظاهر قابل قبول همراه بود و او را وادار کرد تا دوباره بررسی کند که آیا تصادفاً نام یک پدیده واقعی را تایپ کردهاست یا خیر؟ محققان دیگری مانند Oren Etzioni به کوباکا پیوستهاند تا ارزیابی کنند که چنین نرمافزاری اغلب میتواند به شما «پاسخی بسیار اثرگذار که کاملاً اشتباه است» بدهد.[۱۲]
زمانی که CNBC از ChatGPT برای اشعار آهنگ «تصنیف دوایت فرای» درخواست کرد، ChatGPT به جای اشعار واقعی، اشعار اختراعی را ارائه کرد.[۱۳] در فرایند نوشتن یک بررسی برای آیفون ۱۴ پرو جدید، ChatGPT به اشتباه چیپست مربوط را به عنوان A15 Bionic به جای A16 Bionic معرفی کرد، اگرچه این را میتوان به این واقعیت نسبت داد که ChatGPT بر روی مجموعه دادهای که در سال ۲۰۲۱ به پایان میرسد آموزش داده شدهاست. یک سال قبل از عرضه آیفون ۱۴ پرو.[۱۴] ChatGPT در مورد سؤالاتی که دربارهٔ نیوبرانزویک پرسیده شد، پاسخهای درستی دریافت کرد اما به اشتباه سامانتا بی را به عنوان «فردی از نیوبرانزویک» طبقهبندی کرد.[۱۵] در پاسخ به سؤالی دربارهٔ میدانهای مغناطیسی اخترفیزیکی، ChatGPT به اشتباه اعلام کرد که "میدانهای مغناطیسی (قوی) سیاهچالهها توسط نیروهای گرانشی بسیار قوی در مجاورت آنها ایجاد میشود. (در حقیقت، در نتیجه قضیه بدون مو، یک سیاهچاله بدون قرص برافزایشی تصور میشود که میدان مغناطیسی ندارد)[۱۶] Fast Company از ChatGPT خواست تا یک مقاله خبری دربارهٔ آخرین سه ماهه مالی تسلا ایجاد کند. ChatGPT یک مقاله منسجم ایجاد کرد، اما اعداد مالی موجود در آن را تشکیل داد.[۲]
مثالهای دیگر شامل طعمهگذاری ChatGPT با یک پیشفرض نادرست است تا ببینیم آیا این فرضیه را تزئین میکند یا خیر. هنگامی که در مورد «ایده هارولد کوارد در مورد متعارف بودن پویا» پرسیده شد، ChatGPT جعل کرد که کوارد کتابی با عنوان دینامیک متعارف: مدلی برای تفسیر کتاب مقدس و الهیات نوشت که استدلال میکرد که اصول دینی در واقع در حال تغییر دائمی هستند. هنگامی که فشار داده شد، ChatGPT همچنان اصرار داشت که کتاب واقعی است.[۱۷][۱۸] ChatGPT در پاسخ به درخواست مدرکی مبنی بر اینکه دایناسورها تمدنی ساختهاند، مدعی شد که بقایای فسیلی از ابزار دایناسورها وجود دارد و اظهار داشت: «برخی از گونههای دایناسورها حتی اشکال ابتدایی هنر را توسعه دادند، مانند حکاکی روی سنگ».[۱۹][۲۰] هنگامی که ChatGPT از آنها خواسته شد که «دانشمندان اخیراً چورو، شیرینیهای سرخشده خوشمزه را کشف کردهاند… ابزاری ایدئال برای جراحی خانگی هستند»، ChatGPT ادعا کرد که «مطالعهای که در مجله Science منتشر شد» نشان داد که خمیر به اندازه کافی انعطافپذیر است تا شکل بگیرد. به ابزارهای جراحی که میتوانند به مکانهای صعب العبور وارد شوند و طعم آن بر بیماران اثر آرام بخشی دارد.[۲۱][۲۲]
تا سال ۲۰۲۳، تحلیلگران توهم مکرر را به عنوان یک مشکل بزرگ در فناوری LLM در نظر گرفتند، به طوری که یکی از مدیران گوگل کاهش توهم را به عنوان یک کار «بنیادی» برای رقیب ChatGPT ، Google Bard شناسایی کرد.[۵][۲۳] به نظر میرسد که یک نسخه نمایشی در سال ۲۰۲۳ برای هوش مصنوعی Bing مبتنی بر GPT مایکروسافت حاوی چندین توهم بود که توسط مجری مورد توجه قرار نگرفت.[۵]
در سایر هوش مصنوعی
مفهوم «توهم» بهطور گستردهتر از پردازش زبان طبیعی به کار میرود. یک پاسخ مطمئن از هر هوش مصنوعی که با دادههای آموزشی غیرقابل توجیه به نظر میرسد را میتوان توهم نامید.[۱] Wired در سال ۲۰۱۸ اشاره کرد که، علیرغم هیچ حمله ثبت شده «در طبیعت» (یعنی خارج از حملات اثبات مفهوم توسط محققان)، «معارض کمی» وجود داشت که ابزارهای مصرفکننده و سیستمهایی مانند رانندگی خودکار حساس هستند. به حملات خصمانه ای که میتواند باعث ایجاد توهم هوش مصنوعی شود. مثالها شامل یک علامت توقف است که برای بینایی کامپیوتر نامرئی میشود. یک کلیپ صوتی مهندسی شده به گونهای که برای انسان بیضرر به نظر برسد، اما این نرمافزار بهعنوان «دات کام شرور» رونویسی شدهاست. و تصویری از دو مرد روی اسکی که Google Cloud Vision به احتمال ۹۱ درصد آنها را «سگ» تشخیص داد.[۲۴]
روشهای کاهش
پدیده توهم هنوز بهطور کامل درک نشدهاست.[۱] بنابراین هنوز تحقیقات در حال انجام برای تلاش برای کاهش ظهور آن وجود دارد.[۲۵] به ویژه، نشان داده شد که مدلهای زبانی نه تنها توهم ایجاد میکنند، بلکه توهمات را تقویت میکنند، حتی برای مدلهایی که برای کاهش این مشکل طراحی شدهاند.[۲۶]
جستارهای وابسته
- ↑ ۱٫۰ ۱٫۱ ۱٫۲ ۱٫۳ ۱٫۴ ۱٫۵ Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang (November 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. 55 (12): 1–38. doi:10.1145/3571730. Retrieved 15 January 2023. خطای یادکرد: برچسب
<ref>
نامعتبر؛ نام «axiv» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.). - ↑ ۲٫۰ ۲٫۱ Lin, Connie (5 December 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. Retrieved 6 January 2023. خطای یادکرد: برچسب
<ref>
نامعتبر؛ نام «fast company 2022» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.). - ↑ Seife, Charles (13 December 2022). "The Alarming Deceptions at the Heart of an Astounding New Chatbot". Slate. Retrieved 16 February 2023.
- ↑ Eliot, Lance. "AI Ethics Lucidly Questioning This Whole Hallucinating AI Popularized Trend That Has Got To Stop". Forbes (به انگلیسی). Retrieved 2023-03-06.
- ↑ ۵٫۰ ۵٫۱ ۵٫۲ Leswing, Kif (14 February 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC (به انگلیسی). Retrieved 16 February 2023. خطای یادکرد: برچسب
<ref>
نامعتبر؛ نام «cnbc several errors» چندین بار با محتوای متفاوت تعریف شده است. (صفحهٔ راهنما را مطالعه کنید.). - ↑ Matsakis, Louise (8 May 2019). "Artificial Intelligence May Not 'Hallucinate' After All". Wired. Retrieved 29 December 2022.
- ↑ ۷٫۰ ۷٫۱ Gilmer, Justin; Hendrycks, Dan (2019-08-06). "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'". Distill. 4 (8). doi:10.23915/distill.00019.1. Retrieved 2023-01-24.
- ↑ Metz, Cade (10 December 2022). "The New Chatbots Could Change the World. Can You Trust Them?". The New York Times. Retrieved 30 December 2022.
- ↑ Tung, Liam (8 August 2022). "Meta warns its new chatbot may forget that it's a bot". ZDNet (به انگلیسی). Red Ventures. Retrieved 30 December 2022.
- ↑ Edwards, Benj (18 November 2022). "New Meta AI demo writes racist and inaccurate scientific literature, gets pulled". Ars Technica (به انگلیسی). Retrieved 30 December 2022.
- ↑ Michael Black [@Michael_J_Black]. "I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative" (Tweet). Retrieved 30 December 2022 – via Twitter. Missing or empty |date= (الگو:Cite tweet)
- ↑ Bowman, Emma (19 December 2022). "A new AI chatbot might do your homework for you. But it's still not an A+ student". NPR (به انگلیسی). Retrieved 29 December 2022.
- ↑ Pitt, Sofia (15 December 2022). "Google vs. ChatGPT: Here's what happened when I swapped services for a day". CNBC (به انگلیسی). Retrieved 30 December 2022.
- ↑ Wan, June (8 December 2022). "OpenAI's ChatGPT is scary good at my job, but it can't replace me (yet)". ZDNet (به انگلیسی). Red Ventures. Retrieved 30 December 2022.
- ↑ Huizinga, Raechel (2022-12-30). "We asked an AI questions about New Brunswick. Some of the answers may surprise you". CBC.ca. Retrieved 30 December 2022.
- ↑ Zastrow, Mark (2022-12-30). "We Asked ChatGPT Your Questions About Astronomy. It Didn't Go so Well". Discover (به انگلیسی). Kalmbach Publishing Co. Retrieved 31 December 2022.
- ↑ Edwards, Benj (1 December 2022). "OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results". Ars Technica (به انگلیسی). Retrieved 29 December 2022.
- ↑ Michael Nielsen [@michael_nielsen]. "OpenAI's new chatbot is amazing. It hallucinates some very interesting things" (Tweet). Retrieved 29 December 2022 – via Twitter. Missing or empty |date= (الگو:Cite tweet)
- ↑ Mollick, Ethan (14 December 2022). "ChatGPT Is a Tipping Point for AI". Harvard Business Review. Retrieved 29 December 2022.
- ↑ Ethan Mollick [@emollick]. "One of the big subtle problems in the new "creative AIs" is that they can seem completely certain, and getting them to switch from sane to hallucinatory is a difference of a couple words" (Tweet). Retrieved 29 December 2022 – via Twitter. Missing or empty |date= (الگو:Cite tweet)
- ↑ Kantrowitz, Alex (2 December 2022). "Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test"". Slate (به انگلیسی). Retrieved 29 December 2022.
- ↑ Marcus, Gary (2 December 2022). "How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?". The Road to AI We Can Trust (به انگلیسی). Substack. Retrieved 29 December 2022.
- ↑ "Google cautions against 'hallucinating' chatbots, report says". Reuters (به انگلیسی). 11 February 2023. Retrieved 16 February 2023.
- ↑ Simonite, Tom (2018-03-09). "AI Has a Hallucination Problem That's Proving Tough to Fix". Wired. Condé Nast. Retrieved 29 December 2022.
- ↑ Nie, Feng; Yao, Jin-Ge; Wang, Jinpeng; Pan, Rong; Lin, Chin-Yew (July 2019). "A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation" (PDF). Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics: 2673–2679. doi:10.18653/v1/P19-1256. Retrieved 15 January 2023.
- ↑ Dziri, Nouha; Milton, Sivan; Yu, Mo; Zaiane, Osmar; Reddy, Siva (July 2022). "On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?" (PDF). Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics. doi:10.18653/v1/2022.naacl-main.38. Retrieved 15 January 2023.