توهم هوش مصنوعی چیست و چطور جلویش را بگیریم؟
مدلهای زبانی گاهی با اطمینان کامل چیزی میگویند که اصلاً وجود ندارد. اینجا میبینیم چرا این اتفاق میافتد، کجا بیشتر رخ میدهد و چه کاری واقعاً کمش میکند.
کسی از هوش مصنوعی پرسید نزدیکترین دفتر پیشخوان دولت به یک خیابان مشخص در کرج کجاست. جواب آمد: نام دفتر، شمارهی پلاک، و حتی ساعت کاری. هیچکدام وجود نداشت. اما جواب آنقدر مرتب بود که آدم فرض میکند درست است.
به این پدیده «توهم» یا hallucination میگویند. اسم گمراهکنندهای است، چون تصور میکنید مدل خطا کرده — در حالی که دقیقاً همان کاری را کرده که برایش ساخته شده.
فهمیدن این تفاوت، تفاوت بین کاربری است که گول میخورد و کاربری که ابزار را درست به کار میگیرد.
چرا اصلاً اتفاق میافتد
مدل زبانی پایگاه داده نیست. چیزی را «جستجو» نمیکند تا برگرداند؛ محتملترین ادامهی متن را میسازد. وقتی میپرسید «دفتر پیشخوان خیابان X کجاست»، مدل الگوی چنین جوابهایی را بلد است — نام، پلاک، ساعت کار — و آن الگو را پر میکند.
یعنی توهم باگ نیست؛ همان مکانیزم اصلی است که در جای نامناسب فعال شده. توضیح دقیقتر این سازوکار در مدلهای هوش مصنوعی چطور کار میکنند آمده است.
دو نکتهی مهم از همینجا درمیآید. اول، مدل نمیداند که نمیداند. دوم، لحن مطمئن هیچ ربطی به درستی ندارد — لحن هم بخشی از الگوی متن است.
کجا بیشتر پیش میآید
| نوع پرسش | احتمال توهم | دلیل |
|---|---|---|
| مفاهیم عمومی و پرتکرار | کم | دادهی آموزشی فراوان |
| خلاصهکردن متنی که دادهاید | کم | منبع در اختیارش است |
| اعداد، آمار و درصد | زیاد | عدد دقیق کم تکرار میشود |
| منبع، مقاله و شمارهی صفحه | خیلی زیاد | ساختارش را بلد است، محتوایش را نه |
| قوانین و مقررات ایران | خیلی زیاد | دادهی فارسی حقوقی محدود است |
| آدرس و اطلاعات محلی | خیلی زیاد | الگو دارد، واقعیت ندارد |
| رویدادهای چند ماه اخیر | زیاد | خارج از دورهی آموزش |
الگویی که در این جدول دیده میشود ساده است: هرچه جواب به یک واقعیت مشخص و کمتکرار نزدیکتر باشد، ریسک بالاتر است.
نشانههای یک جواب ساختگی
چند علامت که معمولاً با هم میآیند: جزئیات بیشازحد دقیق بدون منبع، اسمهای خوشساخت ولی ناآشنا، و اطمینان یکنواخت در کل متن. جواب درست معمولاً جاهایی تردید دارد؛ جواب ساختگی از اول تا آخر با یک لحن گفته میشود.
آزمون سریع: همان جزئیات را در گوگل بگذارید. اگر عنوان مقالهای که مدل داده در هیچ جای اینترنت نیست، وجود ندارد.
پنج کاری که واقعاً کمش میکند
۱. منبع را خودتان بدهید. مؤثرترین راه. متن قرارداد، فایل PDF یا مقاله را پیوست کنید و بنویسید «فقط بر اساس همین متن جواب بده».
۲. اجازهی ندانستن بدهید. این جمله را اضافه کنید: «اگر مطمئن نیستی، بنویس نمیدانم. حدسزدن بدتر از جوابندادن است.» تأثیرش محسوس است چون مسیر «نمیدانم» را برای مدل مجاز میکند.
۳. ارجاع بخواهید. «برای هر ادعا بنویس از کدام بخش متن گرفتهای.» وقتی مجبور به نشاندادن مأخذ باشد، ادعاهای بیپشتوانه کمتر میشوند.
۴. کار را بشکنید. پرسش مرکب بیشتر توهم میسازد. بهجای «این ده شرکت را مقایسه کن»، یکییکی بپرسید.
۵. از جستجو یا سند متصل استفاده کنید. روشی که مدل را به منبع واقعی وصل میکند در RAG چیست توضیح داده شده و برای اطلاعات بهروز بهترین گزینه است.
«فقط بر اساس متنی که دادم جواب بده. اگر جوابش در متن نبود، بنویس در متن نیست — چیزی از خودت اضافه نکن.» این تکجمله بیشترین کاهش خطا را در کارهای مبتنی بر سند ایجاد میکند. اصول کاملتر در پرامپتنویسی آمده.
کارهایی که کمکی نمیکنند
گفتن «دروغ نگو» یا «مطمئن باش» تأثیری ندارد؛ مدل خودش نمیداند کجا اشتباه کرده. پرسیدن «مطمئنی؟» هم گمراهکننده است — معمولاً یا عذرخواهی میکند و جواب را عوض میکند، یا روی همان اشتباه پافشاری میکند. هیچکدام نشانهی درستی نیست.
تکرار پرسش در چند چت جداگانه هم آزمون ضعیفی است. اگر دادهی آموزشی در یک موضوع اشتباه باشد، هر بار همان اشتباه تکرار میشود.
جایی که نباید اعتماد کرد
در موضوعات پزشکی، حقوقی و مالی، خروجی را فقط بهعنوان نقطهی شروع برای پرسیدن از متخصص در نظر بگیرید. مدل میتواند به شما کمک کند سؤال بهتری از وکیل یا پزشک بپرسید، ولی جای او را نمیگیرد — نه از نظر دقت، نه از نظر مسئولیت. این مرز را در اشتباهات رایج در کار با هوش مصنوعی بیشتر باز کردهایم.
جمعبندی
توهم را نمیشود صفر کرد، ولی میشود مهارش کرد. کل ماجرا در یک عادت خلاصه میشود: هر جواب را بر اساس نوعش قضاوت کنید، نه بر اساس لحنش. خلاصهی متنی که خودتان دادهاید، احتمالاً درست است. عددی که از هوا آمده، احتمالاً نیست.
و یک قاعدهی ساده برای روز اول: هر عدد، تاریخ، نام و آدرسی که قرار است جایی منتشر شود یا مبنای تصمیم باشد، باید یک بار بیرون از چت بررسی شود. بقیهی خروجی را میشود با خیال راحتتری استفاده کرد. برای تمرین میتوانید همین حالا در نارنگی یک سند پیوست کنید و پرسشهای محدود به همان سند بپرسید.
مطالب مرتبط:
برای مطالعهی فنیتر، مرور پژوهشی دربارهی توهم در مدلهای زبانی دستهبندی دقیقی از انواع این خطا ارائه میدهد.
