سوگیری در هوش مصنوعی: از کجا میآید و چه اثری دارد
مدلها بیطرف نیستند چون دادهای که از آن ساخته شدهاند بیطرف نبوده. اینجا سرچشمههای سوگیری، نمونههای ملموس فارسی و کاری که از دست کاربر برمیآید را میبینیم.
از یک مدل تصویرسازی بخواهید ده تصویر از «یک مدیرعامل» بسازد. احتمالاً نهتای آن مرد است، اکثراً میانسال، با کتوشلوار و پشت میز شیشهای. حالا بخواهید «یک معلم ایرانی» بسازد — چیزی میگیرید که بیشتر شبیه تصور کلیشهای یک بینندهی خارجی است تا کلاس درس واقعی در تهران یا یزد.
هیچکس این را عمداً در مدل نگذاشته. مدل فقط الگوی دادهای را بازتاب میدهد که با آن آموزش دیده. و آن داده، اینترنت است — با همهی نامتوازنیاش.
فهمیدن این موضوع فقط بحث اخلاقی نیست؛ اثر مستقیم روی کیفیت کاری دارد که با این ابزارها انجام میدهید.
سوگیری یعنی چه، و یعنی چه نیست
سوگیری یعنی خطا بهصورت سیستماتیک به یک سمت متمایل باشد. اگر مدل گاهی اشتباه کند، خطاست. اگر همیشه در یک جهت اشتباه کند، سوگیری است.
و یعنی چه نیست: یعنی این نیست که مدل «نظر» دارد یا کسی آن را دستکاری کرده. سازوکارش خنثی است — همان پیشبینی محتملترین ادامه که در مدلها چطور کار میکنند توضیح دادهایم. مشکل در ورودی است، نه در نیت.
سه سرچشمه
دادهی آموزشی. اگر در متنهای موجود، واژهی «پرستار» بیشتر کنار ضمیر مؤنث آمده باشد، مدل همان نسبت را یاد میگیرد. مدل واقعیت را یاد نمیگیرد؛ توزیع کلمات را یاد میگیرد.
برچسبزنی انسانی. بعد از آموزش اولیه، آدمها به جوابها نمره میدهند تا مدل تنظیم شود. سلیقه، فرهنگ و پیشفرضهای همان آدمها وارد مدل میشود. اگر اکثر ارزیابها انگلیسیزبان باشند، معیار «جواب خوب» هم انگلیسیمحور میشود.
تنظیمات ایمنی. برای جلوگیری از محتوای مضر، محدودیتهایی گذاشته میشود که گاهی بیش از حد عمل میکنند و پرسشهای بیخطر دربارهی برخی مناطق یا موضوعات را هم رد میکنند.
نمونههای ملموس برای کاربر فارسی
| موقعیت | چه اتفاقی میافتد | راه جبران |
|---|---|---|
| تصویر «خانوادهی ایرانی» | ترکیب کلیشهای و لباس غیرواقعی | جزئیات مکان، پوشش و سن را بنویسید |
| پرسش دربارهی قانون کار | پاسخ بر پایهی قوانین کشورهای دیگر | متن مادهی قانونی را خودتان بدهید |
| نامگذاری برند فارسی | پیشنهادهای ترجمهشده و بیریشه | نمونهی نامهای موفق ایرانی بدهید |
| غربال رزومه | ترجیح الگوهای رزومهی غربی | معیارها را صریح تعریف کنید |
| ترجمهی متن اداری | لحن ترجمهای و غیرطبیعی | نمونهی متن فارسی مرجع بدهید |
الگوی مشترک ستون سوم را ببینید: در همهی موارد، راهحل «دادن زمینه» است. هرچه اطلاعات محلی بیشتری بدهید، مدل کمتر به پیشفرضهایش برمیگردد. برای تصویر، نکتههای عملیترش در ساخت عکس با هوش مصنوعی آمده.
سوگیری زبانی: فارسی بهعنوان زبان کمداده
حجم متن فارسی در اینترنت در برابر انگلیسی بسیار کم است. نتیجهاش این است که مدل در فارسی همان توانایی را دارد ولی دانش محلی کمتری. تفاوت را در موضوعات تخصصی ایرانی حس میکنید: دربارهی تاریخ ادبیات جهان روان حرف میزند، دربارهی جزئیات یک آییننامهی داخلی حدس میزند.
راهحل ساختاری این مسئله آموزش تکمیلی روی دادهی فارسی است که در فاینتیونینگ توضیح داده شده — کاری در سطح سازمان، نه کاربر.
وقتی از مدل برای رتبهبندی رزومه، ارزیابی اعتبار مالی یا غربال متقاضی استفاده میشود، سوگیری دیگر آزاردهنده نیست — تبعیض است. اگر ناچار به چنین کاری هستید، دو شرط لازم است: تصمیم نهایی با انسان باشد، و خروجی بهطور منظم روی گروههای مختلف سنجیده شود. بدون این دو، سیستم فقط تبعیض موجود را سریعتر تکرار میکند.
چه کاری از دست کاربر برمیآید
سه کار عملی. اول، پیشفرض را خودتان تعیین کنید؛ هر جزئیاتی که ننویسید با میانگین پر میشود. دوم، تنوع را صریح بخواهید: «پنج گزینه بده که از نظر سن، جنسیت و موقعیت جغرافیایی متفاوت باشند». سوم، خروجی را در موضوعات حساس با دادهی خودتان بسنجید — روشهای سادهاش در تحلیل داده آمده.
و یک عادت مهم: وقتی خروجی دقیقاً همان چیزی است که انتظار داشتید، شک کنید. تأیید انتظارات، نشانهی خوبی برای درستی نیست.
چه چیزی حل نمیشود
نمیشود با نوشتن «بیطرف باش» مدل را بیطرف کرد. نمیشود انتظار داشت مدلی که عمدتاً با دادهی انگلیسی ساخته شده، ظرافتهای فرهنگی ایران را بفهمد. و نمیشود سوگیری را با یک بار تست کشف کرد؛ چیزی است که در الگوی صدها خروجی دیده میشود، نه در یکی. سایر دامهای مشابه را در اشتباهات رایج جمع کردهایم.
جمعبندی
سوگیری عیب قابل رفع یک محصول نیست؛ ویژگی ساختاری ابزاری است که از دادهی انسانی ساخته شده. این را که بپذیرید، رفتارتان عوض میشود: بهجای انتظار بیطرفی، زمینه میدهید و خروجی را میسنجید.
برای کاربر روزمره، بیشترین سود از یک عادت ساده میآید — هر بار که خروجی کلیشهای گرفتید، بهجای پذیرفتنش، جزئیات دقیقتر بدهید و دوباره بخواهید. تفاوت کیفیت معمولاً در همان تکرار دوم دیده میشود. میتوانید همین حالا در نارنگی امتحان کنید.
مطالب مرتبط:
برای مطالعهی موردی مشهور در این زمینه، پروندهی گزارش NIST دربارهی مدیریت سوگیری چارچوب روشنی ارائه میدهد.
