تشخیص متن هوش مصنوعی: این ابزارها چقدر قابل اتکایند
هیچ ابزاری نمیتواند با قطعیت بگوید متنی را ماشین نوشته یا آدم. اینجا میبینیم این ابزارها چه میکنند، چرا اشتباه میکنند و بهجای اتکا به آنها چه باید کرد.
یک دانشجوی ارشد فصل دوم پایاننامهاش را خودش نوشته بود. استاد راهنما متن را در یکی از سایتهای تشخیص متن هوش مصنوعی گذاشت و عدد ۸۷ درصد بیرون آمد. دانشجو راهی برای اثبات خلافش نداشت، چون آن عدد مدرک نبود؛ حدسی بود که شکل قطعیت گرفته بود.
این صحنه هر هفته در دانشگاهها و تحریریهها تکرار میشود. موضع من صریح است: این ابزارها برای قضاوت دربارهی آدمها ساخته نشدهاند و استفادهی انضباطی از آنها ناعادلانه است.
این ابزارها اصلاً چه چیزی را اندازه میگیرند
هیچ نشانهی پنهانی داخل متن تولیدشده جاسازی نمیشود؛ مدل امضا نمیگذارد و واترمارک نمیزند. پس ابزار تشخیص چیزی برای پیدا کردن ندارد و سراغ آمار میرود.
میسنجد که کلمهها چقدر قابل پیشبینیاند و جملهها چقدر یکنواخت. مدل محتملترین کلمهی بعدی را برمیدارد، پس خروجیاش یکدست است؛ آدمها بیشتر منحرف میشوند: جملهی کوتاه بعد از بلند، یک واژهی غیرمنتظره، یک پرش. ابزار همین نوسان را میسنجد؛ سنجهای که به نام پرپلکسیتی شناخته میشود. یعنی احتمال میدهد، نه اثبات.
مثبت کاذب: چه کسی بیشتر متهم میشود
اینجا بدترین بخش ماجراست. متن ساده، روان و منظم دقیقاً همان الگویی را دارد که ابزار ماشینی میخواند. نویسندهی تمیز بیشتر از نویسندهی شلخته در خطر است.
بیشترین آسیب به کسانی میرسد که به زبان دوم مینویسند. دانشجوی ایرانی که مقالهاش را انگلیسی مینویسد سراغ ساختارهای امن و واژگان پرتکرار میرود تا اشتباه نکند — و ابزار همین محافظهکاری را نشانهی ماشین میخواند. ویرایش کردن و صاف کردن ناهمواریها هم همین اثر را دارد.
هیچ ابزار تشخیصی نمیتواند بگوید متنی را ماشین نوشته؛ فقط میگوید متن شبیه چیزی است که ماشین مینویسد. صفر دادن به تکلیف یا رد کردن پایاننامه بر پایهی این عدد، تصمیمی بدون پشتوانهی فنی است. سازندهها هم تصریح میکنند خروجی نباید تنها مبنای تصمیم باشد.
فارسی وضع بدتری دارد
هر چه دربارهی انگلیسی گفتم، برای فارسی چند برابر بدتر است. این سرویسها روی متن انگلیسی تنظیم شدهاند و برای فارسی نه دادهی کافی دیدهاند نه آستانهی سنجیدهای. بعضیشان اصلاً فارسی را پشتیبانی نمیکنند و بیهشدار همان مدل انگلیسی را اجرا میکنند.
نیمفاصله و شکلهای مختلف نوشتن یک واژه هم نویز اضافه میکند؛ از همان خانواده مشکلاتی که در محدودیتهای فارسی در هوش مصنوعی باز شده. برای یک انشای فارسی، عدد این سایتها بیمعنی است — یکی از آن جاهایی که ابزار جواب نمیدهد.
یک نکته که در ایران قاطی میشود: سامانهی همانندجو تشابه با متنهای موجود را میسنجد، نه تولید ماشینی. درصدش چیزی دربارهی ماشینی بودن متن نمیگوید.
دور زدنشان چقدر سخت است
تقریباً هیچ. متن را به همان مدل بدهید و بخواهید لحن را غیررسمیتر کند، چند جمله را بشکند و یکی دو تعبیر محاورهای اضافه کند. عدد سقوط میکند. ابزارهای «انسانیساز» هم همین را خودکار کردهاند.
نتیجه تلخ است: کسی که میخواهد تقلب کند سه دقیقه وقت میگذارد و رد میشود؛ کسی که صادقانه نوشته و متنش منظم است گیر میافتد. سیستمی که برعکس هدفش عمل کند ارزش تکیه ندارد. روش طبیعیتر کردن متن خودتان هم در ویرایش و بازنویسی متن فارسی هست.
چه چیزی را میشود نتیجه گرفت و چه چیزی را نه
| خروجی ابزار | معنای واقعیاش | تصمیم مجاز |
|---|---|---|
| درصد پایین | متن ناهموار و غیرقابل پیشبینی است | هیچ؛ متن ماشینیِ ویرایششده هم همین را میگیرد |
| درصد بالا | متن یکدست و روان است | حداکثر یک گفتوگو، نه اتهام |
| «قطعاً هوش مصنوعی» | ادعای بازاریابی سازنده | هیچ تصمیم انضباطی |
| متن زیر صد کلمه | نمونه برای قضاوت کافی نیست | نتیجه را کنار بگذارید |
اگر معلم یا استاد هستید
راهحل، ابزار بهتر نیست؛ تکلیف بهتر است. تکلیفی که یک مدل در سی ثانیه کاملش میکند، از اول تکلیف خوبی نبوده.
صورت مسئله را به چیزی گره بزنید که فقط در کلاس شما هست: دادهای که خودتان دادید، بحث هفتهی پیش، نمونهای از شهر خودتان. فرایند را بسنجید نه محصول را: طرح اولیه، منابع، و یک پاراگراف دربارهی اینکه چه چیزی را عوض کرد و چرا. و پنج دقیقه پرسش شفاهی بگذارید؛ این تشخیص، برخلاف آن درصد، واقعی است. برای بازطراحی تکلیف از این پرامپت کمک بگیرید:
نقش: طراح تکلیف درسی
درس و مقطع: [جامعهشناسی، سال دوم دبیرستان]
تکلیف فعلی: [متن تکلیف را بگذار]
هدف: طوری بازنویسی کن که با یک جواب عمومی از هوش مصنوعی قابل انجام نباشد
شرطها:
- به داده یا تجربهی محلی کلاس وابسته باشد
- بخش «فرایند» داشته باشد: طرح اولیه، منبع، دلیل تغییر
- سه پرسش شفاهی برای جلسهی دفاع پیشنهاد بده
خروجی: تکلیف بازنویسیشده + معیار نمرهدهی در پنج سطرکارهای دیگری که در همین مسیر وقت آزاد میکند در هوش مصنوعی برای معلمها جمع شده است.
اگر ناعادلانه متهم شدهاید
دست خالی نیستید. قویترین چیزی که دارید سابقهی نوشتن است، نه استدلال.
نسخههای میانی فایل را نگه دارید؛ اگر در گوگل داکس یا ورد مینویسید، تاریخچهی نسخهها خودش سند است. یادداشتهای اولیه و منابعی که خواندهاید هم کمک میکنند. بعد بخواهید همان ابزار روی متنی از سالها پیشِ خودتان اجرا شود؛ اگر آن هم درصد بالا گرفت، ادعای طرف مقابل میشکند.
و اگر خودتان کمک میگیرید، شفافیت ارزانترین بیمه است: بنویسید کجا و چقدر. معیارهای تکیه کردن به خروجی در اعتماد به خروجی هوش مصنوعی و مسیر پژوهشی درست در هوش مصنوعی برای دانشجو آمده؛ پیشنویس را در نارنگی بگیرید و خودتان بازنویسی کنید.
جمعبندی
ابزارهای تشخیص، احتمال میفروشند و قطعیت تبلیغ میکنند. برای فارسی حتی احتمالشان هم قابل اعتنا نیست. کسی که بخواهد دورشان بزند در چند دقیقه میزند؛ کسی که پاکیزه مینویسد بیدلیل زیر سؤال میرود.
اگر تصمیمگیرندهاید، معیار را عوض کنید نه ابزار را: فرایند بخواهید، گفتوگوی شفاهی بگذارید، تکلیف را به بافت واقعی گره بزنید. و اگر متهم شدهاید، سابقهی کارتان تنها چیزی است که در برابر یک عدد بیپشتوانه میایستد.
برای ادامه:
