مدل کوچک یا بزرگ؟ کِی ارزانتر بهتر جواب میدهد
برای دستهبندی، استخراج فیلد و خلاصهی کوتاه، مدل ارزان تقریباً همان کار را میکند و چند برابر سریعتر است. اینجا مرز دقیق را با جدول و یک روش آزمون ساده مشخص میکنیم.
یک تیم پشتیبانی روزی چند صد پیام میگیرد و میخواهد هرکدام را برچسب بزند: شکایت، پیگیری سفارش، پرسش فنی، یا چیز دیگر. برای این کار گرانترین مدل بازار را برداشتهاند، چون «بهتر است». نتیجه صورتحسابی چند برابر آنچه لازم بود، و جوابی که چند ثانیه دیرتر میرسد — برای کاری که مدل ارزان هم تقریباً همانقدر خوب انجام میداد.
انتخاب مدل بزرگ برای بیشتر آدمها پیشفرض است، نه تصمیم. حال آنکه بخش بزرگی از کارهای روزمره اصلاً استدلال عمیق نمیخواهد؛ فقط باید متن ورودی را به شکلی معین بازچینی کند.
مثلثی که هر سه ضلعش بلند نمیشود
هزینه، سرعت، کیفیت. هر انتخاب مدل جایی روی این مثلث مینشیند و هر سه رأس با هم بالا نمیروند: مدل بزرگ کیفیت را در کار سخت بالا میبرد و بابتش گرانتر و کندتر است، مدل کوچک عکس آن.
نکته اینجاست: منحنی کیفیت خطی نیست. در کار ساختاریافته مدل کوچک به سقفِ کار میرسد و از آن به بعد پول بیشتر چیزی اضافه نمیکند. حساب این هزینه در هزینهی واقعی کار با هوش مصنوعی باز شده، و اینکه چرا فارسی گرانتر تمام میشود در توکن چیست آمده است.
کارهایی که مدل کوچک کافی است
این فهرست از کار واقعی درآمده، نه از حدس:
- دستهبندی: برچسب زدن به تیکت، نظر مشتری، ایمیل ورودی
- استخراج فیلد: نام، شماره، مبلغ و تاریخ از متن نامرتب
- مرتبسازی و اولویتبندی بر پایهی قاعدهی روشن
- بازنویسی کوتاه: رسمی کردن پیام، کوتاه کردن یک پاراگراف
- خلاصهی یک صفحه متن با ساختار مشخص
- تبدیل قالب: متن آزاد به فهرست، فهرست به جدول
وجه مشترک همهشان یکی است: جواب داخل خودِ ورودی هست و مدل فقط باید پیدایش کند. هوش بیشتر اینجا جایی برای اثر گذاشتن ندارد.
کارهایی که مدل کوچک در آنها میبازد
اینجا صرفهجویی به ضرر تمام میشود. در استدلال چندمرحلهای که هر قدم به قدم قبل وابسته است، یک لغزش کوچک تا انتها بزرگ میشود. در ابهامزدایی، مدل کوچک سادهترین معنای درخواست را برمیدارد و رد میشود. سند بلند فرق دارد: پنجرهی زمینهی مدل کوچک لزوماً کوتاهتر نیست، ولی هرچه متن طولانیتر شود دقتش زودتر افت میکند. کد پیچیده، دیباگ و تصمیم پرریسک — قرارداد، سلامت، مالیات — هم همینجا هستند. سازوکارش در استدلال زنجیرهای باز شده است.
| کار | مدل | دلیل |
|---|---|---|
| دستهبندی و برچسبزنی | کوچک | جواب در خود متن است |
| استخراج فیلد از فاکتور | کوچک | الگو ثابت و تکرارشونده |
| بازنویسی و خلاصهی کوتاه | کوچک | سریع، ارزان، قابل قبول |
| تحلیل سند بلند | بزرگ | دقت در متن طولانی افت میکند |
| استدلال چندمرحلهای | بزرگ | خطای هر قدم ضرب میشود |
| درخواست مبهم کاربر | بزرگ | تشخیص منظور فاصله میسازد |
| قرارداد و متن پرریسک | بزرگ + بازبینی انسان | هزینهی خطا بالاست |
مسیریابی: هر کار به مدل خودش
جواب درست «یکی را انتخاب کن» نیست؛ «هر دو را داشته باش و درست پخش کن» است. یک فروشگاه اینترنتی را در نظر بگیرید: برچسبزدن به انبوه پیامهای روزانه با مدل ارزان، و پاسخ به شکایت تشدیدشده یا خواندن قرارداد تأمینکننده با مدل گران. در نارنگی چند رده مدل زیر یک حساب هست و جابهجایی چند ثانیه است؛ انتخاب رده بر اساس نوع کار هم در کدام مدل برای چه کاری جمع شده.
پرامپت زیر نمونهی همان کاری است که مدل کوچک در آن کم نمیآورد:
نقش: دستهبند پیامهای پشتیبانی.
ورودی: متن پیام مشتری.
خروجی: فقط یکی از این برچسبها، بدون توضیح:
شکایت | پیگیری سفارش | پرسش فنی | مرجوعی | سایر
قاعدهها:
- اگر پیام دو موضوع داشت، موضوع اصلی را بردار.
- اگر هیچ برچسبی نخواند، «سایر» بنویس.
- هرگز برچسب تازه نساز.
متن پیام:
«[پیام مشتری]»تأخیر، گاهی از کمی کیفیتِ بیشتر مهمتر است
این را زیاد دیدهام و کم جدی گرفته میشود. کاربری که پشت یک فرم منتظر پیشنهاد خودکار است، جوابی را که چند ثانیه دیرتر میآید اصلاً نمیبیند؛ قبلش خودش تایپ کرده. در تکمیل خودکار و چت پشتیبانی زنده، سرعت خودش بخشی از کیفیت است.
عکسش هم درست است: برای گزارشی که هفتهای یک بار ساخته میشود، چند ثانیه تأخیر اهمیتی ندارد؛ آنجا بهترین کیفیت را بخرید.
آزمون بیست نمونه
بهجای بحث نظری یک بار اندازه بگیرید. بیست نمونهی واقعی از کار خودتان بردارید — نه نمونهی ساختگی و تمیز، بلکه همان پیامهای شلوغ و بینقطهگذاری که هر روز میآیند. یک پرامپت را به هر دو مدل بدهید، چهل خروجی را در یک فایل قاطی کنید بیآنکه معلوم باشد کدام از کدام است، بعد یکییکی نمره بدهید.
اگر بدانید کدام خروجی از مدل گران آمده، ناخودآگاه نمرهی بهتری میدهید. ستون مدل را پنهان کنید، نمره بدهید، بعد رونمایی کنید. اگر اختلاف کمتر از یکی دو نمونه از بیست تا بود، مدل کوچک را بردارید و پولش را جای دیگری خرج کنید.
اشتباهی که با لحن مطمئن گفته میشود
یک چیز را صریح بگویم: مدل کوچک وقتی اشتباه میکند، با همان لحن مطمئن اشتباه میکند. تاریخ را غلط درمیآورد و با اطمینان مینویسد؛ برچسب اشتباه میزند و توضیح قانعکننده هم میدهد. ریشهی این رفتار در توهم هوش مصنوعی باز شده، و اگر کنجکاو مکانیزم هستید مدخل مدل زبانی بزرگ در ویکیپدیا شروع خوبی است.
و یک راه اصلاً جواب نمیدهد: پرسیدن «مطمئنی؟» از خود مدل. با فشار حرفش را عوض میکند، نه اینکه درستتر شود. راهش فقط بازبینی دستی نمونههاست.
جمعبندی
پیشفرض را برعکس کنید: از مدل کوچک شروع کنید و فقط جایی که واقعاً کم آورد بالا بروید. برای دستهبندی، استخراج، بازنویسی کوتاه و خلاصهی یک صفحه، مدل ارزان کار را تمام میکند.
و اگر ماندهاید، بحث نکنید؛ بیست نمونه بردارید و کور مقایسه کنید. یک ساعت وقت میگیرد و ماهها تصمیم را روشن میکند.
برای ادامه:
