مدل چندوجهی چیست؟ وقتی هوش مصنوعی عکس را می‌فهمد

قبض برق دو برابر شده. عکسش را می‌گیرید، می‌فرستید، و می‌پرسید «چرا این‌قدر شده و کدام بخشش قابل کم‌کردن است؟» جوابی که می‌گیرید هم اعداد قبض را خوانده، هم فهمیده کدام ردیف پلکان مصرف است، و هم سؤال شما را در نظر گرفته.

چند سال پیش این کار سه ابزار جدا می‌خواست: یکی برای خواندن متن از تصویر، یکی برای فهمیدن ساختار قبض، یکی برای جواب دادن. حالا یک مدل هر سه را می‌کند. اسم این توانایی، مدل چندوجهی است.

چندوجهی یعنی چه

هر نوع ورودی — متن، تصویر، صدا، ویدیو — یک «وجه» یا مُد است. مدل تک‌وجهی فقط متن می‌گیرد و متن می‌دهد. مدل چندوجهی چند نوع ورودی را هم‌زمان و در یک فضای مشترک پردازش می‌کند.

نکته‌ی مهم همان «هم‌زمان» است. مدل تصویر را به متن ترجمه نمی‌کند تا بعد بخواندش؛ تصویر و متن هر دو به شکل واحدی از عدد تبدیل می‌شوند و کنار هم می‌نشینند. برای همین می‌توانید بگویید «در این عکس، چیزی که گوشه‌ی چپ است با آنچه در متن سؤالم گفتم جور درمی‌آید؟» — سؤالی که با ابزارهای جدا اصلاً قابل پرسیدن نبود. مبانی این تبدیل را در مقاله‌ی نحوه‌ی کار مدل‌ها باز کرده‌ایم.

تفاوت با OCR

این دو را زیاد اشتباه می‌گیرند. تفاوتشان در هدف است:

پس اگر می‌خواهید یک کتاب اسکن‌شده را به متن تبدیل کنید، سراغ روش‌های تبدیل عکس به متن فارسی بروید. اگر می‌خواهید از یک صفحه سؤال بپرسید، مدل چندوجهی درست‌تر است.

کجا واقعاً به‌درد می‌خورد

کاربردهایی که در عمل بیشترین ارزش را دارند، همان‌هایی هستند که «توضیح‌دادن با کلمه» سخت است:

• خطای روی صفحه — عکس ارور را بفرستید به‌جای تایپ‌کردنش. کل بافت پنجره هم منتقل می‌شود.
• عکس یک دستگاه یا قطعه — وقتی نمی‌دانید اسمش چیست، توصیفش هم ممکن نیست.
• نمودار و اسکرین‌شات داشبورد — برای فهمیدن روند کلی، نه خواندن عدد دقیق.
• عکس یک صفحه از کتاب — سؤال‌پرسیدن درباره‌ی همان پاراگراف بدون تایپ‌کردنش.
• عکس محصول — نوشتن توضیح فروشگاهی از روی خود تصویر.

جایی که اشتباه می‌کند

سه ضعف مشخص و تکرارشونده دارد و بهتر است از قبل بدانید:

عدد دقیق. خواندن رقم از جدول فشرده یا نمودار میله‌ای، بیشترین خطا را دارد. مدل روند را می‌فهمد ولی گاهی عدد را حدس می‌زند و با همان اطمینان همیشگی می‌گوید.

شمارش. «چند نفر در این عکس هستند» یا «چند قلم در فاکتور آمده» را روی تصاویر شلوغ اشتباه جواب می‌دهد.

جزئیات ریز و متن کوچک. اگر عکس کم‌کیفیت یا کج باشد، حروف نزدیک به هم فارسی راحت جابه‌جا خوانده می‌شوند. عکس را صاف، نزدیک و در نور خوب بگیرید.

صدا و ویدیو

وجه صوتی هم به همین منطق اضافه شده: می‌شود فایل صدا داد و خلاصه یا نکته‌های اصلی گرفت. برای فارسی، کیفیت به وضوح ضبط و لهجه حساس است. جزئیات این بخش را در مقاله‌ی گفتار و متن نوشته‌ایم.

ویدیو معمولاً با نمونه‌برداری از فریم‌ها پردازش می‌شود. یعنی موضوع کلی را می‌گیرد ولی اتفاق کوتاهی که بین دو فریم نمونه‌برداری‌شده افتاده را نمی‌بیند.

کدام مدل‌ها این توانایی را دارند

نسخه‌های امروزی سه خانواده‌ی اصلی — GPT، Gemini و Claude — همه ورودی تصویری دارند، با تفاوت‌هایی در دقت و محدودیت اندازه‌ی فایل. مقایسه‌ی کاربردی‌شان در مقایسه‌ی چت‌جی‌پی‌تی، جمینای و کلاد آمده است. برای مرور مفاهیم پایه، چت‌جی‌پی‌تی چیست نقطه‌ی شروع مناسبی است.

مستندات فنی بینایی در Gemini و راهنمای تصویر OpenAI محدودیت‌های دقیق هر کدام را فهرست کرده‌اند.

یک آزمایش پنج‌دقیقه‌ای

از یک صفحه‌ی کاغذی که جلوی دستتان است عکس بگیرید — قبض، فاکتور، فرم — و سه سؤال بپرسید: یکی درباره‌ی محتوا، یکی درباره‌ی یک عدد مشخص، یکی درباره‌ی چیزی که در تصویر نیست. جواب سوم به شما نشان می‌دهد این مدل کجا کم می‌آورد. در نارنگی می‌توانید همین حالا امتحان کنید.

جمع‌بندی

چندوجهی‌بودن یک قابلیت تزئینی نیست؛ ورودی‌ای را ممکن کرده که قبلاً وجود نداشت. خیلی وقت‌ها توصیف چیزی که می‌بینید از خودِ نشان‌دادنش سخت‌تر است، و همین یک قدم، کار را از تایپ‌کردن نجات می‌دهد.

ولی یک عادت را نگه دارید: هر عددی که از تصویر بیرون می‌آید مشکوک است تا وقتی خودتان ببینید. برای فهمیدن، اعتماد کنید؛ برای عدد، بررسی کنید.

مطالب مرتبط:

• مدل‌های هوش مصنوعی چطور کار می‌کنند
• تبدیل عکس به متن فارسی
• مقایسه‌ی چت‌جی‌پی‌تی، جمینای و کلاد