چرا تصویر به ویدیو بهتر از متن به ویدیو جواب می‌دهد

یک فروشنده‌ی زعفران در مشهد می‌خواهد برای اینستاگرام یک کلیپ پنج‌ثانیه‌ای بسازد: قوطی زعفران روی میز چوبی، دوربین آرام جلو می‌رود. جمله را به مدل متن به ویدیو می‌دهد. بار اول قوطی شیشه‌ای درمی‌آید. بار دوم فلزی. بار سوم برچسب عوض شده و میز از چوب به سنگ تبدیل شده است. هیچ‌کدام بد نیست؛ فقط هیچ‌کدام آن چیزی نیست که در ذهنش بود، و مهم‌تر اینکه هیچ‌کدام قوطی واقعی او نیست.

ایراد از پرامپت نبود. ایراد از این است که در متن به ویدیو، مدل دو کار جدا را هم‌زمان انجام می‌دهد: اول صحنه را از صفر می‌سازد، بعد آن را حرکت می‌دهد. هر بار که دکمه را بزنید، مرحله‌ی اول دوباره از نو اتفاق می‌افتد.

راه بیرون‌آمدن ساده است: مرحله‌ی اول را از دست مدل بگیرید.

دو مسیر که فقط یکی‌شان دست شماست

در متن به ویدیو، ورودی فقط کلمه است. مدل باید حدس بزند قوطی چه شکلی است، میز چه جنسی دارد، نور از کدام سمت می‌آید و قاب چطور بسته شده. حدس‌هایش معمولاً قشنگ‌اند، ولی حدس‌اند.

در تصویر به ویدیو، شما یک عکس آماده می‌دهید و آن عکس عیناً فریم اول ویدیو می‌شود. مدل دیگر درباره‌ی صحنه تصمیمی نمی‌گیرد؛ فقط تصمیم می‌گیرد اجزای همین تصویر چطور تکان بخورند. دامنه‌ی خطا از «کل صحنه» جمع می‌شود به «فقط حرکت».

چرا خروجی متن به ویدیو تکرارشدنی نیست

این مدل‌ها ذاتاً تصادفی کار می‌کنند و هر اجرا از یک نقطه‌ی شروع متفاوت آغاز می‌شود؛ همان چیزی که در چرا هر بار جواب متفاوتی می‌گیریم باز شده است. پرامپت فقط مرزها را تنگ می‌کند، ولی هرچه بنویسید باز هزاران جزئیات تعیین‌نشده باقی می‌ماند.

برای یک نمای انتزاعی این تنوع نعمت است. برای محصولی که باید همان محصول باشد، فاجعه است. مشتری قوطی‌ای می‌بیند که در انبار شما وجود ندارد.

مقایسه‌ی دو روش، سطر به سطر

گردش کار درست: اول تصویر را تمام کن

ترتیب کار این است. اول تصویر ثابت را تا جایی که کاملاً راضی شدید بسازید یا عکس واقعی بگیرید و ویرایشش کنید — روشش در ساخت عکس با هوش مصنوعی آمده و برای عکس کالا معمولاً بهتر است از عکس واقعی شروع کنید نه از صفر. روی این مرحله وقت بگذارید، چون رفت‌وبرگشت روی تصویر ثابت هم سریع‌تر است و هم ارزان‌تر از رندر ویدیو.

بعد همان فایل را به مدل ویدیو بدهید و فقط حرکت را بخواهید. اگر با ابزارهای این حوزه تازه آشنا می‌شوید، راهنمای ساخت ویدیو با هوش مصنوعی نقطه‌ی شروع است؛ در نارنگی هم می‌شود تصویر را ساخت و بی‌واسطه همان را متحرک کرد.

پرامپت حرکت را چطور بنویسیم

اینجا اشتباه رایج این است که آدم‌ها همان پرامپت مفصل تصویری را دوباره می‌نویسند. لازم نیست. صحنه در تصویر هست؛ توصیف دوباره‌اش فقط مدل را وسوسه می‌کند که آن را عوض کند. سه چیز بنویسید و تمام: حرکت دوربین، حرکت سوژه، سرعت.

تصویر ورودی: قوطی زعفران روی میز چوبی
حرکت دوربین: نزدیک‌شدن آرام و مستقیم، بدون چرخش
حرکت سوژه: بخار ملایم از فنجان کنار قوطی، تکان بسیار کم برگ‌ها
سرعت: کند و یکنواخت
مدت: ۵ ثانیه
ثابت بماند: زاویه، رنگ، نور، برچسب و نوشته‌ی روی قوطی
بدون: تغییر قاب، برش، افکت اضافه، متن روی تصویر

خط «ثابت بماند» را جدی بگیرید؛ همان است که جلوی دستکاری برچسب را می‌گیرد. اصول کلی نوشتن این جور دستورها در پرامپت‌نویسی فارسی توضیح داده شده و اینجا هم همان منطق برقرار است: هرچه دقیق‌تر و کوتاه‌تر، بهتر.

جایی که این روش هم جواب نمی‌دهد

تصویر به ویدیو معجزه نمی‌کند. هر جا حرکت از مدل بخواهد چیزی را بسازد که در فریم اول دیده نمی‌شود، کیفیت می‌افتد: چرخش زیاد دوربین دور سوژه، دیدن پشت یک شیء، ورود آدم تازه به قاب، یا باز شدن در. مدل باید آن بخش پنهان را حدس بزند و حدسش معمولاً کج و معوج است. مدت پلان را هم کوتاه بگیرید؛ مدل‌ها بعد از چند ثانیه از تصویر اولیه دور می‌شوند.

دست و انگشت در حال حرکت هنوز مشکل‌دار است. متن فارسی روی تصویر هم اگر تکان بخورد به هم می‌ریزد، پس نوشته را بعد از رندر و در مرحله‌ی تدوین اضافه کنید. برای فهم اینکه این مدل‌ها اساساً چه می‌کنند، مدخل ویکی‌پدیای مدل‌های متن به ویدیو شروع خوبی است.

چند پلان با ظاهر یکدست

بزرگ‌ترین امتیاز این روش وقتی معلوم می‌شود که به بیش از یک پلان نیاز دارید. یک تصویر پایه بسازید، از آن چند قاب نزدیک به هم دربیاورید — نمای کلی، نمای نزدیک، جزئیات — و هرکدام را جدا متحرک کنید. چون همه از یک منبع آمده‌اند، رنگ و نور و بافتشان می‌خواند و ویدیوی نهایی یکپارچه به‌نظر می‌رسد.

ترتیب پلان‌ها را از قبل روی کاغذ بنویسید؛ نوشتن سناریو و متن ویدیو همین کار را ساختارمند می‌کند. بدون این کار معمولاً ده پلان قشنگ می‌سازید که کنار هم روایت ندارند.

جمع‌بندی

هر بار که خروجی ویدیو «قشنگ ولی غلط» درآمد، احتمالاً مسئله این بوده که مدل داشته صحنه را هم برای شما تصمیم می‌گرفته. فریم اول را خودتان تحویل بدهید تا فقط حرکت بماند.

و از حرکت زیاد نخواهید. یک حرکت آرام و درست، از یک حرکت پرزرق‌وبرق که وسطش برچسب محصول آب می‌رود، برای فروش بهتر کار می‌کند.

برای ادامه:

• مقایسه ابزارهای ساخت ویدیو با هوش مصنوعی
• ساخت ویدیوی کوتاه برای ریلز و شورتس
• تدوین ویدیو با کمک هوش مصنوعی