一枚のAI画像なら、「その一瞬」が自然に見えれば成立します。
動画にはもう一つ条件があります。
次の瞬間も前の瞬間とつながっていなければならないことです。
人物が顔を横に向いても同じ人である必要があります。机の上のコップが理由なく消えてはいけません。カメラが左へ移動したら、部屋の新しい部分が自然に見える必要があります。
パラパラ漫画で考える
パラパラ漫画では、一枚一枚の絵が必要です。
しかし、それだけでは動きません。前のページから少しずつ変化し、連続して見ると動いて見える必要があります。
AI動画にも同じ二つの課題があります。
- 各フレームが自然であること
- 前後のフレームが一貫していること
後者は**時間的一貫性(Temporal Consistency)**と呼ばれます。
画像生成に「時間」が追加される
第013回で扱った画像生成の直感は動画にも役立ちます。
ただし動画モデルは、見た目だけでなく、時間とともに何がどう変わるかも扱います。
製品によって入力は異なりますが、
- Text Prompt
- 開始画像
- 最初と最後のフレーム
- キャラクター参照
- 既存動画
- カメラやMotion Control
などを使う場合があります。
なぜ顔や物が溶けるように変わる?
モデルが時間の途中で物体やIdentityを追えなくなると、小さなズレが積み重なります。
手の形が変わる、ネックレスが消える、看板の文字が変わる、背景の家具が勝手に移動する、といった現象です。
これは一枚のフレームの失敗だけではなく、同じ世界を時間方向に維持できなかった失敗です。
「動き」を分解する
「女性がカメラへ歩く」という場面でも、動くものは複数あります。
- 人物の動き
- 服や髪、周囲の物体の動き
- カメラの動き
たとえば、
「人物はゆっくり前進する。風でコートが少し揺れる。カメラは同じ速度で後退し、背景の街並みは安定している」
と分ける方が、「映画風に歩く」より具体的です。
長い動画ほど難しくなる
5秒のクリップと1分の動画は、単純な長さの違いだけではありません。
時間が長いほど、顔、物体、空間がずれる機会も増えます。
実際の制作では、短いショットを複数生成して編集でつなぐ方が安定することがあります。これは通常の映像制作がショット単位で作られるのと同じです。
参考画像は動画でも重要
第015回の人物一貫性は、動画ではさらに重要になります。
同じ人物を維持したいなら、Reference ImageやIdentity Controlが強い手がかりになります。
今日の一文
AI動画生成は、自然なフレームを作るだけでなく、そのフレーム同士の変化まで自然につなげる必要があります。
次の第017回では、人物の動き、カメラの動き、時間を分けてVideo Promptを書く方法を扱います。
コメント
質問、感想、補足したいことがあれば、ここに残せます。
まだコメントはありません。1Fになってみませんか。