二人の会話動画を作るAIを比較する話者と口の同期を確かめる

二人の会話は、声の自然さだけでなく、話者の割り当て、発話の順序、口の開閉、視線、身体の向き、背景の位置がそろって初めて内容が伝わります。最初に台詞を話者A・Bへ分け、同時に話す箇所、間、相づち、画面に表示する字幕を決めます。

人物の表情や背景を生成するカットと、正確な製品説明や固有名詞を読む音声は、同じ工程に押し込めない方が確認しやすいことがあります。話者の顔を保ちたいのか、演技動画を移したいのか、静止画から会話させたいのかで候補の入力が変わるため、モデル名より先に目的を分けます。

会話動画の候補は、二人を一度に作る方式だけでなく、人物ごとの演技を共通背景へ合成する方式も並べます。下表は公式資料に書かれた入力とワークフローを要約したものです。日本語の発音、口の同期、自然な視線を実際に試聴・再生した結果ではありません。

Runwayの複数人物チュートリアルは、Act-Two自体が単一キャラクター入力を前提とし、人物ごとに出力した映像を共通の背景へ合成する流れを示しています。二人を一発で作れるという説明へ置き換えず、必要な生成本数、合成、位置調整、音の編集を見積もりに含めます。

まず音声ファイルまたは原稿だけを確認し、誰が何を話すかを確定します。次に音声を映像へ重ね、口の動きが始まるタイミング、語尾の閉じ方、相づちの表情を見ます。最後に二人の映像を同時に再生し、背景・照明・位置の連続性を検査します。話者の声が自然でも口がずれていれば、会話動画としては修正対象です。

長い会話を一度に作らず、1往復を基準にしてから延長する方が、修正箇所を指定しやすくなります。延長・編集を使う場合も、同じ背景と最後のフレームを共有できるか、重複フレームや間の不自然さがないかを確認します。

依頼先に会話動画を比較してもらうときは、話者の台詞、声の素材、人物画像、背景、画角、字幕、修正単位を同じ表にします。下表は説明用の架空例で、実在人物・顧客案件・生成結果・会話品質を示しません。

会話動画のチェックは、音声の自然さ・口の同期・話者の位置・背景・字幕を分けます。行IDと時刻を付けて、「00:07のBの語尾で口が止まる」「Aの字幕がBの発話中に表示される」のように書きます。原因を推測して一括修正せず、再生成・音声差し替え・字幕編集・合成位置調整のどれかを選びます。

音声を後から差し替えられるかは、モデルの生成機能ではなく制作工程・編集データの有無にも左右されます。納品時に、完成動画、字幕原稿、音声の版、話者別の確認記録が必要かを決めておくと、別の候補へ切り替えるときも比較しやすくなります。

外注では「二人が話す動画」だけでなく、台本、話者別音声、人物画像、演技動画、背景動画、字幕、口の同期、合成、修正の担当を分けて聞きます。人物ごとに作る方式なら、合成と位置合わせが追加工程です。動画内音声を使う方式でも、原稿の正確さ・声の利用条件・字幕の責任者は別途確認します。

見積もりには、1往復の尺、話者数、画面比率、台詞の変更回数、音声差し替えの扱い、人物・声・台本の利用許諾、編集データの有無を記入します。日本語の固有名詞や数字があるなら比較用原稿へ入れます。日本語ナレーションの比較で読み・間・修正の項目もそろえられます。