この記事の結論
AI動画生成で音声が消える・外国語が混入する失敗は、3つの原因があります。生成器が焼き込む音声をそのまま使う、ffmpeg amixのduration罠で音声が打ち切られる、動画と音声の尺がずれる、の3つです。完成後の機械検証で音声トラック長と映像長の一致・言語チェック・セリフ検出を必ず行うことで、納品前に失敗を防げます。
なぜAI動画の音声だけ失敗するのか
映像は一見正しく生成されているのに、音声だけが消える・途中で途切れる・外国語が混ざる失敗が起きます。これは、AI動画生成器が音声を動画に焼き込んで出力する仕様が原因です。さらに、複数の音声を混ぜる処理の構造的な罠も影響します。
撮影なしでAI動画を量産する方法を実装する際に、私たちが実案件で踏んだ失敗は次の3つでした。
| 失敗 | 原因 | 実例 |
|---|---|---|
| 中国語が混入 | 生成器が焼き込む音声をそのまま使った | 「那是二爺收過二口」が環境音として入る |
| インタビューが全消失 | ffmpeg amix=duration:firstの罠 | 84.7秒の動画で音声が23.7秒しかなかった |
| 途中で音声が途切れる | 動画尺と音声トラック長のずれ | 映像90秒・音声60秒の不一致 |
これらは、静止フレームのQCだけでは検出できません。再生して初めて気づくため、納品直前に発覚するリスクがあります。不動産会社が物件紹介動画や会社紹介動画を内製する際に、同じ失敗を避けるための検証手順を公開します。
罠1: 生成器が焼き込む音声を使ってしまう
AI動画生成器は、動画に音声を焼き込んで出力します。H3もSeedanceも、この仕様は同じです。その音声の中身は、中国語やでたらめな日本語です。
実際に生成した動画の音声トラックを確認したところ、「那是二爺收過二口」という中国語が環境音として入っていました。これを環境音だと思ってそのまま使うと、視聴者に聞こえてしまいます。
対処方法
生成クリップの音声は常に不使用とします。ナレーション・BGM・環境音は別途作成して組み合わせます。
ナレーションはElevenLabsなどの音声合成で作成し、BGMと環境音はロイヤリティフリー素材を使います。音量設計は、ナレーション・インタビューを0dB、環境音を-13dB、エンジン音を-19dB、BGMを-25dBに設定します。最終的にloudnormで-14LUFSに正規化する構成を基準とします。
ナレーションが最も明瞭に聞こえる音量設計です。実案件での実績値をベースに、視聴環境に応じて微調整します。
罠2: ffmpeg amixのduration=firstで音声が消える
複数の音声を混ぜる処理で、ffmpegの amix=duration=first を使うと、先頭入力の長さで音声全体が打ち切られます。
実案件で起きた失敗は、環境音を23.7秒で先頭に配置し、ナレーションを60秒で5秒遅延、インタビューを30秒で40秒遅延させてamixで混合した構成でした。
この場合、先頭の環境音が23.7秒で終わるため、音声トラック全体が23.7秒で打ち切られます。ナレーションの後半とインタビュー全体が消えます。
84.7秒の動画に対して音声が23.7秒しかなく、インタビューが全消失しました。
ffmpeg amix duration=firstの罠と回避策
NG: 先頭に遅延音声を置く
- 環境音23.7秒を先頭入力
- ナレーション60秒を5秒遅延
- インタビュー30秒を40秒遅延
- →先頭の23.7秒で音声トラック全体が打ち切られる
- →インタビューが全消失
OK: 先頭に動画尺の無音を置く
- 84.7秒の無音トラックを先頭入力
- 環境音23.7秒を0秒から開始
- ナレーション60秒を5秒遅延
- インタビュー30秒を40秒遅延
- →音声トラック全体が84.7秒に固定される
amix=duration:firstは先頭入力の長さで音声全体を打ち切る。動画尺ちょうどの無音トラックを先頭に固定することで回避できる
対処方法
動画尺ちょうどの無音トラックを先頭入力に固定します。84.7秒の動画なら、84.7秒の無音トラックを作成し、環境音・ナレーション・インタビューをそれぞれ遅延させて混合します。この構成で、音声トラック全体が84.7秒に固定されます。ミックス後に音声尺と映像尺の一致を機械検証します。
罠3: 動画と音声の尺がずれる
映像の尺と音声トラックの長さがずれていると、途中で音声が途切れます。これは、音声ファイルの作成時に尺を指定し忘れる・複数の音声を混ぜる過程で尺がずれる、の2つが原因です。
実案件では、映像90秒に対して音声60秒のまま組み合わせてしまい、60秒以降の映像に音声がない状態で納品寸前まで気づきませんでした。
対処方法
完成後の音声検証を3ステップで必ず行います。
音声検証の3ステップフロー
完成後の機械検証で3ステップを必ず通す。1つでも不合格なら該当箇所を修正して再検証
ステップ1: 音声ストリーム長と映像長の一致確認
ffprobeで音声ストリームと映像ストリームの長さを比較します。音声ストリームの長さと映像ストリームの長さを個別に取得し、2つの値が一致していることを確認します。不一致の場合は音声ファイルの構成を見直します。
具体的には、ffprobe -v error -select_streams v:0 -show_entries stream=duration -of default=noprint_wrappers=1:nokey=1 output.mp4 で映像長を取得し、-select_streams a:0 で音声長を取得します。2つの値の差が0.1秒以内であれば合格とします。0.1秒を超える差がある場合は、音声ファイルの再構成が必要です。
ステップ2: 全セリフの存在確認
whisperで文字起こしを行い、ナレーション原稿の固有語句が全て検出されるかを確認します。例えば「無料査定」「LINE相談」「売却実績」といったキーワードを予め用意し、文字起こし結果に全て含まれているかをチェックします。固有語句が検出されない場合は、該当箇所の音声が消えている可能性があります。
チェックリストは動画の種類ごとに作成します。物件紹介動画なら「所在地」「価格」「間取り」「お問い合わせ」の4語、会社紹介動画なら「創業」「実績」「無料相談」の3語を必須キーワードとします。これらが1つでも欠けていたら不合格とし、該当シーンの音声を作り直します。
ステップ3: 検出言語がjaのみか確認
whisperの検出言語が日本語のみかを確認します。文字起こし結果のセグメントごとに言語を確認し、日本語以外が混入している場合は、生成器が焼き込んだ音声を使っている可能性があります。何秒の時点で外国語が検出されたかを記録することで、修正箇所を特定できます。
検証では、全セグメントの言語コードを抽出し、日本語(ja)以外のコードが1つでも含まれていたら不合格とします。外国語が検出された時刻をログに記録し、該当シーンの生成クリップの音声トラックを無効化します。実案件では、23.7秒の時点で中国語(zh)が検出され、該当クリップの音声を削除することで修正しました。
完成後の音声検証3ステップ
不動産会社が物件紹介動画や会社紹介動画を内製する際に、納品前に必ず行う検証手順をまとめます。
| 検証項目 | 方法 | 合格基準 |
|---|---|---|
| 音声ストリーム長 | ffprobe -show_streams | 映像長と完全一致 |
| セリフ検出 | whisperで文字起こし | 固有語句が全て存在 |
| 言語チェック | whisper segments | 日本語のみ |
これらを自動化するスクリプトを作成し、書き出し後に必ず実行する運用にすることで、手戻りを防げます。
制作フローに組み込む実務手順
AI動画生成の制作フローに、音声検証をどこに組み込むかを示します。絵コンテ設計、動画生成、音声作成、組み立て、書き出しの後に音声検証を挿入し、クライアント確認の前に失敗を検出します。
音声検証を書き出し直後に行うことで、クライアント確認前に失敗を防げます。不動産会社のYouTube台本6つの型で企画を量産する運用では、検証を自動化することで運用負荷を減らせます。
不動産会社が月10本以上の動画を内製する場合は、ffprobeとwhisperを組み合わせたスクリプトを作成し、書き出し後に自動実行する仕組みを作ります。私たちが実務で使っているAI業務環境では、この検証を含めて動画制作の一連の流れを自動化しています。
よくある質問
Q. AI動画を生成したら中国語が混ざっていました。なぜですか？
A. 生成器が動画に焼き込む音声をそのまま使っているためです。H3もSeedanceも音声トラック付きで出力しますが、中身は中国語やでたらめな日本語です。クリップ音声は常に不使用とし、ナレーションとBGMを別途作成して組み合わせます。
Q. ffmpeg amixで音声を混ぜたら、インタビューが消えました。
A. amix=duration:firstは先頭入力の長さで音声全体を打ち切ります。遅延させた音声を先頭に置くと、そこで音声トラックが終わります。動画尺ちょうどのanullsrcを先頭入力に固定し、ミックス後に音声尺と映像尺の一致を機械検証します。
Q. 動画の途中で音声が途切れるのですが、原因がわかりません。
A. 音声トラック長と映像長がずれている可能性が高いです。ffprobe -show_streams で音声ストリームと映像ストリームの長さを比較し、一致しているか確認します。不一致の場合は音声ファイルの構成を見直します。
Q. 音声検証を自動化したいのですが、どうすればよいですか？
A. ffprobeで音声ストリーム長と映像長を比較し、whisperで全セリフの存在を確認し、検出言語がjaのみかをチェックするスクリプトを作ります。不動産会社の動画制作で月10本以上作る場合は、検証を自動化することで手戻りを防げます。
Q. ナレーションとBGMの音量バランスはどのように決めますか？
A. ナレーション0dB、環境音-13dB、エンジン音-19dB、BGM-25dBを基準とし、loudnorm I=-14で正規化します。ナレーションが最も明瞭に聞こえる音量設計です。実案件での実績値をベースに、視聴環境に応じて微調整します。
相談窓口
AI動画生成で音声が消える・外国語が混入する失敗は、制作フローに検証ステップを組み込むことで防げます。不動産会社が物件紹介動画や会社紹介動画を内製する際に、どの工程で何をチェックするかを明確にすることで、納品前の手戻りを減らせます。
生成AIを貴社の業務にどう組み込むかは、扱う物件・組織の規模・現在の業務フローによって最適解が変わります。株式会社MCOでは、不動産・建設業に特化したAI経営コンサルティングと実装代行、社内定着までの伴走を行っています。まずは公式LINEからお気軽にご相談ください。