あなたのクリップが、あなたの話さない言語で話す
完成したクリップは、録り直しなしで、月間の動画枠も使わずに19言語へ吹き替えられます。ただし「AI吹き替え」という言葉では4つの別物が売られており、互いに置き換えられるものではありません。まず比較から示しますので、求めていたものかどうかを確かめてください。
4つの方式を並べて比べる
各行は実在する製品カテゴリで、それぞれに実際の代償があります。うち2つは提供していません。その理由のほうが、機能そのものよりお役に立つはずです。
| 方式 | 得られるもの | 代償 | Katto |
|---|---|---|---|
| 翻訳字幕 | 対象言語の文字 | 視聴者は依然として理解できない言語を聞き続けます。無音で成立するクリップには十分ですが、話し方で持たせる内容には弱いです。 | 併せて提供 |
| 合成音声の吹き替え | 対象言語の新しい音声トラック | 声は話者本人のものではありません。自然に聞こえますが、原音を知る視聴者は別人だと気づきます。 | Kattoが行うもの |
| 声のクローン | 話者本人の声で、別の言語 | 正当に使うには本人の同意が要り、同じ技術は説得力のあるなりすましも作れます。危険は技術ではなく、第三者が何に使うかにあります。 | あえて提供しません |
| リップシンク吹き替え | 新しい音声に合わせて口元を再生成 | 群を抜いて重く、正面からの整った画でなければ破綻します。切り出したポッドキャスト素材では、その条件を満たさない場合が大半です。 | 提供していません |
難しいのは声ではなく、時計です
音声合成のAPIを呼ぶのは簡単なほうの半分です。難しいのは、翻訳すると長さが変わることです。同じ文が言語によって3分の1ほど長くなることは珍しくなく、これを無視した吹き替えは一文ごとにずれていき、やがて話者はまだ聞かれていない質問に答え始めます。
そこで原音のタイミングは、上書きする対象ではなくデータとして扱います。各フレーズは話したときの長さを制約として翻訳し、個別に合成し、元の位置に収め直します。伸縮は人の声として保てる範囲にとどめます。字幕も同じ時計で作るため、文字と新しい音声が離れることはありません。
かかるもの
吹き替えは月間の動画枠を消費しません。その枠が数えるのはクリップにする元動画であり、吹き替えはすでに作ったクリップへの作業だからです。代わりに専用の上限があります。直近30日で20回まで、1回の依頼につき3言語まで。古いものから順に数から外れていきます。残り回数はエディタが選ぶ前に表示します。選んだ後ではありません。
上限があるのは、音声合成だけが動画の長さではなく使用量に比例して費用がかかる工程だからです。あとから黙って絞られる無制限の約束より、数字を申し上げるほうを選びます。
提供しないもの
声のクローンは誰もが求める機能であり、このページがこの形をしている理由でもあります。クリップから人の声を再現することは、その人に言っていないことを言わせる能力と同じです。それを広く提供するとは、意図を確認できない相手に渡すということです。いつか出すとしても、その声が依頼者本人のものだという裏づけを条件にします。それまで吹き替えは合成音声を使い、誰かのふりはしません。
よくある質問
19言語です。基盤となるエンジンはさらに多くを話せますが、言語ごとに品質を確かめたうえで選択肢を広げます。確かめていない数字を掲げることは、機能をサポートの行列に変える近道です。
いいえ。月間枠が数えるのはクリップにする元動画です。吹き替えには別の上限があります。直近30日で20回、一度に3言語まで。古いものから順に数から外れます。
音声合成だけが、動画の長さではなく使用量に応じて費用が増える工程だからです。上限はその制約の正直な形です。もう一方の選択肢は、黙って質が落ちていく無制限の約束です。
そこが本当の技術的課題で、音声合成APIを呼ぶだけでは解決しません。原音のタイミングをデータとして保持し、各フレーズを意味だけでなく話した長さに合わせて翻訳し、個別に合成して元の位置に収め直します。字幕も同じ時計に載せるので、新しい音声から離れません。
技術としては機能します。問題は、クリップから誰の声でも再現できる道具が、同時にその人に言っていないことを言わせる道具でもあり、それを見知らぬ相手に渡すことになる点です。出すとしても、同意の裏づけを条件にします。切り替えスイッチとしてではありません。
はい。同じ操作をREST APIとMCPツールの双方で提供しているため、エージェントはブラウザなしで完成クリップを吹き替えられます。返るのは照会用のジョブであり、待たされる呼び出しではありません。
あなたの言語を話さない視聴者へ
吹き替えはCreatorの機能です。入力はすでに作ったクリップなので、録り直しも枠の消費もありません。