Pourquoi les clips IA sonnent un peu faux (et comment on décide où couper)

Notes en build-in-public de Katto, un outil de découpage vidéo par IA développé par une seule personne.

Il y a un petit détail qui sépare un clip qui fait pro d'un clip qui fait "automatique" : l'endroit où il commence et où il finit.

Un bon clip démarre sur l'accroche et se termine sur la chute. Un mauvais commence en plein milieu d'une idée, ou déborde d'une phrase de trop. Vous entendez la punchline, puis l'orateur ajoute "et donc bref, passons" juste avant la coupe. Ce minuscule débordement suffit à faire scroller le spectateur.

C'est l'un des problèmes les plus durs du découpage automatique, et presque personne n'en parle. Voici donc quelques notes honnêtes à ce sujet.

La plupart des outils coupent sur des signaux qui ne comprennent pas la parole

La méthode courante pour "trouver les meilleurs moments" consiste à noter une vidéo sur des signaux peu coûteux à calculer : pics de volume, changements de plan, détection de visages, silences. Ils vous disent qu'il se passe quelque chose, mais pas ce qui est dit.

Résultat : la coupe tombe sur une pause ou un changement de plan, pas sur la fin d'une idée. Et le silence coïncide rarement avec le sens : les gens font une pause au milieu d'une phrase, puis enchaînent la vraie chute sans reprendre leur souffle. Coupez sur le silence et vous vous arrêterez régulièrement un temps trop tôt, ou une proposition trop tard.

C'est la racine de cette sensation de "pas tout à fait juste". Le clip est techniquement propre et sémantiquement cassé.

Le principe : c'est le sens qui décide où, pas l'audio

Le changement qui a le plus fait bouger la qualité, ça a été d'arrêter de traiter la coupe comme un problème d'audio pour la traiter comme un problème de compréhension.

Au lieu de demander "où y a-t-il une pause ?", la bonne question est "où commence et où finit une histoire qui se suffit à elle-même ?" : une ouverture qui crée la curiosité, et une chute qui la résout. C'est un jugement sur le sens, et c'est ce qu'un bon monteur fait d'instinct : cet arc commence ici, il retombe là.

Les signaux audio comptent encore, mais pour le travail inverse. Une fois la frontière de sens choisie, ce sont eux qui rendent la coupe propre à l'oreille, en la calant sur une vraie respiration plutôt qu'en tranchant une syllabe en deux.

Le modèle mental est donc simple : le sens décide où est le clip ; le son décide comment la coupe sonne. La plupart des outils ne font que la seconde moitié, et c'est pour ça que leurs clips paraissent automatiques même quand l'audio est propre.

La partie honnête : les bords, c'est dur

Je ne vais pas vous dire que c'est réglé. Ça ne l'est pas complètement.

Même avec le bon moment choisi, la dernière ligne droite, resserrer un clip pour qu'il finisse exactement sur la chute et pas une demi-phrase plus loin, est vraiment difficile, parce que la parole humaine n'arrive pas en phrases bien propres. C'est le genre de détail qu'on ne remarque que quand il est raté, et c'est précisément pour ça que ça vaut la peine de s'y acharner. Il reste des cas limites que je peaufine encore, et quiconque vous jure que ses coupes IA sont parfaites est en train de vous vendre quelque chose.

Mais poser les choses comme "le sens d'abord, les bords ensuite" est ce qui a fait que les clips ont cessé de paraître robotiques. C'est tout l'enjeu de ce genre de produit : les détails invisibles sont ce pour quoi vous payez réellement.

Katto transforme les vidéos longues en clips courts. Essayez-le. C'est le genre de problème que je creuse en public.