Un recadrage IA qui ne coupe pas l'action : comment on le fait

Tout outil de clipping IA doit régler le même problème ingrat : la source est en 16:9, mais TikTok, Reels et Shorts sont en 9:16. Passer de l''un à l''autre revient à jeter environ deux tiers de la largeur. Ratez ça et le clip entier semble cassé, quelle que soit la qualité des sous-titres ou de l''accroche.

C''est la partie dont presque personne ne parle, et c''est celle qui décide si un clip a l''air fait par un humain ou par un script.

Les deux réponses faciles, et pourquoi les deux échouent

Il y a deux façons évidentes de faire rentrer du 16:9 dans du 9:16, et seules, les deux sont mauvaises :

• Le crop centré. On prend la tranche du milieu et on remplit l''écran. Ça claque sur un gros plan, mais sur un plan large c''est un désastre. Sur un clip de foot, le ballon part sur l''aile et le crop ne le montre tout simplement pas. On regarde la réaction à une action qu''on ne voit pas.
• Le letterbox. On réduit toute l''image 16:9 et on ajoute des bandes en haut et en bas. Rien n''est perdu, mais tout est minuscule. Sur un clip entier, ça fait cheap et petit, comme une vidéo d''une vidéo.

La vraie erreur, c''est de traiter le recadrage comme une décision globale. Le bon cadrage n''est pas une propriété de la vidéo. Il change d''un instant à l''autre.

Cadrer chaque instant pour lui-même

Un gros plan veut remplir l''écran. Un plan large veut rester assez large pour ne pas perdre l''action sur les bords. Un carton plein écran veut être montré en entier. La bonne réponse est différente pour chacun, et elle peut changer toutes les deux secondes au fil des coupures. Donc au lieu d''un réglage pour tout le clip, on choisit le cadrage instant par instant, et on le tient stable pour qu''il ne tremble ni ne dérive jamais.

Le contenu parlé ajoute une couche. Une personne, deux personnes ou un plateau entier veulent chacun un cadre différent, et choisir le bon automatiquement, sans couper quelqu''un hors champ ni tasser tout le monde dans une bande minuscule, c''est l''essentiel du travail.

La partie honnête

Rien de tout ça n''est un seul modèle malin. C''est beaucoup de vision par ordinateur et d''audio qui alimentent des décisions qu''on calibre sur de vrais clips, encore et encore, en regardant où ça cadre mal et en corrigeant. L''essentiel du progrès vient des tests sur les vidéos qui le cassent : un match de foot rapide, un podcast à plusieurs, un enregistrement d''écran sans aucun visage.

La qualité du recadrage n''est pas une feature qu''on termine. Pour un outil de clipping, c''est tout le jeu, alors on continue de la travailler. Pour voir où elle en est aujourd''hui, jetez une vidéo dans Katto et regardez comment il cadre chaque moment.