Citoyens prenez le pouvoir

On entend pas mal en ce moment parler de l'utilisation de l'IA pour la génération de vidéo. Cette utilisation par Netflix dans une série dernièrement a fait grand bruit avec l'industrie du cinéma qui commence à s'inquiéter (à juste titre). Il y a bien sûr tous les usages pour générer du faux contenu, que ce soit assumé ouvertement par exemple avec le compte twitter/X @DiaperDiplomacy (voir leur chaîne Youtube) ou pour faire de la désinformation.

J'ai voulu essayer la génération à partir d'une petite nouvelle écrite il y a quelques années. Les outils sont payants et les rares avec lesquels j'ai pu jouer limitent à 8 secondes de vidéo gratuite, au delà il faut payer, mais c'est déjà pas mal pour voir ce que ça donne. J'ai extrait un morceau de ma nouvelle, il manque la chute, ça n'aurait de toute façon pas tenu en 8s, donc pas la peine de critiquer l'histoire, ce n'est pas le sujet.

Ci-dessous le prompt donné à l'IA

"Dépêche toi Josépha, nous devons sortir de ce tunnel avant que le sort d'endormissement du dragon ne se dissipe."

Ranta et Josépha couraient au milieu des restes des repas du dragon, éclairées juste par la petite lueur d'une minuscule lampe de cérémonie que Ranta avait dérobé sur l’autel du temple des adorateurs du dragon, juste avant d'entrer dans le repaire du monstre. Elle trébucha sur un squelette et s'étala de tout son long sur le chemin glissant, soufflant la mèche de la lanterne. Ce n'était déjà pas facile de sortir de ce tunnel avec une lampe, alors dans l'absolue obscurité qui les entourait, leurs chances d'en réchapper s'amenuisaient grandement.

Josépha se rappela soudain des allumettes magiques que lui avait donné la prêtresse elfe. Elle fouilla dans sa poche et en sorti une petite boite rectangulaire. Saisissant une des précieuses allumette, elle invoqua le sort de lumière. Une lumière bleutée jaillit soudain de sa main. Au fur et a mesure que la flamme chauffait, elle devenait de plus en plus jaune, puis blanche. Au bout d'un instant qui paru une éternité, la flamme magique fut assez chaude pour rallumer la petite lanterne. Elle mis fin au sort qui consommait beaucoup de son énergie vitale. Au moment de remettre l’allumette dans sa boite, cette dernière se renversa. Josépha se précipita sur les allumettes magiques qui jonchaient le sol pour les remettre à leur place en sécurité dans la petite boite.

"Vite Josépha, le sort ne va pas tenir plus longtemps."
"Je... je n'y arrive pas"
"Hein, que se passe-t-il ?"
"Je n'arrive pas à les remettre dans la boite."
"Mais elles tenaient toutes dedans avant ?"
"Oui, mais je n'y arrive pas" disait-elle attrapant les allumettes à pleine main et en les jetant avec de la terre dans la boite.

Un souffle chaud et pestilentiel arrivait vers eux depuis une des extrémité du tunnel. Le dragon n'en fit qu'une bouchée.

Et voilà ce que ça donne sur le site de https://deevid.ai/fr/text-to-video. On notera que mon texte en français a été traduit en anglais par l'outil, et que les dialogues sont resté en anglais.

Je me suis aperçu que ce texte n'aidait pas vraiment l'IA pour générer la vidéo. Alors je l'ai simplifié encore plus:

"Dépêche toi Josépha, nous devons sortir de ce tunnel avant que le sort d'endormissement du dragon ne se dissipe." Ranta et Josépha couraient au milieu des restes des repas du dragon, éclairées juste par la petite lueur d'une minuscule lampe. Josépha trébucha sur un squelette et s'étala de tout son long sur le chemin glissant, soufflant la mèche de la lanterne. Josépha se rappela soudain des allumettes magiques qu'elle avait. Elle fouilla dans sa poche et en sorti une petite boite rectangulaire. Saisissant une des précieuses allumette, elle invoqua le sort de lumière. Une lumière bleutée jaillit soudain de sa main. Au fur et a mesure que la flamme chauffait, elle devenait de plus en plus jaune, puis blanche. Au bout d'un moment, la flamme magique fut assez chaude pour rallumer la petite lanterne. Au moment de remettre l’allumette dans sa boite, cette dernière se renversa. Josépha se précipita sur les allumettes magiques qui jonchaient le sol pour les remettre à leur place en sécurité dans la petite boite. "Vite Josépha, le sort ne va pas tenir plus longtemps." lui chuchotait Ranta. "Je... je n'y arrive pas" "Hein, que se passe-t-il ?" "Je n'arrive pas à les remettre dans la boite." "Mais elles tenaient toutes dedans avant ?" "Oui, mais je n'y arrive pas" disait-elle attrapant les allumettes à pleine main et en les jetant avec de la terre dans la boite. Un souffle chaud et pestilentiel arrivait vers eux depuis une des extrémité du tunnel. Le dragon n'en fit qu'une bouchée.

J'ai essayé avec d'autres outils et franchement, c'est très loins d'être à la hauteur du premier. J'ai demandé à Google Véo et le petit extrait de 8s est complètement à côté de la plaque. Voici le texte que j'ai mis en intro avant l'histoire ci-dessus:

Crée une vidéo de 2 jeunes femmes dans un tunnel sombre en t'inspirant de l'histoire suivante:

et voici ce que cela donne:

J'ai aussi essayé un truc impressionnant, https://app.ltx.studio/ le problème que c'est un outil hyper complet et que le temps de le découvrir, la durée gratuite est terminée. Cet outil reformule l'histoire à sa sauce et le résultat, bien qu'impressionnant s'éloigne de l'histoire initiale. Je pense que cela vient du texte en français qui est mal traduit en anglais. On retrouve un problème avec cet outil, c'est que les personnages changent d'une séquence à l'autre. Bref il faudrait y passer beaucoup de temps, mais il y a du potentiel.

J'ai tester aussi https://www.revid.ai/ et là ce n'est clairement pas adapté. A chaque séquence les personnages changent de tête, sans parler des voix.

Tout ça pour dire que pour l'instant il y a encore du boulot pour ceux qui écrivent les histoires.