Les LLM ne comprennent pas la vidéo. Ah bon ?

L’OEIL DE PAUL RIPART. On entend souvent cette affirmation : « Les LLM ne comprennent pas la vidéo ». D’ailleurs, le deuxième « L » de LLM signifie « Language », pas « Vidéo ». Pourtant, quand on ouvre ChatGPT ou n’importe quel autre LLM, on peut lui demander de créer une vidéo. Les LLM ne comprendraient pas la vidéo, mais pourraient en créer ?

En réalité, quand vous demandez à ChatGPT de réaliser une vidéo ou de générer un but en finale de Coupe du monde, le LLM ne fabrique pas lui-même les images. Il va plutôt comprendre votre demande, rédiger un scénario, imaginer un storyboard, décrire les plans, la photographie, les mouvements de caméra….

Ensuite, ce travail est transmis à un modèle spécialisé de génération vidéo comme Veo, Sora ou Luma, qui va construire la vidéo en suivant les instructions rédigées par le LLM. Le LLM est donc l’équivalent d’un scénariste ou le réalisateur. Celui qui écrit l’histoire, pas celui qui tourne la vidéo.

Et pour le GEO ? N’est-ce pas YouTube, la grande plateforme vidéo, qui est la source la plus citée dans les réponses des LLM ?

Là encore, la réalité est plus nuancée.

Aujourd’hui encore, la majeure partie de la compréhension d’une vidéo par les LLM passe par le texte : titre, description, sous-titres, transcript. Une part importante de la vidéo est donc transformée en texte avant d’être exploitée. Et c’est ce qui explique en partie pourquoi les vidéos YouTube remontent si bien dans les LLM.

Cette vérité ne sera certainement pas celle de demain, les modèles deviennent de plus en plus multimodaux, c’est-à-dire capables de traiter autre chose que du texte : images, audio ou vidéo.

Mais, même dans ces modèles, à date, la vidéo est fréquemment transformée en représentations plus compactes afin que le modèle puisse raisonner plus efficacement.

Au vu de cette difficulté a traiter les vidéo, est ce que les modèles du futur seront-ils encore des LLM ? Et si le problème venait de l’architecture même des LLM, malheureusement pas prête à traiter de la vidéo ?

Je vous laisse aller lire les travaux et les prises de position de Yann LeCun.