Comment les outils de mesure GEO accèdent aux réponses des LLM (et leurs limites)

L’OEIL DE PAUL RIPART. Avec l’émergence du GEO, des outils comme Minddex, GetMint, Meteoria ou Profound promettent de mesurer la visibilité des marques dans les réponses des intelligences artificielles.

Mais, contrairement au search traditionnel, il n’existe aujourd’hui aucune interface permettant d’accéder aux prompts les plus populaires. Impossible d’obtenir des volumes de recherche ou même des exemples de prompts représentatifs à grande échelle. Alors, comment ces outils parviennent-ils à produire des indicateurs de visibilité ? (Court) Zoom sur les deux méthodes principales :

L’utilisation des API

Les principaux LLM proposent un accès (payant) à leurs API pour les interroger sans avoir à passer par l’interface utilisateur. Le principe est simple : envoyer via une requête une série de prompts, récupérer les réponses via cette API, puis analyser les mentions de marques et leur position dans le texte.
Cette approche est scalable, ultra rapide, « officielle » et facile à industrialiser. Mais elle présente une limite majeure : les réponses obtenues via API diffèrent souvent de celles que l’on voit dans l’interface quand on fait un prompt « comme un humain ».

La simulation d’utilisateur (scrapping)

L’autre méthode consiste à simuler un comportement humain avec un outil d’automatisation et à récupérer les réponses affichées. Le gros avantage est que cela reproduit « une expérience réelle » que l’on peut répéter plusieurs fois pour avoir un échantillon important.

Mais cette approche comporte aussi des biais : exemple si j’utilise une adresse IP en Corrèze pour simuler les utilisateurs, mes résultats pour trouver le « meilleur restaurant » ou le « meilleur endroit pour faire mon contrôle technique » risquent d’être très influencés… Autre problème – notamment pour les médias qui ont intérêt a montrer que leurs sites remontent dans les sources – sur Gemini ces sources ne sont quasiment jamais visibles lorsque vous passez par l’interface utilisateur.

Dans les deux cas, on ne mesure pas une réalité absolue mais un échantillon de réponses.

Est-ce un problème de mesurer avec une approche probabiliste ? Non. Toutes les études d’audience média sont basées sur des échantillons.
Par contre, celles-ci sont standardisées et auditées, 2 actions qui devraient arriver sur ce très jeune marché de la mesure de la visibilité sur les chatbot LLM

Y a-t-il urgence à demander des audits au CESP ou au MRC ? Pas sûr car une transparence totale risque d’arriver grâce à… la publicité.
Difficile d’imaginer que l’offre publicitaire d’Open AI puisse décoller sans donner accès à des volumes de prompts -surtout s’ils sont vendus au CPM-.