Inspiré de d’une publication de l’Arcep de janvier 2026 sur les dangers de IA générative.
Juin 2030. Louis demande à son agent conversationnel préféré, LittleAI, de l’aider à préparer sa dissertation. LittleAI peut répondre à des questions et procéder à des tâches comme lui citer des auteurs, repérer des livres, trouver des passages adéquats...
Louise lui formule sa requête : « Je souhaite écrire une dissertation sur l’amour durable en philosophie. Peux-tu m’aider à trouver des auteurs et me donner des idées de plan ? ».
DES SOURCES OPAQUES
Par défaut, l’interface de LittleAI – vocale ou sur écran – lui livre une réponse unique, sans systématiquement citer ses sources. Contrairement à un moteur de recherche ou une plateforme classique, Louis ne peut pas dans la majorité des cas identifier l’auteur et le type de sources à l’origine de l’information ou de la décision prise par l’IA : site commercial d’une chaine de librairie, revue scientifique, réseau social académique ou blog personnel ? L’assistant virtuel commence à proposer un plan, un déroulé complet sans moyen de contrôle pour Louis. L’IA générative choisit à la place de Louis, sans gage de transparence, de pluralité des sources ou d’explicabilité des décisions prises. Par ailleurs, l'IA va consulter uniquement les ressources en ligne accessibles à tous. Ainsi, théoriquement, les ressources récentes protégées par droits d'auteur et les ressources non numérisées ne sont pas prises en compte... ce qui dans le domaine de la théologie ou philosophie peut représenter 80% des sources !
UNE RÉPONSE POTENTIELLEMENT AVEC BIAIS
Avec cette requête, Louis s’en remet à LittleAI pour sélectionner, traiter et synthétiser les informations pour y répondre. La réponse de LittleAI dépend des données sur lesquelles l'IA a été entraînée et des paramètres choisis par le concepteur pour programmer le modèle. Elle peut en particulier reprendre et amplifier par son fonctionnement les contenus dominants à une époque ou les biais - par exemple de genre - présents sur internet, et appuyer ses réponses sur une vision standardisée et stéréotypée de la société. Par exemple, Louis pourrait se voir proposer essentiellement des philosophes masculins, d’avant 1950 (numérisés en masse par les bibliothèques américaines) ou étant populaire sur le net, ce qui n’est pas ce que Louis recherche.
LES « HALLUCINATIONS »
Les IA génératives peuvent être victimes d’un problème majeur : les « hallucinations ». Fondés sur un système de liens statistiques entre les contenus sur internet, des résultats semblant véridiques peuvent inclure des erreurs : sur la base des données et de la méthode d’entrainement appliquée, LittleAI se borne à « prédire » l’information la plus probable, mais pas la plus juste ! Louis pourrait ainsi se voir fournir un des titres fictifs (les bibliothécaires américains font face à ce phénomène !) ou citer des passages inventés de toute pièce.
L’EFFET « BULLE »
En multipliant les recherches, Louis donne à LittleAI des informations sur ses goûts, son parcours, ses intérêts. Afin de capter l’attention et de maximiser le temps d’utilisation, les paramètres de LittleAI pourraient « surpersonnaliser » ses réponses et s’adapter à ses attentes et goûts identifiés. Par exemple, si Louis a formulé, en amont, des recherches sur un voyage en Italie, LittleAI pourrait lui prévoir des sélections d’auteurs italiens, alors qu’il ne parle pas italien ou ne s’intéresse pas spécialement à la philosophie italienne.
UNE REPONSE COMMERCIALE
En considérant qu’en 2030, la publicité finance en partie la plupart des agents conversationnels, les entreprises signent des contrats avec les fournisseurs de services d’IA générative afin d’être plus souvent recommandées dans les réponses de l’IA. Dans le cas de Louis, LittleAI pourrait avoir conclu un accord commercial avec de grands éditeurs ou des fournisseurs de bases de données payantes. Elle pourrait ainsi l’orienter vers ces sources, au lieu d’options moins coûteuses (articles ou livres en open source), sans que Louis ne soit informé de cet accord commercial.