Ce qu’on appelle une hallucination.

Une hallucination, c’est un énoncé faux présenté comme vrai, et plausible au point de ne pas attirer l’attention. Des chercheurs d’OpenAI et de Georgia Tech la décrivent comme une affirmation « plausible mais incorrecte » produite au lieu d’admettre une incertitude[1]. La CNIL dit la même chose avec ses mots : du fait de leur nature probabiliste, ces systèmes peuvent générer des résultats inexacts qui paraissent pourtant plausibles[2].

L’exemple choisi par ces chercheurs est parlant. Interrogés sur le titre de la thèse de l’un d’eux, trois assistants très utilisés ont chacun donné un titre, une université et une année. Aucun n’avait le bon titre ni la bonne année[1].

Ce n’est donc pas une panne rare qu’on pourrait corriger une fois pour toutes. C’est une conséquence de la façon dont ces outils fonctionnent. Les mêmes chercheurs notent que les hallucinations restent présentes dans les modèles les plus récents[1]. Mieux vaut le savoir avant de confier une réponse client à un assistant.

Pourquoi une IA invente, expliqué simplement.

Un modèle de langage a appris à prolonger un texte : il choisit, mot après mot, la suite la plus probable. Anthropic le résume ainsi : l’entraînement pousse à halluciner, puisque le modèle doit toujours proposer un mot suivant[3]. Savoir dire « je ne sais pas » ne vient pas de cet apprentissage : il faut l’ajouter après coup, et ce garde-fou n’est pas infaillible[3].

Les faits rares s’apprennent mal. Une information vue une seule fois pendant l’entraînement a peu de chances d’être retenue de façon fiable. Les chercheurs d’OpenAI le montrent avec les dates d’anniversaire. C’est un raisonnement, pas une mesure : si 20 % d’entre elles n’apparaissent qu’une fois dans les données, il faut s’attendre à ce que le modèle de base (avant ses réglages) se trompe sur au moins 20 % de ces dates[1].

Votre entreprise est le cas extrême. Vos tarifs, votre stock, vos conditions de vente et vos décisions de chantier ne figurent pas une seule fois dans ces données. Ils n’y figurent pas, sauf ce que vous avez publié sur votre site, et encore dans une version qui date. Sur ces sujets, un assistant sans accès à vos documents ne peut que deviner.

La notation récompense le pari. Les modèles sont évalués comme des élèves devant un QCM : une bonne réponse rapporte un point, une case vide ou un « je ne sais pas » n’en rapporte aucun. Dans ce système, deviner rapporte plus que s’abstenir[1]. Les modèles apprennent donc à répondre.

Le frein peut lâcher. Chez Claude, Anthropic a observé un mécanisme qui, par défaut, pousse le modèle à dire qu’il manque d’informations. Quand Claude reconnaît un nom sans rien savoir d’autre, ce frein peut se lever à tort : le modèle produit alors une réponse plausible, mais fausse[3].

Retenez ceci : le ton ne dit rien de la justesse. Une réponse inventée est aussi fluide et polie qu’une réponse juste.

Ce que cela coûte à une entreprise.

Les affaires les mieux documentées viennent des tribunaux, parce que tout y est écrit et daté. Elles concernent des avocats et une compagnie aérienne, mais la leçon vaut pour n’importe quelle entreprise qui écrit à ses clients.

New York, 2023. Deux avocats et leur cabinet ont déposé des décisions de justice qui n’existaient pas, avec de fausses citations, produites par ChatGPT, puis ont continué à les défendre quand le juge en a douté. Le 22 juin 2023, le tribunal fédéral leur a infligé une pénalité de 5 000 $, due solidairement, et leur a imposé d’écrire à chaque juge présenté à tort comme l’auteur d’une fausse décision[4].

Londres, 2025. Des écritures citaient cinq décisions inexistantes. L’avocate et le centre juridique ont été condamnés à payer chacun 2 000 £ à la partie adverse, et l’affaire a été transmise à leurs autorités professionnelles. Le premier juge n’a pas pu établir qu’une IA avait servi[5], et les deux juges de la High Court qui ont ensuite examiné l’affaire n’ont pas tranché non plus. Ils en ont tiré, le 6 juin 2025, un rappel général : les outils d’IA générative grand public ne savent pas mener une recherche juridique fiable et peuvent citer des sources qui n’existent pas[6].

Colombie-Britannique, 2024. L’assistant du site d’Air Canada a indiqué à un client qu’il pourrait demander après coup un tarif réduit pour un deuil, ce que la compagnie refusait. Devant le tribunal, Air Canada a soutenu ne pas répondre de ce que disait cet assistant. Réponse du tribunal : l’entreprise est responsable de toutes les informations de son site, qu’elles viennent d’une page fixe ou d’un assistant. Elle a été condamnée à verser 812,02 $ au total, frais de procédure compris[7]. La décision précise qu’Air Canada n’a rien dit de la technologie de son assistant : la leçon vaut pour tout outil qui parle au nom de l’entreprise.

Dans une PME, la même erreur prend une forme plus banale : un prix unitaire qui n’est pas celui du tarif, un délai promis sans regarder le stock, une clause du contrat citée de travers, une norme qui n’existe pas dans un mémoire technique. Le texte est propre, le client n’a aucune raison de douter, et c’est l’entreprise qui a signé.

Pour sentir le problème en une minute, faites le test « repérez ce que l’IA a inventé » : une réponse client fluide, deux phrases fausses, et leur vérification sur les documents de l’entreprise.

Ce qui ne suffit pas.

Écrire « ne te trompe pas » ou « sois sûr de toi » dans la demande ne donne au modèle aucune information qu’il n’avait pas. Changer d’outil ou prendre une offre payante peut améliorer les réponses, sans faire disparaître le problème[1]. Anthropic le dit de ses propres techniques : elles réduisent nettement les hallucinations sans les éliminer, et il faut toujours valider les informations critiques[8].

Ce qui marche tient en trois gestes, dans cet ordre : donner à l’IA de quoi répondre, l’obliger à montrer d’où vient chaque affirmation, et faire relire ce qui part. Aucun des trois ne suffit seul.

Donner le contexte : le second cerveau.

Une IA invente surtout quand elle n’a rien sous les yeux. La première protection consiste donc à lui donner ce que l’entreprise sait : c’est ce que nous appelons le second cerveau. Des documents rangés, à jour, lisibles par une machine comme par une recrue, et branchés à l’assistant.

Second cerveau · ce qu’il doit contenir en premierUne source par chiffre
  1. 01Le tarif en vigueur, daté, et la règle de remise.
  2. 02L’état du stock ou des disponibilités, avec sa date de mise à jour.
  3. 03Les conditions de vente et les modèles de contrat.
  4. 04Les modèles de documents : devis, compte rendu, rapport.
  5. 05Les décisions prises avec chaque client, au même endroit.

Ensuite, consigne explicite : répondre uniquement à partir des documents fournis, pas de ses connaissances générales. C’est une technique que la documentation de Claude recommande telle quelle ; pour un long document, elle conseille aussi de faire extraire d’abord les passages exacts utiles, puis de travailler à partir d’eux[8].

Ce rangement est aussi ce qui distingue un abonnement d’un outil vraiment utile, comme nous l’expliquons dans ce que ChatGPT ne sait pas de votre entreprise. Avant de brancher des documents sensibles, posez les règles décrites dans notre article sur l’IA et les données confidentielles.

Exiger des renvois.

Une réponse sans source ne se vérifie pas ; une réponse sourcée se vérifie vite. Deux consignes changent beaucoup de choses. D’abord, autoriser l’IA à dire qu’elle ne sait pas : la documentation de Claude présente cette permission comme une technique de base contre les hallucinations[8]. Ensuite, exiger qu’elle cite, pour chaque affirmation, le passage du document qui l’appuie, et qu’elle retire l’affirmation si elle ne trouve pas de passage[8].

Consigne à coller avant une réponse clientModèle
Réponds uniquement à partir des documents joints.
Pour chaque prix, délai, quantité ou engagement,
indique entre crochets le document et le passage exact.
Si un document ne permet pas de répondre, écris :
« Information absente, à vérifier par l’équipe. »
Ne complète jamais une information manquante.

Sans renvoi, on retire

Le renvoi a un second avantage : il déplace la relecture. Au lieu de se demander « est-ce que ça a l’air juste ? », la personne qui relit vérifie que le passage cité existe et dit bien ce que la phrase affirme. C’est plus rapide et plus sûr.

Relire : une règle nommée, et un agent vérificateur.

La CNIL recommande d’encadrer les usages par une liste d’utilisations autorisées et interdites, par exemple ne pas confier de prise de décision à l’IA, et de former les utilisateurs aux risques[2]. Dans une petite entreprise, cela tient en une règle écrite : qui relit, quoi, et ce qui ne part jamais sans relecture.

  • Les chiffres : prix, quantités, dates, délais. Chacun doit renvoyer à un document.
  • Les noms propres et les références : clients, normes, articles de loi, décisions.
  • Les engagements : tout ce qui promet quelque chose au client.
  • Le destinataire : une réponse interne peut attendre, une réponse client passe par une personne nommée.

Pour les volumes plus importants, un deuxième agent peut faire une première passe. Son seul rôle : reprendre chaque affirmation, chercher le passage qui l’appuie et signaler ce qui n’en a pas. Il ne remplace pas la personne qui signe, il lui prépare le travail. Une autre technique documentée consiste à poser plusieurs fois la même question et à comparer : des réponses qui divergent signalent une hallucination probable[8]. Nous détaillons la mise en place de tels agents dans notre guide des agents IA en entreprise.

La méthode fiable part de là : ranger le savoir de l’entreprise, brancher les assistants, puis écrire la règle de relecture et nommer la personne qui l’applique.

Sources.

  1. 1
    Why Language Models Hallucinate (A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang)OpenAI et Georgia Tech · consulté le 4 septembre 2025 · cdn.openai.com
    « Like students facing hard exam questions, large language models sometimes guess when uncertain, producing plausible yet incorrect statements instead of admitting uncertainty. […] Despite significant progress, hallucinations continue to plague the field, and are still present in the latest models (OpenAI, 2025a). […] None generated the correct title or year (Kalai, 2001). […] For instance, if 20% of birthday facts appear exactly once in the pretraining data, then one expects base models to hallucinate on at least 20% of birthday facts. […] In both settings, guessing when unsure maximizes expected score under a binary 0-1 scheme that awards 1 point for a correct answer and none for blanks or IDKs. »
  2. 2
    Comment déployer une IA générative ? La CNIL apporte de premières précisionsCNIL · consulté le 18 juillet 2024 · cnil.fr
    « Toutefois, du fait de leur nature probabiliste, ces systèmes sont susceptibles de générer des résultats inexacts qui peuvent, pourtant, paraître plausibles. […] Encadrer les usages en définissant une liste d’utilisations autorisées et interdites compte tenu de ces risques (par exemple ne pas fournir de données personnelles au système, ou bien ne pas confier de prise de décision). […] Former et sensibiliser les utilisateurs finaux tant vis-à-vis des usages interdits que des risques encourus dans le cadre des usages autorisés. »
  3. 3
    Tracing the thoughts of a large language modelAnthropic · consulté le 27 mars 2025 · anthropic.com
    « At a basic level, language model training incentivizes hallucination: models are always supposed to give a guess for the next word. […] Models like Claude have relatively successful (though imperfect) anti-hallucination training […] It turns out that, in Claude, refusal to answer is the default behavior […] In our paper, we show that such misfires can occur when Claude recognizes a name but doesn't know anything else about that person. […] Once the model has decided that it needs to answer the question, it proceeds to confabulate: to generate a plausible—but unfortunately untrue—response. »
5 autres sources
  1. 4
    Mata v. Avianca, Inc., 22-cv-1461 (PKC), Opinion and Order on Sanctions (document 54)U.S. District Court, Southern District of New York · consulté le 22 juin 2023 · storage.courtlistener.com
    « Peter LoDuca, Steven A. Schwartz and the law firm of Levidow, Levidow & Oberman P.C. (the “Levidow Firm”) (collectively, “Respondents”) abandoned their responsibilities when they submitted non-existent judicial opinions with fake quotes and citations created by the artificial intelligence tool ChatGPT, then continued to stand by the fake opinions after judicial orders called their existence into question. […] a letter individually addressed to each judge falsely identified as the author of the fake “Varghese”, “Shaboon”, “Petersen”, “Martinez”, “Durden” and “Miller” opinions. […] A penalty of $5,000 is jointly and severally imposed on Respondents »
  2. 5
    R (Ayinde) v London Borough of Haringey, [2025] EWHC 1040 (Admin), jugement de Ritchie J (audience du 3 avril 2025)High Court of Justice (Administrative Court), Royaume-Uni · consulté le 30 avril 2025 · judiciary.uk
    « The first is that the Claimant’s barrister and solicitor put five fake cases in the Claimant’s statement of facts and grounds for the judicial review. […] However, I am not in a position to determine whether she did use AI. […] So, £2,000 by Ms Forey and £2,000 by the Harringay Law Centre. […] I will require the Defendant to send the transcript to the Bar Standards Board and to the Solicitors Regulation Authority. »
  3. 6
    R (Ayinde) v London Borough of Haringey ; Al-Haroun v Qatar National Bank, [2025] EWHC 1383 (Admin)High Court of Justice (Divisional Court), Royaume-Uni · consulté le 6 juin 2025 · judiciary.uk
    « Freely available generative artificial intelligence tools, trained on a large language model such as ChatGPT are not capable of conducting reliable legal research. […] They may cite sources that do not exist. […] they had cited five fake cases […] However, I am not in a position to determine whether she did use AI. […] He ordered Ms Forey and the Haringey Law Centre each to pay £2,000 to the defendant. He also required the matter to be referred to the Bar Standards Board and the Solicitors Regulation Authority. […] On the material before us, there seem to be two possible scenarios. One is that Ms Forey deliberately included fake citations in her written work. […] The other is that she did use generative artificial intelligence tools to produce her list of cases and/or to draft parts of the grounds of claim. »
  4. 7
    Moffatt v. Air Canada, 2024 BCCRT 149Civil Resolution Tribunal, Colombie-Britannique · consulté le 14 février 2024 · decisions.civilresolutionbc.ca
    « The chatbot suggested Mr. Moffatt could apply for bereavement fares retroactively. Mr. Moffatt later learned from Air Canada employees that Air Canada did not permit retroactive applications. […] While Air Canada did not provide any information about the nature of its chatbot […] It should be obvious to Air Canada that it is responsible for all the information on its website. It makes no difference whether the information comes from a static page or a chatbot. […] I order Air Canada to pay Mr. Moffatt a total of $812.02 »
  5. 8
    Reduce hallucinations (documentation Claude)Anthropic · consulté le 31 octobre 2026 · platform.claude.com
    « Allow Claude to say “I don’t know”: Explicitly give Claude permission to admit uncertainty. […] ask Claude to extract word-for-word quotes first before performing its task. […] Verify with citations: Make Claude’s response auditable by having it cite quotes and sources for each of its claims. You can also have Claude verify each claim by finding a supporting quote after it generates a response. If it can’t find a quote, it must retract the claim. […] Best-of-N verification: Run Claude through the same prompt multiple times and compare the outputs. Inconsistencies across outputs could indicate hallucinations. […] External knowledge restriction: Explicitly instruct Claude to only use information from provided documents and not its general knowledge. […] Remember, although these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions. »