Post by M.V.<https://www.lemonde.fr/pixels/article/2025/02/11/assistants-d-ia-sur-l-
actualite-une-reponse-sur-cinq-contient-des-erreurs-factuelles-selon-une-
etude-de-la-bbc_6541889_4408996.html>
Très intéressant ! Bien que les "hallucinations" des LLM soit un phénomène
connu, l'étude menée permet de les quantifier :
```
Les principaux résultats de l’étude sont alarmants. La moitié des réponses
de ces IA sur l’actualité « ont été jugées comme présentant des problèmes
importants sous une forme ou une autre ». Environ une réponse sur cinq qui
citaient le contenu de la BBC comportait des erreurs factuelles (portant
sur des déclarations, des chiffres ou des dates incorrects). Et 13 % des
citations tirées d’articles de la BBC étaient soit modifiées par rapport à
la source originale, soit absentes de l’article cité.
```
50% de réponses "problématiques" est effectivement alarmant, pour le moins.
Je suis tombé sur ce papier sur arxiv qui aborde les raisons de ces
"hallucinations" :
```
3.1.1 Désinformation et biais. Les réseaux neuronaux possèdent une tendance
intrinsèque à mémoriser les données d'entraînement [ 35], et cette tendance
à la mémorisation augmente avec la taille du modèle [ 34, 54 ]. En général,
la capacité de mémorisation inhérente est une arme à double tranchant dans
la lutte contre les hallucinations. D'une part, les capacités de
mémorisation des LLM suggèrent leur potentiel à capturer une connaissance
profonde du monde. D'autre part, cela devient problématique dans le
contexte de la désinformation et des biais présents dans les données de
pré-entraînement et peut être amplifié par inadvertance, se manifestant par
une fausseté imitative [182 ] et le renforcement des biais sociétaux. Pour
une compréhension plus complète, des exemples détaillés sont présentés dans
le tableau 2.
Fausseté imitative. La désinformation telle que les fausses nouvelles et
les rumeurs infondées s'est largement répandue sur les plateformes de
médias sociaux et contribue progressivement de manière significative aux
hallucinations des LLM. [...]
Préjugés sociétaux. En plus de la désinformation, les préjugés sont
également profondément ancrés dans les plateformes de médias sociaux, se
manifestant de diverses manières, comme des recrutements biaisés, des
informations préjudiciables et des messages de haine [...]
```
A Survey on Hallucination in Large Language Models: Principles, Taxonomy,
Challenges, and Open Questions (19/11/2024)
https://arxiv.org/pdf/2311.05232
(citation traduite de l'anglais par Google translate)
--
"Ce qu'il faut au fond pour obtenir une espèce de paix avec les hommes,
(...) c'est leur permettre en toutes circonstances, de s'étaler, de se
vautrer parmi les vantardises niaises. Il n'y a pas de vanité
intelligente. C'est un instinct." - Céline