Piloté par le service du numérique du ministère, le programme Exper:IA a permis aux agents d'expérimenter des outils d’intelligence artificielle générative Ministère de la Culture, Délégation générale à la langue française et aux langues de France, Commission d’enrichissement de la langue française, La stratégie du ministère pour des intelligences artificielles culturelles et responsables, p. 25. En ligne : https://www.culture.gouv.fr/thematiques/innovation-numerique/la-strategie-du-ministere-pour-des-intelligences-artificielles-culturelles-et-responsables50 termes clés de l’intelligence artificielle, 10 janvier 2025, p. 21 : « intelligence artificielle générative : branche de l’intelligence artificielle mettant en œuvre des modèles génératifs, qui visent à produire des contenus textuels, graphiques ou audiovisuels ». En ligne : https://www.culture.gouv.fr/thematiques/langue-francaise-et-langues-de-france/agir-pour-les-langues/moderniser-et-enrichir-la-langue-francaise/recueils-et-publications-thematiques/50-termes-cles-de-l-intelligence-artificielle
La convention d’expérimentation porte sur la mise en place d’un dispositif de veille sur les politiques linguistiques à l’aide d’une IAG. Les objectifs visés sont de faciliter la production de synthèses thématiques et l’identification de nouveaux partenaires ou contacts.
L’équipe projet rassemble six professionnels : trois experts des politiques publiques portées par la DGLFLF, une alternante et deux documentalistes de la MPDOC. L’intérêt de cette équipe repose sur le croisement des pratiques et des expériences. La DGLFLF apporte son expertise sur les politiques linguistiques, sur les enjeux spécifiques comme la terminologie, la traduction, la maîtrise de la langue, la présence de la langue dans la société, la francophonie, les langues de France, les technologies des langues, la découvrabilité Découvrabilité : potentiel pour un contenu, disponible en ligne, d'être aisément trouvé, notamment sans le chercher précisément.
L’IAG mise à disposition par le ministère est Perplexity Perplexity est un assistant de recherche conversationnel qui combine la puissance de plusieurs modèles de langues et un accès en temps réel à Internet. Philippe Pradal et Stéphane Rambaud (éd.), Louis Dreyfus, Jérôme Fenoglio, « Intelligence artificielle : un nouvel accord de partenariat, entre “Le Monde” et Perplexity », Rapport d'information n° 2207 sur les défis de l’intelligence artificielle générative en matière de protection des données personnelles et d’utilisation du contenu généré, n° 2207, 14 février 2024. « Il existe un risque important que le contenu produit par les IAG contienne des erreurs… l’IAG n’est pas en mesure de distinguer le vrai et le faux compte tenu de son mode de fonctionnement qui repose sur des calculs probabilistes… À partir d’une information, l’IAG peut imaginer une biographie, certes probable, mais très loin de la réalité… Les experts désignent ce risque comme un « risque d’hallucination ». En ligne : https://www.assemblee-nationale.fr/dyn/16/rapports/cion_lois/l16b2207_rapport-informationLe Monde et Perplexity en mai 2025Le Monde & Vous, 14 mai 2025. En ligne : https://www.lemonde.fr/le-monde-et-vous/article/2025/05/14/intelligence-artificielle-un-nouvel-accord-de-partenariat-entre-le-monde-et-perplexity_6605885_6065879.html#:~:text=L'accord%20sign%C3%A9%20avec%20Perplexity,l'utilisation%20de%20nos%20contenus
La DGLFLF a proposé de réfléchir à la mise en œuvre d’un dispositif de veille des politiques linguistiques à partir d’une IA connectée en temps réel avec internet. Quatre axes d’exploration ont été délimités :
- identifier des thématiques spécifiques en phase avec les missions de la DGLFLF (terminologie, découvrabilité, langues de France, francophonie, etc.), les classifier et produire des synthèses automatiques ;
- identifier des entités (institutions, organismes, associations, entreprises) qui travaillent sur nos thématiques avec lesquelles la DGLFLF pourrait nouer de nouveaux partenariats ;
- identifier des acteurs (chercheurs, experts, linguistes influenceurs, etc.) afin de constituer de nouvelles bases de données pour les colloques et temps forts à organiser ou comme relais potentiels des actions/projets de la DGLFLF ;
- identifier des financeurs potentiels liés aux enjeux linguistiques portés par la DGLFLF.
À partir de l’expression des besoins, nous avons rédigé un premier prompt Ministère de la Culture, Délégation générale à la langue française et aux langues de France, Commission d’enrichissement de la langue française, 50 termes clés de l’intelligence artificielle, 10 janvier 2025. p. 19 : « instruction, instruction générative [pour prompt] : consigne donnée par un utilisateur à un modèle génératif, généralement formulée en langue naturelle, qui décrit la tâche à accomplir. ». En ligne : https://www.culture.gouv.fr/thematiques/langue-francaise-et-langues-de-france/agir-pour-les-langues/moderniser-et-enrichir-la-langue-francaise/recueils-et-publications-thematiques/50-termes-cles-de-l-intelligence-artificielle
[Je suis documentaliste. Je souhaite créer un dispositif de veille des politiques linguistiques en lien avec la DGLFLF à partir de l’IA. Pour ce faire, j’imagine quatre axes d’intervention : 1. Identifier des thématiques spécifiques en phase avec les missions de la DGLFLF (la terminologie, la découvrabilité, les langues de France, la francophonie, etc.), les classifier et produire des synthèses automatiques ; 2. Identifier des entités (des institutions, des organismes, des associations, des entreprises) qui travaillent sur nos thématiques avec lesquelles la DGLFLF pourrait nouer de nouveaux partenariats ; 3. Identifier des personnalités, des acteurs (chercheurs, experts, linguistes influenceurs, etc.), des journalistes qui travaillent sur nos sujets afin de constituer de nouvelles bases de données pour les colloques et temps forts à organiser ou comme relais potentiels des actions/projets de la DGLFLF ; 4. Identifier des financeurs potentiels liés aux enjeux linguistiques portés par la DGLFLF. Bénéfices attendus : élargir le potentiel des personnalités qualifiées sur nos sujets, trouver de nouveaux experts. Trouver d’éventuels financeurs ou mécènes dédiés à nos sujets. Obtenir des données chiffrées et permettre des analyses croisées à partir de sources identifiées.]
Perplexity propose un plan détaillé de la veille fondé sur les dispositifs existants et les acteurs identifiés dans les sources. Ce plan crée un écosystème de veille cohérent, où chaque élément alimente les autres (voir annexe n° 1).
Les agents de la DGLFLF ont tout d’abord conduit différentes recherches de base sur des sujets précis pour vérifier la capacité de l’outil à proposer une synthèse et une analyse d’un domaine spécifique, assorti de sources vérifiables.
Ces premières recherches ont été fructueuses et des questions comme « Présente moi une analyse circonstanciée du débat en cours sur la féminisation de la langue française » ont permis d’obtenir des documents précis et assortis d’une dizaine de sources avec des liens valides. Nous avons cependant assez vite constaté que les documents présentés comme sources étaient les plus connus (cadre légal et réglementaire, informations gouvernementales), et que l’outil avait du mal à sortir de ces références pour apporter des cas d’usage documentés dans des administrations.
Après ce premier tour de découverte, nous nous sommes ensuite intéressés à la constitution d’un corpus d’acteurs de référence dans le domaine de la langue française, formalisé par des fiches (voir annexe n° 2). Ces fiches reprennent des informations classées par catégorie, permettant ainsi de recueillir les actualités du secteur et de ces acteurs de manière périodique.
La mise en place de la structure des fiches et des prompts de collecte des acteurs pertinents et des actualités du domaine a ensuite été effectuée sur un fil commun de Perplexity, de sorte que l’outil puisse réutiliser ces informations et formuler des réponses circonstanciées à mesure que la base d’acteurs grandissait.
L’IAG propose un écosystème jugé cohérent et un apport méthodologique pertinent. Pour autant, en raison de la durée de l’expérimentation, nous avons restreint le champ d’investigation pour traiter en profondeur certaines thématiques et exploiter les données sous forme de livrables exploitables.
La complémentarité des acteurs, l’expertise de la DGLFLF et l’apport méthodologique en veille de la MPDOC, sont indispensables pour mieux qualifier les demandes adressées à Perplexity et valider les résultats obtenus.
Au vu de ces éléments, nous avons décidé de repréciser les attendus de départ, à savoir outiller un dispositif de veille et de synthèse pour :
- éclairer un public spécifique, notamment les décideurs publics (parlementaires, membres de cabinets ministériels, directions d’administration centrale, acteurs institutionnels) ; informer les experts du domaine (hauts fonctionnaires à la langue française, chercheurs et enseignants-chercheurs, experts linguistiques) ; fournir des clés de compréhension actualisées au grand public ;
- constituer des fiches d’acteurs et d’institutions, établir un état des lieux des différents enjeux, réaliser des synthèses à l’usage des experts de la DGLFLF ;
- nous équiper pour proposer à nos différents publics des outils de communication et d’information appropriés.
Cette première évaluation révèle deux effets collatéraux. D’une part, la prise de conscience par la DGLFLF de la complexité pour l’outil Perplexity de la notion de « politiques linguistiques » : Perplexity propose des pistes éloignées (enseignement du français langue étrangère, nombre d’enseignants, questions d’usage) de nos problématiques. D’autre part, la délimitation sémantique des thématiques imposées induit de nouveaux questionnements qui invitent à creuser les biais linguistiques dans l’IA Thibault Grouas, « Positionner la langue française au cœur de l’intelligence artificielle : vers la constitution d’un centre de référence sur les technologies des langues », Culture et Recherche, automne-hiver 2022, n° 143, p. 96. En ligne : www.culture.gouv.fr/thematiques/enseignement-superieur-et-recherche/la-revue-culture-et-recherche/La-recherche-culturelle-a-l-international
Perplexity confond les politiques linguistiques (paysage linguistique français et francophone) et la linguistique (les questions de langue). Ce qui l’amène à les juxtaposer et à produire une veille imprécise et sans pertinence.
Conformément à l’expression initiale des besoins, l’équipe a ensuite cherché à utiliser Perplexity pour établir un corpus d’acteurs du secteur. Sur l’identification des acteurs, Perplexity identifie et classe les résultats conformément au plan de veille. Mais de nombreuses erreurs ont été relevées par la DGLFLF.
Concernant les institutions de recherche, la comparaison des résultats de Perplexity avec une cartographie réalisée par la DGLFLF sur la thématique « technologies des langues » a montré les limites de l’IAG sur ce domaine précis. Si les grandes institutions sont bien présentes (Centre national de la recherche scientifique [CNRS], Institut national de recherche en informatique et en automatique [Inria], Commissariat à l'énergie atomique [CEA]), seulement quatre ou cinq laboratoires du CNRS apparaissent alors qu’une trentaine travaille sur ces sujets en France.
Un nouveau prompt plus simple et précis sur un autre fil permet de corriger certaines imprécisions, à la question « Quelles sont les principales institutions de recherche dans le domaine de l’IA et des technologies des langues en France ? », la réponse est plus complète et contient les acteurs attendus sur ce sujet, présentés et structurés de manière efficace. Ce constat renforce une observation centrale : la qualité des résultats décroît à mesure que le fil de conversation s’allonge, tandis que le nombre d’hallucinations augmente parallèlement.
Il est impératif de formuler des requêtes très précises pour chaque thème et chaque catégorie des fiches « Acteurs » pour obtenir des résultats pertinents.
Concernant les acteurs « Entreprises », si Perplexity identifie des entités incontournables, des entreprises de référence sont manquantes dans le domaine des technologies des langues comme : Hugging Face, H-Company, Kyutai et Pleias. Perplexity mentionne par ailleurs des entreprises très éloignées du domaine qui revendiquent l’usage de l’IAG sur leur site internet sans que ce soit leur cœur de métier. Il peine également à distinguer les entreprises françaises de celles établies dans des pays francophones et a produit plusieurs hallucinations (entreprises inexistantes sans lien vérifiable).
Concernant les chercheurs, des experts clairement identifiés par la DGLFLF n’apparaissent pas dans les résultats, tandis que d’autres profils marginalement liés au domaine sont mis en avant vraisemblablement parce qu’ils ont mentionné un intérêt pour l’IA sur leur CV en ligne. Les réponses obtenues hors du fil principal de l’expérimentation se sont révélées plus convaincantes et moins biaisées.
Nous avons ensuite décidé d’approfondir l’exploitation de Perplexity sur les thèmes suivants : Terminologie, Langues de France, Francophonie, Découvrabilité, Technologies des langues et IA. L’enjeu était d’évaluer comment de nouveaux prompts pouvaient couvrir ces domaines par rapport aux besoins initiaux.
Pour chaque thème, un prompt spécifique a été rédigé afin de constituer une bibliothèque de prompts (voir annexe n° 3) conçue pour être partagée avec des tiers et optimisée collectivement. La répétition de ces prompts permet d’actualiser les données, à condition de varier régulièrement les formulations pour obtenir des réponses variées et éviter l’appauvrissement des résultats.
Une base de connaissances a été constituée dans l’application Le Rapport au Parlement est édité chaque année par la DGLFLF. En ligne : https://www.culture.gouv.fr/thematiques/langue-francaise-et-langues-de-france/le-rapport-au-parlement-sur-la-langue-francaise/rapport-au-parlement-sur-la-langue-francaise-2026NoteBookLM, intégrant notamment les Rapports au Parlement sur la langue française. L’objectif était de réaliser des synthèses ciblées ou d’interroger ces documents sur des thèmes précis. Une synthèse sur les enjeux de la féminisation de la langue française a été générée en croisant le contenu de ces Rapports de 2023 à 2025, qui a mis en lumière les évolutions réglementaires et les débats sociétaux.
En parallèle, nous avons testé d’autres IAG (ChatGPT, Copilot, Mistral, etc.) avec le même prompt pour comparer les résultats. Les résultats spécifiques à certaines IAG ont été réintégrés dans le fil Perplexity, sous la forme « Remet les résultats », afin d’améliorer la pertinence des réponses. De tous ces essais, nous avons pu constater des limites inhérentes au modèle de Perplexity ainsi qu’au fonctionnement général de l’IAG.
L’expérimentation, réalisée sur une durée probante (6 mois), avec une faible disponibilité de l’équipe projet, a montré l’intérêt de l’IAG pour les besoins de veille. Elle a aussi souligné les limites de l’IAG. L’outil Perplexity n’est pas apparu beaucoup plus efficace que d’autres outils tels que ChatGPT, Gemini, Claude ou encore Mistral. L’évolution rapide des IAG modifie leurs performances. Sur la durée de l’expérimentation le choix initial de l’IAG peut être réinterrogé.
La réussite de ce projet repose sur la coordination étroite entre un service métier (DGLFLF) et un service de veille (MPDOC). Le début de l’expérimentation a été perturbé par la période des congés d’été. La stabilisation d’un socle de connaissances et d’un périmètre stable a été un peu trop tardive. Le temps d’analyse des premiers résultats de Perplexity a sans doute été insuffisant. Même si les résultats ont semblé pertinents, ils se sont ensuite révélés assez éloignés des attentes.
Deux constats méthodologiques majeurs émergent de cette expérience :
- plus le fil de prompt s’allonge, plus la qualité des résultats diminue. Les meilleurs résultats sont obtenus avec un nouveau fil vierge, sans historique de conversation ;
- dès que l’on demande à l’outil d’être « inventif » ou « créatif », des hallucinations apparaissent systématiquement. Ces termes sont donc à proscrire des prompts.
Il convient de souligner que l’outil Perplexity reste performant sur une demande ciblée de synthèse encadrée par un prompt précis et l’ajout d’une source documentaire en pièce jointe. Pour autant, dès que cette demande n’inclut pas la source documentaire en pièce jointe mais y fait seulement référence, l’outil va la rechercher sur internet mais ajoute également d’autres sources, ce qui finit par biaiser la réponse. Structurer une requête, définir un rôle pour l’IA, borner le périmètre de la réponse attendue, préciser le format souhaité sont autant de gestes professionnels à acquérir.
Enfin, la navigation sur un même fil de prompts, devenu démesurément long, s’est révélée peu pratique et son utilisation peu fiable. La MPDOC a proposé de rassembler sur NotebookLM les informations collectées pour en faciliter l’exploration. Pour la DGLFLF, cette diversité d’outils à utiliser et à interconnecter avec Perplexity est un frein à l’exploitation de cette veille.
Les IAG, même les plus avancées comme GPT-5, Claude 3.5 ou Gemini 2, présentent des limites, qui peuvent être classées en trois catégories principales :
- sur le plan technique, ces outils restent prisonniers d’une architecture fondée sur le calcul statistique : ils prédisent les mots les plus probables dans un contexte donné, en s’appuyant sur des enchaînements de données et des corrélations, mais pas sur une analyse sémantique réelle. Leur absence de perception et d’expérience directe du réel limite leur capacité à comprendre les nuances émotionnelles, à évaluer la plausibilité empirique d’un fait ou à relier un savoir abstrait à une expérience vécue. En privilégiant la plausibilité linguistique à la véracité, ils peuvent générer des informations erronées – sources, citations ou données inventées – non par intention de tromper, mais en raison des biais inhérents à leur modèle statistique. Sans validation humaine, leurs résultats restent donc peu fiables ;
- sur le plan cognitif, les IAG ne « pensent » pas : elles calculent des distributions de probabilités pour produire du sens. Il en résulte une absence totale d’intention, un raisonnement abstrait instable et une grande fragilité face aux situations nouvelles ou aux informations inattendues. Leur fonctionnement simule la compréhension sans capacité réelle à manipuler des concepts ou à adapter les réponses en dehors des schémas appris lors de l’entraînement ;
- sur le plan épistémique, les IAG ne connaissent que les données sur lesquelles elles ont été entraînées, ce qui introduit des biais de corpus importants
Thibault Grouas, « Les technologies des langues : un secteur stratégique pour des IA souveraines, compétitives et respectueuses de nos langues en France et en Europe »,
Culture et Recherche, automne-hiver 2024, n° 147, p. 126. En ligne : www.culture.gouv.fr/thematiques/enseignement-superieur-et-recherche/la-revue-culture-et-recherche/recherche-et-intelligence-artificielle
Sur un périmètre large, les réponses de Perplexity sont approximativement fiables mais loin d’être exhaustives, ce qui introduit un biais structurel dans le schéma de veille : l’absence de certains acteurs ou événements peut conduire à des angles morts importants dans l’analyse.
Sur un périmètre resserré, les résultats ont d’abord été insuffisants (peu d’acteurs pertinents identifiés). Lorsque les prompts ont été enrichis de commandes comme « Sois exhaustif », l’outil a généré de faux acteurs, de fausses URL et de faux événements associés. Dans certains cas, la quasi-totalité des entités identifiées par Perplexity était fictive. La commande « Ne liste que les structures existantes et valablement enregistrées en France » n’a pas suffi à résoudre cette difficulté majeure.
Nous avons noté une confusion dans la compréhension par l’outil de la notion « langue française ». Cette locution très générale, prête à diverses interprétations et recouvre de nombreuses thématiques et plusieurs domaines métiers. L’outil va chercher ses références prioritairement dans les sources nord-américaines, prédominantes dans sa base d’apprentissage, et/ou en raison du manque de données et de sources françaises sur ces sujets. Cela pose en creux l’enjeu de découvrabilité des contenus spécifiques francophones.
Malgré des commandes explicites pour circonscrire les résultats à la France, Perplexity a régulièrement confondu nationalité et langue. À la requête « liste les 10 entreprises françaises dans le domaine de l’IA générative les plus actives », plusieurs entités québécoises, belges et africaines ont été intégrées aux résultats, comme si parler en français équivalait, pour l’outil, à être « en France ».
Cette expérimentation, qui a permis de mieux cerner les besoins de veille de la DGLFLF sur les politiques linguistiques, a consisté à :
redéfinir les objectifs et les périmètres : concevoir une veille agile capable de répondre à des besoins ponctuels – notamment pour les questions parlementaires ou les débats de société à fort enjeu d’actualité –, tout en renforçant la visibilité et l’expertise de la DGLFLF sur les enjeux liés à la langue ;
structurer le dispositif de veille : par un travail de collecte de sources (constitution d’une bibliothèque facilement interrogeable) et par la structuration de requêtes, rendu possible grâce à l’IAG, via un dialogue affiné entre prompts pertinents et traitement automatisé de l’information ;
renforcer le dialogue entre professionnels : cette expérimentation a favorisé une compréhension mutuelle entre les équipes de la MPDOC et de la DGLFLF, autour des méthodes de veille et des enjeux spécifiques aux politiques linguistiques.
Pour les équipes, ce travail s’est révélé particulièrement fécond, tant sur le plan humain que professionnel. Il a permis de croiser les compétences, d’enrichir les connaissances et les pratiques et de mettre en lumière la valeur ajoutée de l’IAG dans nos activités : gain de temps, exploration de corpus plus vastes, production de synthèses efficaces.
Le travail préparatoire avec l’outil – structuration thématique, fiches partenaires, etc. – s’est affirmé comme une étape essentielle avant d’envisager la mise en place d’une veille pérenne à l’échelle du service, appuyée sur des outils professionnels de veille.
Cette expérimentation ouvre ainsi la voie à la pérennisation d’une veille sur les politiques linguistiques, reposant sur l’appui d’une personne-ressource dédiée au sein de la MPDOC et sur un accompagnement continu assuré par l’équipe projet de la DGLFLF, au bénéfice de l’ensemble du service. Elle illustre plus largement une réalité utile à d’autres administrations : l’IAG n’est pas un substitut à l’expertise humaine, mais un amplificateur de capacités.