Pourquoi l IA pour les langues peu dotées est un problème de données, pas seulement de modèle
Une équipe peut livrer un bon chatbot anglais en un trimestre, puis passer six mois à le rendre acceptable pour le wolof, le quechua, l assamais ou un dialecte arabe. Les prompts se ressemblent, l architecture aussi. Ce qui change, c est la chaîne de données.
Pour les langues peu dotées, le vrai goulot d étranglement est souvent la provenance des textes et des voix, la qualité des annotations, le choix du dialecte standard, les variantes orthographiques, la couverture phonémique et la pertinence de l évaluation.
Commencer par la couverture des données
Une langue peut avoir des millions de locuteurs et manquer pourtant d audio transcrit, d intentions annotées, de textes parallèles, d exemples d entités ou de vocabulaire produit. La voix exige des locuteurs variés, des régions, des appareils, du bruit et des accents. Le texte exige messages courts, recherches, tickets support, écritures locales, formes romanisées et phrases mélangées.
Mozilla Common Voice montre que la collecte est souvent communautaire. Masakhane montre la même chose pour les langues africaines : il faut des modèles, mais aussi des ressources trouvables, des baselines reproductibles et une expertise locale.
Les données publiques sont utiles, rarement suffisantes
Hugging Face Datasets est un bon point de départ pour trouver des jeux de données texte, audio et benchmark. Le travail Masakhane sur la traduction automatique documente aussi les lacunes. Mais les données publiques posent des questions de licence, de domaine et de représentativité.
Un bon plan combine données publiques, logs produits opt-in avec revue de confidentialité, jeux experts, collecte communautaire et données synthétiques utilisées avec prudence. Le synthétique peut générer des variantes, mais il ne doit pas remplacer les exemples humains.
L annotation exige une autorité linguistique
Parler une langue ne suffit pas. Les labels texte impliquent intentions, entités, translittération, argot, niveaux de politesse et contexte culturel. Les labels voix impliquent segmentation, tours de parole, bruit, hésitations, variantes de prononciation et diacritiques.
Les dialectes sont aussi un choix produit. Quelle variante devient l interface par défaut ? Faut-il normaliser les graphies ou préserver l usage local ? Pour un lancement sérieux, créez un petit comité linguistique avec linguistes locaux, reviewers métier, support client et locuteurs natifs des régions visées.
La voix ajoute phonèmes, accents et conditions réelles
La voix n est pas du texte avec un micro. Le modèle doit entendre les phonèmes de la langue, les accents, la prosodie, les téléphones bon marché, les marchés bruyants et l audio de centre d appel. Si les données viennent surtout de jeunes urbains avec de bons smartphones, les métriques seront trop optimistes.
La diacritisation est une décision produit. Certaines langues s écrivent souvent sans marques, alors que la prononciation en dépend. Un système speech-to-text peut devoir normaliser pour la recherche, rester fidèle pour la messagerie et diacritiser pour la synthèse vocale. FLEURS aide, mais ne remplace pas les tests terrain.
Les benchmarks anglais peuvent tromper
Les benchmarks anglais sont utiles pour le raisonnement, les instructions, le code et les régressions. Ils ne prédisent pas tout. Un modèle peut utiliser le bon script mais sonner faux, comprendre la forme standard mais échouer sur l entrée romanisée, ou traduire littéralement en perdant un honorifique.
Il faut plusieurs couches : benchmark public, diagnostic par langue, tâches produit comme recherche et support, puis revue humaine locale sur l utilité, le ton et le naturel. Un score multilingue unique cache trop de risques.
Déployer avec une vraie boucle de données
Avant de promettre une date, rédigez un brief de préparation linguistique : régions, scripts, dialectes, canaux, risques, données disponibles, lacunes, reviewers et contraintes légales. Créez ensuite une data card par langue avec sources, licences, couverture dialectale, règles d annotation et limites connues.
À lire aussi : agents IA fiables, IA pour développeurs, recherche IA privée et RAG entreprise et workflows IA multimodaux locaux.
Le modèle compte, mais l expérience utilisateur dépend de la boucle de données : consentement, guidelines, revue dialectale, normalisation, apprentissage actif et évaluation locale. C est lent, mais beaucoup plus défendable qu un simple choix d API.