SELFSystème d’évaluation en langues à visée formative
Le test SELF franchit une nouvelle étape avec le développement d'un module d'évaluation de la production orale, la composante qui manquait jusqu'à présent pour couvrir les quatre compétences fondamentales. Ce module viendra compléter les évaluations actuelles de la compréhension de l'oral, de la compréhension de l'écrit, et de l'expression écrite courte, offrant ainsi un panorama plus complet des aptitudes linguistiques des apprenants.
Le projet SELF Production Orale (SELF PO) est le fruit d'une collaboration entre le Laboratoire de Linguistique et Didactique des Langues Étrangères et Maternelles (LIDILEM) et le Laboratoire d'Informatique de Grenoble (LIG).
Deux modules sont actuellement en développement : l'un pour l'anglais, l'autre pour le français langue étrangère, ce dernier développé en collaboration avec le Centre Universitaire d'Études Françaises (CUEF) et l’Association des Directeurs des Centres Universitaires d’Études Françaises pour Étrangers (ADCUEFE).
Équipe de SELF Production Orale
Un financement progressif pour un projet d'envergure
Le projet bénéficie d'un soutien financier conséquent de l'Université Grenoble Alpes :
Une approche technologique de pointe
L'évaluation automatique de la production orale mobilise des technologies avancées de traitement automatique de la parole : reconnaissance vocale, analyses syntaxiques et sémantiques, extraction de représentations de la parole issues de modèles auto-supervisés, et prédiction de scores fondée sur des paramètres linguistiques multiples. Ces outils permettent une évaluation systématique, standardisée et à grande échelle.
Comment ça fonctionne ?
À l'issue du test SELF, les étudiants répondront oralement à une série de questions en s'enregistrant via leur microphone. Un score de production orale sera automatiquement calculé à partir de ces enregistrements et viendra enrichir le profil de compétences SELF.
D'un point de vue technique, le projet SELF PO consiste à entraîner un modèle statistique à prédire un score de compétences à partir de différentes mesures effectuées sur la production orale de l'étudiant. Cet entraînement se fait sur la base de scores de référence établis par un panel d'évaluateurs experts sur un corpus d'un grand nombre d'enregistrements de tous les niveaux. Le modèle va alors apprendre à reconnaître des patterns dans ces mesures : par exemple, les productions des apprenants de niveaux élevés ont tendance à être plus fluides, lexicalement plus riches et plus précises, syntaxiquement plus complexes et avec moins d'erreurs. Ainsi, une nouvelle production présentant ces caractéristiques se verra attribuer un niveau plus élevé.
Que mesure le test ?
Le modèle de prédiction actuel prend 52 paramètres en entrée pour calculer le score de production orale de l'étudiant. Ces paramètres sont des mesures automatiques de la parole couvrant les compétences de production orale de la manière la plus large possible, depuis les aspects de surface (fluidité, prononciation...), aux aspects de plus haut niveau (sémantique, analyse discursive...) en passant par les aspects linguistiques (vocabulaire, syntaxe...). La figure ci-dessous présente le 11 premiers paramètres utilisés par le modèle, c'est-à-dire ceux qui ont le plus de poids dans le calcul du score :
Comment la fiabilité des résultats est-elle évaluée ?
La précision des scores donnés par le modèle est évaluée sur la base des scores de référence établis par le panel d'évaluateurs experts. L'objectif est de faire en sorte que les scores automatiques se rapprochent le plus possible des scores donnés par les humains. Nous avons mis en place un protocole de validation croisée permettant d'entraîner le modèle sur 90% des données, et de le tester sur les 10% restant, puis de répéter le processus 10 fois de manière à couvrir l'ensemble du corpus sans jamais tester le modèle sur un enregistrement qu'il a vu pendant son apprentissage (ce qui biaiserait le score). Dans le cas du modèle entraîné pour l'anglais, nous avons obtenu un taux d'erreur absolu moyen de 0,521 (soit un demi-niveau CECRL; RMSE=0,637; F1 pondéré=0,535) sur l'évaluation des enregistrements de manière isolée, et une corrélation de 0,848 (p<0,001) entre le niveau de l'étudiant donné par la machine et celui donné par les évaluateurs humains (moyenne des scores obtenus par un même étudiant aux différentes questions du test).
Disponibilité prévue : fin 2026
Pour en savoir plus, visionnez la présentation du projet SELF PO lors du webinaire organisé par l'université de Lille en septembre 2025 :
Vidéo ici : https://youtu.be/l8TcJO4hizU?si=0FgwHr4_Ft_uwJmj
Présentation du projet à la journée du Service des Langues d'Université Grenoble Alpes (le 11 juin 2026) :
Vidéo ici : https://videos.univ-grenoble-alpes.fr/video/37722-presentation-du-projet-self-production-orale-12-juin-2026/
