La qualité de nos questions, mesurée
Une plateforme d'entraînement vaut ce que valent ses questions. Plutôt que de l'affirmer, cette page publie ce que nous mesurons sur notre banque : le défaut que nous avons trouvé, comment nous l'avons corrigé, le contrôle permanent qui empêche son retour, et ce qui n'est pas encore au niveau.
Photo : Christin Hume, Unsplash
Chaque chiffre de cette page provient d'une mesure interne datée ; la date de dernière vérification figure en bas de page.
Pourquoi publier nos mesures
Afficher un chiffre crée une obligation : celle de le maintenir exact. C'est précisément pour cela que nous le faisons. Un candidat qui prépare un concours sélectif mérite de savoir sur quoi il s'entraîne, et un indicateur publié avec sa date vaut plus que n'importe quel adjectif.
À notre connaissance, aucune plateforme concurrente ne publie d'indicateur de qualité mesuré sur sa banque de questions. Nous préférons montrer les nôtres, défauts compris.
Le biais de longueur des options, mesuré puis corrigé
Un défaut classique des QCM, documenté par la recherche en rédaction d'items : quand la bonne réponse est plus développée que les mauvaises, cocher systématiquement l'option la plus longue rapporte des points sans aucune connaissance. Nous avons mesuré ce que rapportait cette stratégie sur nos questions en anglais, épreuve par épreuve, puis réécrit les distracteurs de 690 questions sources, avec relecture complète ligne par ligne.
| Épreuve | Avant | Après | Hasard |
|---|---|---|---|
| Compétences numériques | 86,5 % | 26,9 % | 25 % |
| Raisonnement verbal | 68,5 % | 29,3 % | 25 % |
| Connaissance de l’UE | 64,7 % | 30,2 % | 25 % |
Le raisonnement numérique, dont les options sont des nombres, ne présentait pas ce biais. Biais résiduel mesuré le 2 août 2026 sur les 8 langues principales : de 22,0 % à 31,9 % selon le couple langue/épreuve, sur 44 couples mesurés.
Un garde-fou permanent, pas une correction ponctuelle
Une correction sans contrôle se dégrade à la prochaine fournée de contenu. Le biais de longueur est donc mesuré chaque semaine par un contrôle automatique en intégration continue, sur chaque couple langue/épreuve des 8 langues principales. Si la stratégie de la réponse la plus longue dépasse 35 % (le hasard vaut 25 %), le contrôle passe au rouge et bloque : le seuil est calibré pour distinguer un vrai défaut du bruit statistique.
Le même dispositif de contrôle continu verrouille d'autres invariants du contenu : parité des huit langues de l'interface, cohérence des paramètres d'épreuves avec la base officielle, unicité des questions de FAQ entre les pages.
Ce qui n'est pas encore au niveau
Publier ses mesures oblige aussi à publier ce qu'elles révèlent. État connu au 4 août 2026 :
- Les 10 langues secondaires de la banque portent encore les distracteurs courts d’origine : la correction du biais de longueur ne couvre à ce jour que les 8 langues principales.
- Quelques explications de réponse rédigées en anglais subsistent dans des questions publiques en français ; le lot de nettoyage est planifié.
- La correction du contenu est un travail continu : les signalements des utilisateurs (bouton « signaler » sous chaque question) alimentent une file de revue.
Nos règles d'écriture
Les corrections ponctuelles ne suffisent pas sans règles de rédaction. Celles-ci s’appliquent à toute nouvelle question :
- Longueur des options à peu près constante au sein d'une question : la règle classique de la rédaction d'items (taxonomie de Haladyna et Downing, 1989).
- Chaque affirmation officielle est vérifiée à la source primaire avant publication ; une citation invérifiable est retirée, pas publiée.
- Des distracteurs qui enseignent : les mauvaises réponses décrivent des réalités voisines et confondables, pas des absurdités.
- Les paramètres d’épreuves affichés sur le site viennent de la base officielle des avis de concours, jamais de valeurs recopiées.