Aucun chiffre de résultat n'est publié sur cette page, faute de protocole de mesure publiable en l'état. Cette page ne présente ni tableau de résultats, ni pourcentage, ni protocole déjà appliqué : elle explique uniquement comment lire ce type de données lorsqu'elles sont publiées, par nous ou par un autre organisme, et ce qu'il faut demander pour pouvoir les comparer sérieusement.
Quatre notions à ne pas confondre
Admission
Le candidat a reçu une proposition d'intégration définitive dans une école, après l'ensemble des épreuves (tests, dossier, oraux). C'est la seule notion qui corresponde à une place obtenue.
Admissibilité
Le candidat a franchi l'étape écrite (tests, dossier selon les concours) et est autorisé à passer les oraux. Être admissible n'est pas être admis : une part des admissibles est refusée à l'oral.
Score obtenu à un test
Un résultat chiffré à un test (par exemple un score au TAGE MAGE) ne dit rien, seul, de l'issue du concours. Un score élevé peut ne pas suffire si le dossier ou l'oral sont faibles, et inversement.
Satisfaction déclarée
Une note ou un avis donné par un candidat sur la préparation suivie. Cela mesure une appréciation subjective du service reçu, pas un résultat au concours.
Cohorte, dénominateur et période de mesure
Un chiffre de résultat n'a de sens que rapporté à une cohorte précisément définie, sur une période précisément définie, avec un dénominateur explicite. Trois questions permettent de vérifier la solidité d'un chiffre annoncé par un organisme :
- Quelle cohorte ? Tous les inscrits à une formation donnée, une année donnée, ou seulement ceux qui ont suivi la formation jusqu'au bout ?
- Quel dénominateur ? Le chiffre est-il rapporté au nombre d'inscrits au départ, au nombre de candidats présents aux épreuves, ou au nombre de répondants à une enquête ultérieure ?
- Quelle période ? Une session, une année de candidature, ou un cumul sur plusieurs années sans distinction ?
Exemple de calcul construit, purement illustratif et fictif, pour montrer l'effet du dénominateur : sur un groupe fictif de 100 inscrits en début de préparation, si 80 se présentent effectivement aux épreuves et que 40 sont admis, le taux d'admission est de 40 % rapporté aux inscrits, mais de 50 % rapporté aux présents. Ces deux chiffres, également vrais, racontent une histoire différente. Aucun de ces nombres ne correspond à un résultat réel d'Aurlom ou d'un autre organisme : ils illustrent uniquement le mécanisme du dénominateur.
Biais de sélection et biais de déclaration
Le biais de sélection apparaît quand la cohorte mesurée n'est pas représentative de l'ensemble des candidats. Si un organisme ne compte que les candidats restés jusqu'à la fin de sa préparation, en excluant ceux qui ont abandonné en cours de route, le résultat affiché est mécaniquement meilleur que la réalité de l'ensemble des inscrits.
Le biais de déclaration apparaît quand le résultat repose sur ce que les candidats rapportent eux-mêmes, après coup, sans vérification. Les candidats admis répondent plus volontiers à une enquête de suivi que les candidats refusés, ce qui gonfle artificiellement le taux de succès apparent si le taux de réponse n'est pas pris en compte.
Exemple construit et fictif : sur une cohorte fictive de 100 candidats suivis, 30 répondent à l'enquête de résultats. Si 24 des répondants annoncent une admission, un taux de "80 % de réussite" calculé uniquement sur les répondants ne dit rien du sort des 70 candidats qui n'ont pas répondu. Ce chiffre est une illustration du biais, pas une donnée réelle.
État des données publiées par Aurlom sur cette page
À ce jour, aucun chiffre de résultat n'est publié ici, faute de protocole de mesure publiable en l'état : cohorte de référence, dénominateur, période et mode de collecte ne sont pas encore stabilisés dans une forme qui permettrait de publier un chiffre vérifiable et honnête. Cette page sera mise à jour si un tel protocole est défini et documenté.
Ce qu'il faut demander à n'importe quel organisme
Que ce soit le nôtre ou un concurrent, une comparaison sérieuse suppose d'obtenir les réponses précises aux points suivants avant de prendre le chiffre annoncé pour argent comptant :
- L'effectif exact de la cohorte mesurée.
- Le dénominateur exact retenu pour le calcul (inscrits, présents aux épreuves, ou répondants à une enquête).
- La période exacte couverte par la mesure (une session, une année, un cumul de plusieurs années).
- La définition précise du succès retenue (admission, admissibilité, score à un test, satisfaction déclarée).
- Le mode de collecte de la donnée (déclaratif, vérifié auprès des écoles, ou autre).
- Le taux de réponse à l'enquête, si le chiffre repose sur une enquête de suivi.
- La part des candidats non suivis jusqu'au bout de la préparation ou du concours, exclue ou non du calcul.
Pour aller plus loin