L’in\u00e9galit\u00e9 en \u00e9ducation m\u00e8ne \u00e0 de s\u00e9rieux handicaps potentiels pour les enfants qui souffrent d’un retard acad\u00e9mique durant tout leur parcours scolaire. Des \u00e9valuations fiables sont essentielles pour mesurer les progr\u00e8s (ou l’absence de progr\u00e8s) des \u00e9l\u00e8ves, guider la pratique en classe des enseignants et les politiques nationales d’\u00e9ducation. Les enseignants ont leurs outils li\u00e9s au curriculum pour le suivi des \u00e9l\u00e8ves individuels. Les autorit\u00e9s nationales \u00e9tablissent des examens \u00e0 l’\u00e9chelle nationale aux passages critiques de leur syst\u00e8me \u00e9ducatif pour prendre le pouls des performances locales relatives et permettre des progr\u00e8s ax\u00e9s sur les r\u00e9sultats dans l’ensemble du\u00a0syst\u00e8me. Les organisations internationales \u00e9laborent des \u00e9valuations \u00e0 grande \u00e9chelle couvrant un large \u00e9ventail de pays, permettant \u00e0 leurs membres d’\u00e9talonner leurs syst\u00e8mes \u00e9ducatifs respectifs les uns contre les autres et d’en tirer des enseignements pour les politiques.<\/span><\/p>\n Utilisant l’une de ces\u00a0\u00e9valuations \u00e0 grande \u00e9chelle, l’UNICEF a r\u00e9cemment publi\u00e9 un Bilan qui comprend un classement des pays sur la base d’une mesure de l’in\u00e9galit\u00e9 dans l’\u00e9ducation. La mesure vise \u00e0 comparer l’\u00e9cart de r\u00e9ussite<\/em> des \u00e9l\u00e8ves les plus en retard acad\u00e9miquement \u00e0 travers un grand nombre de pays. Bien que la recherche apparaisse riche et \u00e9labor\u00e9e, dans ce post, je soutiens que la m\u00e9trique sp\u00e9cifique retenue pour le classement n’est pas bien appropri\u00e9e pour orienter les actions des d\u00e9cideurs. Je pr\u00e9sente une mesure simple de l’\u00e9cart acad\u00e9mique<\/em> qui se fonde sur les caract\u00e9ristiques m\u00eames, statistiquement solides, de l’\u00e9valuation \u00e0 grande \u00e9chelle. Cette mesure semble tout \u00e0 fait coh\u00e9rente avec d’autres approches pour aborder\u00a0cette importante question des in\u00e9galit\u00e9s dans l’\u00e9ducation.<\/span><\/p>\n <\/p>\n L’\u00e9quit\u00e9 est l’une des pr\u00e9occupations majeures dans la conception des politiques de l’\u00e9ducation. R\u00e9cemment, le Centre de recherche de l’UNICEF – Innocenti a publi\u00e9 un rapport tr\u00e8s int\u00e9ressant, son 13e Bilan intitul\u00e9 \u00c9quit\u00e9 entre les enfants <\/a>–\u00a0Tableau de classement des in\u00e9galit\u00e9s de bien-\u00eatre entre les enfants dans les pays riches<\/em>. Bien que ce soit un\u00a0travail de recherche de qualit\u00e9, je me heurte \u00e0 la m\u00e9trique appliqu\u00e9e pour mesurer et classer les in\u00e9galit\u00e9s dans l’enseignement (Tableau de classement 2 dans le rapport de l’UNICEF). Dans ce post, je tente d’expliquer mes r\u00e9serves au sujet de cette mesure et propose ce que je pense \u00eatre un indicateur plus appropri\u00e9 pour mesurer les in\u00e9galit\u00e9s de r\u00e9sultats scolaires, un indicateur qui m\u00e8ne \u00e0 une application plus directe et pertinente pour les politiques.<\/span><\/p>\n Dans tous les domaines de la vie, l’\u00e9valuation est la cl\u00e9 pour mesurer une position relative et des progr\u00e8s. Dans le domaine de l’\u00e9ducation, alors que l’\u00e9cole soutient le d\u00e9veloppement des comp\u00e9tences acad\u00e9miques et sociales des \u00e9l\u00e8ves dans une construction progressive de soi, l’\u00e9valuation est un processus important par lequel la position et les progr\u00e8s de chaque \u00e9l\u00e8ve sont mesur\u00e9s selon des crit\u00e8res acad\u00e9miquement et socialement valid\u00e9s. Concentrons-nous ici sur l’aspect acad\u00e9mique. Les activit\u00e9s d’\u00e9valuation recueillent des informations importantes sur la performance des \u00e9l\u00e8ves, celle\u00a0des classes, des \u00e9coles et des syst\u00e8mes \u00e9ducatifs nationaux, lorsqu’elles sont correctement agr\u00e9g\u00e9es et pond\u00e9r\u00e9es pour repr\u00e9senter la population des \u00e9l\u00e8ves. Avec l’application d’outils statistiques simples, mais appropri\u00e9s,\u00a0on d\u00e9veloppe une panoplie de mesures qui en disent long sur les diff\u00e9rences de performances des \u00e9l\u00e8ves dans la classe ou dans un syst\u00e8me \u00e9ducatif national, ce qui permet de juger de l’efficacit\u00e9 et de l’\u00e9quit\u00e9 des politiques et pratiques.<\/span><\/p>\n Les principales questions peuvent alors \u00eatre pos\u00e9es, \u00e0 la recherche de r\u00e9ponses permettant de conduire les politiques et les pratiques \u00e9ducatives vers l’atteinte de niveaux plus \u00e9lev\u00e9s d’\u00e9quit\u00e9 dans la r\u00e9ussite scolaire:<\/p>\n L’in\u00e9galit\u00e9 des r\u00e9sultats scolaires appara\u00eet lors des \u00e9valuations des \u00e9l\u00e8ves:<\/span><\/p>\n Le Programme international pour le suivi des acquis \u00e9l\u00e8ves <\/a>(PISA) est l’un de ces principaux projets internationaux d’\u00e9valuation. <\/span>Il est orchestr\u00e9 par l’Organisation de coop\u00e9ration et de d\u00e9veloppement \u00e9conomiques<\/a> (OCDE) avec des donn\u00e9es d’\u00e9valuation recueillies tous les trois ans depuis 2000. En contraste avec l’\u00e9valuation en classe, les syst\u00e8mes nationaux d’\u00e9valuation et d’autres projets d’\u00e9valuation internationaux (tels que ceux coordonn\u00e9s par <\/span>l’International Association for the Evaluation of Educational Achievement<\/a>), PISA adopte une approche “litt\u00e9ratie” <\/a>de son \u00e9valuation: “PISA est unique parce qu’il d\u00e9veloppe des tests qui ne sont pas directement li\u00e9s au programme scolaire. <\/em><\/span>Les tests sont con\u00e7us pour \u00e9valuer dans quelle mesure les \u00e9l\u00e8ves \u00e0 la fin de l’enseignement obligatoire [quand ils sont \u00e2g\u00e9s de 15 ans] peuvent appliquer leurs connaissances \u00e0 des situations r\u00e9elles et \u00eatre \u00e9quip\u00e9s pour participer pleinement \u00e0 la soci\u00e9t\u00e9. <\/span><\/em>Les informations recueillies au moyen de questionnaires de fond fournissent aussi des donn\u00e9es contextuelles qui peuvent aider les analystes \u00e0 interpr\u00e9ter les r\u00e9sultats.”<\/em> Le Bilan de l’UNICEF et ma contribution critique utilisent les donn\u00e9es d’\u00e9valuation recueillies en 2012. Les \u00e9valuations PISA couvrent trois mati\u00e8res-cl\u00e9s :\u00a0la lecture, les math\u00e9matiques et la science, avec un <\/span>accent plus particulier mis sur l’une des mati\u00e8res chaque ann\u00e9e d’\u00e9valuation (math\u00e9matiques en 2012).<\/span><\/span><\/p>\n Particuli\u00e8rement pertinente pour moi dans la discussion qui suit est la \u00abnorme\u00bb \u00e9tablie pour chaque mati\u00e8re dans PISA. Le r\u00e9sultat du processus d’\u00e9talonnage et les transformations scientifiquement appliqu\u00e9es aux donn\u00e9es ont \u00e9t\u00e9 choisis de telle sorte que la moyenne et l’\u00e9cart-type des scores PISA 2000 en lecture sont de 500 et 100 respectivement, pour les \u00e9quipond\u00e9r\u00e9s 27 pays de l’OCDE qui ont particip\u00e9 au PISA 2000 et avaient des taux de r\u00e9ponse acceptables. Tout en respectant le m\u00eame principe, mais en tenant compte du plus grand d\u00e9veloppement de l’\u00e9valuation des math\u00e9matiques, comme principal domaine dans PISA 2003, et de l’\u00e9valuation de la science, comme domaine principal dans l’enqu\u00eate PISA 2006, les distributions dans ces mati\u00e8res ont \u00e9t\u00e9 recalibr\u00e9es autour d’une moyenne de 500 et un \u00e9cart-type de 100 dans ces ann\u00e9es respectives. Les \u00e9valuations suivantes\u00a0du PISA sont toutes conformes \u00e0 ces bases ainsi d\u00e9finies (plus de d\u00e9tails peuvent \u00eatre trouv\u00e9s dans le Rapport technique de PISA 2012<\/a>).<\/span><\/p>\n Dans mon esprit, le score de 500 devient une r\u00e9f\u00e9rence importante pour mesurer les performances scolaires. <\/span>Par construction, il est une marque stable pour les comparaisons au fil du temps (\u00e0 mesure que de nouveaux cycles de PISA pour les trois mati\u00e8res sont ex\u00e9cut\u00e9s), et un point d’ancrage pour la comparaison des performances entre les pays. <\/span>En outre, lorsque le 500 de r\u00e9f\u00e9rence a \u00e9t\u00e9 fix\u00e9, la r\u00e9partition mondiale de l’OCDE des scores individuels a \u00e9t\u00e9 calibr\u00e9e de sorte que l’\u00e9cart-type autour de la moyenne (500) soit \u00e9gal \u00e0 100 points de score – ce qui signifie que les deux tiers de la population \u00e9tudiante<\/span>, prise en consid\u00e9ration pour les calculs respectivement en 2000 pour la lecture, en 2003 pour les math\u00e9matiques et en 2006 pour la science, obtiennent un score entre 400 et 600. Tous ces chiffres sont des rep\u00e8res importants pour une mesure de l’in\u00e9galit\u00e9. <\/span>Un autre chiffre int\u00e9ressant g\u00e9n\u00e9r\u00e9 par une comparaison des scores moyens des \u00e9l\u00e8ves du m\u00eame \u00e2ge scolaris\u00e9s dans deux classes de niveaux\u00a0diff\u00e9rents (mesur\u00e9s sur l’\u00e9chelle de lecture): 39 points<\/a> – cela refl\u00e8te le gain approximatif qu’un \u00e9l\u00e8ve moyen peut esp\u00e9rer faire en une ann\u00e9e suppl\u00e9mentaire<\/span>, dans un syst\u00e8me d’\u00e9ducation refl\u00e9tant les caract\u00e9ristiques moyennes \u00e0 travers un grand nombre de pays de l’OCDE. <\/span>La comparaison des deux derniers chiffres nous indiquerait qu’un \u00e9l\u00e8ve obtenant un score de 400 aurait un d\u00e9ficit d’apprentissage approximatif de deux ans et demi de scolarit\u00e9 vis-\u00e0-vis d’un autre avec un score moyen de 500.<\/span><\/span><\/p>\n Pour \u00e9tablir son “Tableau de classement” sur les in\u00e9galit\u00e9s dans l’\u00e9ducation, la mesure de l’UNICEF d’un \u00e9cart de r\u00e9ussite <\/em>vise \u00e0 “rendre compte du retard \u00e9prouv\u00e9 par les \u00e9l\u00e8ves en difficult\u00e9 par rapport \u00e0 l’\u00e9l\u00e8ve ‘moyen’ en lecture, en math\u00e9matiques et en sciences \u00e0 l’\u00e2ge de 15 ans”<\/em><\/span>. <\/span>Avec les donn\u00e9es de PISA 2012, l’UNICEF se penche sur la diff\u00e9rence de r\u00e9sultat entre le 10e percentile de la distribution des scores des \u00e9l\u00e8ves – le score sup\u00e9rieur atteint par les 10% moins bons \u00e9l\u00e8ves en moyenne pour les trois sujets – et la m\u00e9diane dans la m\u00eame distribution – le score <\/span>qui divise la population \u00e9tudiante en deux nombres \u00e9gaux d’\u00e9l\u00e8ves ayant atteint au-dessus et en-dessous de ce score. <\/span>Il produit une mesure relative dans chaque contexte national<\/strong>. <\/span>Gr\u00e2ce \u00e0 un processus de normalisation (en utilisant techniquement les z-scores), un indicateur est produit pour chaque pays, puis mesur\u00e9 par rapport \u00e0 la moyenne non pond\u00e9r\u00e9e de l’OCDE. <\/span>Les scores normalis\u00e9s obtenus sont positifs ou n\u00e9gatifs: ils sont positifs lorsque le score national normalis\u00e9 est inf\u00e9rieur \u00e0 celui de la moyenne de l’OCDE – plus la diff\u00e9rence au score de l’OCDE est grande, plus est faible l’in\u00e9galit\u00e9 dans la partie inf\u00e9rieure de la distribution,<\/em> selon l’expression utilis\u00e9e <\/span>par l’UNICEF; <\/span>ils sont n\u00e9gatifs lorsque le score national normalis\u00e9 est sup\u00e9rieur celui de la moyenne de l’OCDE – plus la diff\u00e9rence n\u00e9gative au score de l’OCDE est grande, plus l’in\u00e9galit\u00e9 dans la partie inf\u00e9rieure de la distribution<\/em> est large. <\/span>La comparaison entre pays repose alors sur l’\u00e9cart entre les \u00e9l\u00e8ves les plus faibles et la m\u00e9diane, au niveau national, par rapport \u00e0 la moyenne de l’OCDE. <\/span>Ces calculs sont bri\u00e8vement pr\u00e9sent\u00e9s dans le rapport principal de l’UNICEF<\/a> et \u00e9labor\u00e9 plus en d\u00e9tail dans un document de travail Innocenti<\/a>. <\/span>L’\u00e9cart de r\u00e9ussite<\/em> du Bilan UNICEF est rapport\u00e9 dans la colonne 4 du tableau 1 ci-dessous, et le classement des pays associ\u00e9 \u00e0 la colonne 5.<\/span><\/span><\/p>\n Les scores normalis\u00e9s de l’UNICEF s’\u00e9tendent du plus haut de 1,92 au Chili et 1,59 en Estonie (le Mexique et la Turquie sont exclus du classement de l’UNICEF parce que leurs scores \u00e9lev\u00e9s reposent sur une participation r\u00e9duite \u00e0 l’\u00e9cole \u00e0 15 ans, qui affecte directement le score calcul\u00e9) \u00e0 des niveaux de <\/span>-1.96 en Isra\u00ebl, -1,39 et -1,36 en Belgique en France, \u00e0 l’autre extr\u00eame. <\/span>En analysant les r\u00e9sultats, l’UNICEF accorde plus d’attention \u00e0 la situation des pays qui pr\u00e9sentent les plus grands \u00e9carts avec la moyenne de l’OCDE, \u00e0 la fois du c\u00f4t\u00e9 positif et du c\u00f4t\u00e9 n\u00e9gatif. <\/span>Les deux pays de rang le plus \u00e9lev\u00e9, le Chili et l’Estonie, avec la meilleure performance de l’\u00e9cart de r\u00e9ussite<\/em> mesur\u00e9, apparaissent cependant tr\u00e8s diff\u00e9rents en termes de la performance de leurs \u00e9l\u00e8ves les plus faibles : le 10e percentile en Estonie obtient un score moyen des trois mati\u00e8res de <\/span>423, tr\u00e8s proche du score obtenu par les \u00e9l\u00e8ves moyens chiliens (436) – les \u00e9l\u00e8ves estoniens les moins performants r\u00e9ussissent aussi bien que l’\u00e9tudiant moyen au Chili. <\/span>\u00c0 l’autre extr\u00e9mit\u00e9 du classement, l’UNICEF commente que deux pays \u00e0 revenu \u00e9lev\u00e9, la Belgique et la France, montrent de tr\u00e8s grandes lacunes en mati\u00e8re de rendement. <\/span>Mais les scores de leurs 10e percentiles les plus faibles sont respectivement 373 et 363, nettement plus \u00e9lev\u00e9s que le score de 335 du “meilleur” \u00e9cart de r\u00e9ussite<\/em> du Chili. <\/span>Voil\u00e0 pourquoi je me heurte \u00e0 la m\u00e9trique utilis\u00e9e pour le classement.<\/span><\/span><\/p>\n Parall\u00e8lement \u00e0 cette mesure de l’\u00e9cart de r\u00e9ussite<\/em>, le rapport de l’UNICEF pr\u00e9sente une mesure suppl\u00e9mentaire, “le pourcentage d’\u00e9l\u00e8ves sous le niveau de comp\u00e9tence 2 dans les trois mati\u00e8res”, rapport\u00e9 dans le tableau 1 colonne 7. Les \u00e9valuations PISA \u00e9talonnent aussi six niveaux de performance, <\/span>chacun marquant un palier significatif de connaissances dans chacune des trois mati\u00e8res. Le n<\/span>iveau de comp\u00e9tence 2 est consid\u00e9r\u00e9 comme le minimum n\u00e9cessaire pour participer pleinement \u00e0 la soci\u00e9t\u00e9 moderne, ce qui implique que des carences graves affectent les \u00e9l\u00e8ves qui ne passent pas au moins \u00e0 ce niveau. <\/span>En eux-m\u00eames, ces niveaux sont \u00e9galement un indicateur de l’in\u00e9galit\u00e9 dans l’\u00e9ducation. <\/span>Bien s\u00fbr, c’est une autre mesure que l’\u00e9cart de r\u00e9ussite<\/em> propos\u00e9, mais il est inqui\u00e9tant qu’un classement selon cette seconde mesure de l’in\u00e9galit\u00e9 ne soit\u00a0pas\u00a0corr\u00e9l\u00e9 avec le classement bas\u00e9 sur l’\u00e9cart de r\u00e9ussite<\/em>. <\/span>Ceci, en fait, est sans surprise :\u00a0le principal point critique de la diff\u00e9rence d’approche de ces deux mesures est que le pourcentage d’\u00e9l\u00e8ves sous le niveau de comp\u00e9tence 2 est fond\u00e9 sur une r\u00e9f\u00e9rence \u00e0 des jalons internationaux (la fa\u00e7on dont les niveaux de comp\u00e9tence sont d\u00e9termin\u00e9s sur les points de \u00a0score<\/span>), tandis que l’\u00e9cart de r\u00e9ussite<\/em> se r\u00e9f\u00e8re uniquement \u00e0 une comparaison des scores dans un contexte national.<\/span><\/span><\/p>\n L’approche alternative que je propose comme une mesure de l’in\u00e9galit\u00e9 de r\u00e9sultat scolaire des \u00e9l\u00e8ves (que je consid\u00e8re plus appropri\u00e9e) d\u00e9coule juste de ce dernier point. Mon argument est que, avec PISA, nous avons le privil\u00e8ge de l’analyse comparative de divers aspects de la performance des syst\u00e8mes nationaux d’\u00e9ducation en relation avec des\u00a0rep\u00e8res d\u00e9finis internationalement, \u00e9labor\u00e9s avec les meilleurs outils statistiques. La mise en place de niveaux de comp\u00e9tence est l’un des aspects de cette approche. L’utilisation de la “norme” de 500, dont la conception a \u00e9t\u00e9 d\u00e9crite plus haut, est un autre aspect de cette approche. Ma proposition pour une autre mesure de l’in\u00e9galit\u00e9 des r\u00e9sultats des \u00e9l\u00e8ves, \u00e9galement une mesure de “l’in\u00e9galit\u00e9 dans le bas de la distribution”, est “simplement” de rendre compte de l’\u00e9cart entre le 10e percentile mesur\u00e9 \u00e0 l’\u00e9chelle nationale et la “norme” internationale de 500.<\/p>\n En utilisant \u00e9galement les r\u00e9sultats dans l’enqu\u00eate PISA 2012, je calcule la note moyenne du 10e percentile dans les trois mati\u00e8res, puis soustrais ce\u00a0score moyen obtenu de 500, la moyenne de r\u00e9f\u00e9rence de l’OCDE pour chacune des trois mati\u00e8res. <\/span>Le r\u00e9sultat est ce que j’appelle le handicap scolaire, \u00e0 savoir le nombre de points de score qui s\u00e9parent le 10e percentile de la “norme” moyenne de l’OCDE<\/em>. <\/span>Ceci est rapport\u00e9 dans le tableau 1 colonne 3 et dans le graphique 1. Exprim\u00e9 simplement en points de score , ce handicap scolaire<\/em>\u00a0est facile \u00e0 comprendre et \u00e0 pr\u00e9senter aux d\u00e9cideurs politiques. <\/span>Il est \u00e9galement tout \u00e0 fait appropri\u00e9 pour mesurer les progr\u00e8s au fil du temps (nous pourrons examiner ceci dans un autre post). <\/span>Il est utilis\u00e9 ici pour classer les pays. <\/span>Pour la m\u00eame raison principale pr\u00e9sent\u00e9e au sujet de la comparaison entre les deux mesures propos\u00e9es dans le rapport de l’UNICEF, le classement associ\u00e9 \u00e0 la m\u00e9trique que je propose n’est pas du tout corr\u00e9l\u00e9 \u00e0 celui du rapport de l’UNICEF, mais il l’est tr\u00e8s \u00e9troitement\u00a0fait avec le pourcentage des \u00e9l\u00e8ves sous le niveau de comp\u00e9tence 2\u00a0<\/span>dans les trois mati\u00e8res. <\/span>Cette mesure de l’\u00e9cart \u00e9vite toute consid\u00e9ration des r\u00e9sultats des autres \u00e9l\u00e8ves nationaux dans le calcul, adoptant une perspective appropri\u00e9e pour savoir jusqu’o\u00f9 les pays laissent leurs enfant “couler” au plan scolaire, en relation avec une r\u00e9f\u00e9rence internationale.<\/span><\/span><\/p>\nHandicap scolaire: Jusqu’o\u00f9 les pays laissent-ils leurs enfants “couler”?<\/h2>\n
Quel est l’int\u00e9r\u00eat de mesurer les in\u00e9galit\u00e9s de r\u00e9sultats scolaires des \u00e9l\u00e8ves?<\/span><\/h3>\n
\n
Quels outils avons-nous pour mesurer les in\u00e9galit\u00e9s dans les r\u00e9sultats\u00a0 scolaires?<\/span><\/h3>\n
\n
Comment le Bilan de l’UNICEF le fait-il?<\/span><\/h3>\n
Une mesure alternative (plus appropri\u00e9e) de l’in\u00e9galit\u00e9 dans l’\u00e9ducation<\/span><\/h3>\n