Handicap scolaire: Jusqu’où les pays laissent-ils leurs enfants “couler”?

En résumé

L’inégalité en éducation mène à de sérieux handicaps potentiels pour les enfants qui souffrent d’un retard académique durant tout leur parcours scolaire. Des évaluations fiables sont essentielles pour mesurer les progrès (ou l’absence de progrès) des élèves, guider la pratique en classe des enseignants et les politiques nationales d’éducation. Les enseignants ont leurs outils liés au curriculum pour le suivi des élèves individuels. Les autorités nationales établissent des examens à l’échelle nationale aux passages critiques de leur système éducatif pour prendre le pouls des performances locales relatives et permettre des progrès axés sur les résultats dans l’ensemble du système. Les organisations internationales élaborent des évaluations à grande échelle couvrant un large éventail de pays, permettant à leurs membres d’étalonner leurs systèmes éducatifs respectifs les uns contre les autres et d’en tirer des enseignements pour les politiques.

Utilisant l’une de ces évaluations à grande échelle, l’UNICEF a récemment publié un Bilan qui comprend un classement des pays sur la base d’une mesure de l’inégalité dans l’éducation. La mesure vise à comparer l’écart de réussite des élèves les plus en retard académiquement à travers un grand nombre de pays. Bien que la recherche apparaisse riche et élaborée, dans ce post, je soutiens que la métrique spécifique retenue pour le classement n’est pas bien appropriée pour orienter les actions des décideurs. Je présente une mesure simple de l’écart académique qui se fonde sur les caractéristiques mêmes, statistiquement solides, de l’évaluation à grande échelle. Cette mesure semble tout à fait cohérente avec d’autres approches pour aborder cette importante question des inégalités dans l’éducation.

Handicap scolaire: Jusqu’où les pays laissent-ils leurs enfants “couler”?

L’équité est l’une des préoccupations majeures dans la conception des politiques de l’éducation. Récemment, le Centre de recherche de l’UNICEF – Innocenti a publié un rapport très intéressant, son 13e Bilan intitulé Équité entre les enfants – Tableau de classement des inégalités de bien-être entre les enfants dans les pays riches. Bien que ce soit un travail de recherche de qualité, je me heurte à la métrique appliquée pour mesurer et classer les inégalités dans l’enseignement (Tableau de classement 2 dans le rapport de l’UNICEF). Dans ce post, je tente d’expliquer mes réserves au sujet de cette mesure et propose ce que je pense être un indicateur plus approprié pour mesurer les inégalités de résultats scolaires, un indicateur qui mène à une application plus directe et pertinente pour les politiques.

Quel est l’intérêt de mesurer les inégalités de résultats scolaires des élèves?

Dans tous les domaines de la vie, l’évaluation est la clé pour mesurer une position relative et des progrès. Dans le domaine de l’éducation, alors que l’école soutient le développement des compétences académiques et sociales des élèves dans une construction progressive de soi, l’évaluation est un processus important par lequel la position et les progrès de chaque élève sont mesurés selon des critères académiquement et socialement validés. Concentrons-nous ici sur l’aspect académique. Les activités d’évaluation recueillent des informations importantes sur la performance des élèves, celle des classes, des écoles et des systèmes éducatifs nationaux, lorsqu’elles sont correctement agrégées et pondérées pour représenter la population des élèves. Avec l’application d’outils statistiques simples, mais appropriés, on développe une panoplie de mesures qui en disent long sur les différences de performances des élèves dans la classe ou dans un système éducatif national, ce qui permet de juger de l’efficacité et de l’équité des politiques et pratiques.

Les principales questions peuvent alors être posées, à la recherche de réponses permettant de conduire les politiques et les pratiques éducatives vers l’atteinte de niveaux plus élevés d’équité dans la réussite scolaire:

• Combien d’étudiants présentent un retard de rendement scolaire,
• Quelle est l’ampleur de leur sous-performance,
• Contre quel “standard de performance” sont-ils évalués, et, finalement,
• Qui sont-ils – ou quelles sont leurs caractéristiques (lors de l’analyse de résultats d’enquête plutôt que d’une population étudiante nominative) pour permettre l’élaboration de stratégies d’identification?

Quels outils avons-nous pour mesurer les inégalités dans les résultats  scolaires?

L’inégalité des résultats scolaires apparaît lors des évaluations des élèves:

• Les enseignants dans la salle de classe mesurent les progrès de leurs élèves par une variété d’exercices propres au programme qu’ils sont responsables de transmettre. Ce faisant, ils identifient les difficultés auxquelles leurs élèves sont confrontés, adaptent leurs pratiques et élaborent des stratégies pour les soutenir.
• Dans les ministères de l’éducation, les programmes d’études nationaux sont fixés et des examens  nationaux – souvent à enjeu élevé – sont institutionnalisés à des étapes-clés de la scolarité. Ce faisant, les concepteurs de la politique d’éducation nationale examinent la performance globale des écoles dans le système et peuvent développer des stratégies pour appuyer ceux, élèves et établissements, identifiés comme risquant de ne pas atteindre les objectifs fixés.
• Les organisations internationales mettent en place des projets d’évaluation des étudiants – en utilisant des stratégies d’échantillonnage les plus appropriées – pour permettre à leurs pays membres de comparer la performance de leur système éducatif respectif aux meilleurs.

Le Programme international pour le suivi des acquis élèves (PISA) est l’un de ces principaux projets internationaux d’évaluation. Il est orchestré par l’Organisation de coopération et de développement économiques (OCDE) avec des données d’évaluation recueillies tous les trois ans depuis 2000. En contraste avec l’évaluation en classe, les systèmes nationaux d’évaluation et d’autres projets d’évaluation internationaux (tels que ceux coordonnés par l’International Association for the Evaluation of Educational Achievement), PISA adopte une approche “littératie” de son évaluation: “PISA est unique parce qu’il développe des tests qui ne sont pas directement liés au programme scolaire. Les tests sont conçus pour évaluer dans quelle mesure les élèves à la fin de l’enseignement obligatoire [quand ils sont âgés de 15 ans] peuvent appliquer leurs connaissances à des situations réelles et être équipés pour participer pleinement à la société. Les informations recueillies au moyen de questionnaires de fond fournissent aussi des données contextuelles qui peuvent aider les analystes à interpréter les résultats.” Le Bilan de l’UNICEF et ma contribution critique utilisent les données d’évaluation recueillies en 2012. Les évaluations PISA couvrent trois matières-clés : la lecture, les mathématiques et la science, avec un accent plus particulier mis sur l’une des matières chaque année d’évaluation (mathématiques en 2012).

Particulièrement pertinente pour moi dans la discussion qui suit est la «norme» établie pour chaque matière dans PISA. Le résultat du processus d’étalonnage et les transformations scientifiquement appliquées aux données ont été choisis de telle sorte que la moyenne et l’écart-type des scores PISA 2000 en lecture sont de 500 et 100 respectivement, pour les équipondérés 27 pays de l’OCDE qui ont participé au PISA 2000 et avaient des taux de réponse acceptables. Tout en respectant le même principe, mais en tenant compte du plus grand développement de l’évaluation des mathématiques, comme principal domaine dans PISA 2003, et de l’évaluation de la science, comme domaine principal dans l’enquête PISA 2006, les distributions dans ces matières ont été recalibrées autour d’une moyenne de 500 et un écart-type de 100 dans ces années respectives. Les évaluations suivantes du PISA sont toutes conformes à ces bases ainsi définies (plus de détails peuvent être trouvés dans le Rapport technique de PISA 2012).

Dans mon esprit, le score de 500 devient une référence importante pour mesurer les performances scolaires. Par construction, il est une marque stable pour les comparaisons au fil du temps (à mesure que de nouveaux cycles de PISA pour les trois matières sont exécutés), et un point d’ancrage pour la comparaison des performances entre les pays. En outre, lorsque le 500 de référence a été fixé, la répartition mondiale de l’OCDE des scores individuels a été calibrée de sorte que l’écart-type autour de la moyenne (500) soit égal à 100 points de score – ce qui signifie que les deux tiers de la population étudiante, prise en considération pour les calculs respectivement en 2000 pour la lecture, en 2003 pour les mathématiques et en 2006 pour la science, obtiennent un score entre 400 et 600. Tous ces chiffres sont des repères importants pour une mesure de l’inégalité. Un autre chiffre intéressant généré par une comparaison des scores moyens des élèves du même âge scolarisés dans deux classes de niveaux différents (mesurés sur l’échelle de lecture): 39 points – cela reflète le gain approximatif qu’un élève moyen peut espérer faire en une année supplémentaire, dans un système d’éducation reflétant les caractéristiques moyennes à travers un grand nombre de pays de l’OCDE. La comparaison des deux derniers chiffres nous indiquerait qu’un élève obtenant un score de 400 aurait un déficit d’apprentissage approximatif de deux ans et demi de scolarité vis-à-vis d’un autre avec un score moyen de 500.

Comment le Bilan de l’UNICEF le fait-il?

Pour établir son “Tableau de classement” sur les inégalités dans l’éducation, la mesure de l’UNICEF d’un écart de réussite vise à “rendre compte du retard éprouvé par les élèves en difficulté par rapport à l’élève ‘moyen’ en lecture, en mathématiques et en sciences à l’âge de 15 ans”. Avec les données de PISA 2012, l’UNICEF se penche sur la différence de résultat entre le 10e percentile de la distribution des scores des élèves – le score supérieur atteint par les 10% moins bons élèves en moyenne pour les trois sujets – et la médiane dans la même distribution – le score qui divise la population étudiante en deux nombres égaux d’élèves ayant atteint au-dessus et en-dessous de ce score. Il produit une mesure relative dans chaque contexte national. Grâce à un processus de normalisation (en utilisant techniquement les z-scores), un indicateur est produit pour chaque pays, puis mesuré par rapport à la moyenne non pondérée de l’OCDE. Les scores normalisés obtenus sont positifs ou négatifs: ils sont positifs lorsque le score national normalisé est inférieur à celui de la moyenne de l’OCDE – plus la différence au score de l’OCDE est grande, plus est faible l’inégalité dans la partie inférieure de la distribution, selon l’expression utilisée par l’UNICEF; ils sont négatifs lorsque le score national normalisé est supérieur celui de la moyenne de l’OCDE – plus la différence négative au score de l’OCDE est grande, plus l’inégalité dans la partie inférieure de la distribution est large. La comparaison entre pays repose alors sur l’écart entre les élèves les plus faibles et la médiane, au niveau national, par rapport à la moyenne de l’OCDE. Ces calculs sont brièvement présentés dans le rapport principal de l’UNICEF et élaboré plus en détail dans un document de travail Innocenti. L’écart de réussite du Bilan UNICEF est rapporté dans la colonne 4 du tableau 1 ci-dessous, et le classement des pays associé à la colonne 5.

Les scores normalisés de l’UNICEF s’étendent du plus haut de 1,92 au Chili et 1,59 en Estonie (le Mexique et la Turquie sont exclus du classement de l’UNICEF parce que leurs scores élevés reposent sur une participation réduite à l’école à 15 ans, qui affecte directement le score calculé) à des niveaux de -1.96 en Israël, -1,39 et -1,36 en Belgique en France, à l’autre extrême. En analysant les résultats, l’UNICEF accorde plus d’attention à la situation des pays qui présentent les plus grands écarts avec la moyenne de l’OCDE, à la fois du côté positif et du côté négatif. Les deux pays de rang le plus élevé, le Chili et l’Estonie, avec la meilleure performance de l’écart de réussite mesuré, apparaissent cependant très différents en termes de la performance de leurs élèves les plus faibles : le 10e percentile en Estonie obtient un score moyen des trois matières de 423, très proche du score obtenu par les élèves moyens chiliens (436) – les élèves estoniens les moins performants réussissent aussi bien que l’étudiant moyen au Chili. À l’autre extrémité du classement, l’UNICEF commente que deux pays à revenu élevé, la Belgique et la France, montrent de très grandes lacunes en matière de rendement. Mais les scores de leurs 10e percentiles les plus faibles sont respectivement 373 et 363, nettement plus élevés que le score de 335 du “meilleur” écart de réussite du Chili. Voilà pourquoi je me heurte à la métrique utilisée pour le classement.

Parallèlement à cette mesure de l’écart de réussite, le rapport de l’UNICEF présente une mesure supplémentaire, “le pourcentage d’élèves sous le niveau de compétence 2 dans les trois matières”, rapporté dans le tableau 1 colonne 7. Les évaluations PISA étalonnent aussi six niveaux de performance, chacun marquant un palier significatif de connaissances dans chacune des trois matières. Le niveau de compétence 2 est considéré comme le minimum nécessaire pour participer pleinement à la société moderne, ce qui implique que des carences graves affectent les élèves qui ne passent pas au moins à ce niveau. En eux-mêmes, ces niveaux sont également un indicateur de l’inégalité dans l’éducation. Bien sûr, c’est une autre mesure que l’écart de réussite proposé, mais il est inquiétant qu’un classement selon cette seconde mesure de l’inégalité ne soit pas corrélé avec le classement basé sur l’écart de réussite. Ceci, en fait, est sans surprise : le principal point critique de la différence d’approche de ces deux mesures est que le pourcentage d’élèves sous le niveau de compétence 2 est fondé sur une référence à des jalons internationaux (la façon dont les niveaux de compétence sont déterminés sur les points de  score), tandis que l’écart de réussite se réfère uniquement à une comparaison des scores dans un contexte national.

Une mesure alternative (plus appropriée) de l’inégalité dans l’éducation

L’approche alternative que je propose comme une mesure de l’inégalité de résultat scolaire des élèves (que je considère plus appropriée) découle juste de ce dernier point. Mon argument est que, avec PISA, nous avons le privilège de l’analyse comparative de divers aspects de la performance des systèmes nationaux d’éducation en relation avec des repères définis internationalement, élaborés avec les meilleurs outils statistiques. La mise en place de niveaux de compétence est l’un des aspects de cette approche. L’utilisation de la “norme” de 500, dont la conception a été décrite plus haut, est un autre aspect de cette approche. Ma proposition pour une autre mesure de l’inégalité des résultats des élèves, également une mesure de “l’inégalité dans le bas de la distribution”, est “simplement” de rendre compte de l’écart entre le 10e percentile mesuré à l’échelle nationale et la “norme” internationale de 500.

En utilisant également les résultats dans l’enquête PISA 2012, je calcule la note moyenne du 10e percentile dans les trois matières, puis soustrais ce score moyen obtenu de 500, la moyenne de référence de l’OCDE pour chacune des trois matières. Le résultat est ce que j’appelle le handicap scolaire, à savoir le nombre de points de score qui séparent le 10e percentile de la “norme” moyenne de l’OCDE. Ceci est rapporté dans le tableau 1 colonne 3 et dans le graphique 1. Exprimé simplement en points de score , ce handicap scolaire est facile à comprendre et à présenter aux décideurs politiques. Il est également tout à fait approprié pour mesurer les progrès au fil du temps (nous pourrons examiner ceci dans un autre post). Il est utilisé ici pour classer les pays. Pour la même raison principale présentée au sujet de la comparaison entre les deux mesures proposées dans le rapport de l’UNICEF, le classement associé à la métrique que je propose n’est pas du tout corrélé à celui du rapport de l’UNICEF, mais il l’est très étroitement fait avec le pourcentage des élèves sous le niveau de compétence 2 dans les trois matières. Cette mesure de l’écart évite toute considération des résultats des autres élèves nationaux dans le calcul, adoptant une perspective appropriée pour savoir jusqu’où les pays laissent leurs enfant “couler” au plan scolaire, en relation avec une référence internationale.

Les données proviennent de PISA 2012.

Note: Dans le tableau, j’ai retenu 40 pays, les 34 pays de l’OCDE ainsi que les pays en processus d’accession à l’OCDE ou des pays partenaires de l’OCDE. L’analyse de l’UNICEF comprenait un peu plus de pays européens et aucun des pays partenaires non-européens. Les classements ont été ajustés pour tenir compte des pays présentés dans le tableau.

Les deux classements conduisent à des différences considérables sans qu’aucune tendance systématique ne puisse être reconnue. Les médias ont sauté sur des conclusions rapides du rapport de l’UNICEF – j’ai lu des articles publiés en France (Le Monde, Le Figaro, Le Nouvel Observateur, Libération) et au Canada (Toronto Star, La Presse). Les reportages auraient-ils été différents avec une approche différente à la mesure de l’écart de réussite? Voici quelques points d’analyse qui ressortent du classement de l’inégalité dans l’éducation sur la base du handicap scolaire:

• Considérant que la différence de score entre deux niveaux de compétence consécutifs dans PISA est d’environ 70 points de score (moyenne sur les trois sujets), les élèves avec des résultats aussi bas que sous la barre du 10e percentile ont au minimum une différence d’un niveau de compétence avec ceux qui obtiennent un résultat au niveau de la moyenne de l’OCDE. Ce n’est pas un écart considérable pour les premiers pays du classement, dont le handicap scolaire monte jusqu’à un niveau et demi, soit environ 105 points – les huit premiers pays parmi les 40: la Corée, l’Estonie, le Japon, la Finlande, la Pologne, le Canada, l’Irlande et la Suisse. À l’autre extrémité du classement, le handicap est de plus de deux niveaux de compétence (supérieur à 140 points) dans 12 pays. Ce dernier groupe comprend cinq pays européens: l’Islande, le Luxembourg, la Suède, la Grèce et la République slovaque. Il est délicat de tirer un trait gras dans le classement, mais ce sont ces 12 pays qui présenteraient le handicap scolaire le plus sévère, ceux qui laissent “couler” profondément certains de leurs enfants – de plus en plus nombreux alors que le pourcentage d’enfants sous le niveau de compétence 2 dans les trois matières atteint, puis dépasse, les 15%.
• On pourrait imaginer qu’un score moyen élevé pour un pays n’empêche pas que les élèves les moins performants aient des scores très faibles. Au moins si l’on considère les étudiants dans le plus bas au 10e percentile, ce n’est pas le cas: les pays aux résultats les plus élevés (tel que mesuré par leur score moyen pour les trois matières ensemble, fourni dans le tableau 1 colonne 6) ne présente pas de concentration élevée d’élèves au niveau très faible. Les dix premiers pays avec un handicap plus faible sont aussi les dix pays dont la performance globale est la plus élevée. Parmi les pays dont les résultats, dans les trois matières agrégées, sont au niveau ou au-dessus de la norme OCDE de 500, la France apparaît comme celui qui a les élèves les plus faibles au bas de la distribution, à savoir le déficit relatif le plus élevé pour son groupe d’élèves aux résultats les moins bons.
• Dans les 15 premiers pays du classement du handicap scolaire, une certaine proportion des 10% les plus faibles obtiennent un score qui les placent au niveau de compétence 2 dans au moins une des matières de l’évaluation PISA, donc avec un niveau minimum nécessaire pour participer pleinement dans la société moderne. Dans le Tableau 1, ce sont tous les pays dans lesquels le pourcentage d’enfants sous le niveau de compétence 2 dans les trois matières est inférieur à 10%.
• Certains groupes de pays sont souvent reconnus comme groupés ensemble dans divers aspects économiques ou sociaux. Un de ces groupes sont les pays nordiques, souvent illustrés comme des pays à forte égalité: en termes d’inégalité dans la réussite scolaire, le groupe ne se tient guère ensemble – la Finlande est 4e, le Danemark 13e, la Norvège 22e, l’Islande 29e et la Suède 32e.
• L’Estonie conserve un rang élevé semblable dans les deux classements, celui de l’UNICEF et cette version du classement. Ce n’est pas le cas du Chili (36e).

Les données proviennent de PISA 2012.

Le Bilan UNICEF n° 13, et le Document de travail Education for All? Measuring inequality of educational outcomes among 15-year-olds across 39 industrialized nations, qui met l’accent sur l’inégalité scolaire, présentent d’excellentes recherches et des connaissances analytiques sur la situation des inégalités rencontrées par les jeunes dans un grand nombre de pays. Ce que j’ai trouvé problématique est la métrique de l’inégalité choisie pour classer l’inégalité en matière d’éducation. Elle est difficile à interpréter et ne fournit pas un message clair aux décideurs politiques, si l’on ne creuse pas dans la recherche étendue. Le Handicap scolaire, le nombre de points de score qui séparent le 10e percentile de la “norme” moyenne de l’OCDE, apparaît comme un outil de référence simple, mais plus efficace, pour mesurer jusqu’où les pays laissent leurs enfants “couler” sur le plan scolaire.

Selon la métrique que je propose, il est clair que certains pays laissent “couler” leurs enfants assez profondément. Ce n’est pas juste une métaphore. L’évaluation du PISA est effectuée auprès des élèves de 15 ans, proches de la fin de la scolarité obligatoire dans la plupart des pays, toujours déterminée par l’âge plutôt que par un niveau de connaissances acquis. Or, la progression scolaire se construit par une accumulation de connaissances et d’expériences académiques et sociales depuis le très jeune âge et le résultat à 15 ans n’est que très rarement une révélation subite. Le handicap scolaire, lui aussi, se “construit” souvent sur les expériences d’années antérieures.

Non solum data – Data sine monito oculo nihil sunt.

---

Dans ce blog, nous invitons les commentaires constructifs et les contributions d’articles constructives – voyez notre politique de blog et exprimez-vous!

Références

Bruckauf, Z. et Y. Chzhen (2016). Education for All? Measuring inequality of educational outcomes among 15-year-olds across 39 industrialized nations, Innocenti Working Paper No.2016-08, UNICEF Office of Research, Florence. https://www.unicef-irc.org/publications/843/

Centre de recherche de l’UNICEF (2016). Équité entre les enfants : tableau de classement des inégalités de bien-être entre les enfants des pays riches, Bilan Innocenti 13, Centre de recherche de l’UNICEF – Innocenti, Florence. https://www.unicef-irc.org/publications/830/

OCDE (2013), PISA 2012 Results: Excellence Through Equity: Giving Every Student the Chance to Succeed (Volume II), PISA, OECD Publishing. http://dx.doi.org/10.1787/9789264201132-en

OCDE (2014), PISA 2012 Technical Report, PISA, OECD Publishing. http://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf