PIAAC : Mesurer la littératie et les compétences des adultes

Le Programme pour l’évaluation internationale des compétences des adultes (en anglais, P.I.A.A.C.) – que l’Organisation de Coopération et de Développement Économiques (O.C.D.E.) nomme également l’« Évaluation des compétences des adultes » – est un effort international pour évaluer les compétences humaines, et, plus encore, pour développer notre compréhension du capital humain. Ce programme a débuté en 2012 dans 22 pays (voir liste ci-dessous) et a été coordonné par l’OCDE. La liste des pays participants sera étendue à de nouveaux participants durant cette décennie, alors que de nouvelles vagues de l’évaluation PIAAC sont en train d’être mises en œuvre (les participants à la deuxième vague de PIAAC sont aussi listés ci-dessous).

Vidéo d’introduction de l’OCDE (en anglais) | http://www.oecd.org/site/piaac/

Suivant les traces de l’Enquête internationale sur l’alphabétisation des adultes (IALS – 1994) et l’Enquête sur la littératie et les compétences des adultes (ALL – 2003), PIAAC (2012) propose de mesurer les niveaux de compétences dans un environnement à forte composante technologique (abrégé en TRE) et de les comparer dans plusieurs pays de l’OCDE. De par son abondance en indicateurs socio-économiques communs, PIAAC ouvre la porte à une importante recherche comparative sur l’éducation et ses conséquences sociales (lire aussi Éducation et santé : construire des indicateurs en comparaison internationale, RISS-IJHS 4(1)), ce qui est très utile pour la recherche future sur les déterminants de la santé.

Des enquêtes comme PIAAC, qui incluent des éléments psychométriques, sont complexes à développer. Pour mesurer de façon adéquate les compétences de chacun, ces tests doivent minimiser toute variable de nature à affecter la performance des personnes interrogées. Ces tests, réalisés chez soi par chaque individu, requièrent un effort suivi sur une période prolongée, donc ont à tenir compte de la fatigue et de la lassitude – variables que nous souhaitons exclure de l’évaluation des compétences, puisqu’elles peuvent modifier la performance d’un individu. D’autres indicateurs sont en place au moment de l’évaluation pour enregistrer les conditions du test (longueur du temps passé sur chaque item, durée totale du test, présence de la famille ou des enfants de la personne testée).

L’enquête PIAAC se compose de deux éléments :

Un questionnaire de base avec un noyau commun à tous les pays (pour standardiser les caractéristiques socio-économiques des individus) et un jeu limité de questions établies par chaque pays
Trois tests psychométriques avec des ensembles d’éléments (ou items) qui serviront à marquer les points obtenus sur 1) les compétences en littératie, 2) les compétences en numératie et 3) les compétences en résolution de problèmes dans un environnement technologique (TRE).

La totalité de l’enquête et ses nombreuses composantes ont été élaborées sous la direction de l’organisme Educational Testing Service (E.T.S.), institution basée en Amérique qui a forgé son expérience avec les précédentes enquêtes nationale et internationale (EIACA et EIAA), ainsi que le Graduate Record Examination et le T.O.E.F.L. (Test d’anglais langue seconde). Ces éléments (items) psychométriques demeurent la propriété intellectuelle de l’organisme ETS et ne peuvent être consultés ou utilisés qu’avec son autorisation. ETS encourage toujours les chercheurs à soumettre leurs projets. Du financement peut aussi être disponible pour travailler avec les bases de données du programme et en répandre l’utilisation.

Dans la plupart des pays, des agences nationales et des ministères ont été responsables de la mise en œuvre de PIAAC : de l’échantillonnage jusqu’à la collecte, puis la présentation, des données. Quelques pays ont eu recours à des organismes privés (par exemple, Singapour). Chaque pays pouvait aussi ajouter son propre jeu (limité) de questions au questionnaire de base, avec la perspective d’un travail futur, au niveau national, sur les compétences des adultes. Ce jeu supplémentaire de données peut être disponible pour la recherche, à travers chaque agence ou ministère national.

Conception de l’évaluation

Pour limiter la durée du test, chaque individu serait seulement testé sur deux des trois types de compétences : on ne serait pas testé sur ses compétences en littératie, numératie et résolution de problèmes (cf. Figure 1). Ce schéma permet aux enquêteurs d’alléger un peu le stress imposé aux personnes interrogées et, sans doute, de tester plus précisément les compétences individuelles.

Figure 1 : De façon générale, il y a sept possibilités pour faire l’évaluation PIAAC (avec l’ordinateur). Les tests psychométriques sont en jaune. Les individus qui déclarent avoir très peu ou pas d’expérience sur ordinateur dans le Questionnaire de base sont testés sur leurs compétences en littératie et numératie, mais pas sur leur capacité à résoudre des problèmes dans un environnement technologique (TRE).

Pourtant, pour préserver la compréhension de l’évaluation de telles compétences et permettre la comparaison, un jeu de 10 valeurs plausibles fonctionnerait pour les données manquantes dans une analyse ultérieure. Les valeurs plausibles pour un type de compétences sont choisies de manière aléatoire dans une gamme déterminée par 1) le résultat obtenu dans les deux autres compétences testées pour chaque individu et 2) les points des autres individus obtenant des résultats similaires dans le domaine commun du test (littératie, numératie ou résolution de problèmes). Le Bureau australien de la Statistique fournit davantage d’informations sur la fabrication et l’utilisation de ces valeurs plausibles.

Il est également important de noter que, dans la comparaison entre pays, l’échantillon dans chaque jeu national de données est proportionné à leur population respective. Des chercheurs utilisent souvent le Canada comme point de référence pour la précision des données, en considérant qu’il a le plus vaste échantillonnage national – ce qui a été fait pour fournir une estimation significative au niveau provincial/territorial et pour des sous-populations spécifiques. Cela permet des estimations globales précises de niveaux de littératie, numératie et résolutions de problèmes, et une meilleure comparaison.

Accès aux données de PIAAC et analyse de ces données

Les données de PIAAC sont disponibles pour le public soit à travers le logiciel en ligne de l’OCDE (intitulé The International Data Explorer) soit en téléchargeant le dossier P.U.F. (fichier de données pour un utilisateur public). Le dossier PUF est aussi disponible au téléchargement dans chaque pays participant (sauf l’Australie*) et peut être analysé avec SPSS, SAS, Excel ou STATA. Des données abrégées et des instructions sont également présentées.

* L’accès aux PUF d’Australie peut être demandé à travers le Bureau australien de la Statistique (Australian Bureau of Statistics). Les données australiennes sont aussi disponibles dans le logiciel en ligne de l’OCDE.

Des logiciels développés par les membres du consortium de PIAAC comme l’OCDE et l’International Association for the Evaluation of Educational Achievement (IEA) ont été élaborés pour guider les analystes dans la recherche avec les données de PIAAC. Ils traitent les valeurs plausibles et les pondérations d’échantillon automatiquement, ce qui les rend très utiles pour accéder plus rapidement à la compilation des données de PIAAC.

Pour visualiser et analyser les données :

L’OCDE a développé l’International Data Explorer (PIAAC IDE), un logiciel en ligne. Les données de Chypre ne sont pas disponibles à travers ce logiciel.
L’IEA a développé l’International Database (IDB) Analyzer, disponible au téléchargement. Étant donné que l’analyseur IDB utilise le PUF, les données de l’Australie ne sont pas disponibles pour ce logiciel.

Les deux logiciels sont disponibles pour le public.

Aperçu des ressources utiles

PIAAC YouTube channel, including an Overview of PIAAC by Irwin Kirsch (ETS) and some results for the USA (published in 2013).

The OECD website also lists a handful of resources and links for interested data analysts.

The Canadian report on PIAAC: Skills in Canada: First results from the Programme for the International Assessment of Adult Competencies, 2012 (final)

“Skills assessment, PIAAC and the adult literacy agenda” was published in the peer-reviewed International Journal of Lifelong Education (Volume 33, Issue 2) in 2014.

Laisser un commentaire ci-dessous si vous voulez recommander des ressources sur PIAAC disponibles dans votre organisation.

Agences nationales ou Ministères

Veuillez noter que les sites web d’agences ne sont pas toujours disponibles en anglais. Dans la mesure du possible, le nom anglais de l’institution est cité quand il a été fourni par l’institution elle-même. Les pays dont le nom est écrit en italiques participent à la deuxième vague d’évaluation de PIAAC.