Depuis 2000, le Programme international pour le suivi des acquis (PISA) de l’Organisation de coopération et de développement économiques (OCDE) effectue tous les trois ans une enquête internationale sur les compétences de base acquises par les élèves de 15 ans, dont les mathématiques et la lecture (la compréhension de l’écrit). La dernière enquête du PISA, en 2018, a été administrée dans 79 pays, y compris dans les 36 qui sont membres de l’OCDE. Elle a rejoint environ 600 000 étudiants participants, dont 22 400 au Canada et 4 500 au Québec.
Les résultats de l’enquête de 2018 ont été rendus publics en décembre dernier. Les graphiques ci-dessous présentent les scores moyens obtenus, respectivement, en mathématiques et en lecture par les élèves des pays qui occupent les dix premiers rangs. Afin de permettre de mieux apprécier la performance particulière des du Québec, les résultats canadiens sont découpés en deux régions : le Québec et le Canada hors Québec. Pour fin de comparaison, les deux graphiques présentent aussi les résultats de quelques grands pays qui ne font pas partie du groupe des dix meilleurs.
La performance des jeunes de 15 ans du Québec dans les enquêtes du PISA est impressionnante. En mathématiques, les scores obtenus leur font occuper le troisième rang mondial non seulement dans l’enquête de 2018, mais aussi en moyenne dans les quatre dernières vagues, ce qui dénote une certaine stabilité au fil du temps. Les élèves du Québec sont devancés par ceux de Singapour et de la Chine et précèdent ceux du Japon et de la Corée du Sud. Les jeunes du Canada hors Québec, des cinq plus grands pays européens (Royaume-Uni, Allemagne, France, Italie et Espagne) et des États-Unis arrivent loin derrière.
Classement des pays en fonction du score obtenu en mathématiques par les élèves de 15 ans dans les enquêtes du PISA 2018 de l’OCDE
Source : https://www.cmec.ca/582/PISA_2018.html.
Le score attribué à la Chine est une moyenne pondérée des scores pour Macao, Hong Kong, Taipei, Pékin, Shanghai et les provinces du Jiangsu et Zhejiang.
En lecture, les scores obtenus par les participants de 15 ans du Québec ne sont pas aussi marquants qu’en mathématiques, mais ils leur permettent d’occuper la sixième position mondiale dans l’enquête de 2018. Contrairement au cas des mathématiques, où ils dominent de loin leurs compatriotes des autres provinces canadiennes, les élèves du Québec tirent légèrement de l’arrière sur ceux des autres régions du Canada en lecture. Quant aux jeunes des cinq plus grands pays européens et des États-Unis, ils arrivent plus loin que le dixième rang mondial, comme c’est le cas en mathématiques.
Classement des pays en fonction du score obtenu en lecture par les élèves de 15 ans dans les enquêtes du PISA 2018 de l’OCDE
Source : https://www.cmec.ca/582/PISA_2018.html.
Le message que nous envoient ces résultats est limpide : les compétences de base des jeunes de 15 ans du Québec les classent parmi les meilleurs au monde. En mathématiques, leur troisième rang mondial les insère dans le groupe surperformant des jeunes Asiatiques de Singapour, de Chine, du Japon et de la Corée du Sud. On peut dire que cela fait des nôtres les plus orientaux des jeunes occidentaux ! En lecture, ils glissent en sixième position mondiale, tout en talonnant les autres Canadiens et les Finlandais.
Des résultats souvent reçus avec scepticisme
Néanmoins, plutôt que d’être accueillie avec enthousiasme comme c’est le cas dans tous les autres pays qui font partie du peloton de tête, la solide performance de nos élèves québécois de 15 ans à l’échelle internationale soulève souvent du scepticisme. Plusieurs personnalités du monde de l’éducation, et les médias à leur suite, remettent en question les bons résultats québécois des enquêtes du PISA. On peut supposer qu’ils craignent qu’ajouter foi aux résultats favorables du PISA ne pousse la société québécoise à s’endormir sur ses lauriers et à abandonner le nécessaire combat en faveur de la persévérance scolaire et de la qualité de l’éducation
Le scepticisme local au sujet des scores obtenus par nos 15 ans au PISA s’exprime de deux manières. D’un côté, on conteste la représentativité des échantillons québécois utilisés par les enquêtes et, par conséquent, la validité scientifique des estimations qui avantagent les élèves du Québec. De l’autre, on met surtout l’accent sur les phénomènes qui paraissent déclasser les jeunes Québécois une fois qu’ils ont atteint l’âge adulte : un taux d’analphabétisme fonctionnel de 53 %, un taux de diplomation de 40 % au secondaire, un taux de décrochage de 70 % au collégial et un écart de 20 % du taux de diplomation universitaire avec celui de l’Ontario.
Or, le PISA est d’avis que les échantillons québécois sont effectivement représentatifs et que les résultats publiés par le comité sur le Québec sont statistiquement valides. Les questions de l’analphabétisme, du décrochage scolaire et de la sous-scolarisation collégiale et universitaire seront abordées dans un billet ultérieur.
Le consortium scientifique international juge les résultats valides
Comment l’OCDE construit-elle les échantillons nationaux et provinciaux qui sont utilisés dans les enquêtes du PISA ? Dans chaque pays et province, les élèves participants sont choisis en deux étapes : par sélection probabiliste des écoles, puis des élèves dans chaque école. Le processus de sélection et la validation de l’échantillon sont sous la supervision stricte d’un consortium scientifique international, en collaboration avec les ministères de l’Éducation des pays et provinces participants et de leurs agences de statistiques (telles que Statistique Canada et l’Institut de la statistique du Québec). Le consortium a le dernier mot sur la représentativité et l’acceptabilité de l’échantillon. Il est donc arrivé à quelques reprises qu’il ait rejeté certains échantillons.
Cependant, même si l’échantillon sélectionné initialement par l’autorité statistique est valide et représentatif, il demeure possible que le résultat de l’enquête soit malheureusement faussé par la non-réponse d’un sous-ensemble des écoles ou des élèves choisis. Il se peut en effet qu’en l’absence de ces non-répondants, le groupe des répondants qui restent ne soit plus représentatif de la population étudiée. Il est donc impératif pour les responsables des enquêtes du PISA, comme pour ceux de toute enquête par sondage, d’établir si la non-réponse biaise les résultats et dans quelle mesure.
Dans le cas du PISA, le consortium scientifique considère le biais de non-réponse comme faible ou négligeable lorsque les taux de réponse sont supérieurs à 85 % pour les écoles et à 80 % pour les élèves dans les écoles. Si toutefois ces normes ne sont pas atteintes par un pays ou une province, l’autorité locale est alors « tenue d’effectuer une analyse du biais de non-réponse des élèves et de la soumettre au consortium du PISA afin qu’il détermine si la qualité des données est suffisante », pour qu’on puisse les juger acceptables et les inclure dans l’ensemble des résultats publiés.
Les taux de réponse du Québec ont été inférieurs aux normes à diverses reprises dans le passé, surtout en 2009 (69 % pour les écoles et 71 % pour les élèves) et en 2015 (52 % pour les écoles). C’est l’observation de ces taux de réponse plutôt décevants qui a nourri chez nous le scepticisme entourant les bons résultats des élèves du Québec.
Qu’en est-il au juste ?
En 2009, la principale cause avérée des taux de non-réponse élevés du Québec fut, selon le rapport de l’enquête, « l’exigence d’obtenir le consentement écrit des parents à la participation de l’élève au PISA. » L’analyse exigée par le consortium n’a cependant pu déceler qu’un effet minime de la non-réponse sur la représentativité des résultats. Il les a donc jugés acceptables et les a inclus dans les résultats publiés du PISA « sans restrictions ».
En 2012, le taux de réponse des écoles du Québec est conforme à la norme internationale de 85 % pour les écoles, mais le taux de réponse des élèves (76 %) a été légèrement inférieur à la norme de 80 %. Le consortium a déduit de l’analyse des résultats que la non-réponse n’avait pu avoir qu’une « incidence marginale » sur leur représentativité et les a inclus tels quels dans les résultats publiés de l’enquête.
En 2015, le faible taux de réponse des écoles du Québec (52 %) est survenu en raison de l’appel au boycottage de l’enquête du PISA émis par la Fédération québécoise des directions d’établissement d’enseignement, qui était en conflit de travail. L’analyse requise par le consortium a fait ressortir un écart significatif entre le score moyen des écoles non répondantes et l’ensemble des écoles dans les résultats québécois en sciences. Il a donc conseillé de traiter ces résultats « avec circonspection ». Cependant, il a rapporté qu’« aucun écart significatif n’a été noté pour la lecture ». Sa conclusion générale a été que « les données du Canada et des provinces devaient être incluses dans leur intégralité dans les ensembles de données du PISA, sans aucune restriction ».
En 2018, c’est le taux de réponse des écoles qui a été légèrement inférieur à la norme de 85 %, tandis que le taux de réponse des élèves a dépassé la norme de 80 %. Conséquemment, le consortium n’a exprimé aucune inquiétude sur l’acceptabilité des résultats.
À l’issue des quatre dernières enquêtes du PISA, le consortium scientifique international qui supervise les opérations statistiques a donc toujours conclu que les résultats québécois en mathématiques et en lecture étaient suffisamment représentatifs des univers étudiés pour être considérés comme scientifiquement recevables. Il n’y a pas lieu de contester que la bonne performance des élèves québécois de 15 ans en mathématiques et en lecture au PISA traduise la réalité vraie.
Les décrocheurs éventuels sont inclus dans les enquêtes
On entend parfois dire que les décrocheurs du secondaire seraient exclus des enquêtes du PISA, ce qui ferait remonter artificiellement le score moyen des jeunes Québécois. Il n’en est rien. Au contraire, les enquêtes sur les compétences de base des élèves de 15 ans incluent la grande majorité des décrocheurs éventuels, puisqu’au Québec tout adolescent est obligé de fréquenter l’école jusqu’à 16 ans. Le professeur Bernard Fortin, du Département d’économique de l’Université Laval, vient de démontrer que, partout au Canada, et particulièrement chez les garçons, c’est surtout lorsque l’âge légal de fréquentation scolaire est atteint que le décrochage fait un bond important.
En fait, c’est plutôt à un désavantage de maturité que les élèves de 15 ans du Québec sont soumis dans les enquêtes du PISA, parce qu’ils sont nombreux à n’avoir pu satisfaire à l’obligation d’être âgés de six ans le 30 septembre pour accéder à la première année du primaire. Plusieurs jeunes Québécois sont donc entrés à l’école un an plus tard que la plupart des autres participants canadiens, à qui on permet d’accéder à la première année s’ils atteignent six ans avant le 31 décembre. À 15 ans, les nôtres sont, par conséquent, plus nombreux qu’ailleurs au Canada à fréquenter la troisième plutôt que la quatrième secondaire. Au PISA 2012, par exemple, les pourcentages des répondants qui étaient en troisième secondaire (ou moins) étaient de 40 % au Québec et seulement de 7 % dans l’ensemble des autres provinces.
Malgré ce désavantage de maturité, les scores moyens des élèves participants au PISA en mathématiques sont beaucoup plus élevés au Québec que dans les autres provinces canadiennes. Comme on voit au tableau 1, c’était 532 au Québec contre 507 ailleurs au Canada, en 2018 ; et de 539 au Québec contre 513 ailleurs, en moyenne de 2009 à 2018. Il est remarquable que même nos écoles publiques, dont les scores sont en moyenne moins élevés que ceux de nos écoles privées, fassent mieux que l’ensemble des écoles des autres régions du pays en mathématiques : 519 contre 507 en 2018, et 525 contre 513 en moyenne de 2009 à 2018. Il faut en conclure que l’enseignement des mathématiques au Québec est plus avancé à un plus jeune âge et affiche un niveau d’exigence et de qualité nettement supérieur à celui qu’on trouve dans le reste du pays. (Il faudrait évidemment en savoir plus sur les raisons de cet avantage québécois.)
Par contre, en lecture, les jeunes de 15 ans du Québec, bien qu’atteignant le sixième rang mondial au PISA, ne sont pas dominants au Canada. Le tableau 2 classe les jeunes Canadiens des autres provinces au cinquième rang dans ce domaine. En 2018, par exemple, le score moyen de 519 au Québec en lecture se comparait à 532 en Alberta et à 524 en Ontario.
Quatre objectifs à poursuivre
Dans l’ensemble, ce que les résultats du PISA et la recherche sur le décrochage nous démontrent est que le Québec doit poursuivre quatre objectifs en priorité :
1) Maintenir l’excellence dans l’enseignement des mathématiques ;
2) Porter une attention particulière aux difficultés des élèves moins performants dans cette matière afin d’éviter que cela les pousse à décrocher plus tard ;
3) Améliorer la performance générale de l’enseignement en lecture pour toutes les catégories d’élèves ;
4) Afin d’enrayer le décrochage scolaire à courte vue d’un nombre excessif d’adolescents (et particulièrement des garçons), porter l’âge de fréquentation scolaire obligatoire à 17 ou 18 ans pour les jeunes qui n’ont encore obtenu aucun diplôme, comme c’est déjà le cas en Ontario, en Alberta, au Manitoba, au Nouveau-Brunswick et dans plusieurs États américains. Cette dernière mesure fait l’unanimité de la littérature de recherche contemporaine.
Il est important de reconnaître l’excellente performance des jeunes de 15 ans du Québec dans les matières de base que sont les mathématiques et la lecture. Il est aussi parfaitement légitime de se demander comment on peut la concilier avec les taux d’analphabétisme, de décrochage scolaire et de sous-scolarisation qui paraissent, à l’opposé, les affliger une fois qu’ils ont atteint l’âge adulte. J’aborderai cette question dans un billet ultérieur.
