Chaque campagne électorale promet la publication d'un CROP-La Presse dévastateur pour les indépendantistes. C'est aussi vrai que la neige en hiver, ou le vent au large du St-Laurent. Et voilà que ce matin, La Presse nous annonce la «fin de l'effet Duceppe», que «le Bloc pourrait bien être rayé de la cart », que «Mulcair règne sans partage» et «qu'il domine outrageusement». Bref, il n'y a pas assez d'épithètes pour bien ancrer dans l'imaginaire que la campagne est terminée. Votez NPD, c'est fini.

Et tout ça à partir de quoi au juste? Le journaliste de La Presse (Joël-Denis Bellavance), et l'analyste de CROP (Youri Rivest) se basent sur quelles données, au juste, pour accoucher de telles analyses? Sur ça :

Méthodologie

La collecte de données en ligne s'est déroulée du 12 au 17 août 2015 par le biais d'un panel web. Au total, 1000 questionnaires ont été complétés. Les résultats ont été pondérés afin de refléter la distribution de la population adulte du Québec selon le sexe, l'âge, la région de résidence, la langue maternelle et le niveau de scolarité des répondants. Notons que compte tenu du caractère non probabiliste de l'échantillon, le calcul de la marge d'erreur ne s'applique pas.

Autrement dit: le sondage a été mené entre le 12 et le 17 août à l'aide d'un panel d'internautes. En tout, 1000 questionnaires ont été remplis. Et la marge d'erreur n'a pas pu être calculée en raison du fait que l'échantillon n'était pas probabiliste.

Un sondage web, sans marge d'erreur, sans valeur probabiliste, « désolé, on ne calcule pas ça », sans ventilation par région, sans accès à la méthodologie. Rien. Bref, La Presse se base sur du vent.

Car un sondage qui ne contient ni valeur scientifique ou statistique, ni margeur d'erreur, sans échantillon probabiliste et sans accès à sa méthodologie... et bien comme le dirait Arthur dans Kaamelott : « C'est de la merde! »

Dire que ce sondage CROP/La Presse est publié 48h (même emprise dans la période) après un Léger Marketing qui montre le Bloc Québécois à plus de 44% en région.

Donc, un parti qui récolte plus de 40% des appuis (dans le même espace-temps de l'enquête) dans plusieurs régions du Québec serait rayé de la carte électorale? Petite suggestion, allez comparer la méthodologie des deux firmes de sondage...

Vous savez ce que j'en pense du CROP (et là, c'est juste moi bien sûr), c'est du tout craché pour manchettes et analyses pré-digérées. Pas grave que le sondage soit crédible ou pas, l'important c'est le titre, c'est l'effet que cette manchette produira. Des analyses catastrophiques à la radio, des chroniqueurs qui s'appuieront sur le même vent pour pérorer sur la fin du Bloc, alors qu'à la base, la prémisse de cet argumentaire est fausse, du moins sans valeur scientifique. (On lira l'ex éditorialiste Gesca - Le Droit Pierre Allard sur cette tendance aux titres accrocheurs, voire faux, qui attaquent, en particulier, le Bloc).

Trop de sondages non crédibles

Ce qui m'amène à ma rencontre avec le PDG de la firme EKOS (je rends publique l'entrevue complète en ce qu'elle est fort intéressante sur ces sujets), Frank Graves, il y a de cela une dizaine de jours. Nous avons longuement discuté, notamment, de la validité, des caractéristiques inhérentes à la publication d'enquêtes d'opinion crédibles, scientifiquement valables.

J'ai beaucoup d'admiration pour Frank Graves car en tant que sondeur, il s'astreint aux plus hauts standards de qualité scientifique. Aussi, dans le cadre de ses articles (le plus souvent dans ipolitics.ca) ou sur son blogue à EKOS politics, il n'a pas hésité à remettre en question ses méthodes, à se questionner sur ses échecs ou quand il avait sondé et avait raté la cible.

En 2013, lors de l'élection provinciale en Colombie-Britannique par exemple. Les sondeurs s'étaient plantés. Non content de simplement constater l'échec, Graves avait publié ce texte fort intéressant (An Unapologetic Analysis of the BC Polling Debacle) sur les éléments à analyser pour comprendre cet échec.

Lors de ma discussion avec lui, je lui ai demandé alors pourquoi les sondeurs étaient encore contestés, pourquoi la confiance des citoyens s'effrite-t-elle devant les enquêtes d'opinion. J'ai abordé la question en fonction de deux lectures sur le sujet que Graves connaissait très bien: « Les sondages sont-ils devenus nocifs pour la qualité de la démocratie », du professeur de l'Université d'Ottawa Robert Asselin (et ancien conseiller de Justin Trudeau); et « Les médias sont-ils fiables pour rapporter les sondages » de Oleh Iwanyshyn (fondateur de ViewStats Research).

La première partie de la réponse de Graves m'a laissé un peu « pantois »... Un cours de statistique avancée 401 en accéléré. Une explication pourtant claire, précise, des éléments à considérer pour qu'une enquête soit statistiquement crédible. Plus j'écoutais sa réponse, plus je me remémorais ces sondages publiés sans marge d'erreur, sans accès à la méthodologie, etc.

« Il y a encore trop de sondages de mauvaise qualité qui se publient malheureusement... »

Je quitte l'entrevue de Frank Graves un moment et reviens à la critique de Iwanyshyn que je juge particulièrement intéressante dans le cas des sondages politiques de CROP:

« Reassurances from pollsters on the accuracy of results are suspect due to an obvious conflict of interest. They're marketing their product. The press also has a conflict of interest. Media organizations often commission these polls. Can you remember the last time a media organization has questioned the results of a poll it paid for? »

(Les justifications de certains sondeurs sur l'exactitude des résultats de leurs analyses sont suspectes en raison d'un conflit d'intérêts évident; ceux-ci s'assurent en même temps de la commercialisation de leur produit. La presse est également en conflit d'intérêts. Les groupes de presse commandent et paient ces sondages. Pouvez-vous rappeler la dernière fois qu'un groupe de presse a remis en question les résultats d'un sondage pour lequel elle avait payé?)

Le cas de CROP est particulièrement troublant. Surtout quand on analyse la relation symbiotique avec le média qui publie ses enquêtes, les paramètres statistiques, l'accès à la méthodologie. Tout ici est suspect selon l'analyse de Iwanyshyn.

En terminant, on pourra consulter l'explication des paramètres d'enquête de la firme CROP ici, un document qui date de 2010, des sources statistiques dépassées (la principale référence date de 2008).

Aussi, contrairement à EKOS Politics par exemple qui publie toujours le détail de ses enquêtes, la méthodologie complète, les échantillons régionaux, quand on consulte le site de CROP, aucun détail sur ses sondages ponctuels, rien. Les dernières enquêtes détaillées datent de 2014.

Donc, pendant que les analystes et les chroniqueurs se fendront d'analyses catastrophiques sur tel ou tel parti au Québec aujourd'hui, rappelez-vous de ceci; s'ils s'appuient uniquement sur le CROP publié ce matin, leurs analyses ne valent absolument rien. Quand CROP s'astreindra à plus de rigueur dans la publication des paramètres et de la méthodologie de ses enquêtes, on en reparlera.