Voilà un phénomène que l'on observe depuis quelques années au Canada et au Québec: le scepticisme à l'égard des enquêtes d'opinion et des sondages que tous les médias publient, sans égards à leur validité scientifique ou statistique. Qu'on les aime ou pas, qu'ils soient source de réjouissance, d'indifférence ou de découragement, on ne peut ignorer l'effet que peuvent avoir les sondages sur l'opinion publique. Il est impératif alors de militer pour qu'ils soient plus que de simples instruments de propagande que l'on classe dans la même catégorie que la publicité électorale...
Le fait est que lors des cinq derniers scrutins d'importance au Canada (fédéral 2011, Colombie-Britannique, Ontario, Alberta et Québec 2008 et 2012), les sondeurs se sont plantés. Et pas juste un peu.
Au Canada, certaines figures marquantes de l'industrie du sondage ont pris la parole en admettant ce fait d'emblée. Le patron de la firme EKOS, Frank Graves (un Jean-Marc Léger du ROC en quelque sorte, puisque Graves commente aussi l'actualité politique à l'aune des enquêtes d'opinion), est l'un de ceux là. Suite à ce qu'il a lui-même appelé « le fiasco des sondeurs en Colombie-Britannique », Graves a offert quelques pistes d'analyses intéressantes dans ses chroniques sur ipolitics.ca. On se souviendra également de ces sondages lors de l'élection albertaine qui donnait parfois le Wildrose en avance de plus d'une dizaine de points alors que le règne des progressistes-conservateurs n'a finalement jamais été mis en cause.
Causes possibles?
La plus intéressante piste de la difficulté qu'on les sondeurs à bien évaluer les tendances demeure l'incapacité des panels web de représenter adéquatement l'ensemble de la représentation sociétale.
Comme certains segments de la population sont systématiquement sous-représentés au sein des panels web, peu importe comment on les constitue, difficile d'offrir un portrait exact, même un instantané, en usant de cette méthode. L'american association for public opinion research (merci à Frank Graves pour le lien via Twitter d'ailleurs) explique fort bien les limites des enquêtes qui sont effectuées à partit de panels web.
« Even if opt-in surveys are based on probability samples drawn from very large pools of volunteers, their results still suffer from unknown biases stemming from the fact that the pool has no knowable relationships with the full target population »
Au Québec, dans un contexte où la population de plus de 55 ans représente un segment de l'électorat qui est démographiquement important et sous-représenté au sein des panels web, il sera toujours plus difficile de prévoir le résultat électoral. Frank Graves l'admet sans détour en ce qui a trait à l'élection de la C-B:
« And let me clarify that our final poll was a crappy guide to the outcome of the election and we are not dodging accountability for that. This forecast error deserves careful attention and correction if we are going to continue to enter the realm of election polling. »
(Laissez-moi clarifier la situation: notre dernier sondage était un indicateur pourri en ce qui a trait au résultat de l'élection et nous en prenons pleine responsabilité. Cette erreur de prédiction mérite une analyse sérieuse si nous voulons continuer à sonder en contexte d'élections)
Des sondeurs indépendants?
Le cofondateur de ViewStats Research et statisticien Oleh Iwanyshyn va un cran plus loin dans son analyse. Pour lui, on ne peut tout simplement pas faire confiance aux médias quand vient le temps de sonder en période électorale. Son analyse est éclairante, surtout quand on considère la situation particulière du Québec; certains médias n'hésitent pas à incliner leur couverture d'une campagne électorale afin de favoriser leurs intérêts politiques...
« Reassurances from pollsters on the accuracy of results are suspect due to an obvious conflict of interest. They're marketing their product. The press also has a conflict of interest. Media organizations often commission these polls. Can you remember the last time a media organization has questioned the results of a poll it paid for? Even if a news organization has no financial stake in a poll, it usually doesn't have the technical expertise to independently assess the poll's accuracy. »
(Les doléances des sondeurs sur l'exactitude des résultats sont suspectes en raison d'un conflit d'intérêts évident. Ils sondent, mais commercialisent aussi leurs produits. Les médias sont également en conflit d'intérêts. Les grandes organisations médias tissent des liens incestueux avec les sondeurs. Pouvez-vous rappeler la dernière fois qu'une grande organisation des médias a remis en question les résultats d'un sondage pour lequel elle a payé? Même si une organisation de nouvelles n'a aucun intérêt financier dans un sondage, elle n'a généralement pas l'expertise technique pour évaluer de façon indépendante l'exactitude du sondage.)
Oleh Iwanyshyn se base sur la dernière élection provinciale en Ontario pour rappeler également que les grandes firmes de sondage, devant l'inexactitude de leurs enquêtes, ont commencé à se chicaner entre elles sur leurs méthodes respectives (ça rappelle le chassé-croisé sur la question entre CROP et Léger...). Le statisticien tranche ici la question de façon équivoque, aucune n'aura raison tant que les firmes de sondage publieront des enquêtes statistiquement et scientifiquement non crédibles. Les sondages web n'offrent aucune marge d'erreur, leur représentativité est douteuse, des segments importants de la population sont sous représentés et il en coûte trop cher de mettre à jour systématiquement des bases de données dont l'exactitude est au départ questionnable.
Si la campagne électorale en cours peut servir à relancer le débat sur l'importance d'une couverture médiatique électorale la plus objective possible, sur la nécessité de légiférer par rapport à la publication de sondages pendant la campagne (doit-on les permettre jusqu'à la toute dernière journée de la campagne?), c'est la qualité de notre vie démocratique qui en bénéficiera.
Qu'en pense le Conseil de presse du Québec?
En ce sens, je m'inscris en faux par rapport à l'avis rendu par le Conseil de presse du Québec quant aux sondages en période électorale.
« Le Conseil soutient que les médias pourraient cesser de rapporter les résultats des sondages d'opinion s'ils étaient forcés de communiquer de trop nombreuses informations méthodologiques. Compte tenu des contraintes de temps et d'espace auxquelles les médias tant électroniques qu'écrits doivent faire face, de telles obligations pourraient rendre la diffusion de ces informations d'intérêt public quasi impossible dans certains cas. Le Conseil soutient le principe à l'effet que le public reçoive les informations d'ordre méthodologique en même temps que les résultats des sondages. Celles-ci permettent de vérifier la qualité des informations recueillies par sondage, et donnent la possibilité au public de former son propre jugement sur l'information qu'il reçoit. Cependant, le Conseil estime que ceci relève de l'autodiscipline des médias et des journalistes, et ne doit en aucune façon être régi par des mesures législatives, de telles mesures accroissant les risques d'ingérence gouvernementale dans les contenus de l'information et les décisions qui relèvent des salles de rédaction. »

Mes réserves : l'autodiscipline des médias laisse place à la publication de tout et n'importe quoi sans égards à la validité statistique ou la crédibilité des informations que proposent les enquêtes d'opinion; surtout quand ceux qui commentent des sondages sans validité statistique ne le mentionnent pas et les citent comme si ces enquêtes étaient crédibles. Dans le cas de Gesca, un groupe de presse dont on connaît l'hostilité envers les souverainistes, cette autodiscipline ouvre la porte à la « propagande par sondage ».
Deuxièmement, en n'insistant pas sur des normes méthodologiques minimales, on ouvre la porte à la publication d'enquêtes qui ne respectent pas les normes que s'impose l'industrie elle-même. Quand CTV-Montreal-Ipsos publie un sondage au panel web de 800 personnes, non-probabiliste qui donne le PQ en avance dans la région de Québec et les libéraux en avance en région avec un appui à la souveraineté qui aurait fléchi de 14 points en quelques jours, comment ne pas être juste un petit peu sceptique? Ne s'interroge-t-on pas sur la validité statistique d'une enquête aux conclusions si douteuses? Tout dépend du but recherché par celui qui publie. Tente-t-on d'infléchir un peu le cours de la campagne? Est-on tout simplement trop pressé de publier au péril de la crédibilité des résultats?
LIRE AUSSI
- Qui surveille l'industrie du sondage au Québec? - Sébastien Rivard, porte-parole du Collectif RISQ
Le Conseil de presse du Québec ne s'oppose pas non plus aux sondages la veille des élections, car dit-il « la population québécoise est habituée à vivre avec l'omniprésence des sondages d'opinion et qu'il faut faire confiance à la maturité et à l'esprit critique de la population ».
Si, au départ, les journalistes n'agissaient pas en porte-parole de ceux qui les publient, cela aiderait beaucoup. Il est intéressant de noter aussi que c'est au nom d'un avantage indu en fin de campagne que la presse fédéraliste et les adversaires du PQ ont réussi à infléchir la SRC et à empêcher Pauline Marois d'être à la populaire émission Tout le monde en parle à la date prévue. Que fait-on du sens critique de la population? Et si c'était Charest ou Couillard qui y avait été programmé, Radio-Canada aurait-elle reculé? Tsé, l'article 1 de la charte de la SRC concernant la défense des intérêts des valeurs canadiennes...
En définitive, la population du Québec devrait être très critique des grandes analyses faites par des chroniqueurs politiques de Radio-Canada à Québec, par exemple, à partir de sondages à faible échantillonnage (600 personnes), sans marge d'erreur, par des gens (le FM 93 par exemple) qui inclinent systématiquement leur couverture politique afin de défavoriser un parti, une option...
Pour lire d'autres billets de Steve Fortin sur la campagne, consultez son blogue électoral.