Un sondeur sachant sonder

Un sondeur sachant sonder est aujourd’hui fort désolé ! Il aimerait vraiment clamer que l’étude de l’opinion doit être conçue, non seulement comme un métier, mais aussi comme une science à part entière ou, plus précisément, comme une science humaine avec ses protocoles, ses règles, ses limites, ses évolutions, ses débats, sa part de vertu et d’incertitudes.

Les exemples quotidiens d’une pratique parfois hasardeuse par les sondeurs eux-mêmes, mais aussi d’enjeux méthodologiques trop mal compris des médias et du grand public, peuvent laisser pantois : on résume trop les sondages aux intentions de vote et on réduit trop celles-ci aux écarts « surprise » observés avec le verdict des urnes (Edouard Balladur en 1995, Jean-Marie Le Pen en 2002 ou, très récemment, les élections parlementaires au Royaume-Uni, le Brexit, l’élection de Donald Trump, différentes élections primaires politiques en France, etc.). Le « sondage-bashing » devient une posture facile.

Les sondages

Pourtant, notre sondeur sachant sonder sait que les intentions de vote représentent une partie infime des enquêtes d’opinion et, a fortiori, des études de marché. Il sait surtout que le sondage repose sur deux principes généraux (voir [1]) :

• il est possible de généraliser à l’ensemble d’une population une observation réalisée sur un échantillon « tiré au hasard ». Cette extrapolation s’appuie sur des lois et règles statistiques et demande le respect de procédures strictes.
• le sondage consiste, grâce à un questionnaire, à recueillir ce qui est déclaré par les personnes interrogées. En pratique, on étudie les comportements d’individus dans un univers donné (ce qu’ils font, leurs pratiques), leurs opinions (ce qu’ils disent et pensent à propos de tel ou tel sujet), leurs attitudes (ce qui explique les comportements et opinions) et leurs motivations (le moteur de l’ensemble).

La vocation du sondage est alors, non seulement de recenser, mais aussi de comprendre ces opinions, attitudes et motivations et, dans certains cas, d’en suivre les évolutions.

Qui interroger ?

Le sondeur sachant sonder doit se muer en sondeur chassant les sondés. Avant de construire un échantillon, et au-delà des principes statistiques mis en œuvre, les cibles, c’est-à-dire les populations étudiées, doivent être définies (par exemple, les clients de telle marque, les possesseurs de tel appareil, les lecteurs de tel magazine) et décrites (critères sociodémographiques). L’étude des caractéristiques d’une population à partir d’un échantillon offre l’avantage d’épargner un recensement exhaustif qui se révélerait rapidement impossible à réaliser ou d’un coût totalement prohibitif. Ce principe nécessite de définir un modèle réduit de la population mère (de l’échantillonner) et de s’assurer que celui-ci est bien représentatif. La théorie des sondages propose alors différentes méthodes d’échantillonnage, que le recueil des opinions soit indifféremment administré par un enquêteur (téléphone, face à face) ou auto-administré (postal, enquêtes en ligne ¹).

La méthode probabiliste

Tout d’abord, la méthode probabiliste, issue de lois statistiques, établit qu’un tirage aléatoire permet d’obtenir un échantillon dans lequel chaque élément de la population étudiée a une probabilité connue et non nulle d’être représenté. Sous cette condition, l’échantillon obtenu est représentatif. Cette méthode implique qu’il n’y ait pas de biais. Elle suppose aussi d’admettre que le résultat obtenu via l’échantillon n’est qu’une estimation du résultat potentiellement observable dans la population étudiée. À l’estimation est associée une marge d’erreur qui peut être calculée (intervalle de confiance). Si le sondeur ne veut pas s’exposer à des biais, la méthode est extrêmement contraignante. Par exemple, certaines populations peuvent être inaccessibles au moment de l’enquête ; encore plus communément, ces personnes peuvent refuser de répondre. En pratique, il n’existe donc pas d’échantillon aléatoire au sens strict du terme. Toutefois, et malgré ces limites, l’échantillonnage aléatoire permet d’estimer, à partir de la valeur d’un caractère dans l’échantillon, sa valeur dans la population étudiée. On dispose ainsi, via l’échantillon, d’une estimation assortie d’une marge d’erreur. Ce type d’échantillonnage, très rare en France et un tout petit peu plus usité dans la tradition anglo-saxonne, se retrouve dans quelques enquêtes de statistiques publiques ou à vocation universitaire.

La méthode des quotas

Contrairement à la précédente, la méthode des quotas est une méthode de construction empirique d’échantillon. Là où le choix des individus était confié au hasard (idéal en théorie, quasi-impossible en pratique), elle propose un choix raisonné, conçu à partir de règles de sélection des individus basées sur le principe que l’échantillon construit doit ressembler à la population étudiée sur quelques caractéristiques descriptives de la population (par exemple les caractéristiques socio-économiques telles que le sexe, l’âge, la région d’habitation, etc.). Cette méthode par quotas n’a pas de justification théorique, elle trouve sa légitimité dans la pratique qui l’a validée, jusqu’à en devenir quasi-hégémonique. Le choix des critères se fonde sur un lien supposé entre les caractéristiques retenues et le sujet étudié. Cette méthode suppose de connaître la population mère ², et en particulier la distribution de cette population sur les critères choisis afin d’élaborer les quotas. On préférera, et de loin, des critères socio-économiques (mieux recensés) à des critères plus qualitatifs.

La qualité de l’estimation

La qualité de l’estimation croît avec la taille de l’échantillon. Elle est proportionnelle à la racine carrée de cette taille. Par conséquent, la qualité de celle-ci s’accroît faiblement avec ladite taille à partir d’un seuil rapidement atteint dans la pratique courante des sondages. C’est ce seuil qui explique que la majorité des sondages se contente d’interroger autour de mille individus. C’est aussi ce qui explique qu’un sondage auprès de mille Français est aussi (im)précis qu’un sondage auprès de mille Belges, même si les populations des deux pays varient de un à six !

Les lois statistiques interviennent à deux niveaux : tout d’abord la loi des grands nombres permet d’évaluer la probabilité pour que le résultat observé sur un échantillon concorde avec celui qu’on aurait pu observer en interrogeant la totalité de la population considérée (à condition de respecter le caractère aléatoire de la sélection lors du tirage de l’échantillon). Ensuite, les lois de probabilité (loi de Gauss, loi de Poisson) permettent d’estimer la qualité du résultat (estimateur sans biais, maximum de vraisemblance) extrapolé à l’ensemble de la population étudiée (moyenne, écart type, variance, etc.) et déterminer la marge d’erreur associée.

Les questions posées

La construction du questionnaire reste un moment crucial d’un processus d’étude. En effet, les questions doivent être aisément compréhensibles par les populations interrogées tout en couvrant le mieux possible la totalité du sujet traité. Notre sondeur sachant sonder doit toujours garder à l’esprit que tous les individus n’ont pas les mêmes motivations sur un même sujet et qu’ils n’ont pas tous les mêmes capacités (culturelles, linguistiques) à s’adapter à un thème. Il faut se refuser à sonder sur tout, un sondage n’est pas qu’une simple collection de questions sans problématique.

La formalisation doit respecter quelques règles : éviter les biais de formulation, comme poser deux questions en une (« Ce candidat est-il rassembleur et proche de vos idées ? ») ou employer une double négation (« Ne faut-il pas interdire (…) ? » voire « Ne faut-il pas ne pas autoriser (…) ? ») ; éviter les inductions – la réponse est suggérée dans la question – (« Êtes-vous contre la peine de mort, même dans le cas de crimes commis par des récidivistes contre de jeunes enfants ? »), les impositions (oubli par le sondeur que le sondé peut ne pas être concerné par un fait : « À quelle fréquence lisez-vous la presse quotidienne ? ») et les effets induits par l’ordre dans lequel les questions sont posées.

Plus généralement, le sens de la question doit être univoque, les réponses proposées doivent correspondre peu ou prou à un univers connu de l’interviewé, le système de réponse proposé doit favoriser la réponse, et ainsi de suite. On n’oubliera pas le biais d’acquiescement qui aboutit pour ces deux questions (toute chose égale par ailleurs) à des distributions de réponses pour lesquelles le « oui » l’emporte : « d’une manière générale, diriez-vous que l’on peut faire confiance à la plupart des gens ? » et « d’une manière générale, diriez-vous que l’on n’est jamais assez prudent quand on a affaire aux autres ? ».

Conclusion

Enfin, le sondeur sachant sonder rappelle que l’étude de l’opinion est une discipline autonome et à part entière des sciences sociales. On peut en fait la définir comme une « discipline appliquée » puisqu’elle représente un secteur économique important qui doit répondre aux demandes de connaissance de l’opinion émanant de nombreux acteurs économiques et sociaux. Elle a un objet assez clairement défini : l’étude des opinions, des représentations, des valeurs des individus ; et elle s’affirme par un rapport tout à fait particulier aux méthodes. Elle s’appuie sur des outils mathématiques solides et la connaissance des logiques de l’opinion met en œuvre une validation empirique qui ne saurait se contenter d’approches impressionnistes.

Les sondages, de plus en plus nombreux, représentent en fait une nécessité dans des sociétés modernes complexes. Ils en facilitent la régulation économique, sociale et politique. Mais ils ne sont que des outils incomplets et relatifs : il convient d’être conscient de leurs biais potentiels et des défauts possibles de leurs usages. Les enjeux autour des opinions deviennent de plus en plus importants dans des sociétés démocratiques où le pouvoir est heureusement régulé par les principes électoraux et non plus par la seule force armée. L’étude des opinions a donc un grand avenir devant elle, si les praticiens ne jouent pas aux apprentis-sorciers, si les médias ne se contentent pas d’aborder les évolutions sondagières comme une véritable course de chevaux, si les parties prenantes (commanditaires, commentateurs, éditorialistes, enseignants) prennent le recul nécessaire, et si le grand public en saisit les enjeux démocratiques. C’est pourquoi le sondeur sachant sonder ne veut pas être trop seul !

L’influence des sondages électoraux sur l’opinion

Intellectuels, chercheurs, et même le législateur français (Loi du 19 juillet 1977 modifiée par celle du 25 avril 2016,), s’interrogent et entendent réglementer l’influence de la publication des sondages sur le comportement des électeurs. Les deux principaux effets connus et enseignés restent l’effet underdog (terme emprunté aux combats de chiens consistant à parier sur « le chien qui a le dessous », par extension en politique, à rallier le candidat donné battu) et l’effet bandwagon (c’est-à-dire s’accrocher au wagon de queue et donc en politique rejoindre le favori). Troisième forme d’influence, en France, les sondages consacreraient le réflexe « vote utile » (plutôt contribuer à la défaite de l’adversaire qu’à la victoire de son candidat préféré).

D’autres effets sur l’électorat existent sans doute. Reste à savoir s’ils s’annihilent ou non. Mais une autre influence majeure existe et s’avère sans doute bien plus prégnante : celle des sondages auprès des états-majors (ne serait-ce que sur le choix des investitures ou des thèmes ou slogans de campagne).