Le questionnaire représentatif : faire des questionnaires qui parlent aux gens

Qu'est-ce qui fait la différence entre une enquête qui ne fait que produire des chiffres et une enquête qui produit du sens ?

Il ne suffit pas de crier "représentatif, représentatif" en sautant comme un cabri pour rendre des résultats fiables et opérationnels.

Construire un questionnaire, c'est comme dessiner un bonhomme. C'est facile la première fois qu'on en fait un (à l'âge de 4 ans) et puis, plus on en fait, plus ça devient difficile. Surtout si on a l'ambition de tirer des résultats un reflet non déformé de la réalité.

Remarques et commentaires à ce sujet.

 

Les enquêtes par questionnaire ont un côté rigoureux. L'autre, on y pense moins.

Tout le monde sait qu'il est important qu'un échantillon soit représentatif pour qu'on puisse accorder une portée scientifique aux résultats d'un questionnaire.

Cela n'est pas si compliqué. Il suffit de s'assurer du caractère strictement aléatoire de la sélection. Ou d'utiliser la technique des quotas pour donner au moins l'apparence de la représentativité.

Mais quand on s'est assuré du caractère bien scientifique de l'extraction de l'échantillon, il reste une faiblesse de taille : dans les résultats d'un questionnaire (qu'il s'agisse de l'élevage des poulets au grain dans les départements français, ou de l'apparition des candidats politiques dans les émissions télévisées...), il n'y a jamais de chiffres qui se promènent tous seuls. Ils sont liés à des mots. Et pire encore, ces mots sont liés à du sens, matière plus ou moins fluctuante d'un individu à l'autre.

 

Il faut bannir les mots dans les enquêtes par questionnaire

On ne se méfiera jamais assez du caractère pernicieux des mots. Un pourcentage apporte beaucoup plus de satisfactions, il est bien net, on peut le calculer avec deux chiffres après la virgule ou plus encore. On sait que 10%, c'est plus que 5%. Mais, de même que le crime conduit au mensonge et à la dissimulation, les mots entraînent des interprétations. Et parfois 5% deviennent plus importants que 10%.

Plus grave encore, les mots se prêtent à des interprétations au moment même où les répondants lisent les questionnaires. Et bien souvent, ils répondent en fonction de ce qu'ils comprennent au lieu de répondre à la question que certains faiseurs de questionnaires ont cru leur poser.

Il faut donc totalement supprimer les mots dans les questionnaires. Ils risquent de fausser les résultats et d'induire des erreurs d'interprétation.

 

Apprécier le sens des mots avant de les rentrer de force dans un questionnaire

Oui, mais alors surgit une difficulté. C'est que les mots constituent précisément l'instrument de mesure qui permet de produire les chiffres. Sans les mots, pas de chiffres.

On peut se dire qu'on ne peut pas contrôler la représentativité d'un questionnaire comme on peut le faire (en principe) de la représentativité d'un échantillon. Comment prouver que les questions qu'on pose sont bien celles qui se posent ?

On peut aussi se dire qu'après tout, si les questions sont en français, les répondants qui maîtrisent cette langue vont comprendre et vont donner des réponses. L'important est de poser les questions qu'on a envie de poser. Mais les questions telles que les personnes interrogées les comprennent sont-elles bien identiques à celles qui leur sont posées ?

S'il existait un outil capable de mesurer la représentativité d'un questionnaire, combien d'enquêtes apparaîtraient alors complètement dénuées de sens !

La mesure de la représentativité d'un questionnaire n'existe pas, malheureusement. Mais les moyens de s'en rapprocher existent. Il faut méticuleusement analyser les situations telles qu'elles apparaissent aux yeux des personnes à interroger au départ. Il faut apprécier le sens qu'ont les mots pour les personnes interrogées avant de rédiger les questions. Comment faire si l'on n'a pas eu l'occasion d'écouter au préalable plusieurs de ces personnes pour savoir ce qu'elles disent et comment elles le disent ?

 

Entretiens avant ou après une enquête par questionnaire ?

Soyons catégorique : il faut absolument mener des entretiens après un questionnaire... quand on s'aperçoit que celui-ci a été mal fait. C'est le moyen de s'apercevoir que les questions ont été mal posées, qu'elles sont difficilement compréhensibles pour les personnes qui doivent y répondre, ou qu'elles induisent des sens ou des réponses qui posent problème à l'interprétation. C'est le moyen aussi de s'apercevoir que des pans entiers de réalité ont été omis dans la rédaction des questions, empêchant ainsi de comprendre de façon approfondie les préoccupations ou les réactions des répondants et la façon dont celles-ci s'enchaînent les unes aux autres.

En général, sauf cas particulier, c'est avant l'enquête par questionnaire qu'il faut aller écouter des personnes appartenant à la population qu'on souhaite interroger. C'est le moyen de se détourner des problématiques telles qu'elles ont été posées a priori et de retrouver au travers des propos des personnes rencontrées une façon de structurer les choses, un ensemble d'idées, de vécus, de représentations, au départ insoupçonnés.

Attention, il faut jouer le jeu de l'écoute active, mais non directive. Maîtriser les techniques du questionnement sans induire du contenu, pour ne pas enfermer l'interlocuteur dans un univers qui ne serait pas le sien, et le laisser libre de développer ses propos en fonction de son propre cadre de référence à lui.

C'est à cette condition qu'on se rapprochera le plus d'un questionnaire véritablement représentatif.

 

Qu'est-ce qu'un questionnaire représentatif ?

1- un questionnaire où la formulation des questions en facilite la compréhension immédiate par ceux auxquels elle sont posées : il n'y a aucun temps de latence prolongé entre la lecture et le moment où on croit avoir compris,

2- un questionnaire où les questions posées représentent un ensemble complet et cohérent permettant de couvrir de façon exhaustive les thèmes essentiels liés à un sujet pour la population des personnes interrogées.

C'est à cette condition qu'une enquête sera porteuse de résultats fiables.

A la rigueur si l'échantillon n'est pas strictement représentatif mais que les biais sont identifiés, on peut en tirer des enseignements.

Si l'instrument de mesure, le questionnaire, est biaisé, l'enquête est à jeter, quelles que soient les précautions qui auront été prises pour assurer la représentativité de l'échantillon.

L'obsession du sens vaut mieux que l'obsession de la mesure.

Par François Alliot, le 7 février 2013.