mardi 24 janvier 2012

Pourquoi l'étude du CPQ est biaisée.

Dans un court billet écrit il y a plus d'un an maintenant, j'avais énoncé que l'étude commandée par le Conseil du Patronat du Québec nommée "Étude sur les dépenses des étudiants universitaires" était biaisée. Je n'avais pas expliqué pourquoi, tout simplement parce que c'était évident. Mais avec le combat qui s'en vient contre la hausse des frais de scolarité et quelques articles publiés il y a pas longtemps et qui annoncent clairement la reprise des arguments chancelants des patron-ne-s et gouvernant-e-s[1], j'ai décidé de jeter à nouveau un coup d'oeil au document.

La forme

Signalons que l'étude ne prend pas la forme et le ton d'une étude scientifique habituelle. On a plutôt affaire à un condensé assez flou de données sans grande analyse. Un peu comme le résumé du programme d'un parti politique qu'on reçoit dans notre boîte aux lettres lors d'élections. Quelques points saillants, quelques chiffres en gras, et ça s'arrête là.

Pourtant, le document porte le titre bien clair de "Rapport final", et non de "résumé", "esquisse", "document de presse", "tas de marde pour les éditorialistes épais", etc.

La section sur la méthodologie est risible : à peine une phrase, dans laquelle il n'est fait mention d'aucune marge d'erreur, sur un échantillon de 500 étudiant-e-s! Il me semble qu'avec un si petit nombre, on aurait pu s'attendre à quelques nuances! En comparaison, l'étude de la FEUQ (2010) sur les revenus des étudiant-e-s, à laquelle nous reviendrons souvent, a utilisé un échantillon de 12 600 individus et consacre une dizaine de pages à la métho, tout en accompagnant de données sur la marge d'erreur chacun de ses tableaux et graphiques !

Il y a un problème scientifique majeur dans le fait de caractériser le sondage du CPQ (parce que ce n'est rien de plus que ça, un SONDAGE, et d'ailleurs le nom du fichier pdf porte le titre évocateur de "sondage1210") d'étude.

Les données

Le problème avec les données du CPQ, c'est qu'elles sont incomplètes et nous permettent pas d'avoir un portrait global de la situation décrite. De plus, les données sont présentées de manière biaisée.

La formule choisie par Léger Marketing, à la demande du CPQ j'imagine, a été d'écarter systématiquement les résultats nuls de leurs équations. On peut donc se retrouver avec une série de chiffres difficilement compilables. Par exemple "70 % des étudiants dépensent 36 $ par mois en moyenne pour un service d'accès Internet". Il faut en comprendre, dans les tableaux qui suivent cette donnée (et même si ce n'est pas spécifié dans les faits saillants), que les 3 étudiant-e-s sur 10 qui ne dépensent pas en moyenne 36$ par mois en service d'accès Internet dépensent en fait 0$ par mois pour la même chose! Ce qui ramène la moyenne globale à 25$.

Un des problèmes de ce choix méthodologique est de donner une impression fausse sur les étudiant-e-s en général. Par exemple, il n'est pas certain que les 70% d'étudiant-e-s qui payent leur Internet soient exactement les mêmes que ceux (79%) qui dépensent pour un téléphone cellulaire. Plusieurs dépenses se chevauchent, mais d'autres pas. Mais ça, ce n'est pas spécifié non plus. On reste donc avec l'impression que c'est une large majorité d'étudiant-e-s qui payent ET un cellulaire, ET un accès à Internet vitesse extrême, ET 39$ de restaurant par semaine, ET cætera.

La formulation des phrases vise donc directement à gonfler les chiffres et à donner l'impression que les étudiant-e-s gaspillent leur argent de manière immonde. Mais ce n'est pas tout. Les expressions galvaudées permettent de dissimuler des faits habilement dans le discours. Par exemple: "Finalement, on remarque que la quasi-totalité des étudiants fréquentent les restaurants sur une base hebdomadaire (pour un total de 39 $ en moyenne par semaine) et qu’ils dépensent en moyenne 94 $ par mois pour leurs loisirs."

La "quasi-totalité", c'est en fait respectivement 95% et 96%. Pourquoi donc avoir donné ces chiffres moyens, si c'est pour exclure toujours au minimum 4-5% de l'échantillon? L'expression volontairement vague de "quasi-totalité", ici, est clairement utilisée à dessein pour gonfler les chiffres. Pour arriver à une moyenne réelle, il faut inclure les résultats nuls: ce qui donne 37,05$
pour les dépenses de "restaurant", et 90,24$ pour les loisirs. C'est pas beaucoup moins, mais il faut tout de même en conclure que les chiffres sont exploités de manière tout à fait inexacte.

Les termes eux-mêmes sont trompeurs. Comme nous l'avons vu, dans la section "faits saillants", le CPQ affirme que les étudiant-e-s dépensent en moyenne 39 $ par semaine dans les restos. Or, dans le tableau explicatif, il est plutôt question de: "Les repas (ou parties des repas) pris au restaurant (incluant les cafés, collations, repas pour apporter et commandés) PAR SEMAINE".

La question est confuse en partant, mais suggère sans doute que votre café pris à la brûlerie Saint-Denis, votre lunch pris à la cafétéria ou votre muffin acheté au Café Aquin rentre dans cette catégorie. En admettant que vous dîniez 5 fois par jour à la cafétéria et dépensiez 6$ à chaque fois pour un repas complet et équilibré, vous dépensez déjà 30$ par semaine. Ajoutez un café à 1,50$ 5 jours sur 7 et vous arrivez à la moyenne. C'est une dépense qui peut être coupée mais ce n'est pas irraisonnable du tout; il ne faut pas croire, en observant les chiffres donnés, que les étudiant-e-s se font exploser la panse au Toqué à chaque semaine pendant que la pauuuuvre classe moyenne crève de faim.

Comment expliquer certains résultats étranges?

Toujours dans l'alimentaire, le sondage révèle - toujours avec sa formule farfelue - que 91% des étudiant-e-s dépensent en moyenne 86$ en frais d'épicerie (98$ dans la région de Montréal). Ça me semble à moi, en partant, une dépense aussi immense et absurde que les dépenses attribuées aux loisirs et au restaurant, qui me feraient, à moi, faire faillite en deux mois. Mais dans les détails complémentaires, on nous assure aussi que parmi ceux qui reçoivent de l'argent d'un "tiers" pour payer l'épicerie, et qui par ailleurs habitent chez leurs parents, cette dépense passe à 120$! Comment est-ce donc possible d'habiter chez ses parents et de dépenser personnellement, tout de même, 120$ par semaine en frais d'épicerie?

En 2005, le MAPAQ nous apprenait qu'en 2001, une famille québécoise dépensait en moyenne 118$ par semaine en épicerie, et environ 50$ par personne en moyenne. Les chiffres ont progressé depuis[2], mais il est évident que quelque chose cloche, et cela est certainement en lien avec la formulation des questions ou une mauvaise collecte de données. En l'absence de détails donnés sur la méthodologie, je me permets donc de conclure que les questions ont été mal posées à un échantillon mal choisi.

Qui peut en effet répondre spontanément et avec certitude, dans le cadre d'une enquête téléphonique, à une question sur les dépenses par mois et par semaine dans plus de dix catégories différentes, dont certaines semblent plus ou moins se chevaucher (loisirs/restaurant/alcool/épicerie)? Même moi, qui suis une sorte d'obsessif compulsif, je n'y arriverais pas sans faire de nombreuses vérifications, parce que j'habite avec ma blonde et que nos factures d'épicerie sont partagées de manière nébuleuse. De la même manière, il est fort probable que les étudiant-e-s ayant inscrit le résultat "120$" en moyenne sur leur fiche ou ayant mentionné ce montant au téléphone, alors qu'ils habitaient chez leurs parents, ont généralement, tout simplement, donné le montant que leurs parents dépensaient à peu près à l'épicerie à chaque semaine.

Il est aussi fort probable que les étudiant-e-s visés aient dans plusieurs cas proposé des estimations trop généreuses de leurs dépenses. Par ailleurs, après calculs (vous me reprendrez si j'ai fait une erreur), la compilation des résultats du sondage - incluant cette fois-ci les résultats nuls - permet de conclure que les étudiant-e-s dépenseraient selon le CPQ 21 600$ par an en moyenne! Et encore, ce sont des estimations conservatrices, puisque si l'on se fie uniquement aux apparences et non à une vérification des résultats (la plupart des détails ne figurent pas sur le communiqué qui avait été envoyé aux médias), les étudiant-e-s vivent réellement comme des pachas.

Or, l'étude de la FEUQ mentionnée plus tôt fixe le revenu total moyen d'un-e étudiant-e à temps plein (et de premier cycle) à 13 300, alors que la médiane est plutôt à 12 220$ (p. 49)! En ce qui concerne les étudiant-e-s qui n'habitent pas chez leurs parents, et qui doivent donc sans doute faire face à plus de dépenses, la moyenne du revenu est encore bien plus basse que l'estimation du CPQ: elle est de 14 200$. Mais où sont donc passés les 7 000-9 000$ manquants? Sont-ce les doctorant-e-s comme moi qui font monter la moyenne de 25-40%[3]? Les étudiant-e-s à temps partiel?

La vérité, c'est que dans les médias, comme au CPQ et chez la droite en général, l'étudiant-e moyen-ne décrit-e ne renvoie à aucune réalité. Le sondage ne reflète rien de vrai et ne devrait pas, après cet examen, servir à nouveau d'argument chez les chroniqueurs/euses pro-hausse.

________

[1] Merci à Saint-Henri Chronicles pour le tuyau.
[2] Pour des raisons obscures, mon proxy de l'UQÀM ne me permet pas actuellement d'avoir accès aux données plus récentes de Stat Can: il faudrait que je paye 134$ pour commander un rapport, c'est quoi cette connerie? Bon. L'Institut de la Statistique du Québec parle de 140$ par semaine par ménage en 2008.
[3] Notez que mes revenus ne sont pas vraiment au-dessus de la moyenne des étudiant-e-s du premier cycle.

Aucun commentaire:

Enregistrer un commentaire