Statistiques énigmes: traiter avec les non-répondeurs de l'enquête

Non-répondeurs sont toujours un problème quand vous calculez les résultats d'une enquête. Avant que vous pouvez croquer les chiffres dans toutes les enquêtes que vous obtenez en arrière, vous avez à décider quoi faire sur les enquêtes que vous n'a pas revenir.

Un article de journal sur la dernière enquête indique que 50 pour cent des répondants ont dit bla bla bla. Les petits caractères dit que les résultats sont basés sur un sondage auprès de 1000 adultes aux États-Unis. Mais attente - est de 1.000 le nombre réel de personnes sélectionnées pour l'échantillon, ou est-ce le nombre final de répondants? Vous pouvez avoir besoin de prendre un second Look-ces deux numéros correspondent à peine jamais.

Par exemple, Jenny veut savoir quel est le pourcentage de personnes aux États-Unis aient jamais sciemment triché sur leurs impôts. Dans sa classe de statistiques, elle a découvert que si elle obtient un échantillon de 1.000 personnes, la marge d'erreur pour son enquête est seulement plus ou moins 3 pour cent, qui elle pense est groovy. Alors, elle vise à atteindre l'objectif de 1000 réponses à son enquête. Elle sait que, ces jours-ci, il est difficile d'amener les gens à répondre à une enquête, et elle est inquiète qu'elle peut perdre une grande partie de son échantillon de cette façon, elle a une idée. Pourquoi ne pas envoyer plus d'enquêtes qu'elle a besoin afin qu'elle obtient 1.000 enquêtes de retour?

Jenny regarde plusieurs résultats de l'enquête dans les journaux, les magazines et sur Internet, et elle estime que le taux de réponse (le pourcentage de personnes qui ont effectivement répondre à un sondage) est généralement autour de 25 pour cent. (En termes de monde réel, cela est généreux, croyez-le ou pas, mais pensez-y:.? Combien d'enquêtes avez-vous jeté dernièrement) Donc les chiffres Jenny que si elle envoie 4.000 enquêtes et obtient 25 pour cent d'entre eux en arrière, elle a les enquêtes de 1000 dont elle a besoin pour faire son analyse, répondre à sa question, et avoir cette petite marge d'erreur de plus ou moins 3 pour cent.

Jenny mène son enquête, et juste comme sur des roulettes, sur les enquêtes de 4000, elle envoie, 1.000 revenir. Elle va de l'avant avec son analyse et estime que 400 de ces personnes ont signalé tricher sur leurs impôts (40 pour cent). Elle ajoute sa marge d'erreur et les rapports, "Sur la base de mes données de l'enquête, 40 pour cent des Américains tricher sur leurs impôts, plus ou moins 3 points de pourcentage."

Maintenant, maintenez le téléphone, Jenny. Elle sait seulement ce que ces 1000 personnes qui ont retourné le sondage dit. Elle n'a aucune idée de ce que les autres 3.000 personnes ont dit. Et voici le kicker: Si quelqu'un répond à un sondage est souvent liée à la raison l'enquête est en cours. Il est pas une chose aléatoire. Ces non-répondants (les personnes qui ne répondent pas à une enquête) portent beaucoup de poids en termes de ce qu'ils ne prennent pas le temps de vous dire.

Pour les besoins du raisonnement, supposons que 2.000 des personnes qui ont obtenu l'origine de l'enquête étaient à l'aise avec la question parce qu'ils ne trichent sur leurs impôts, et ils ne veulent pas qu'on sache à ce sujet, de sorte qu'ils ont jeté l'enquête à la poubelle . Supposons que les autres 1000 personnes ne trichent pas sur leurs impôts, de sorte qu'ils ne pensaient pas qu'il était un problème et n'a pas retourné l'enquête. Si ces deux scénarios étaient vraies, les résultats devrait ressembler à ceci:

Cheaters = 400 (interrogés) + 2.000 (non-répondants) = 2400

Ces résultats soulèvent le pourcentage total des tricheurs à 2400 divisé par 4000 - 60 pour cent. Voilà une énorme différence!

Vous pouvez aller complètement dans l'autre sens avec les 3.000 non-répondants. Vous pouvez supposer qu'aucun d'entre eux trichent, mais ils ne tout simplement pas prendre le temps de le dire. Si vous saviez que cette info, vous obtiendrez 600 (interrogés) + 3000 (non-répondants) = 3.600 noncheaters. Out de 4000 sondés, cette est de 90 pour cent. La vérité est probablement quelque part entre les deux exemples précédents, mais les non-répondants rendre trop difficile à dire.

Et le pire est que les formules Jenny utilise pour la marge d'erreur ne savent pas que l'information qu'elle a mis en eux est basé sur des données biaisées, si elle rapporté marge d'erreur de 3 pour cent est erroné. Les formules manivelle joyeusement résultats peu importe quoi. Il est à vous pour vous assurer que ce que vous mettez dans les formules est bonne, propre information.

Obtenir des résultats 1000 lorsque vous envoyez sur 4.000 enquêtes est loin d'être aussi bonne que l'obtention de résultats 1000 lors de l'envoi de 1000 enquêtes (ou même 100 résultats de 100 enquêtes). Planifiez votre enquête basée sur combien de suivi que vous pouvez faire avec les gens pour faire le travail, et si elle prend un échantillon de taille plus petite, ainsi soit-il. Au moins, les résultats ont une meilleure chance d'être statistiquement correcte.