1/28
De la beauté, du sexe et du pouvoir :Les difficultés de l’estimation des petit effets
Andrew Gelman
Département de Statistique et Département de Science Politique,Columbia University, New York
En visite à Université Paris Dauphine, ENSAE,et Université de Technologie de Compiègne
26 juin 2014
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
2/28
Des millions d’articles scientifiques publiés chaque année . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
3/28
Chaque article a sa propre histoire . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
4/28
La pression . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
5/28
La pression . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
6/28
C’est aussi un problème avec les sujets sérieux . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
7/28
Les parents plus beaux ont-ils plus de filles?
I S. Kanazawa (2007). Beautiful parents have more daughters:a further implication of the generalized Trivers-Willardhypothesis. Journal of Theoretical Biology.
I La beauté était mesurée sur une échelle de 1 à 5(“very unattractive” to “very attractive”)
I 56% des enfants de parents dans les catégorie 5 étaient desfilles
I 48% des enfants de parents dans les catégories 1–4 étaient desfilles
I Statistiquement significatif (2,44 écarts-types de zéro,p=1,5 %)
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
8/28
Les données et la régression
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
9/28
Les statistiques générales de la probabilité de filles et garçons
I Pr (garçon) ≈ 51,5 %I Les garçons meurent avec une fréquence plus élevée que les
fillesI À vingt ans, le nombre de garçons et de filles sont les mêmesI C’est en accord avec l’évolution
I Que peut affecter Pr (garçon)?I La race, l’âge des parents, l’ordre de naissance, poids maternel,
la saison de naissance: effets de 1 % ou moinsI L’extrême pauvreté et de la famine: les effets de 1–3 %
I L’effet de la beauté doit être moins de 0,3 %
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
10/28
Comprendre les resultats de Kanazawa
I Les données sont en accord avec les effets de −4 % à +13 %I Aussi en accord avec les effets entre −0,5 % et +0,5 %I L’argument évolutionniste va dans les deux sens :
I La beauté est plus utile pour les femmes, la pression desélection de l’évolution, . . .
I La « beauté » perçue est associée aux groupes ethniquesdominants, qui ont plus de puissance, un trait qui est plus utilepour les hommes . . .
I Ces resultats sont « plus vampiriquesqu’empiriques—incapable d’être tués simplement parl’évidence » (Freese, 2007)
I RésuméI Les parents plus beaux dans ce sondage ont plus de fillesI One ne peut pas dire beaucoup sur la population générale
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
11/28
Une autre essai : données de People magazine
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
12/28
Les enfants des « 50 personnes le plus belles » chaqueannée’
I Nous avons recueilli des données de 1995–2000I 1995 : 32 filles et 24 garçons : 57,1 % filles (écart-type 8,6 %)I 1996 : 45 filles et 35 garçons : 56,2 % ± 7,8 %I 1995 + 1996 : 56,6 % ± 4,3 % : presque statistiquement
significatif!I 1997 : 24 filles et 35 garçons, . . .I Combiner 1995–2000 : 47,7 % ± 2,8 %: pas une différence
statistiquement significative de 48,5 %
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
13/28
L’inférence pour les petits effets
I Effet estimé de 4,7 % (écart-type 4,3):I 95% intervalle de confiance [−4 %, 13 %]I L’effet réel est probablement beaucoup moins que 1 %, alors
l’enquête ne fournit essentiellement aucune informationI Analyse théorique
I Supposer que l’effet réel est 0,3 % et on recueille des donnéesde 3000 personnes
I 3 % probabilité d’un résultat statistiquement significatif etpositif
I 2 % probabilité d’un résultat statistiquement significatif etnégatif
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
14/28
Quel titre vend plus de journaux?
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
15/28
La communication
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
16/28
Comment évaluer?
I Du blog Freakonomics :I « A new study by Satoshi Kanazawa, an evolutionary
psychologist at the London School of Economics, suggests. . . there are more beautiful women in the world than there arehandsome men. Why? Kanazawa argues it’s becausegood-looking parents are 36 percent more likely to have a babydaughter as their first child than a baby son—which suggests,evolutionarily speaking, that beauty is a trait more valuable forwomen than for men. The study was conducted with datafrom 3 000 Americans, derived from the National LongitudinalStudy of Adolescent Health, and was published in the Journalof Theoretical Biology. »
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
17/28
Ma réaction
I L’estimation « 36 % » n’est pas plausibleI 10 à 100 fois plus grande, en comparaison de la littérature
I Une erreur évitable :I Un petit échantillon . . .I écart-type de 4,3 % . . .I Pour être « statistiquement significative », l’estimation doit
être au moins de 2 écart-types de 0 . . .I Tout resultat statistiquement significatif doit être une énorme
surestimation
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
18/28
Développez votre intuition statistique
I Supposer qu’on sait que l’effet de beauté sur Pr (fille), c’estmoins de 0,1 %
I Considerer une enquête avec n parents: n/2 beau, n/2 laidI Compter la fréquence des fillesI Pour chaque groupe, l’écart-type de la fréquence, c’est environ
de√
(0,5)(0,5)n/2 =
√0,5/n
I L’écart-type de la différence des fréquences de filles, entre lesdeux groupes, c’est
√0,5/n + 0,5/n =
√1/n
I Pour estimer cette différence d’une précision de 0,1 % :I
√1/n = 0,001
I n = 106
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
19/28
Pourquoi c’est pas évident?
I La théorie et l’education statistique sont concentrées surl’estimation d’un effet à la fois
I L’idee de « la signification statistique » ne marche pas bienavec les petits effets
I Les methodes existent pour inclure l’information a priori sur lataille d’un effet, mais ces methodes ne sont pas intégrés dansles pratiques statistiques
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
20/28
Tous les effets ne sont petits!
Le « Baby Name Wizard » de Laura et Martin Wattenberg :
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
21/28
Les dernières lettres des noms de garçons, 1900
Last letter of boys' names in 1900P
erce
ntag
e of
boy
s bo
rn
b d f h j l n p r t v x za c e g i k m o q s u w y
010
John, James, George, Charles, Edward, . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
22/28
Les dernières lettres des noms de garçons, 1950
Last letter of boys' names in 1950P
erce
ntag
e of
boy
s bo
rn
b d f h j l n p r t v x za c e g i k m o q s u w y
010
Michael, David, Thomas, Larry, . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
23/28
Les dernières lettres des noms de garçons, maintenant
Last letter of boys' names in 2010P
erce
ntag
e of
boy
s bo
rn
b d f h j l n p r t v x za c e g i k m o q s u w y
010
2030
Ethan (#2), Jayden (4), Aiden (9), Mason (12), Logan (17),Benjamin (22), Ryan (23), Jackson (25), John (26), Nathan (27),Jonathan (28), Christian (29), 31, 32, 36, 37, 40, . . .
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
24/28
La tendance des noms de garçons
1900 1950 2010Last letter of boys' names in 1900
Per
cent
age
of b
oys
born
b d f h j l n p r t v x za c e g i k m o q s u w y
010
Last letter of boys' names in 1950
Per
cent
age
of b
oys
born
b d f h j l n p r t v x za c e g i k m o q s u w y
010
Last letter of boys' names in 2010
Per
cent
age
of b
oys
born
b d f h j l n p r t v x za c e g i k m o q s u w y
010
2030
Le paradoxe de la liberté
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
25/28
La modélisation multi-niveaux
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
26/28
Un autre exemple
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
27/28
Quelle est la taille de l’effet?
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
28/28
Résumé
I Petits effetsI Grandes erreurs de mesuresI Beaucoup de variationI Petits échantillonsI Problèmes avec les méthodes conventionnelles
I Le filtre de signification statistiqueI La publication, n’est pas la même chose que la vérité
I On devrait être sérieux sur les mesures et sur la modélisationde la variation
Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets
Top Related