BridgeBalma

  • Augmenter la taille
  • Taille par défaut
  • Diminuer la taille

Le coin du hard : statistiques

Cet article est plutôt d'ordre culturel, pas utile pour le bridge, mais peut vous intéresser dans d'autres domaines, ou si vous voulez vous lancer dans des simulations. Autrement : faites demi-tour, comme dit mon GPS.

Lorsqu’un événement a une probabilité p de se produire…

  • Soit je sais par calcul de dénombrement ou autre, ou expérimentalement, tester tous les N cas possibles, l’événement se produira E fois sur les N, la probabilité cherchée est alors E/N, c’est sa définition même ;
  • soit je ne sais pas calculer, et je ne sais pas non plus tester tous les cas ou je n’en ai pas le temps (par exemple les 635 milliards de mains pour un joueur)… Alors je procède par tirage au sort en testant au hasard M cas, M étant très inférieur à N, et je compte le nombre d’occurrences E de l’événement. La probabilité inconnue p est proche de p'=E/M. C’est le principe du sondage d’opinion sur un échantillon de personnes. On est alors dans les méthodes statistiques. Il est important que l’échantillon soit bien représentatif, et d'une taille convenable.

Ecart-type

Deux variables aléatoires peuvent avoir la même moyenne mais un comportement très différent. L'écart-type représente la dispersion autour de la moyenne. Par exemple :

  • La taille moyenne en cm des nouveaux-nés est proche de 50 avec une dispersion d’environ deux cm, donc reste très proche de la moyenne ;
  • Des nombres entiers tirés au sort entre 0 et 100 ont aussi une moyenne 50, mais peuvent s’écarter de 50 de cette moyenne.

La quantité « écart-type » n’est pas la moyenne de l’écart à la moyenne (qui serait zéro), mais la racine carrée (√) de la moyenne du carré des écarts à la moyenne, qui est beaucoup moins compliquée que sa définition ne semble l'indiquer ! Cette quantité est généralement appelée σ (sigma).

Pour des nombres entiers tirés au hasard de 0 à 100, l’écart-type vaut environ 29.

Cette notion est énormément utilisée en statistiques ; elle intervient par exemple lorsque l’on traite plusieurs variables indépendantes, ou plusieurs tirages indépendants de la même variable. Lorsque l’on ajoute deux variables aléatoires et indépendantes, l’écart-type de leur somme n’est pas la somme de leurs écarts-types, mais leur « somme quadratique », c’est-à-dire que ce sont les carrés qui s’ajoutent. Si C = A + B, alors

carré de l'écart-type( C ) =  carré de l'écart-type( A ) + carré de l'écart-type( B )

Si l’on ajoute N échantillons d’une variable aléatoire de moyenne m et d’écart-type s, alors la somme aura pour moyenne Nm et écart-type s*√(N), et en divisant par N pour avoir la moyenne des échantillons, celle-ci vaudra m avec un écart-type qui vaudra s / √(N)

Par exemple : si vous lancez une pièce de monnaie, vous obtenez le résultat face (1) ou pile (0) avec une moyenne 0,5 et un écart-type également 0,5 (puisque l’écart à la moyenne vaut toujours 0,5). Si vous la lancez 100 fois, le total des « faces » sera en moyenne 50 avec un écart-type √(100) fois 0,5, donc 5.

Approximation gaussienne, loi normale, courbe "en cloche"

Si une variable aléatoire est le résultat du comptage d’un grand nombre d’événements, ou la somme de variables aléatoires, elle tend vers une « gaussienne » ou « loi de Gauss » ou « loi normale » ou plus prosaïquement « courbe en cloche ». C’est une situation très fréquente dès que des statistiques sont faites, lorsque l’on cherche à modéliser un phénomène difficile à calculer en faisant un certain nombre de tirages.

Lorsque l’on connaît la moyenne (m) et l’écart-type (σ), la probabilité d’obtenir une certaine valeur x est approximativement :

p(x) = exp( -(x-m)2/(2σ2) ) / (σ* √(2 π))

où exp est la fonction exponentielle. Cela paraît compliqué, mais l’est parfois beaucoup moins que de calculer exactement p(x).

Dans l’exemple des 100 lancers à pile ou face, la formule ci-dessus permet de facilement tracer la courbe p(x) qui est à une précision meilleure que 5% pour x entre 35 et 65 (soit à ± 3 fois l’écart-type), par rapport au vrai résultat facilement calculable dans ce cas : C(100,x) divisé par 2 puissance 100.

Si l’on s’intéresse maintenant à la probabilité que x soit compris entre ± k fois l’écart-type, le résultat sera donné par une fonction mathématique que l’on ne peut pas exprimer simplement, mais qui est souvent disponible dans les logiciels sous le nom de « erf » (error function, fonction d’erreur). La quantité cherchée vaut erf(k / √(2)) et quelques ordres de grandeur doivent être connus :

68,3% pour k=1 ; 95,4% pour k=2 ; 99,7% pour k=3.

Pour une variable aléatoire de type loi normale, comme celles qui résultent du comptage d’événements indépendants, on considère souvent que l’écart maximum à la moyenne est ± 3 fois l’écart-type (3σ), il y a toutefois 3 chances sur 1000 d’être plus éloigné.

Pour une série de 100 lancers à pile ou face, l’approximation gaussienne donnerait donc environ 2/3 de chances de chances d’avoir de 45 à 55 piles ou faces, et une quasi-certitude d’être entre 35 et 65. Mais sur 1000 séries de 100 lancers, on sera environ 3 fois en dessous de 35 ou au-dessus de 65.

Histogrammes

Si l’on fait effectivement l’expérience, par exemple de 1000 séries de 100 lancers à pile ou face, on va obtenir 1000 nombres entiers allant de 0 à 100. On peut tracer un diagramme avec des barres dont la longueur est proportionnelle au nombre de fois où un nombre a été obtenu. Cela s’appelle un histogramme.

Pour cet essai, la valeur maximale (87 fois) n’est pas obtenue pour la valeur moyenne théorique 50, mais pour 49. Et il y a un résultat 31 qui devrait se produire très rarement. La moyenne des valeurs est 50,079. Un autre essai a donné 49,847.

Loi des grands nombres, statistiques

La loi des grands nombres dit que les méthodes statistiques fonctionnent d'autant mieux que l'échantillon est grand : E est de l’ordre de pM, la probabilité mesurée p’ = E/M se rapproche d’autant plus de p que M est grand. Si l’on fait l’expérience plusieurs fois avec le même M, on va obtenir différentes valeurs de p’. Dès que E dépasse quelques unités, on s’approche d’une « loi normale » pour le p' obtenu, donc environ 2/3 des valeurs de p’ (68,3% pour E grand), seront comprises entre p(1-s) et p(1+s)

Pour p petit, s vaut 1/√(Mp) donc 1/√E. C'est la précision relative de l'estimation. La précision absolue est ps ; c'est l’écart-type de p’, notion définie plus haut, et qui vaut donc √(p/M) donc encore (√E)/M. Il n’est pas exclu de trouver une valeur p’ à plus de 3 fois ps par exemple mais cela arrivera bien en dessous de 1% des tirages.

En fait on va utiliser cette loi à l’envers : on a obtenu E "cas favorables" = réalisation de l'événement sur M tirages, donc mesuré p'=E/M et on cherche p.

La probabilité réelle p (inconnue) est proche de la probabilité mesurée p’=E/M ; dans environ 2/3 des tirages M elle sera entre p’(1-s) et p’(1+s) avec s=un sur √E (pour p petit, disons <0,1)

Donc par exemple avec M=10 000 donnes, s’il l’on a obtenu E=483 chicanes dans la main Sud, on peut en déduire que la probabilité d’une chicane en Sud est proche de 4,83% avec une précision relative de un sur √483 = 4,5% de ce résultat, donc une précision absolue de 4,5%*4,83%=0,22%. On peut donc en déduire que la probabilité d'une chicane est « probablement » (avec environ 2/3 de chances) entre 4,61% et 5,05%. En fait ici la probabilité peut être calculée et elle est un peu plus élevée : 5,10%. L’estimation obtenue avec ce tirage était dans le tiers de chances extérieur à la fourchette, pas de chance... Pour augmenter la précision, il faut augmenter la taille de l’échantillon.

Comme la précision est en racine carrée, il faut 100 fois plus d’essais pour améliorer d’un facteur 10 l’estimation : il est difficile d’obtenir des résultats très précis par des méthodes statistiques.

Retenons qu’il faut qu’un événement peu probable soit obtenu 100 fois pour estimer sa probabilité à 10% près, et inversement qu’une statistique obtenue, même avec un tirage honnête, sur quelques événements, peut donner un résultat faux de plusieurs dizaines de pourcent. Sur 0 ou 1 événement, c’est n’importe quoi. Si un jour on vous distribue une main unicolore de 11 cartes, vous ne pouvez en tirer aucune information statistique : un raisonnement du type "cela m'est arrivé une fois alors que j'ai joué 4000 donnes par an depuis 20 ans, donc la probabilité..." serait faux.

Mais l'inverse est vrai : la probabilité d'un unicolore 11ème peut être calculée et vaut 1 sur 2 746 693, donc si vous jouez 4000 donnes par an, vous en aurez un tous les 687 ans en moyenne. Là ce n'est plus des statistiques mais du calcul classique de probabilités.

Si la probabilité attendue est autour de 50%, cas du jeu de pile ou face ou des sondages pour le second tour de la présidentielle, c’est un peu plus favorable au sondeur que le cas p petit, l’erreur relative est divisée par √2. Par exemple si un tel sondage sur 1000 personnes donne le résultat 510, le résultat aura une incertitude relative de 3% (écart-type environ 1 sur √1020), donc 51% avec une incertitude absolue de 51%*3% = 1,5% dans un sens ou dans l’autre qui ne permet pas vraiment de conclure. Si l'échantillon est 10 fois plus grand et que l’on a obtenu 5103 sur 10000, l’incertitude tombe à 0,51% et le sondage est beaucoup plus significatif : 2/3 de chances d’être entre 50,5 et 51,5%, mais il reste quand même environ 2% de chances que la vraie probabilité soit inférieure à 50%... et donc que l’autre candidat triomphe et ridiculise l'institut de sondage.

Si la probabilité est proche de 100%, pour obtenir l’incertitude il suffit de raisonner sur l’événement inverse : les fois où il ne se produit pas.

Fabrication de nombres aléatoires

Les logiciels de calcul ont toujours une fonction (RND, ou ALEA...) qui produit à chaque appel un nombre entre 0 et 1. Avec un peu de cuisine arithmétique, multiplication et arrondi, on peut la transformer en générateur de pile ou face (0 ou 1), de dé (1 à 6), ou l'utiliser pour fabriquer des donnes aléatoires.

Retour...