distribution statistique De Wikipédia, l'encyclopédie libre
La loi de Benford, initialement appelée loi des nombres anormaux par Benford[1],[2], également connue sous le nom de loi de Newcomb-Benford[3], fait référence à une fréquence de distribution statistique observée empiriquement sur de nombreuses sources de données dans la vraie vie, ainsi qu'en mathématiques.
La loi de Benford stipule que le premier chiffre d'un nombre issu de données statistiques réelles n'est pas équiprobable. Un chiffre a d'autant plus de chance de figurer en premier qu'il est petit.
Dans une série de données numériques, on pourrait s'attendre à voir les chiffres de 1 à 9 apparaître à peu près aussi fréquemment comme premier chiffre significatif, soit avec une fréquence de 1/9 = 11,1% pour chacun. Or, contrairement à cette intuition (biais d'équiprobabilité), la série suit très souvent approximativement la loi de Benford: pour près du tiers des données, le 1erchiffre significatif le plus fréquent est le 1. Viennent ensuite le chiffre 2, puis le 3,etc., et la probabilité d'avoir un 9 comme premier chiffre significatif n'est que de 4,6%. C'est une loi observée aussi bien dans les mathématiques sociales, c'est-à-dire les sciences humaines et sociales, que dans des tables de valeurs numériques comme celles qu'on rencontre en physique[4], en volcanologie[5], en génétique[6], en BTP, en économie (taux de change) ou dans les numéros de rue d'un carnet d'adresses personnel.
C'est sur une échelle logarithmique qu'il faut placer les réels entre 1 et 10 pour obtenir la loi de Benford. En choisissant un nombre au hasard sur ce segment, on a en effet une probabilité de que son premier chiffre soit égal à .
Une série de nombres réels en écriture décimale suit la loi de Benford si la fréquence d'apparition du premier chiffre significatifc vaut approximativement:
pour tout c entre 1 et 9 où désigne le logarithme décimal. On vérifie que la somme de ces fréquences vaut .
Par exemple, la probabilité benfordienne qu'un nombre commence par un 1, comme 1 012 ou 0,000189, vaut: , voir la suite A007524 de l'OEIS.
Cette définition se généralise pour l'écriture des nombres en base b en remplaçant log par logb; par exemple:
en base 2, la probabilité benfordienne qu'un nombre commence par un 1 vaut: (tous les nombres commencent par un 1);
en base 3, la probabilité benfordienne qu'un nombre commence par un 1 vaut , par un 2: .
Image du pavé numérique d'un clavier d'ordinateur illustrant la loi de Benford: l'usure des touches correspondant aux plus petits chiffres est plus grande.
En 1881, après qu'il se soit aperçu de l'usure (et donc de l'utilisation) préférentielle des premières pages des tables de logarithmes (alors compilées dans des ouvrages), l'astronome américain Simon Newcomb a rapporté cette loi, sans la nommer, dans un article de l'American Journal of Mathematics[7]. Cet article passe inaperçu pendant cinquante-sept ans. Frank Benford, aux alentours de 1938, remarque à son tour cette usure inégale, croit être le premier à formuler cette loi qui porte, conformément à la loi de Stigler, indûment son nom aujourd'hui, et arrive aux mêmes résultats après avoir répertorié des dizaines de milliers de données (longueurs de fleuves, cours de la bourse, etc.)
Dans la vie réelle, on constate souvent la décroissance des probabilités en fonction du premier chiffre, voire une adéquation avec les valeurs de la loi de Benford: données géographiques, données physiques, résultats sportifs, taille des fichiers sauvegardés dans un ordinateur, etc.
Fréquences relatives des chiffres significatifs selon la loi de Benford
Chiffre significatif
Fréquence approximative
1
30%
2
18%
3
12%
4
10%
5
8%
6
7%
7
6%
8
5%
9
4%
Fermer
Par exemple, Mickaël Launay a relevé en 2019 1 226 prix dans un supermarché, et a obtenu comme fréquences successives pour les premiers chiffres de 1 à 9: 32%, 26%, 15%, 9%, 5%, 4%, 3%, 2%, 4%[8].
Dans une liste de 100 nombres obtenus comme produits de deux nombres ou plus tirés au hasard entre 1 et 10 000, les fréquences des chiffres 1 à 9 en première position suivent peu ou prou les valeurs de la loi de Benford.
La loi de Benford n'est pas valable si l'on tire au hasard des nombres entiers strictement positifs ayant n chiffres au plus; il y en a en effet autant qui commencent par 1, par 2,... ou par 9, soit .
Cette loi n'est pas vérifiée si la série de données comporte:
des contraintes quant à l'échelle des valeurs vraisemblables: par exemple, la taille des individus, lorsqu'elle est exprimée dans le système métrique, ne suit, à l'évidence, pas la loi de Benford puisque la quasi-totalité des mesures commence par le chiffre «1»;
des contraintes sur le premier chiffre comme pour les numéros de téléphone.
La mantisse d'un réel étant définie comme le nombre de l'intervalle obtenu en déplaçant la virgule après le premier chiffre significatif (par exemple, la mantisse de 0,00125 est 1,25), on donne la définition suivante, généralisant la précédente, et également constatée dans la vraie vie.
Définition—Une série de nombres réels en écriture décimale suit la loi de Benford continue si pour tout inclus dans , la fréquence des nombres de la série dont la mantisse appartient à vaut .
Les premiers chiffres des nombres de la série suivent alors la loi de Benford simple, puisque le premier chiffre d'un réel est égal à si la mantisse de appartient à , et la probabilité correspondante vaut alors .
Or, la mantisse de étant obtenue par la formule: où désigne la partie fractionnaire, la mantisse de appartient à si et seulement si appartient à ; on obtient alors le théorème de Diaconis[9]:
Théorème—Une série de nombre réels en écriture décimale suit la loi de Benford continue, (donc aussi la loi de Benford simple) si et seulement si les parties fractionnaires des logarithmes de ses termes sont uniformément réparties sur [0,1] (ou en termes plus techniques, si les logarithmes de ses termes sont équirépartis modulo 1).
C'est sous cette forme plus générale impliquant la mantisse logarithmique que la loi de Benford a été énoncée la première fois par Newcomb[10].
La loi de Benford s'applique à n'importe quelle base (binaire, octale, hexadécimale...).
Loi d'un bloc de k chiffres
En utilisant la loi de Benford en base ou la loi de Benford continue, on obtient que la probabilité benfordienne que l'écriture décimale d'un réel commence par un nombre de chiffres entre et vaut: .
Par exemple, la probabilité benfordienne qu'un nombre commence par 314, comme 3,14159..., 314285,7... ou 0,00314465... vaut (ici, et ).
Cette définition se généralise pour l'écriture des nombres en base en remplaçant par ; par exemple:
en système binaire, la probabilité benfordienne qu'un nombre commence par vaut ; il y a donc légèrement plus de nombres commençant par que par .
en base 3, la probabilité benfordienne qu'un nombre commence par vaut .
Loi des chiffres suivant le premier
Ce résultat permet de trouver la probabilité benfordienne qu'un chiffre soit à une position donnée dans un nombre. Par exemple, la probabilité benfordienne qu'un soit trouvé en deuxième position vaut:
Plus généralement, la probabilité benfordienne que le chiffre soit en position vaut:
On remarque que la loi de cette probabilité se rapproche rapidement d'une loi uniforme avec une valeur de 10% pour chacun des dix chiffres, comme illustré ci-dessous[11].
Davantage d’informations chiffre, 1er ...
chiffre
0
1
2
3
4
5
6
7
8
9
1er
NC
30,1%
17,6%
12,5%
9,7%
7,9%
6,7%
5,8%
5,1%
4,6%
2e
12,0%
11,4%
10,9%
10,4%
10,0%
9,7%
9,3%
9,0%
8,8%
8,5%
3e
10,2%
10,1%
10,1%
10,1%
10,0%
10,0%
9,9%
9,9%
9,9%
9,8%
Fermer
On peut supposer une distribution uniforme à partir du quatrième chiffre car le chiffre 0 apparaît 10,0176% du temps en quatrième position et le chiffre 9 apparaît 9,9824% du temps.
Il est également possible de généraliser ce résultat en base quelconque. La probabilité benfordienne que le chiffre soit en position d'un nombre en base vaut[12]:
Lien avec la loi de Zipf
Comme pour grand, la loi de Benford d'apparition du nombre comme premier bloc peut être vue comme une loi de Zipf approchée[13].
Inversement si conformément à la loi de Zipf, l'on attribue le poids à l'entier , et définit la densité d'une partie de comme la limite quand tend vers l'infini, si elle existe, de , alors la densité de l'ensemble des entiers >0 commençant par le préfixe en écriture décimale vaut justement [13].
Répartition des premiers chiffres (en%, barres roses) dans la population des 237 pays du monde (juillet 2010). Les points noirs indiquent la répartition prévue par la loi de Benford.
Détection de fraudes fiscales
Dans un article publié en 1972, l'économiste Hal Varian propose d'utiliser la loi de Benford pour détecter la fraude fiscale[14]. Les premiers chiffres significatifs 5 et 6 prédominent nettement dans les données falsifiées: 40% pour les 5 et plus de 20% pour les 6.
Pour proposer un modèle de prédiction d'indice boursier, il convient d'inclure un test de cohérence car la loi de Benford ne fait pas de distinction entre les nombres 20 et 200 000: ces deux nombres ayant 2 comme premier chiffre significatif[15].
Les chiffres peuvent cependant aussi être influencés par le souci d'éviter des seuils et des plafonds fiscaux, dans le cadre d'une optimisation fiscale, qui n'a rien d'illégal.
Détection de fraudes comptables
Dans une étude publiée en 2011, quatre économistes allemands ont testé la loi de Benford sur les données comptables produites par les États membres de l'Union européenne. Ils montrent que la Grèce est le pays européen qui s'éloigne le plus des prédictions de la loi de Benford. La Belgique est le second pays qui dévie le plus par rapport à cette loi. Un économiste a émis l'hypothèse que la Belgique avait falsifié ses comptes[16],[17].
Détection de fraudes électorales
La loi de Benford a aussi été utilisée pour mettre en évidence la fraude électorale. Le canton de Genève en Suisse l'a utilisée pour détecter d'éventuelles irrégularités dans les scrutins du canton[18],[19].
Trois politologues ont publié une étude montrant à partir de simulations que la mise en évidence de la fraude à partir d'un test d'adéquation à la loi de Benford était problématique et ne donnait pas de bons résultats sur les données simulées[20].
Détection de fraudes liées au commerce international
Des tentatives ont été faites pour appliquer cette loi à la détection des fraudes du commerce international[21],[22].
Détection de fraudes scientifiques
La loi de Benford a aussi été utilisée pour détecter des données contrefaites dans des articles scientifiques[23].
Invariance d'échelle
L'observation empirique a montré que les ensembles de mesures physiques qui suivent la loi de Benford continuent de le faire après leur conversion dans d'autres unités (longueurs, de même pour des listes de prix exprimés dans une monnaie donnée, après un changement de devise)[24]. En revanche, si un tableau de nombres ne suit pas d'assez près la loi de Benford, le changement de monnaies ou la conversion d'unité modifie considérablement la fréquence d'apparition du premier chiffre.
Theodore P. Hill(en) a démontré le théorème suivant, dit «d'invariance d'échelle»: la seule loi de probabilité du premier chiffre qui reste invariante par multiplication par toute constante >0, est la loi de Benford[25]; une telle loi est dite scalante. Ainsi, la pertinence consiste à observer les écarts multiplicatifs et «dans une liste quelconque de données, on trouvera la même proportion de nombres entre 1 et 2, qu'entre 2 et 4 ou entre 4 et 8[26]».
Pour de nombreux ensembles de nombres, et tout particulièrement ceux qui n'ont pas d'ordre de grandeur imposé, comme les chiffres d'affaires d'entreprises et les cours de bourse[27], cette supposition est raisonnable.
Donald Knuth donne une démonstration de cette propriété dans le tome 2 de son The Art of Computer Programming, intitulé Seminumerical Algorithms. Cette démonstration a été redonnée par d'autres sans citer Knuth[25].
Démonstration
Il s'agit essentiellement de la démonstration donnée par Knuth, présentée de façon plus abstraite et peut-être moins accessible[28].
Choisissons un nombre réel strictement positif appartenant à un intervalle I.
Pour son écriture décimale, on cherche la probabilité de son premier chiffre non nul, indépendamment de toute autre caractéristique.
Cela correspond à la recherche d'une mesurem sur l'ensemble I, supposé mesurable, avec:
etc.
On suppose que I est construit comme une union de produits de l'intervalle [1;10[ par des réels ai > 0; c'est-à-dire: I = ∪ ai × [1;10[ pour des ai > 0. Donc, on travaille dans le groupe multiplicatif des réels strictement positifs (car c'est ainsi que la topologie de ce groupe est construite).
L'ensemble des réels strictement positifs muni de la multiplication étant un groupe topologiqueséparable et localement compact, il existe une et une seule mesure (à un coefficient multiplicateur près) qui soit invariante par la loi de groupe: la mesure de Haar du groupe.
Cette mesure est m = dx⁄x.
Prenons I = [1;10[, on a:
Et on a:
Comme la mesure m est invariante par le produit, en prenant I = ∪ ai × [1;10[ avec , on arrive au même résultat.
La loi de Benford est également invariante par changement de système de numération[7].
Produit de variables indépendantes
En 1994, Jeff Boyle a montré que si une variable résulte de la multiplication entre elles d'un grand nombre de variables indépendantes, elle suit à peu près la loi de Benford (exactement à la limite)[29],[23]. Autrement dit, la loi de Benford serait naturelle si les nombreux facteurs qui expliquent telle ou telle grandeur agissent multiplicativement.
En 2008, Nicolas Gauvrit et Jean-Paul Delahaye redonnent une explication de la loi de Benford[23] en utilisant le caractère étalé et régulier de la partie fractionnaire des logarithmes des nombres d'une série statistique[31].
Ils suggèrent de plus qu'un équivalent de cette loi fondé sur d'autres fonctions que le logarithme fonctionnerait tout aussi bien[23], mais donnerait des lois moins simples que celle de Benford[30].
Par définition, une suite de réels vérifie la loi de Benford en base si la fréquence limite des termes de la suite dont l'écriture en base (sans tenir compte de la virgule) commence par le chiffre vaut .
Plus précisément, notant l'ensemble des valeurs de la suite et l'ensemble des réels dont l'écriture en base commence par le chiffre , cela signifie que .
Le fait que ces suites suivent la loi de Benford prouve que le nombre dont le développement après la virgule est formé de la concaténation des éléments de l'une de ces suites est un nombre univers. Par exemple pour les puissances de 2, on obtient le nombre univers .
Suites connues pour ne pas vérifier cette loi
Courbe des fréquences du premier chiffre 1 (en rouge) et celle du premier chiffre 9 (en bleu) pour les entiers de 1 à 10 000, en échelle logarithmique.
On démontre que si une suite vérifie la loi de Benford, alors la suite est non majorée[38]. On en déduit les contre-exemples suivants:
la suite des entiers
plus généralement les suites et les suites polynomiales positives
la suite
la suite des nombres premiers
Cependant, certaines de ces suites suivent une loi de Benford affaiblie en les sens suivants:
Suite des entiers
Pour cette suite, les fréquences du premier chiffre en base oscillent constamment entre les deux valeurs:
et
(1/9 et 5/9 par exemple pour le chiffre 1 en base 10, voir une démonstration à densité asymptotique).
On note que ces valeurs décroissent, de façon inversement proportionnelle à et , et que la densité benfordienne est comprise entre ces deux valeurs extrêmes.
De plus, en effectuant des moyennes de Césaro successives, on obtient bien à la limite cette densité[39],[40].
Notons que, tout de même, la fréquence des premiers chiffres est équirépartie (égale à ) si l'on se place entre 1 et exclu.
Suite des nombres premiers
Pour cette suite également, les fréquences des premiers chiffres ne convergent pas[38],[42],[43], mais la densité logarithmique relative de parmi les nombres premiers, soit, est bien égale à [41].
Si est une variable aléatoire réelle uniforme sur , le premier chiffre de suit une loi uniforme entre 1 et 9; cependant, pour , la probabilité que le premier chiffre soit égal à vaut , donnant (pour allant de 1 à 9) la suite de valeurs (décroissante) en%: 19,2; 14,7; 12.4; 10.9; 9,9; 9,1; 8,5; 8,0; 7,5.
Pour , on obtient la probabilité qui tend, lorsque tend vers l'infini, vers : le premier chiffre de tend donc, en loi, vers une variable benfordienne.
Idem pour un produit de variables indépendantes uniformes sur (résultat de Boyle mentionné ci-dessus).
Si et sont deux variables aléatoires réelles uniforme indépendantes sur , la probabilité que le premier chiffre de soit égal à vaut dont les valeurs successives sont 33,3 ;14,8; 10,2; 8,3; 7,4; 6,9; 6,6; 6,3; 6,2, assez proches de celles de la loi de Benford.
(en) James L. Friar, Terrance Goldman, and Juan Pérez–Mercader, «Genome Sizes and the Benford Distribution», sur US National Library of Medicine- National Institutes of Health, (consulté le ).
(en) Bernhard Rauch, Max Göttsche, Gernot Brähler et Stefan Engel, «Fact and Fiction in EU-Governmental Economic Data», German Economic Review(en), vol.12, no3, , p.243-255 (lire en ligne, consulté le ).
.
(en-US) Joseph Deckert, Mikhail Myagkov et Peter Ordeshook, «Benford's Law and the Detection of Election Fraud», Political Analysis, vol.19, no3, , p.245-268 (lire en ligne, consulté le ).
(en) L. Pietronero, E. Tosatti, V. Tosatti, A. Vespignani, «Explaining the uneven distribution of numbers in nature: The laws of Benford and Zipf», Physica A: Statistical Mechanics and its Applications, vol.293, nos1–2, , p.297-304 (DOI10.1016/S0378-4371(00)00633-6).
(en) Peter N. Posch, «A Survey on Sequences and Distribution Functions
satisfying the First-Digit-Law.», Journal of Statistics and Management Systems,
Volume 11, (lire en ligne).
Une démonstration du résultat de Flehinger se trouve dans un livre de Knuth (The Art of Computer Programming, Vol. 2. Addison-Wesley Publishing Company, 1981).
A. Fuchs et G. Letta, «Le problème du premier chiffre décimal pour les nombres premiers», The Foata Festschrift. Electron, J. Combin. 3, n°2, (lire en ligne).