Закон Бернулі: Чому цифра 1 перемагає цифру 9 у шість на один

Закон про першу цифру

Закон Бенфорда стверджує, що в багатьох природних наборах чисел перша цифра не розподілена рівномірно між 1 та 9 — вона слідує за гостро викривленою логарифмічною кривою. Цифра 1 зустрічається приблизно 30,1% випадків, цифра 2 – 17,6%, і так далі до цифри 9, яка зустрічається лише приблизно 4,6% випадків. Формула, вперше зафіксована астрономом Саймоном Ньюкомбом у 1881 році та відновлена фізиком Френком Бенфордом у 1938 році після того, як він зібрав понад 20 000 чисел з річок, населення та фізичних констант, така:

P(перша цифра = d) = log₁₀(1 + 1/d), d = 1, 2, ..., 9 P(1) ≈ 0.301 P(2) ≈ 0.176 P(3) ≈ 0.125 P(4) ≈ 0.097 P(5) ≈ 0.079 P(6) ≈ 0.067 P(7) ≈ 0.058 P(8) ≈ 0.051 P(9) ≈ 0.046 live demo · гістограма першої цифри проти логарифмічної кривої● LIVE Інтуїція полягає в незмінності масштабу. Якщо набір даних охоплює кілька порядків величини — населення країн від кількох тисяч до понад мільярда, або послідовність Фібоначчі, яка зростає експоненціально — то на логарифмічній осі числа приблизно рівномірно розподілені. Перша цифра числа визначається тим, в якій частині логарифмічного простору вона падає, і інтервал логарифмічної області, що починається з цифри 1 (від log₁₀(1) до log₁₀(2)), ширший за інтервал, що починається з цифри 9 (від log₁₀(9) до log₁₀(10)). Множення будь-якою сталою зміщує логарифмічно рівномірний розподіл, але не змінює його форму, тому закон дійсний для даних у доларах, євро або будь-якій іншій одиниці — властивість, яка називається незмінністю масштабу.

P(first digit = d) = log10(1 + 1/d),   d = 1, 2, ..., 9

P(1) ≈ 0.301   P(2) ≈ 0.176   P(3) ≈ 0.125
P(4) ≈ 0.097   P(5) ≈ 0.079   P(6) ≈ 0.067
P(7) ≈ 0.058   P(8) ≈ 0.051   P(9) ≈ 0.046

Які набори даних дотримуються цього закону, а які – ні

Закон Бенфорда зазвичай спостерігається для даних, що генеруються процесами множника росту, охоплюючими кілька порядків величини: популяції, довжини річок, ціни акцій, фізичні константи, степені числа два та послідовність Фібоначчі (відношення між послідовними членами збігається до золотого відрізу, що гарантує фіксований, нецілочисельний приріст у логах на кожному кроці). Він ненадійно працює для даних, обмежених за діапазоном, призначених замість вимірювання або округлених до вузької смуги – телефонні зонові коди, зріст людей в сантиметрах, лотерейні числа чи будь-який перелік, що обмежується двома або трьома порядками величини.

Виявлення шахрайства за допомогою тесту хі-квадрат

Закон Бенфорда став відомим за межами математики як інструмент криміналістичної бухгалтерії. Сфабриковані числа – вигадані звіти про витрати, підроблені податкові декларації, сфальсифіковані результати виборів – зазвичай генеруються людьми, які намагаються виглядати випадковими, і цифри, обрані людиною, більше схиляються до середини діапазону (5, 6, 7), ніж справжні мультиплікативні дані, які значно сконцентровані навколо 1 та 2. Аудитори порівнюють спостережувані частоти перших цифр у реальному бухгалтерському обліку з передбачуваними частотами за законом Бенфорда, використовуючи тесту хі-квадрат на відповідність:

хі_квадрат = сума((спостережувана_d - очікувана_d)^2 / очікувана_d) для d = 1..9 очікувана_d = N * log10(1 + 1/d) # N = розмір вибірки великий хі_квадрат, мале значення p-value → відхилення від закону Бенфорда (потребує більш детального розгляду, а не доказ шахрайства) Значне відхилення є червоним прапорцем, що спонукає до розслідування, а не вирок – багато законних наборів даних також не відповідають цьому тесту просто тому, що вони не задовольняють вимозі масштабованості, і тест був використаний як для виявлення бухгалтерського шахрайства (він відіграв роль у деяких відомих корпоративних справах), так і для обговорення аномалій у результатах виборів, де його застосовність набагато спірніша, оскільки підрахунки голосів обмежені кількістю зареєстрованих виборців, а не є безмежними.

chi_sq = sum( (observed_d - expected_d)^2 / expected_d )  for d = 1..9

expected_d = N * log10(1 + 1/d)     # N = sample size
large chi_sq, small p-value  → distribution deviates from Benford
                                (worth a closer look, not proof of fraud)

Другі та вищі порядки цифр

Та сама логіка поширюється на другу цифру, пари цифр і навіть на перші цифри відношень між рядками в наборі даних, кожна з яких має свою передбачувану розподіл, отримана за допомогою тієї ж формули log10 (розподіл другої цифри більш рівномірний і схиляється до рівномірності, коли ви віддаляєтесь від першої цифри). Розслідувачі поєднують кілька цих тестів разом, оскільки підробник, який успішно імітує розподіл першої цифри, рідко також правильно отримує розподіли другої та пар цифр випадково.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Benford's Law і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.