Про закон Бенфорда
Закон Бенфорда описує нерівномірний розподіл першої значущої цифри в багатьох природних числових наборах даних. Замість рівноймовірного розподілу кожної цифри 1–9 (~11%), цифра 1 очолює число приблизно у 30% випадків, а цифра 9 — менш ніж у 5%. Цей контрінтуїтивний закон виникає всюди, де дані охоплюють кілька порядків величини та є масштабно інваріантними.
Симулятор генерує набори даних з різних джерел (числа Фібоначчі, степені 2, випадкові добутки, синтетичні дані про чисельність міст) і порівнює емпіричний розподіл першої цифри з теоретичним розподілом Бенфорда. Критерій хі-квадрат з 8 ступенями свободи кількісно оцінює відповідність — мале p-значення (p < 0,05) вказує на значне відхилення, характерне для сфабрикованих або штучно обмежених даних.
Судові бухгалтери використовують закон Бенфорда для аудиту фінансової звітності. Люди, що фабрикують числа, зазвичай розподіляють цифри надто рівномірно, оскільки рівномірна випадковість здається природною інтуїтивно. Закон також застосовується до аналізу виборчих даних, виявлення наукових фальсифікацій та контролю податкової звітності.
Часті запитання
Що таке закон Бенфорда?
Закон Бенфорда стверджує, що в багатьох природних наборах даних перша значуща цифра розподілена нерівномірно. Цифра 1 стоїть першою приблизно у 30,1% випадків, цифра 2 — у 17,6%, за формулою P(d) = log₁₀(1 + 1/d).
Як закон Бенфорда допомагає виявити шахрайство?
Судові бухгалтери порівнюють розподіл першої цифри у фінансових записах з передбаченням Бенфорда за допомогою критерію хі-квадрат. Сфабриковані числа виглядають занадто рівномірними — статистично значуще відхилення (p < 0,05) є ознакою маніпуляцій з даними.
Для яких наборів даних діє закон Бенфорда?
Закон діє для даних, що охоплюють кілька порядків величини без штучних обмежень: чисельність населення, довжини річок, ціни акцій, ВВП країн, адреси, числа Фібоначчі та степені. Він не підходить для даних з фіксованим діапазоном, як-от номери телефонів або лотерейні числа.
Чому математично виникає закон Бенфорда?
Він виникає через масштабну інваріантність. Розподіл, що не змінюється при множенні всіх значень на будь-яку позитивну константу, має бути логарифмічним. На логарифмічній шкалі рівноширокі інтервали відповідають діапазонам цифр, і ці інтервали зменшуються для більших цифр, роблячи менші цифри більш поширеними.
Що таке критерій хі-квадрат?
Критерій обчислює χ² = Σ (Спостережене − Очікуване)² / Очікуване для кожної цифри 1–9. Велике значення χ² при 8 ступенях свободи дає мале p-значення, що вказує на значне відхилення від розподілу Бенфорда.
Хто відкрив закон Бенфорда?
Астроном Саймон Ньюком помітив це у 1881 році, спостерігши, що початкові сторінки таблиць логарифмів більш потерті. Фізик Франк Бенфорд популяризував закон у 1938 році після аналізу понад 20 000 чисел з різних джерел.
Чи діє закон Бенфорда в інших системах числення?
Так. У системі числення з основою b ймовірність для першої цифри d: P(d) = logₙ(1 + 1/d). Логарифмічна закономірність діє в будь-якій цілочисельній основі, більшій за 1, що робить це явище справді універсальним.
Який розмір вибірки потрібен для перевірки закону Бенфорда?
Критерій хі-квадрат вимагає, щоб кожна очікувана кількість була щонайменше 5. Оскільки цифра 9 має ймовірність 4,6%, потрібно щонайменше 5 / 0,046 ≈ 109 спостережень. Вибірки від 500 і більше забезпечують хорошу статистичну потужність.
Чому числа Фібоначчі підпорядковуються закону Бенфорда?
Послідовність Фібоначчі зростає геометрично (кожний наступний член приблизно у φ ≈ 1,618 разів більший за попередній). Послідовності з експоненційним зростанням природним чином проходять через усі перші цифри пропорційно їхній ширині на логарифмічній шкалі — що і є розподілом Бенфорда.
Чи можна перевірити власні дані в симуляторі?
Так — виберіть «Власний ввід» у списку наборів даних, введіть числа через кому і натисніть «Застосувати». Симулятор виокремить перші цифри, обчислить частоти та проведе критерій хі-квадрат відносно передбачення Бенфорда.
Про закон Бенфорда — симулятор частоти першої цифри
Закон Бенфорда — це дивовижне статистичне явище, яке передбачає частоту перших цифр у багатьох природних числових наборах даних. Замість того, щоб кожна цифра від 1 до 9 з'являлася приблизно з однаковою ймовірністю ~11%, цифра 1 очолює число приблизно у 30,1% випадків, цифра 2 — у 17,6%, і так далі аж до цифри 9, яка трапляється лише у 4,6% випадків, за логарифмічною формулою P(d) = log10(1 + 1/d). Цей симулятор дає змогу генерувати різні набори даних — числа Фібоначчі, степені цілих чисел, випадкові добутки, синтетичну чисельність міст — і візуально порівнювати їхню емпіричну частоту першої цифри з теоретичною кривою Бенфорда, тоді як критерій узгодженості хі-квадрат кількісно оцінює цю відповідність.
Закон Бенфорда застосовується до будь-якого набору даних, що охоплює кілька порядків величини й не має штучних обмежень, зокрема цін акцій, довжин річок, ВВП країн, магнітуд землетрусів і фізичних констант. Він став наріжним каменем судової бухгалтерії та виявлення шахрайства, оскільки сфабриковані числа зазвичай мають першу цифру, розподілену занадто рівномірно порівняно з очікуваннями Бенфорда.
Часті запитання
Що таке закон Бенфорда, якщо конкретніше?
Закон Бенфорда стверджує, що в багатьох реальних наборах даних імовірність того, що число починається з цифри d, дорівнює P(d) = log10(1 + 1/d). Це дає цифрі 1 ймовірність 30,1%, цифрі 2 — приблизно 17,6%, а цифрі 9 — лише 4,6%. Закон діє, коли дані охоплюють багато порядків величини й виникають природно, без штучних верхніх чи нижніх меж.
Як користуватися цим симулятором для вивчення закону Бенфорда?
Оберіть набір даних у випадному списку (числа Фібоначчі, степені 2 або 3, випадкові добутки, чисельність міст або рівномірні випадкові числа як контроль без Бенфорда), налаштуйте розмір вибірки повзунком і натисніть «Згенерувати знову». Стовпчикова діаграма порівнює емпіричну частоту першої цифри (зелений колір) з теоретичним передбаченням Бенфорда (фіолетовий колір). Перемкніться в режим «Оверлей», щоб побачити криву Бенфорда, накладену на емпіричні стовпці. Також можна вставити власні числа через кому, скориставшись опцією «Власний ввід».
Чому цифра 1 з'являється значно частіше за цифру 9?
На логарифмічній шкалі інтервал від 1 до 2 охоплює log10(2) - log10(1) = 0,301 декади, тоді як інтервал від 9 до 10 охоплює лише log10(10) - log10(9) = 0,046 декади. Оскільки масштабно-інваріантні дані розподілені рівномірно на логарифмічній шкалі, числа з першою цифрою 1 приблизно у шість разів імовірніші за числа з першою цифрою 9. Це не випадковість, а математична необхідність для будь-якого справді масштабно-інваріантного розподілу.
Яке математичне обґрунтування закону Бенфорда?
Закон випливає з масштабної інваріантності: розподіл ймовірностей f(x) є масштабно-інваріантним, якщо множення всіх значень на константу c залишає розподіл перших цифр незмінним. Єдиний неперервний розподіл, що задовольняє цю властивість, — логарифмічно рівномірний розподіл, тобто ймовірність того, що log10(x) потрапляє в будь-який інтервал, пропорційна довжині цього інтервалу. Ймовірність того, що перша цифра дорівнює d, дорівнює довжині інтервалу log10 [d, d+1), тобто log10(d+1) - log10(d) = log10(1 + 1/d).
Як закон Бенфорда використовують для виявлення фінансового шахрайства?
Судові бухгалтери застосовують критерій узгодженості хі-квадрат до перших цифр записів у фінансових документах — рахунках-фактурах, звітах про витрати, податкових деклараціях чи бухгалтерських журналах. Люди, що фабрикують числа, зазвичай обирають цифри надто рівномірно, оскільки рівномірна випадковість інтуїтивно здається природною. Статистично значуще відхилення (p-значення нижче 0,05 при 8 ступенях свободи) сигналізує про необхідність додаткової перевірки. Аналіз за Бенфордом застосовувався в резонансних розслідуваннях шахрайства, зокрема у справі Enron, а також податковими органами десятків країн.
Яке поширене хибне уявлення про закон Бенфорда?
Поширена помилка — вважати, що закон Бенфорда застосовується до всіх числових даних. Насправді він не діє для даних, обмежених вузьким діапазоном (наприклад, зріст дорослих людей, який весь укладається приблизно в 1,5–2,1 м), даних з вбудованим мінімумом на кшталт номерів телефонів, і випадково згенерованих чисел з рівномірного розподілу. Він також не застосовується до присвоєних номерів, таких як поштові індекси чи ідентифікаційні номери. Закон вимагає даних, що охоплюють кілька порядків величини без штучних обмежень.
Хто і коли відкрив закон Бенфорда?
Явище вперше помітив американський астроном і математик Саймон Ньюком у 1881 році, спостерігши, що перші сторінки спільних таблиць логарифмів були значно більш потертими за пізніші сторінки — це вказувало на те, що люди набагато частіше шукали числа, які починаються з 1. Спостереження було майже забуте, доки фізик Франк Бенфорд незалежно не перевідкрив його у 1938 році, проаналізувавши понад 20 000 чисел із 20 різних наборів даних, включно з площами річок, атомними вагами та бейсбольною статистикою, і опублікував статистичні закономірності, які тепер носять його ім'я.
Чи діє закон Бенфорда в системах числення, відмінних від десяткової?
Так. У будь-якій цілочисельній основі b, більшій за 1, ймовірність того, що перша цифра дорівнює d: P(d) = log_b(1 + 1/d). У двійковій системі (основа 2) кожне число починається з 1, тож закон виконується тривіально. У шістнадцятковій системі (основа 16) перша цифра 1 з'являється приблизно у log16(2) ≈ 25% випадків. Логарифмічна структура є універсальною і не залежить від обраної системи числення, що підтверджує: вона відображає глибокі математичні властивості масштабно-інваріантних розподілів.
Які реальні набори даних є хорошими прикладами закону Бенфорда?
Класичні приклади: чисельність населення всіх міст і селищ країни (від тисяч до десятків мільйонів), довжини річок світу (від сотень до тисяч кілометрів), ціни на фондовому ринку в часі, фізичні константи з довідників з фізики, показники національних бюджетів, магнітуди землетрусів (за сейсмічним моментом), кількість цитувань наукових статей і числа Фібоначчі. Усі вони охоплюють багато порядків величини без штучних обмежень — а це і є ключовою умовою для дії закону.
Як закон Бенфорда застосовують у технологіях та науці про дані?
Окрім виявлення шахрайства, закон Бенфорда використовують для аудиту якості даних, щоб виявляти помилки у великих базах даних, у криміналістичному аналізі зображень для виявлення цифрово змінених фотографій (природні зображення підпорядковуються бенфордоподібним розподілам у своїх DCT-коефіцієнтах), а також в аналізі мережевого трафіку для виявлення аномальної поведінки. Системи машинного навчання також навчають виявляти фінансові аномалії, використовуючи відхилення від Бенфорда як одну з ознак. Деякі організації зі спостереження за виборами використовують його як попередній фільтр для виявлення виборчих порушень, хоча застосовність до підрахунку голосів обговорюється серед статистиків.
Які напрямки сучасних досліджень пов'язані із законом Бенфорда?
Активні напрямки досліджень: поширення аналізу Бенфорда на другу та вищі перші цифри (узагальнений закон Бенфорда), застосування до реєстрів криптовалютних транзакцій та блокчейн-криміналістики, розробка статистично надійніших критеріїв для малих вибірок (критерій хі-квадрат вимагає щонайменше ~100 спостережень), використання в конвеєрах виявлення аномалій машинного навчання, а також теоретична робота з точного визначення того, які розподіли ймовірностей збігаються до закону Бенфорда під час добутків і степенів. Дослідники також вивчають зв'язки цього закону з гіпотезою Рімана через розподіл простих чисел.