У 1980 році політолог Роберт Аксельрод запросив теоретиків ігор з усього світу подати комп'ютерні програми для участі в ітерованій дилемі ув'язненого (ІДУ) — повторюваній грі, в якій два гравці одночасно обирають кооперацію (C) або зраду (D) кожного раунду, з виплатами T > R > P > S. Несподіваним переможцем обох турнірів стала найпростіша заявка: «Ока за ока» (TFT), яка кооперує в першому ходу і копіює попередній хід суперника. Аналіз Аксельрода, опублікований у книзі «Еволюція кооперації» (1984), став знаковим дослідженням в еволюційній біології, економіці та політичній науці, пояснюючи, як кооперація може виникати між корисливими агентами без центральної влади.
Симуляція проводить повний круговий турнір з 10 стратегіями, включаючи TFT, Великодушний TFT, Павлов (Виграш-залишайся / Програш-перемикайся), Злопам'ятника, Випадкову та Завжди Зраджуй. Налаштовуйте кількість раундів, матрицю виплат, рівень шуму (ε) і спостерігайте за матрицею рахунків та рівнями кооперації у реальному часі.
Що таке дилема ув'язненого?
Два підозрюваних допитують окремо. Кожен може зрадити іншого (D) або мовчати (C). Якщо обидва мовчать — обидва отримують малий вирок (нагорода R). Якщо один зраджує, а інший мовчить — зрадник виходить на волю (спокуса T), мовчазний отримує максимальний вирок (виплата лоха S). Якщо обидва зраджують — обидва отримують помірний вирок (покарання P). Порядок T > R > P > S робить зраду домінуючою стратегією в одноразовій грі, але взаємна кооперація дає кращий результат для обох, ніж взаємна зрада.
Чому «Ока за ока» перемогла в турнірах Аксельрода?
Аксельрод виявив чотири властивості TFT: «добросердечність» (ніколи не зраджує першою), «відплатність» (негайно карає зраду), «прощення» (після одного раунду відплати повертається до кооперації) і «чіткість» (стратегія очевидна для суперника). Ці властивості дозволяють TFT отримувати максимальну нагороду R з кооперативними партнерами, обмежуючи збитки від зрадників до одного ходу.
Що робить шум (ε) із турніром?
Шум моделює випадкову зраду: з імовірністю ε кожна запланована кооперація перетворюється на зраду. Для звичайної TFT один збій шуму викликає відплатну зраду, яка викликає ще одну — обидва гравці застрягають у взаємному покаранні до кінця матчу («луна-зрада»). Великодушний TFT і Павлов можуть виходити з цієї пастки, іноді пробачаючи, що робить їх значно стійкішими в шумних середовищах.
Павлов кооперує, якщо обидва гравці зробили однаковий хід у попередньому раунді (обидва C або обидва D — «виграш»), і зраджує, якщо вони зробили різні ходи (один C один D — «програш»). Це просте правило посилення є самокоригувальним: після подвійної зради (покарання P) Павлов зраджує, тоді як TFT кооперує — що повертає взаємну кооперацію за один раунд. У шумних турнірах ІДУ Павлов часто перевершує TFT.
Великодушний TFT (GTFT) схожий на TFT, але замість безумовної відплати за зраду суперника він кооперує з малою ймовірністю p (зазвичай p = 1/3 або відповідно до рівня шуму). Це прощення розриває ланцюги луна-зради: після серії взаємного покарання GTFT іноді кооперує, даючи суперникові шанс повернутись до взаємної кооперації. Новак і Мей (1992) показали, що GTFT є еволюційно стабільною стратегією в просторово структурованих популяціях.
Злопам'ятник кооперує на кожному ходу, поки суперник хоча б раз не зрадить, після чого зраджує назавжди. Проти кооперативних суперників Злопам'ятник накопичує максимальну нагороду. Проти будь-якого зрадника після початкового «удару лоха» він переходить до взаємного покарання, уникаючи подальшої експлуатації. Попри відсутність «прощення» і слабкість проти шуму, Злопам'ятник є рівноважною концепцією: після взаємного спрацьовування жоден гравець не вигадає одностороннє повернення до кооперації.
«Завжди Зрада» (AllD) отримує спокусу T проти кооператорів. Але в круговому турнірі вона отримує лише покарання P (найгірший взаємний результат) проти кожної іншої зраджуючої стратегії, а проти TFT або Злопам'ятника — T лише на першому ходу, а далі P протягом N – 1 раундів. Проти багатьох кооперативних суперників сумарний рахунок AllD розчавлений, оскільки R >> (T + (N-1)P)/N для великого N.
Матриця виплат мусить задовольняти T > R > P > S і 2R > T + S. Збільшення T підвищує винагороду за зраду кооператора, роблячи середовище суворішим для добросердечних стратегій. Зменшення різниці між R і P звужує стимул до кооперації. Повзунки виплат у симуляції дозволяють досліджувати, як сила дилеми впливає на домінуючі стратегії.
Аксельрод і Гамільтон (1981) показали, що кооперація може вторгнутись у популяцію зрадників, якщо дисконт-фактор w (імовірність наступного раунду) задовольняє w ≥ (T – R)/(T – P). «Тінь майбутнього» повторної взаємодії робить зраду невигідною. Добір за родинністю (правило Гамільтона: rb > c) і просторова структура — ще два механізми: кооператори утворюють кластери й уникають експлуататорів.
У круговому турнірі кожен учасник грає проти кожного іншого (і в турнірі Аксельрода — також проти самого себе) за N раундів. Сумарний рахунок — сума виплат у всіх матчах. Тому рахунок залежить не лише від того, як стратегія грає проти зрадників, а й від того, як вона грає проти більшості кооперативних стратегій у пулі. Ось чому склад поля має значення: AllD добре виступає у полі із зрадниками, тоді як TFT процвітає серед кооператорів.
ІДУ моделює багато соціальних і біологічних явищ: гонка озброєнь (кооперація = обмеження зброї, зрада = ескалація); цінова конкуренція корпорацій; ухилення патогенів від імунітету; риби-«чистильники» та їхні хазяї; навіть правила синаптичної пластичності. Висновки Аксельрода використовувались для проектування міжнародних торгових угод, кліматичних механізмів кооперації та пояснення еволюції альтруїзму в суспільних комах.