Турнір Аксельрода: Чому «Ти за, ти проти» Перемагає в Ітерації Дилеми В’язня

Турнір, а не одна гра

У 1980 року політичний вчений Роберт Аксельрод організував комп’ютерний турнір, заснований на простій грі – «Мислівець із Сокалу». Два гравці незалежно обирають співпрацю або зраду. Співпраця приносить обом скромну винагороду, взаємна зрада – невелике покарання, а одинокий зрадник проти співрозладника отримує найбільшу одноразову вигоду, а експлуатований співрозладник – найгірший результат. Порядок винагород: спокуса > винагорода > покарання > жертва, і саме цей порядок, а не точні числа, робить гру цікавою: індивідуально раціональна поведінка, зрада, призводить до гіршого результату для обох гравців порівняно з кооперативним.

опонент співпрацює опонент зраджує gравці співпрацьовують RR (3,3) ST (0,5) gравці зраджують TS (5,0) PP (1,1) спокуса T=5 > винагорода R=3 > покарання P=1 > жертва S=0 Граючи один раз, зрада є домінуючою стратегією незалежно від дій іншого гравця. Інсайт Аксельроду полягав у тому, щоб грати в цю гру багато разів поспіль між двома учасниками, щоб стратегія могла реагувати на історію іншого гравця – і можливими стають репутації, помсти та прощення.

              opponent cooperates   opponent defects
you cooperate      R,R  (3,3)           S,T  (0,5)
you defect         T,S  (5,0)           P,P  (1,1)
temptation T=5 > reward R=3 > punishment P=1 > sucker S=0

Чотирнадцять стратегій, один коловий турнір

Акслрод запросив теоретики групових ігор представити стратегії у вигляді коротких програм та організував коловий турнір: кожна стратегія грала з кожною іншою стратегією, включаючи копію себе, протягом 200 раундів, сума виграшів розраховувалася. Учасники охоплювали широкий спектр підходів – від завжди обманювати та завжди співпрацювати до складних програм на основі ймовірностей та аналізу історії. Симуляція на цій сторінці реалізує компактну версію цього ж поля – All-D, All-C, Tit-for-Tat, Tit-for-Two-Tats, Generous Tit-for-Tat, Grim Trigger, Pavlov, Random, Joss та Friedman – дозволяючи вам спостерігати за накопиченим балом кожної стратегії під час підйому або зупинки, коли раунди проходять.

Tit-for-Tat перемагає, і чому

Здивованим переможцем, запропонованим психологом Анатолем Рапопортом, став найкоротший алгоритм у турнірі: Tit-for-Tat. Співпрацюйте на першому ході, а потім на кожному наступному просто копіюйте те, що зробив опонент в останній раз. Аксельрод повторив другий турнір із 62 учасниками, які бачили результати першого, і спробували безпосередньо перемогти Tit-for-Tat – він знову виграв.

Аксельрод узагальнив успіх алгоритму в чотири властивості. Він доброзичливий: ніколи не починає з обману, тому ніколи не є тим, хто починає проблеми. Він покарання: негайно карає будь-який обман, таким чином не даючи експлуататорським стратегіям живитися від нього безперервно. Він прощальний: після одного покарання одразу повертається до співпраці, якщо опонент це робить, замість того, щоб упертіло. І він чіткий: його поведінка достатньо проста, щоб опонент розпізнав закономірність і адаптувався до неї. Жорстокіші стратегії виграють окремі ігри проти наївних співпрацівників, але погано справляються у круговій зустрічі, оскільки отруюють усі відносини, з якими вони контактують, включаючи відносини між собою; доброзичливі, покарання стратегії створюють стабільні взаємні показники співпраці в усьому полі.

Шум і чому існує щедрий Ти-для-Тату

Простий Ти-для-Тату має одну слабкість: у шумному каналі, де кооперативний рух випадково сприймається як дефекція, два гравці, які використовують Ти-для-Тату, можуть потрапити в нескінченне ехо покарання – одна помилкова дефекція викликає контр-дефектцію, яка викликає ще одну, вічно.

Щедрий Ти-для-Тату вирішує цю проблему, іноді співпрацюючи навіть після дефекції, що руйнує ехо за рахунок того, що стає трохи вразливим. Метод Павлова – «повтори успішного результату, зміни невдалий» або «виграв – продовжуй, програв – змінюй» – використовує інший підхід: повторюйте останній рух, якщо він приніс хороший результат, і змінюйте його, якщо він не приніс. Це дозволяє йому відновлюватися від шуму та навіть експлуатувати непохитну кооперацію з часом.

Чому це має значення за межами теорії ігор

Турнір Аксєлова регулярно згадується в біології, економіці та міжнародних відносинах, оскільки взаємність такого роду проявляється скрізь, де дві сторони постійно взаємодіють – у торгових відносинах, у співпраці тварин, у договорах про контроль озброєнь. Загальне висновку, що проста, прозора, прощальна, але не експлуатована стратегія має тенденцію перемагати хитрість, є одним із небагатьох результатів з формальної теорії ігор, які безпосередньо відповідають інтуїції щодо довіри в повсякденному житті.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Axelrod's Tournament і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.