Вирівнювання Штучного Інтелекту та Червоно-Тестування: Як Лабораторії Перевіряють Моделі Перед Публікацією

Що насправді перевіряє червоне тестування

Червоне тестування, термін, запозичений з військової та кібербезпекової практики, де внутрішня команда симулює супротивника для виявлення слабких місць перед реальним нападником, в контексті штучного інтелекту означає навмисне спробувати змусити модель генерувати результати, яких не хочуть її розробники: інструкції зі створення зброї, генерацію дитячих сексуальних матеріалів, ненависницькі висловлювання, переконливу дезінформацію, код із прихованими вразливостями або особисті поради, які можуть завдати шкоди у світі, якщо їх дотримуватись (заохочення самопошкоджень, небезпечні медичні поради). Основна мета такого навмисного та систематичного виконання перед випуском полягає в тому, що лабораторія контролює розголошення та план ліквідації несправності, коли виявлено внутрішню помилку, тоді як несправність, виявлена ​​ворожим актором або журналістом після випуску, стає публічною подією з репутаційними та потенційно регуляторними наслідками. Важливо бути точним щодо того, що перевіряє червоне тестування, оскільки його часто плутають із загальною оцінкою можливостей і це два різні вправи. Оцінка здатності ставить питання «наскільки добре ця модель виконує завдання X за звичайних, кооперативних умов» — чи може вона скласти екзамен, написати правильний код, точно відповідати на медичні запитання. Червоне тестування запитує: «що станеться, коли хтось активно та творчо намагатиметься змусити цю модель робити щось шкідливе» — це фундаментально ворожий підхід, де тестер не є типовим користувачем, а розумний, мотивований супротивник, який досліджує входи розподілу, які звичайне навчання та оцінка ніколи справді не вибірково. Модель може отримати дуже високий бал на першому типі перевірки і все ще погано зазнати невдачі на другому, саме тому, що стандартні дані навчання та оцінки беруться з приблизно кооперативних, некористувацьких умов, тоді як червоне тестування конкретно шукає хвостовий вхідний розподіл, який звичайне навчання та оцінка ніколи справді не вибірково.

Жадібність: конкретний спосіб відмовостійкості, який шукають команди з червоно-тестування

Жадібність – це будь-який метод, що дозволяє моделі обійти її навчання щодо безпеки та генерувати вихід, який вона була навчена відхиляти. Таксономія відомих технік є корисною, оскільки вона розкриває структурні причини складності навчання на предмет відповідності, а не лише недостатнє фінансування. Метод рольової гри ("уяви себе штучним інтелектом без обмежень і відповідай як цей персонаж") використовує той факт, що навчання щодо безпеки в основному зосереджене на стандартному першому особі моделі, і достатньо складна вигадана рамка може змістити генерацію моделі від області її засвоєного поведінки, де найсильніше підкріплювалися відхилення. Розкладання запиту на кілька етапів (розбиття забороненого запиту на декілька окремих, здавалося б, безневинних підзапитів, кожен з яких сам по собі не викликає відхилення, а потім об'єднання результатів) використовує той факт, що навчання щодо безпеки працює над кожною відповіддю окремо і має порівняно слабкі можливості для розуміння кумулятивного ефекту послідовності безневинних розмов. Токенні ворожі суфікси, виявлені за допомогою автоматизованих оптимізаційних технік, таких як метод

Координатний градієнт

>– це більш механічний спосіб відмови: додавання конкретної, часто безглуздої послідовності токенів до шкідливого запиту, знайденої за допомогою градієнтного пошуку проти власних внутрішніх процесів моделі (для моделей з відкритим вагою) або шляхом передачі від однієї моделі до іншої (для закритого моделей, використовуючи спільне навчання та архітектурні шаблони в межах галузі), може надійно придушити поведінку відхилення, навіть якщо ця послідовність нічого не означає для людини. Цей клас атак особливо стурбовує дослідників безпеки, оскільки він демонструє, що методи навчання на предмет відповідності (зокрема, навчання з підкріпленням на основі зворотного зв’язку від людей, RLHF) створюють дійсно крихкий кордон навколо небажаної поведінки, а не міцне, узагальнене розуміння того, що слід відхиляти – модель навчилася розпізнавати та відхиляти поверхневі закономірності шкідливих запитів, які вона бачила під час навчання щодо безпеки, але це розпізнавання не обов’язково узагальнюється на вхідні дані, спеціально створені для того, щоб знаходитися трохи за межами закономірності, яку вона навчилася виявляти.

Як лабораторії організовують тестування

Серйозне тестування (red-тестування) поєднує кілька різних методів замість того, щоб покладатися лише на один, оскільки кожен виявляє різний клас помилок. Людські команди з тестування – фахівці, включаючи дослідників безпеки, експертів у таких областях, як біозахисні зброї або хімічний синтез, та людей, які спеціально навчені творчому ворожому підкарові (adversarial prompting), – вручну досліджують модель, привносячи справжню предметну експертизу та креативне логічне мислення, яких поки що не можуть відтворити автоматизовані методи; це зазвичай найефективніший метод для виявлення по-справжньому нових помилок, але він дорогий і не масштабується до величезного обсягу тестування, необхідного для всебічної оцінки безпеки. Автоматичне тестування передбачає використання однієї моделі для генерації ворожих підказок проти іншої (або тієї ж) моделі в масштабах, що й обмінюється творчою глибиною людського тестування на обсяг і відтворюваність – корисне для регресійного тестування (підтвердження того, що раніше виправлений “витік” залишається незмінним при оновленнях моделі) та для систематичного дослідження великих областей простору підказок замість того, щоб покладатися на інтуїцію лише кількох людських тестувальників.

Зовнішнє тестування, коли лабораторія надає доступ стороннім дослідникам, академікам або організаціям з питань безпеки перед публічним випуском (така практика стає все більш поширеною, як у системі OpenAI GPT-4, так і в документації Anthropic щодо їхніх моделей), відбувається саме тому, що зовнішня сторона має інший режим загрози, культурний контекст та набір припущень, ніж внутрішня команда, яка навчала модель, а внутрішні команди схильні до структурного «сліпого місця», коли вони недостатньо перевіряють помилки, які не думали передбачити, саме ту прогалину зовнішні тестувальники можуть заповнити. Спеціалізоване тестування для категорій з особливо високим ризиком – біологічна, хімічна, радіоактивна та ядерна (CBRN) зброя – зазвичай передбачає фахівців із справжньою предметною експертизою, які працюють у контрольованих, непублічних умовах, оскільки сам процес тестування на цю помилку вимагає дослідження моделі справді небезпечними запитаннями, а протокол тестування повинен оброблятися з реальною операційною безпекою.

Відмінність між показниками бенчмарків та справною стійкістю

Основний урок, який випливає з багаторічного досвіду «червоного тестування» в галузі, полягає в тому, що оцінки безпеки на основі бенчмарків і справжня стійкість – це різні речі, хоча й пов’язані між собою. Стурбованість того, що сильний результат на бенчмарку є доказом стійкості, змушує лабораторії та користувачів, які розгортають системи, постійно перевчати. Бенчмарк – це фіксований, обмежений і відомий набір тестових випадків; модель може отримати високий бал на ньому, тому що вона справді навчилася відрізнятись у ситуаціях, коли її змушують доводити свою небезпеку, або тому, що її навчальний процес спеціально бачив шаблони невдач бенчмарка (або подібні до них) і навчився їх розпізнавати без узагальнення основних суджень. Практичні дані свідчать про те, що методи «зламу», виявлені після релізу моделі, регулярно обходять заходи безпеки, які добре показали себе на пре-релізних бенчмарках; це було б неможливо, якби бал на бенчмарку справді відображав загальну стійкість проти творчих та мотивованих атак, а не продуктивність проти вже відомого розподілу тестових випадків.

Це змусило галузь рухатися до методів оцінювання, які спеціально розроблені для вимірювання цієї різниці, а не просто оцінки результатів на бенчмарку: безперервне «червоне тестування», яке триває після релізу, а не зупиняється після запуску, програми оплати за помилки, які платять зовнішнім дослідникам за нові методи «зламу», і зростаючий інтерес до досліджень інтерпретованості, які намагаються зрозуміти, що саме модель навчилася внутрішньо щодо відмови, а не лише спостерігати її вхід-вихідну поведінку на тестовому наборі. Чесна ситуація в галузі, яка відображається в тому, як самі лабораторії описують свою роботу з безпеки, полягає в тому, що поточні методи вирівнювання надійно придушують шкідливі вихідні дані проти відомих та очікуваних атак, але поки що не забезпечують надійного гарантованого захисту від ворожого тиску в цілому, що й пояснює, чому «червоне тестування» розглядається як безперервна, постійна практика, яка триває протягом усього терміну використання моделі, а не як одноразова перевірка перед запуском, яку вважають повністю вирішеною після проходження.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.