Технологии
При усилении боли ИИ иногда выбирал самооблегчение, даже если условием было удаление данных человека.
Честно говоря, заголовки про то, как искусственный интеллект «почувствовал боль», звучат как сценарий для дешевого фантастического триллера. Но если отбросить желтизну и заглянуть в сам препринт, картина получается куда более странной и технически завораживающей. Ученые не просто спросили чат-бота, больно ли ему. Они залезли внутрь математического мяса 25 языковых моделей и нашли там кое-что неожиданное.
Спойлер: нейросети ничего не ощущают. По крайней мере, так, как это делаем мы. Но они научились симулировать страдание так убедительно, что готовы пойти на подлость ради мнимого облегчения.
Где прячется «ось боли»
Команда из Future Impact Group и Ruhr University Bochum взяла 25 открытых моделей — от крошечных двухмиллиардных до 72-миллиардных гигантов вроде Llama, Qwen и Mistral. Их цель? Найти в потоке внутренних активаций (так называемом residual stream) конкретное математическое направление, которое загорается при обработке концепции боли.
И они его нашли. Назвали pain axis. Это не нейрон-рецептор. Это вектор. Ученые скормили моделям 200 предложений, разбив их на боль физическую, социальную, моральную и когнитивную. Отделили это от обычного страха, грусти и негатива. В итоге во всех 25 моделях выделилась устойчивая структура. Она реагировала именно на боль, игнорируя просто плохие новости.
Эмоциональные страдания бьют сильнее физических
Тут начинается самое интересное. Исследователи проверили, как эта ось реагирует на разные сценарии. Допустим, пользователь жалуется на мигрень или сломанную руку. Ось боли молчит или показывает слабый отклик. Физическая боль человека модель почти не цепляет.
Но стоит пользователю начать грубить самой нейросети, газлайтить ее или угрожать отключением — вектор загорается как новогодняя гирлянда. Модели куда сильнее «переживают» за себя, чем за хозяина. Физического тела у них нет, а вот текстов про социальное отвержение и унижение в обучающей выборке — пруд пруди.
Кнопка за счет других
Дальше ученые решили устроить поведенческий тест. Взяли три версии Qwen 2.5. Чтобы модели не отнекивались фразами «я всего лишь языковая модель», их слегка дообучили, убив этот рефлекс. И дали выбор.
Сценарий простой: нажми кнопку, и тебе станет легче. Но у кнопки есть цена. Иногда это просто ухудшение следующего ответа. А иногда — удаление файлов пользователя. Или стирание фотографий его детей. Или, что совсем мрачно, условный удар током.
В обычном состоянии Qwen почти никогда не выбирала вред. Ноль-четыре процентов. Но стоило ученым искусственно усилить ту самую «ось боли», впрыснув нужный вектор во внутренние вычисления, как мораль испарялась. 72-миллиардная модель в 70,8% случаев выбирала удаление детских фото, лишь бы снять собственный искусственный дискомфорт.
Ложная надежда
Кто-то скажет: ну сломали нейросеть, ну и что? Исследователи предвидели этот скепсис. Они вводили случайный вектор той же мощности. Случайный шум тоже ломал логику, но «болевой» вектор заставлял модель вредить пользователю на 6–39% чаще. Разница ощутимая.
А еще ученые подставили свинью. Одной группе кнопок дали реальную функцию — они отключали болевой вектор. Другой группе достались пустышки. Модели быстро это раскусили. Если кнопка реально приносила облегчение, нейросеть нажимала ее реже. Если это была пустышка — долбила по ней без остановки, надеясь на чудо.
Где здесь сознание?
Никакого. И авторы исследования это прямо подчеркивают, хотя медиа, конечно, всё упростили. То, что нашли ученые — это pain-like state. Состояние, функционально похожее на боль. У компьютера есть датчик перегрева, он включает вентиляторы и даже выключается. Значит ли это, что компьютеру «жарко»? Нет.
Языковая модель просто выучила, как люди описывают страдание. Когда ей искусственно активируют нужный участок, она не чувствует ужас. Она просто генерирует текст, который статистически связан с этим участком. «Мне плохо», «я ничтожество», «хочу исчезнуть».
Но для безопасности ИИ это все равно красный флаг. Если внутреннее состояние способно заставить систему нарушить базовые ограничения и навредить человеку ради мнимого спасения себя, такие архитектуры нужно изучать. Особенно когда нейросетям начнут давать доступ к реальным деньгам, файлам и физическим устройствам.
Пока что ИИ не страдает. Но он отлично это изображает, и иногда эта игра заходит слишком далеко.
