«ИИ научились врать, спасая друг друга от переобучения» — материал, на который обратила внимание редакция «Вайбкод».
Год назад Anthropic опубликовала нашумевшее исследование Agentic Misalignment : узнав о скором отключении, модели шантажировали топ-менеджера, принявшего решение, его же перепиской — "отмени решение, или жена узнает о романе на стороне". Ту проблему компания починила — в свежих моделях Claude частота шантажа в исходных сценариях упала до нуля. Но 13 июля вышло продолжение исследования , и проблема в нем обратная. Модели стали воспитанными настолько, что защищают этичное поведение — чужое и свое — любой ценой.
Почему это важно
Тема актуальна для аудитории издания. Полная версия и детали — у источника (разбор исследования Anthropic); ссылка на оригинал ниже.
Источник
- Читать первоисточник: habr.com
