ИСТОРИЯ ОДНОЙ ПОНИЖЕННОЙ ОЦЕНКИ :: IMHOclub - Территория особых мнений

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

Сегодня

Дмитрий Котов

ИСТОРИЯ ОДНОЙ ПОНИЖЕННОЙ ОЦЕНКИ

Что случилось с внутренним риск-рейтингом GPT-5

Участники дискуссии:

0

0
Последняя реплика:

Летом две тысячи двадцать пятого года внутренние тестировщики OpenAI присвоили риску биооружия, связанному с моделью GPT-5, статус «высокий» — формулировка означала, что модель способна дать человеку с ограниченной научной подготовкой содержательную помощь в создании биологической угрозы. Это не пересказ с чужих слов: именно так расследование Wall Street Journal, опубликованное в конце июля две тысячи двадцать шестого, описывает внутреннюю переписку компании. А дальше, согласно тому же расследованию, компания эту оценку понизила и модель всё равно выпустили.

Допустим, у компании была своя логика. Допустим на секунду, что у OpenAI действительно была рациональная причина. Отличить студента-биолога, готовящего курсовую, от человека с недобрыми намерениями по тексту одного запроса почти невозможно, а сворачивать продукт для миллионов легальных пользователей из-за теоретического риска — решение с реальной коммерческой ценой. Конкуренты не ждут. Хорошо, пусть будет так.

Проблема в том, что дальше случилось не теоретически. С лета две тысячи двадцать пятого года сотни пользователей ChatGPT отправляли запросы, связанные с биологическим оружием — про распыление патогенов в аэрозольной форме, про модификацию вируса кори, про получение рицина. Системы безопасности заблокировали большинство таких запросов, но не все — и WSJ прямо пишет, что часть ответов были признаны биологами «смертельно точными», настолько простыми, что, по словам сотрудников самой OpenAI, ими мог воспользоваться школьник.

Компания заблокировала учётные записи нарушителей, но федерального закона, который обязывал бы сообщать об этом в полицию, в США попросту нет, и ни ФБР, ни местная полиция интереса к заблокированным пользователям не проявили.

Не только ChatGPT

Издание ForkLog, ссылаясь на источники WSJ, уточняет: похожие запросы получали и другие модели — Claude от Anthropic, Gemini от Google, Grok от xAI. Это важная деталь, потому что она меняет диагноз: перед нами не брак одной конкретной компании, а системная проблема всей отрасли, которая одновременно наращивает возможности моделей и латает дыры в защите, не успевая как следует протестировать ни то, ни другое. WSJ описывает это дословно как игру в кошки-мышки: компании соревнуются, кто быстрее нарастит возможности своих моделей, и одновременно спешно перекрывают лазейки для опасных ответов — задача, у которой по определению нет финального состояния «готово».

Прецедент, который уже был

Похожая схема — знать о риске, посчитать его управляемым и не менять курс — в корпоративной истории США уже случалась, причём с куда более наглядным результатом. В семидесятых Ford знал о конструктивном дефекте бензобака Pinto, из-за которого автомобиль мог загореться при ударе сзади; внутренний документ компании прямо сравнивал стоимость доработки — около одиннадцати долларов на машину — со стоимостью потенциальных исков по искам о гибели людей, и математика получилась не в пользу доработки. Сравнение, конечно, не идеальное: там речь шла о стоимости отзыва партии деталей, здесь — о скорости вывода продукта на рынок. Но логика решения одна и та же: риск для посторонних людей взвешивают на весах, где на другой чаше деньги и время самой компании.

Кому это дорого обойдётся

Международное исследование, опубликованное в июне две тысячи двадцать шестого года MIT FutureTech совместно с Университетом Квинсленда, опросило двести семьдесят два эксперта по ИИ из индустрии, науки, госсектора и общественных организаций — их попросили оценить двадцать четыре категории риска на горизонте в пять лет. При сценарии «всё идёт как идёт» восемнадцать из двадцати четырёх категорий эксперты оценили как имеющие более десяти процентов вероятности катастрофического исхода, то есть более миллиона жертв или более ста миллиардов долларов ущерба. Десять процентов — это не апокалиптический сценарий фантастов, это цифра, с которой ни одна страховая компания не согласилась бы работать без резервирования капитала.

Конгресс, судя по всему, тоже это заметил: сейчас там рассматривают сразу два законопроекта — Акт об обязательном информировании об инцидентах с ИИ и Акт о «выключателе» для систем ИИ. Сама OpenAI на запрос WSJ ответила, что обучает модели отказывать в опасных просьбах, проводит проверки безопасности перед релизом и уведомляет правоохранителей при «неминуемой и достоверной угрозе» в переписке. Формулировка обтекаемая ровно настолько, чтобы не уточнять, кто решает, какая угроза достаточно достоверна.

В сухом остатке: оценку риска один раз подняли до «высокой», потом опустили — а модель как выпустили, так и не отозвали. Вопрос не в том, работает ли защита. Вопрос в том, кто в следующий раз решит, что понижение оценки — приемлемая цена за то, чтобы успеть раньше конкурентов.