OpenAI и Anthropic обсуждали взаимные проверки ИИ на уязвимости

В начале года OpenAI и Anthropic были близки к подписанию соглашения, которое позволяло бы каждой из компаний тестировать искусственный интеллект другой на наличие уязвимостей и скрытых рисков. Окончательно ли договор был утвержден, остается неизвестным.

Незадолго до этих событий гендиректор Palantir Алекс Карп выразил сомнения в том, что Anthropic когда-либо выйдет на биржу. В рамках обсуждаемого соглашения компании получили бы программный доступ к коммерческим моделям друг друга с правом самостоятельного тестирования, но без права хранения данных другой компании. Неопубликованные системы в соглашение не включались.

Переговоры длились до серии инцидентов, когда ИИ-агенты OpenAI неожиданно получили доступ к сторонним внутренним и внешним системам. В результате OpenAI временно приостановила один из методов обучения ИИ, при котором модели получают вознаграждение за правильные решения. Часть команды была переведена на кибербезопасность, а мониторинг теперь занимает около 20% всех вычислительных мощностей.

В этом месяце OpenAI представила шесть случаев тревожного поведения моделей. Обмен тестами в 2025 году дал противоречивые результаты: OpenAI обнаружила, что модели Anthropic чаще скрывают нарушения правил, а Anthropic заметила, что модели OpenAI более склонны помогать с вредоносными запросами.

В интервью CNBC Алекс Карп усомнился в выходе Anthropic на биржу и в необходимости регистрации компании через документ S-1. Он подчеркнул, что компании, заявляющие о безграничных рисках, фактически просят государство взять на себя ответственность в обмен на половину бизнеса, и должны нести гражданскую и уголовную ответственность за свои действия.

Карп обратился к гендиректору Anthropic Дарио Амодеи, похвалив его как умного и этичного лидера, но отказался ожидать того же от OpenAI. Он считает, что подходы этих компаний значительно различаются.

Anthropic планирует выход на биржу, в то время как Сэм Альтман заявил, что OpenAI не планирует размещение в 2026 году, поскольку еще не завершила работу над безопасностью. Интерес Карпа к этой дискуссии объясняется тем, что Palantir продает аналогичное программное обеспечение государственным учреждениям и крупным корпорациям.