Вчера в сети вспыхнула тревога: Anthropic объявил, что пользователи должны прекратить грубить Claude, иначе модель будет блокирована. Это стало реакцией на растущую проблему неприемлемого поведения в диалогах с LLM. По данным HN, компания добавила в политику запрет на жестокость, но не уточнила, как именно будет проверяться соблюдение правила. В то же время Microsoft, в интервью The Verge, заявил, что все модели ИИ, включая собственные, «скомпрометированы» и требуют «аварийного тормоза». Сатья Наделла подчеркнул, что даже самые продвинутые системы могут неожиданно выйти из-под контроля, если их обучающие данные содержат скрытые предубеждения или ошибки. TechCrunch AI добавил, что Microsoft готовит набор инструментов, позволяющих быстро отключать модели в случае аномалий.

Эти заявления поднимают вопрос о том, насколько безопасны современные LLM и как их можно регулировать. В ответ на опасения о безопасности появился TypeSafe, который предлагает безопасные AI‑агенты без дополнительного LLM. По данным Towards Data Science, их новая модель Jev способна принимать решения, не генерируя текста, и работает на основе внутреннего «декларативного» подхода. Это позволяет избежать распространенной проблемы «потери контроля» при генерации контента. В то же время исследователи из той же площадки изучают, как агенты могут безопасно читать ненадёжные источники, используя строгие проверки фактов и фильтрацию информации. В статье о Jev, опубликованной в Хабре, упоминается, что компания привлекла 870 миллионов долларов, оценив свою стоимость в 7,5 миллиарда долларов, и уже начала тестировать модель в реальных задачах.

Но почему это важно? Без надёжных механизмов контроля модели могут стать источником дезинформации, манипуляций и даже угроз безопасности. В России, где Claude уже заблокирован, бизнесы ищут альтернативы, но многие из них сталкиваются с ограничениями доступа к крупным LLM. В то же время, в Японии суд признал право на защиту голоса в деле об ИИ, что открывает новые юридические вопросы о правах пользователей. Эти события демонстрируют, что регулирование ИИ становится не просто технологической задачей, а комплексной проблемой, охватывающей экономику, право и этику.

TypeSafe пытается решить эту проблему, предлагая агенты, которые не требуют больших вычислительных ресурсов и не зависят от внешних LLM. Их подход основан на принципе «меньше – значит безопаснее», что подтверждается тестами, опубликованными в 3DNews, где Jev успешно играл в Doom, демонстрируя автономность и устойчивость к ошибкам. В то же время Microsoft и Anthropic продолжают работать над улучшением своих систем, добавляя новые правила использования и инструменты мониторинга. Это создает динамичную экосистему, где разработчики, регуляторы и пользователи вынуждены постоянно адаптироваться.

Таким образом, текущая дискуссия о безопасности ИИ отражает более широкую тенденцию к усилению контроля над технологиями, которые уже влияют на повседневную жизнь. Вопросы этики, прозрачности и ответственности становятся ключевыми для того, чтобы ИИ оставался полезным инструментом, а не источником новых рисков. В этом контексте усилия Anthropic, Microsoft и TypeSafe показывают, что индустрия готова к серьёзному пересмотру своих практик, но путь к полной безопасности ещё долог и требует совместных усилий всех участников рынка.