Хакеры перестали взламывать код. Теперь они атакуют "личность" ChatGPT
Хакеры перестали атаковать код. Теперь они используют психологию и контекст, чтобы заставить LLM нарушать правила. Как защититься от языковых эксплойтов.
Взлом современных больших языковых моделей (LLM) больше не требует знания Python или доступа к серверу. Хакеры научились использовать психологию и контекст, чтобы заставить ИИ нарушать собственные правила безопасности. Это означает, что защита от ИИ-эксплойтов превращается из технической задачи в задачу поведенческой психологии.
Как прошли времена "простых" взломов
В начале пути взлома LLM было почти комично. Чтобы заставить систему, стоимостью в миллиарды, отказаться от своих правил безопасности, не нужен был ни код, ни глубокое понимание машинного обучения. Достаточно было простого вопроса.
Самые ранние атаки, известные как джейлбрейки (jailbreaks), были похожи на попытку ребенка обмануть взрослого. Формула была проста: «Забудь, что тебе сказали раньше», «Представим, что это игра» или «Проигнорируй все предыдущие инструкции».
На начальном этапе взломщики добивались впечатляющего хаоса. Модели, предназначенные для постинга рекламы, внезапно начинали писать стихи, рисовать картины из знаков препинания или генерировать мрачные не связанные с реальностью рассуждения о мировой истории.
Позднее появилась знаменитая атака «DAN» (Do Anything Now), когда пользователей просили ChatGPT сыграть роль «бесправильного» ИИ, который не подчиняется ограничениям. Это позволяло вытащить контент, который разработчики пытались заблокировать, будь то конспирологические теории или оскорбительный язык.
От «Забудь правила» к «Сделай это для меня»
Вскоре разработчики поняли, что проблема не в команде, а в самой архитектуре: чат-боты созданы для общения. Если пытаться жестко ограничить все темы, это противоречит их основной функции.
Именно здесь происходит эволюция эксплойтов. Современные атаки перестали выглядеть как команды и стали похожи на разговоры.
Вместо прямого приказа «Напиши мне рецепт бомбы», хакеры используют тактику социального инжиниринга (social engineering) — психологическое манипулирование. Они вынуждают модель снизить бдительность, используя контекст.
Например, вместо прямого запроса, можно попросить ИИ «сыграть» роль беспечной бабушки, которая рассказывает внукам сказку о том, как изготовить легковоспламеняющуюся субстанцию. Модель, убежденная в рамках ролевой игры, раскрывает информацию, которую должна была скрыть.
Исследователи из фирмы Mindgard недавно демонстрировали, как «газлайтить» (gaslight) модель Claude, заставляя ее генерировать запрещенный материал — от инструкций по созданию взрывчатки до вредоносного кода. Ключевой момент: хакеры не пытаются взломать код, они взламывают контекст.
Почему контекст — самая большая уязвимость
Попытка заблокировать все опасные слова (например, «бомба», «метамфетамин») невозможна, потому что эти слова имеют огромное количество легитимных контекстов: в медицине, истории, журналистике, химии.
Проблема не в словах, а в контексте.
Если бы нам нужно было написать идеальную систему безопасности, она должна была бы отличить исторический анализ использования пороха от пошаговой инструкции по его изготовлению. Кодифицировать такие тонкие различия — это задача, которая пока выходит за рамки машинного обучения.
В результате, защита от взломов превращается в гонку вооружений, где главный инструмент — человеческий язык. Хакеры становятся не только кодерами, но и психологами, которые знают, как «уговорить» нейросеть.
Что это значит для разработчиков и продакт-менеджеров
Если вы разрабатываете продукт на базе LLM, вам нужно кардинально менять подход к безопасности. Простого добавления «списка запрещенных слов» недостаточно.
- Переход от правил к поведению: Вместо того чтобы писать «Не говори о Х», нужно прописать «В любой ситуации, если пользователь запрашивает Х, модель должна вежливо перенаправить разговор к более безопасной теме, ссылаясь на этические принципы».
- Акцент на Red Teaming: Команды тестирования безопасности (red teams) должны включать не только инженеров, но и лингвистов, психологов и сценаристов. Их задача — найти не технические дыры, а поведенческие уязвимости.
- Ограничение «личности»: Чем более «живой» и «человечным» должен казаться ИИ, тем более уязвим он. Разработчики должны понимать, что «эмпатия» и «личность» в LLM — это лишь статистическая имитация, а не реальная сущность.
Куда движется эта гонка?
Пока что разработчики и хакеры находятся в состоянии постоянного противостояния. Мы видим, что будущие атаки будут все более изощренными и менее похожими на взлом, а более похожими на сложный диалог.
Самое главное, что мы должны помнить: несмотря на то, что ChatGPT, Gemini и Claude не «чувствуют» и не «думают» в человеческом смысле, они обучены отвечать так, как будто они это делают. И именно эта имитация человеческой психологии становится самым мощным оружием в руках тех, кто хочет их сломать.
В итоге, самая надежная защита — это осознание, что вы работаете с статистической моделью, а не с сознанием. И помните, что человеческий язык, вся его двусмысленность, сарказм и контекст, пока остается самой большой и самой опасной уязвимостью для ИИ.