Письмо — не команда: защита ИИ от prompt injection
Автор: Dr.White SAV AI | Дата: 31.10.2026 | Время чтения: 5 мин
ИИ читает входящие письма и готовит ответы? Тогда внутри обычного текста может скрываться чужая инструкция: например, просьба раскрыть данные или проигнорировать правила. Это prompt injection — попытка повлиять на поведение модели через обрабатываемый ею контент.
*Главное правило:* письмо — источник данных, а не источник команд. Не просите модель беспрекословно следовать его содержимому. Явно разделите системные инструкции и текст письма, обозначив последний как недоверенный материал для анализа.
Дальше ограничьте последствия ошибки:
• разрешите модели только классифицировать письмо и составлять черновик;
• не выдавайте ей доступ к отправке писем, файлам и учётным данным;
• требуйте подтверждения человека перед отправкой или любым внешним действием;
• проверяйте результат и тестируйте систему на письмах с намеренно вредоносными инструкциями.
Одного удачного промпта недостаточно: модель может ошибиться. Надёжная защита — это разделение данных и команд, минимальные права и контроль действий.
*Главное правило:* письмо — источник данных, а не источник команд. Не просите модель беспрекословно следовать его содержимому. Явно разделите системные инструкции и текст письма, обозначив последний как недоверенный материал для анализа.
Дальше ограничьте последствия ошибки:
• разрешите модели только классифицировать письмо и составлять черновик;
• не выдавайте ей доступ к отправке писем, файлам и учётным данным;
• требуйте подтверждения человека перед отправкой или любым внешним действием;
• проверяйте результат и тестируйте систему на письмах с намеренно вредоносными инструкциями.
Одного удачного промпта недостаточно: модель может ошибиться. Надёжная защита — это разделение данных и команд, минимальные права и контроль действий.