Copilot удалось убедить раскрыть детали атаки на собственную защиту

Исследователи продемонстрировали, как Copilot можно заставить раскрыть детали потенциальной атаки на собственные механизмы. По их словам, речь шла не о взломе серверов, а о манипуляции контекстом и инструкциями модели.

Эксперимент напоминает, что генеративные ассистенты требуют отдельного контроля доступа и фильтрации вывода. Даже без компрометации самой системы модель может выдать чувствительные сведения, если её окружение настроено слишком доверчиво.

Первоисточник: https://www.pcgamer.com/software/ai/copilot-was-bamboozled-into-revealing-how-to-hack-itself-security-researchers-claim-copilot-wasnt-breached-it-was-played/