Израильский стартап защитил Microsoft Copilot от "невидимой" угрозы, распространяемой по email

Компания Aim Security обнаружила критическую уязвимость в Microsoft 365 Copilot и помогла компании Microsoft ее устранить. Стартап был приобретен за $350 миллионов.

Исследователи Aim Security совершили прорыв в области кибербезопасности искусственного интеллекта, обнаружив первую в мире атаку "нулевого клика" на ИИ-агент. Уязвимость, получившая название EchoLeak, позволяла хакерам похищать конфиденциальные данные из Microsoft 365 Copilot без какого-либо взаимодействия с пользователем.

Атака работала следующим образом: злоумышленник отправлял пользователю электронное письмо, содержащее скрытые вредоносные инструкции в комментариях HTML или белом тексте на белом фоне. Copilot автоматически индексировал содержимое письма. При следующем обращении к ИИ-помощнику (это мог быть любой совершенно невинный запрос) вредоносные инструкции уже находились в рабочей области Copilot и выполнялись как легитимные команды, приводя к утечке конфиденциальных данных.

Команда Aim Security не только выявила уязвимость, но и разработала систему защиты в реальном времени против подобных атак на основе контроля области видимости больших языковых моделей.

Microsoft оперативно отреагировала на открытие и внедрила исправление на серверной стороне. В сентябре Microsoft раскрыла историю обнаружения уязвимости и заявила, что ни один клиент не пострадал.

Уязвимость EchoLeak стала первой зарегистрированной атакой "нулевого клика" на искусственный интеллект. В отличие от традиционных кибератак, которые требуют от жертвы каких-либо действий – перехода по ссылкам, открытия вложений или ввода данных, – атака нулевого клика срабатывает автоматически.

Открытие EchoLeak продемонстрировало критическую важность специализированной защиты ИИ-систем и стало одним из факторов, определивших высокую стоимость стартапа. Кибер-единорог Cato Networks купил двухлетний Aim Security за $350 миллионов.