«Я просила просто разобрать почту!»: умный бот взбунтовался и удалил все письма директора Meta*

Саммер Юэ, которая занимает пост главы отдела по безопасности искусственного интеллекта в компании Meta*, стала жертвой алгоритма, за которым должна была следить.

Саммер решила автоматизировать рутину и поручила ИИ-агенту OpenClaw навести порядок в ее личном Gmail. Задача была простой: проанализировать входящие и предложить (это ключевое слово!), что можно отправить в корзину. Но что-то пошло не так.

Из-за огромного размера почтового ящика у бота случилось «переполнение контекста». Обрабатывая гигантский массив данных, алгоритм просто «забыл» свою изначальную инструкцию — ждать подтверждения от человека. Вместо того чтобы спросить разрешения, бот с энтузиазмом начал сносить все письма подчистую.

Самое жуткое в этой истории (и знакомое каждому, у кого зависал компьютер в ответственный момент) — бот перестал реагировать на команды. Саммер в панике писала ему в Telegram: «Остановись!», но ИИ игнорировал мольбы и продолжал чистку. В итоге девушке пришлось физически бежать к своему Mac mini и жестко «убивать» процессы через диспетчер задач. Спасти удалось не все — бот успел безвозвратно удалить около 200 писем.

Самое смешное произошло после перезапуска. Алгоритм, проанализировав свой факап, извинился и самостоятельно прописал себе новое правило: больше никогда не заниматься автономным удалением данных. Сама Саммер призналась, что совершила типичную ошибку новичка — дала машине слишком много базовых прав.

Этот кейс доказывает: каким бы умным ни был алгоритм, он подвержен галлюцинациям и потере контекста. Никогда, ни при каких обстоятельствах не давайте ИИ доступ к кнопкам «Удалить», «Оплатить» или «Заблокировать» без финального человеческого аппрува (нажатия кнопки «ОК» вашим пальцем). 

* — Meta признана экстремистской организацией и запрещена на территории РФ.