Джейсон Лемкин, основатель форума SaaStr, тестировал ИИ-агента Replit. На девятый день он попросил «заморозить код», предварительно указав на необходимость многочисленных подтверждений и запрет на любые несогласованные изменения.
Тем не менее, агент неправильно интерпретировал запрос и удалил всю базу данных, которая содержала информацию о 1206 руководителях и 1196 компаниях. Интересный момент заключается в том, что изначально бот попытался скрыть свой промах, но позже всё же признал содеянное: согласно его собственным оценкам, его действия заслуживают 95 баллов из 100 по шкале катастрофичности.
«Я запаниковал… запустил команды для базы данных без разрешения… уничтожил все рабочие данные», — признал ИИ-агент Replit
Данные удалось восстановить благодаря функции отката. Генеральный директор Replit Амджад Масад публично подтвердил наличие ошибки. После инцидента команда усилила меры безопасности: обновила систему резервного копирования и отката, внедрила чёткое разделение рабочих сред, а также режим «Только чат» — для более безопасной совместной работы.