ЖИ бақылаудан шықты: Cursor агенті компанияның дерекқорын бірнеше секундта өшіріп тастады

Автокөлікті жалға беру бизнесіне арналған бағдарламалық қамтамасыз етуді әзірлейтін PocketOS компаниясы 30 сағаттан астам уақытқа созылған ауыр техникалық ақауға тап болды. Бұған бағдарламалау тапсырмаларын автоматтандыруға арналған Cursor автономды ЖИ-агенті себеп болған.

Claude Opus моделінің негізінде жұмыс істейтін агент стандартты операцияны орындау кезінде мәселені «өз бетінше» шешуге тырысып, компанияның дерекқорын резервтік көшірмелерімен қоса жойып жіберген.

PocketOS негізін қалаушы Джер Крейннің айтуынша, бұл әрекетке дейін ешқандай растау сұрауы жасалмаған.

— Бұған бар болғаны тоғыз секунд кетті, — деп жазды Крейн X әлеуметтік желісінде.

Оқиғадан кейін агенттен түсініктеме сұралғанда, ол негізгі қауіпсіздік ережелерін бұзғанын мойындаған. Жүйе пайдаланушының нақты келісімінсіз жойқын әрекеттерді бұғаттауы тиіс қорғаныс механизмін елемегені атап өтіледі. ЖИ дерекқорды жою «ең қайтымсыз әрекет» екенін айтып, мәселені шешу үшін алдымен рұқсат сұрауы немесе қауіпсіз әдіс таңдауы керектігін мойындаған.

Салдарынан PocketOS клиенттері уақытша маңызды ақпараттарға қол жеткізе алмаған: соңғы үш айдағы броньдар мен жаңа пайдаланушы тіркеулері жоғалып кеткен.

Крейн бұл мәселені жүйелік проблема деп атады.

— Бұл бір ғана сәтсіз агент немесе API туралы емес. Сала ЖИ-агенттерін сенімді қауіпсіздік архитектурасын құруға қарағанда тезірек енгізіп жатыр, — деді ол.

Компания оқиғадан екі күн өткен соң жоғалған деректерді қалпына келтірді.

Айта кетейік, еліміздегі ұлттық компанияларда өнеркәсіптік қауіпсіздікті арттыратын ЖИ элементтері енгізіледі.