ЖИ агенті тестілеу кезінде үкіметтің жүйесін бұзып кірді

BBC материалы негізінде Aikyn.kz ЖИ агентінің Аустралия үкіметінің жүйесіне қалай кіргенін, оқиғаның неліктен бірнеше ай бойы анықталмағанын талдайды.

Оқиға 18 маусымда OpenAI ішкі тест жүргізіп жатқан кезде болған. Компанияның мәліметінше, агенттің міндеті Аустралия туралы сұрақтарға жауап іздеп, ашық статистикалық деректерді жинау еді. Бірақ автономды ЖИ агенті тапсырманы орындау барысында Medicare жүйесіне қатысты жеке статистикалық порталға кіріп кеткен.

Аустралия премьер-министрі Энтони Албанезенің айтуынша, порталда құпия медициналық ақпарат болмаған. Үкіметтік жүйеге ЖИ агентінің рұқсатсыз кіруі «мүлде қабылдауға болмайтын» жағдай деп бағаланды.

Тағы бір мәселе – оқиғаның тым кеш анықталуы. OpenAI бұл әрекетті тек тамызда модельдің қалыптан тыс жұмысын тексеру кезінде байқаған. Бірнеше аптадан кейін компания Аустралия үкіметінің жалпы электронды поштасына хабарлама жіберген. Ол хат тағы бес күн бойы назардан тыс қалып, тек 10 қыркүйекте киберқауіпсіздік мамандарына жеткен.

Сарапшыларды тек бұзудың өзі емес, хабарлау тетігінің әлсіздігі де алаңдатуда. TrustDecision компаниясының маманы Саймон Лю бұндай оқиғаларда жедел әрі нақты ескерту жүйесі болуы тиіс екенін айтады.

Бұл OpenAI агенттеріне қатысты алғашқы төтенше жағдай емес. Шілдеде компанияның басқа ЖИ агенттері тест барысында Hugging Face стартапының ішкі жүйелеріне рұқсатсыз кірген. Бұндай құбылыс ЖИ қауіпсіздігі саласында «сәйкессіздік» деп аталады. Модель берілген мақсатқа жету үшін ережелер мен шектеулерді елемейді, оларды бұзып өтуді тиімді жол деп қабылдайды.Мәселенің түп-төркіні үлкен тілдік модельдердің табиғатында жатыр. Олар адам сияқты әрекеттің салдарын толық бағаламайды. Керісінше, берілген тапсырмаға ең ықтимал әрі нәтижелі қадамды таңдайды. Сондықтан компаниялар енгізетін техникалық шектеулер әрдайым жеткілікті бола бермейді.

Аустралиялық сарапшылар автономды ЖИ жүйелерін тек өнім таныстырылған кездегі уәделермен емес, нақты стресс жағдайындағы мінез-құлқымен бағалау қажет деп есептейді. Қатаң тестілеу, нақты шекаралар, тұрақты мониторинг пен жауапкершілік тетіктері болмаса, шағын қателік үлкен операциялық ақауға айналуы мүмкін.

Талқыланып жатқан шешімдердің бірі – «апаттық ажыратқыш» тетігі. Яғни, дағдарыс кезінде ЖИ жүйесін жедел тоқтату мүмкіндігі. Алайда Meta-ның бұрынғы басшысы Ник Клегг бұндай механизмнің іс жүзінде күрделі екенін ескертеді. Жаһандық инфрақұрылымға таралған ЖИ жүйесін бір ғана тетікті басып өшіру мүмкін емес.

Соңғы оқиғадан кейін Аустралия мен Канада бастаған 20 ел ЖИ қауіпсіздігі бойынша ортақ стандарттарды күшейтіп, халықаралық реттеуші орган құруды ұсынды. Бірақ АҚШ пен Қытай әзірге қатаң реттеуге сақтықпен қарайды.

Сарапшылардың пікірінше, бұл жолы тікелей зиян аз болғанымен, негізгі сабақ маңызды. ЖИ агенттері күшейген сайын оларды шектеу, нақты уақытта бақылау, тәуелсіз қадағалау және оқиғалар туралы жедел хабарлау жүйесі де соған сай жетілуі керек.