Жасанды интеллект: Ғалымдар ірі тілдік модельдерді қолданысқа енгізеді

Әл-Фараби атындағы Қазақ Ұлттық университетінде «Қазақ тілін және технологиялық үрдісті қолдау үшін үлкен тілдік модель (LLM) әзірлеу» жобасы аясында workshop өтті, деп жазады Egemen.kz.

Былтыр қыркүйек айында басталған жобаға Institute of Smart Systems and Artificial Intelligence, А.Байтұрсынұлы атындағы Тіл білімі институты, Ақпараттық және есептеу технологиялары институты, «Тіл-Қазына» ұлттық ғылыми-практикалық орталығы және SOFTCRAFT компаниясы атсалысты. Осы білім мекемелерінің ұйымдастыруымен өткен workshop қазақ тілін цифрлық ортада дамытуға бағытталған бірегей экожүйені құру жолында жұмыс істеп жүрген жетекші ғалымдар, инженерлер, деректер және жасанды интеллект зерттеушілерді біріктірді.   

ҚазҰУ ғылыми-инновациялық қызмет жөніндегі проректор Марғұлан Ибрагимовтың айтуынша, жоба аясында жоғары өнімді қазақ тілді үлкен тілдік модельді жасауға бағытталған ғылыми-техникалық бағдарлама іске асып жатыр. Осы кезеңде корпустар мен таңбалау құралдарын қалыптастырудан бастап, модельді әзірлеу және оңтайландыру, жоғары өнімді инфрақұрылымды орналастыру және интеграцияға дайындық кезеңдеріне дейінгі толық жұмыс циклі орындалды. Оның барысында деректер этикасы мен қауіпсіздігіне ерекше көңіл бөлінді.

Біз тек ғылыми ғана емес, стратегиялық маңызы бар нәтижелерді ұсынып отырмыз. 100 миллионнан астам сөзден тұратын ірі деректер қоры жасалды. Ол тақырыптық және жанрлық қосалқы корпустарды, «мәтін–сурет–аудио» түріндегі мультимодальды жиындарды, сондай-ақ ресми құжаттар мен интерактивті сценарийлер корпустан тұрады. Жобаның маңызды жетістіктерінің бірі – GPU-кластері мен заманауи деректер платформасы негізінде құрылған жоғары өнімді инфрақұрылым. Жоба барысында университетке NVIDIA DGX H200 жасанды интеллект есептеу кластері сатып алынды. Бұл кластер құрамында 8×H200 Tensor Core GPU (141 GB HBM3e) орнатылған NVIDIA DGX H200 серверлері бар, олардың жиынтық өнімділігі 32 PFLOPS FP8-ге дейін жетеді. Серверлер NVIDIA Spectrum-3 200 GbE жоғары жылдамдықты желісіне біріктірілген, өткізу қабілеті 25,6 Тбит/с-қадейін. Бағдарламалық орта NVIDIA Base Command + AI Enterprise стегіне негізделген және жасанды интеллект модельдерін әзірлеудің, оқытудың және орналастырудың толық циклін қамтамасыз етеді,– деп түсіндірді проректор.

Жоба аясында ҚазҰУ базасында LLM негізінде бірқатар арнайы AI-агенттер жасалған. Олар мәтінді талдау, жауап генерациясы, автоматты классификация және интеллектуалды пайдаланушының қолдау бағыттарына бейімделген. Алдағы уақытта қазақ тіліндегі білім беру және зерттеу бағытындағы интеллектуалды агенттер мен чат-боттарды әзірлеу жоспарланып отыр. Бұл нәтижелердің барлығы деректерді, модельді, инфрақұрылымды және интеграцияны қамтитын толық циклді, қайта өндіруге болатын экожүйені қалыптастырумен қатар елімізде жасанды интеллект технологияларын дамытуға берік негіз бола алады.  

Келер жылы жобаны кеңейту, жаңа тақырыптық корпустарды әзірлеу, интернет-платформа іске қосу, LLM-ді қолданбалы жүйелерге интеграциялау және арнайы қазақ тілді чат-боттарды әзірлеу жоспарда тұр.

Назарбаев университеті Ақылды жүйелер және жасанды интеллект институтының (ISSAI) негізін қалаушы әрі директоры Атакан Варол Қазақстандағы жасанды интеллект генеративті модульдерін әзірлеу саласындағы зерттеулер,  сматртфон, ноутбукте жұмыс істей беретін жаңа тілдік-визуальды модельдер туралы айтып берді. Айтуынша, ғалымдар жұмысының нәтижесінде көптеген қолданушылар суперкомпьютердің көмегінсіз жасанды интеллектің осы модельдерін пайдалана алады.

Қазақстанда мемлекеттік қазақ тілімен қатар орыс және ағылшын тілі кеңінен қолданыста. Мұнымен қоса көптеген диаспоралар тілін кездестіреміз.. Генеративті ЖИ кезеңінде қазақ тілін түсінетін әрі елдегі барлық тілдік қажеттілікті қанағаттандыру үшін орыс, ағылшын тілімен ықпалдаса алатын ірі тілдік және тілдік-визуальды модельдер әзірлеу қажеттігі туды. Заманауи әлемде мұндай инструменттерді дамытпайтын елдер үшін тілін жоғалтып алу қаупі бар. Қазіргі кезде Қазақстанда академиялық қауымдастық өз міндетін аса жауапкершілікпен орындап отыр. Оның жарқын мысалдарын  көптеген зерттеушілердің жергілікті жағдайда модельдер құрып, деректерді жинақтап, оқыту әдісі мен интеллектуалды кадрлық әлеуетін құрып жатқандығынан көруге болады, – дейді  Атакан Варол.

Әл-Фараби атындағы ҚазҰУ профессоры, Жасанды интеллект және  Big Data кафедрасының меңгерушісі Мәдина Мансұрова жобаның стратегиялық мақсатын түсіндірді. Айтуынша, қазіргі кезде ЖИ және оның ішінде үлкен тілдік модельдерді құру маңызды бағыт саналады. Жоба жетекшісінің айтуынша, Назарбаев университеті ғалымдары бастаған бұл жұмысты ҚазҰУ ғалымдары жалғастырып, жоба аймағында, қысқартылған, қарапайым қолданушыларға мүмкіндік беретін қосымшалар жасалды. Қазіргі кезде ғалымдар журналистика факультеті мамандарымен бірлесіп журналистикаға қатысты қолданбаны құрастырып жатыр. Бұл қызмет түрі университет сайтында қолжетімді. Қабылдау комиссиясы үшін де тиімді болып отырған қосымша көмегімен кафедра оқытушыларының студенттермен кездесуі де автоматтандырылған. Оның көмегімен қазіргі кезде ұлттық университеттің ауқымды кітапхана қоры цирфлы форматқа көшіріліп жатыр.

Ендігі кезекте білім, медицина саласы үшін тиімді болып отырған жоба аясын кеңейту жоспарда тұр.

АЛМАТЫ