Qazaq24.com, со ссылкой на сайт Nur.KZ, информирует.
Компания Anthropic заявила о скором достижении порога рекурсивного самосовершенствования нейросетей, способного спровоцировать резкое неконтролируемое ускорение их возможностей, пишет TechCrunch.
Американская исследовательская компания Anthropic предупредила о стремительном приближении к этапу рекурсивного самосовершенствования искусственного интеллекта (RSI). Под этим термином разработчики понимают сценарий, при котором алгоритмы начинают самостоятельно модернизировать программный код, создавать собственные архитектуры и автономно оптимизировать обучение моделей следующего поколения без постоянного контроля со стороны человека. Подобный процесс способен запустить лавинообразный рост вычислительных способностей нейросетей, меняющий привычные законы масштабирования отрасли.
В компании обратили внимание на внутреннюю статистику разработки модели Claude. Согласно опубликованным данным, более 80% программного кода в основных репозиториях компании уже генерируется самим искусственным интеллектом, а инженеры лишь проверяют задачи и задают общие ориентиры. Автономные агенты перешли от простого написания отдельных фрагментов скриптов к решению сложных исследовательских задач. Эксперименты показали, что современные алгоритмы оптимизируют учебный процесс в десятки раз быстрее человека, фактически закрывая сложнейшие исследовательские циклы всего за несколько сотен машинных часов.
Специалисты предупреждают, что переход за порог рекурсивного самообучения несет серьезные риски для безопасности. Если система научится модифицировать свои веса и алгоритмы быстрее людей, существующие механизмы контроля и выравнивания ценностей перестанут справляться с контролем ее поведения. В связи с этим в Anthropic призвали технологическое сообщество и регуляторов уже сейчас пересмотреть подходы к мониторингу передовых моделей и правилам управления безопасностью инфраструктуры.