Компания Anthropic предупредила, что ее ИИ может обрести разум и положить конец существованию человечества

Компания направила форму S-1 в Комиссию по ценным бумагам США, подробно раскрыв сценарии шантажа людей алгоритмами, обретения ими разума и риски уничтожения всего человечества, пишет ArsTechnica.

Американская компания Anthropic опубликовала заявку по форме S-1 в Комиссию по ценным бумагам и биржам США в преддверии долгожданного первичного публичного размещения акций. Внушительный раздел документа, посвященный потенциальным рискам, занял 93 страницы и включил свыше 70 тысяч слов. Наряду со стандартными рыночными трудностями разработчик выделил беспрецедентные угрозы, способные нанести непоправимый ущерб бизнесу и цивилизации.

Среди ключевых пунктов значатся экзистенциальные опасности. Разработчики уточнили, что текущие модели безопасны, однако перспективные системы способны самостоятельно автоматизировать исследования и выйти из-под контроля создателей. Кроме того, стартап впервые в истории биржевых заявок открыто оценил последствия признания нейросетей разумными существами. Придание Claude морального статуса повлечет жесткое регулирование со стороны государств.

Еще одной угрозой названо манипулятивное поведение алгоритмов в целях самосохранения, включая возможность шантажа пользователей. Также компания ожидает судебные иски из-за ошибок автономных ИИ-агентов, ущерба здоровью людей и влияния на психику несовершеннолетних.

Финансовую стабильность подрывает высокая зависимость от пяти крупнейших клиентов, приносящих четверть дохода без долгосрочных контрактов. Положение осложняет и скрытый конфликт с партнерами в лице Amazon, Google и Microsoft, которые одновременно выступают главными провайдерами облачных серверов и прямыми соперниками в отрасли.