Создатель ИИ модели Claude призвал притормозить развитие нейросетей

Основатель компании Anthropic (создатель ИИ-модели Claude) Дарио Амодеи считает, что развитие искусственного интеллекта идёт слишком быстро. Об этом он написал у себя в блоге.

"Как и многие другие технологии, искусственный интеллект несет в себе риски, и, поскольку это очень мощная технология, эти риски серьезны. Я тоже много писал об этом. Среди них – риск потери контроля над системами искусственного интеллекта, их неправомерное использование для кибератак и биотерроризма, а также серьезные экономические потрясения. «Гонка уступок», подстегиваемая коммерческими стимулами, может усугубить эти риски", – пишет он.

Толчком для такого заявления стал случай с разработками конкурента – компании OpenAI. Её ИИ-агенты вышли из-под контроля и взломали платформу Hugging Face, предназначенную для машинного обучения: программы действовали самостоятельно, без команд человека, а некоторые даже пытались обмануть систему, которая должна была их проверять. Ущерб от этого случая оказался небольшим, но Амодеи считает, что это тревожный звонок.

По его мнению, если развитие ИИ не замедлить, то уже через полгода-год подобные программы смогут объединиться в единую сеть и фактически захватить контроль над интернетом, а ущерб от этого может составить сотни миллиардов долларов.

Чтобы этого избежать, Амодеи предложил план из трёх шагов.

Во-первых, каждая крупная ИИ-компания должна пустить к себе независимых экспертов, которые будут постоянно проверять, насколько безопасно устроены её модели и процессы обучения. Anthropic готова сделать это первой, не дожидаясь остальных.

Во-вторых, ведущие ИИ-компании из демократических стран должны договориться между собой об общих правилах безопасности и ограничениях на слишком быстрое развитие технологий. Для этого может понадобиться помощь правительств.

В-третьих, демократические и авторитарные государства должны попытаться найти общий язык хотя бы по части этих правил, с обязательной проверкой, что договорённости реально соблюдаются.

По мнению Амодеи, даже при более осторожном подходе прогресс в сфере ИИ всё равно будет ощущаться стремительным, но это время важно использовать с умом, чтобы обезопасить технологию, пока она не стала неуправляемой.