Как стало известно Qazaq24.com, со ссылкой на сайт Liter.KZ.
Искусственный интеллект уже помогает людям писать тексты, анализировать документы, программировать и искать информацию. Однако у современных ИИ-ассистентов есть ограничения: они могут забывать детали предыдущих разговоров, опираться на устаревшие сведения и выдавать выдуманные факты за достоверные. При этом способность обрабатывать большие объемы данных не означает, что система умеет надолго сохранять полученную информацию или понимать, когда ее нужно пересмотреть.
Казахстанская исследовательница и CEO проекта Aletha Алина Искакова разрабатывает систему памяти для ИИ-ассистентов, которая помогает им сохранять контекст разговоров и учитывать прошлый опыт. В разговоре с Liter.kz она объяснила, как устроена память нейросетей, почему они выдумывают факты и смогут ли научиться сомневаться в собственных ответах.
– На что похожа память нейросети?
– Память ИИ похожа не на библиотеку, а на опыт, а точнее – на знание об опыте. Нейросеть не хранит прочитанные книги, она помнит, чему по ним научилась, как человек, который прочел тысячу книг, но дословно не процитирует ни одну.
Поэтому она хорошо знает, "как обычно бывает", но без контекста может выдавать неверные утверждения и цифры.
– Чем краткосрочная память отличается от долгосрочной?
Долгосрочная – это то, чему нейросеть научили, как образование. Краткосрочная – текущий разговор, как записка на столе. Удалили чат – и записку выбросили.
Ваши разговоры с нейросетью сами по себе не влияют на ее долгосрочную память – параметры модели остаются неизменными после выпуска. Поэтому сегодня взаимодействие с ИИ похоже на разговор с человеком, который каждое утро вас забывает: вы снова объясняете, кто вы, над чем работаете и что уже решили вчера.
– Почему нейросеть может продолжать выдавать устаревшую информацию, даже если ее поправили?
У нейросети нет отдельной базы знаний в привычном понимании: старые знания заложены в ее параметрах.
Миллион повторений при обучении весят больше, чем одна ваша строчка в чате. Это похоже на человека, который двадцать лет знал одно, а вы один раз сказали ему другое.
С личной информацией происходит то же самое. Вы сменили работу или передумали, а ИИ продолжает исходить из старых данных. У него нет внутреннего механизма, который автоматически заметил бы, что обстоятельства изменились и новая информация противоречит прежней.
– Почему нейросети выдумывают факты и уверенно сообщают о них?
Это не склероз и не фантазия.
Это ученик, который не знает ответа, но очень не хочет молчать. Компании обучают свои модели так, что те должны стараться отвечать на вопросы, а не просто говорить "я не знаю". Отсюда возникают галлюцинации и выдуманные факты.
Нейросеть выдает наиболее правдоподобный ответ. Главная проблема даже не в самой ошибке, а в том, что она не сомневается в том, о чем говорит.
Зачем ИИ нужно обрабатывать миллионы слов?
Здесь смешаны две разные вещи.
То, на чем обучали ИИ. Это огромные массивы текстов, благодаря которым модель учится понимать язык и закономерности окружающего мира. Как в школе и университете: чем больше человек изучает, тем больше он знает.
То, что ИИ видит во время разговора. Современные модели способны учитывать большие объемы текста за один раз. Это похоже на рабочий стол, на который можно положить целое дело и изучить его полностью.
Например, юрист может загрузить материалы дела на тысячи страниц и попросить найти противоречия в показаниях. Врач – изучить историю болезни пациента за двадцать лет, а не ограничиваться последним анализом. Студент может загрузить лекции и учебники за семестр и задавать вопросы так, будто у него есть личный преподаватель, знакомый со всеми материалами.
Обычный человек может загрузить договор аренды, кредитный договор или инструкцию на 300 страниц и спросить: "Где здесь подвох?"
Главное изменение в том, что ИИ перестает работать с отдельными фрагментами и начинает видеть картину целиком.
Но у этого рабочего стола есть предел: контекст разговора не обязательно сохраняется после завершения или удаления чата. Завтра юристу снова придется загружать материалы дела, а врачу – историю болезни. ИИ может прочитать огромное количество информации, но при этом не запомнить самого пользователя и его контекст.
– Сможет ли нейросеть запоминать вкусы, привычки и задачи конкретного человека?
Отдельные приложения уже пытаются это делать, но есть три проблемы.
Первая – память ограничена конкретным приложением. То, что знает один ИИ, может быть недоступно другому. Перешли в другое приложение – и начинаете с нуля.
Вторая – пользователь не всегда видит, что именно система о нем запомнила, правильно ли это и почему ИИ пришел к определенному выводу.
Третья – память хранится у компании, а не у самого пользователя.
Поэтому правильный вопрос не в том, сможет ли ИИ запоминать информацию, а в том, насколько правильно он сможет ее использовать.
– Как научить нейросеть сомневаться в собственных выводах?
Человек помнит не только то, что знает, но и откуда получил информацию и насколько уверен в ней. Это помогает нам замечать ошибки, задавать вопросы и пересматривать прежние выводы. В когнитивной психологии способность оценивать собственную память называют метапамятью.
У ИИ этот процесс устроен иначе. Сама по себе языковая модель не обладает человеческим самосознанием и не может гарантированно определить, когда ее ответ неверен. Поэтому для работы с неопределенностью нужны дополнительные механизмы, которые позволяют сопоставлять сведения, учитывать их источник, обнаруживать противоречия и запрашивать уточнения.
Например, если пользователь раньше говорил, что работает над одним проектом, а затем сообщил об изменении планов, система должна учитывать новую информацию и не полагаться автоматически на старую. Если данных недостаточно, лучше задать вопрос, чем выдавать предположение за факт.
Один из проектов, над которыми я работаю, посвящен именно этой проблеме: как сделать память ИИ более гибкой и научить систему учитывать прошлый опыт. Но сама задача шире отдельного продукта – речь идет о том, как сделать работу ИИ-ассистентов последовательнее и надежнее.
– Сможем ли мы уместить нейросеть в смартфон?
Частично это уже возможно. Небольшие локальные модели запускаются на телефонах, и с каждым годом они становятся умнее при сопоставимых размерах. Самые мощные модели пока остаются в дата-центрах.
Скорее всего, развитие пойдет по двум направлениям. Для простых повседневных задач мы будем использовать небольшие модели, которые работают непосредственно на смартфоне. Для сложных запросов – обращаться к крупным моделям в облаке.
При этом память о пользователе логично хранить на его устройстве, а не на чужом сервере. Это позволит человеку сохранять контроль над своими данными и использовать их в разных приложениях.
Мозг потребляет около 20 ватт энергии – меньше, чем обычная лампочка. Природа уже показала, что эффективная обработка информации возможна при небольших энергозатратах. Мы пока не научились воспроизводить это так же эффективно, но прогресс движется в этом направлении.