ИИ: без греха, но с погрешностью

Государство доверяет искусственному интеллекту всё больше полномочий. Но кто окажется крайним после первой большой ошибки?

Сегодня ИИ незаметно становится новым чиновником: он анализирует данные, оценивает риски, распределяет ресурсы, выявляет нарушения и постепенно проникает в те сферы, где еще вчера последнее слово оставалось исключительно за человеком.

Наше государство последовательно переводит госуправление на цифровые рельсы, а ИИ становится одним из ключевых инструментов этой трансформации. В прошлом году был принят закон “Об искусственном интеллекте”, который должен был определить правила игры для новой технологии.

Ответственный есть. Осталось его найти

Закон этот устанавливает принципы безопасности, прозрачности и ответственности, делит системы ИИ по уровням риска, вводит требования к управлению этими рисками и предусматривает государственный контроль. Создается впечатление, что законодатели постарались предусмотреть основные угрозы.

Однако стоит задать один простой вопрос, и картина перестает быть столь однозначной: что произойдет, если искусственный интеллект ошибется? Кто в этом случае ответит за последствия?

- ИИ - это вспомогательный инструмент, - подчеркивает экс-депутат мажилиса Екатерина СМЫШЛЯЕВА, принимавшая участие в разработке данного закона. - За качество решений отвечает тот, кто их должен принимать. ИИ он использует под свою ответственность.

То есть сам алгоритм не обладает ни правами, ни обязанностями. Он не может предстать перед судом, выплатить компенсацию или понести уголовное наказание. Казахстанский закон исходит именно из этого принципа.

Получается, ответственный человек есть. Но кто именно?

По словам депутата, за качество работы системы отвечает разработчик, владелец либо пользователь в тех объе­мах, которые отражены в гражданском договоре ее приобретения или использования.

Однако в реальной жизни таких участников может оказаться значительно больше.

Представим: государственный орган объявил закупку системы искусственного интеллекта, частная компания разработала модель, затем другая организация внедрила ее в информационную систему, оператор загрузил данные, и, наконец, чиновник подписал документ, руководствуясь выводами алгоритма.

Если после этого система допустит серьезную ошибку, кто окажется виноват?

Возникает ситуация, которую западные юристы уже называют “размыванием ответственности”. Формально ответственные есть, но практически определить степень вины каждого довольно сложно.

Увы, казахстанский закон не содержит подробного механизма распределения такой ответственности. В нем говорится буквально следующее: “Все субъекты, занимающиеся созданием, эксплуатацией систем искусственного интеллекта, несут ответственность, установленную законами Республики Казахстан, за деятельность систем искусственного интеллекта, а также за результаты деятельности систем искусственного интеллекта, исходя из их роли, на всех этапах жизненного цикла системы искусственного интеллекта”.

То есть закон задает общий принцип, но оставляет его дальнейшее толкование судам и применению норм граж­данского, административного и уголовного законодательства.

Доверчивый венец природы

Закон прямо закрепляет, что человек, его права и свободы являются высшей ценностью, а использование искусственного интеллекта не должно подменять свободу человеческого выбора. При этом, заметим, закон вовсе не требует, чтобы в стратегически важных сферах окончательное решение принималось человеком обязательно после полноценной проверки выводов алгоритма.

Между тем психологи уже описали явление, которое получило название automation bias (“предвзятость автоматизации”): склонность людей доверять автоматизированным системам больше, чем собственному опыту и профессиональным знаниям. Иначе говоря, если компьютер говорит, что риск высокий, человеку психологически проще согласиться с машиной, чем начать с ней спорить.

Алгоритмы способны провести анализ и сформировать рекомендации за считаные минуты. Человек физически не успевает проверить каждую из них столь же тщательно, как прежде. И чем быстрее работает машина, тем сильнее появляется соблазн доверять ей автоматически.

А если рекомендация окажется ошибочной? Пока международное право отвечает однозначно: ответственность по-прежнему несут люди. Но чем совершеннее становятся алгоритмы, тем сложнее провести границу между человеческим решением и машинной рекомендацией!

Получается парадокс: юридическую ответственность продолжает нести человек, но фактически на его решение все сильнее влияет ИИ.

Джентльменский договор

Создатели закона понимали подобные угрозы. Именно поэтому он делит системы искусственного интеллекта по уровням риска.

- Высокоавтономные системы ИИ имеют свои отраслевые правовые режимы, - объясняет Смышляева. - В законе мы четко указали это. Например, беспилотники уже пошли по этому пути, и в законе по авиации и транспорту уже есть соответствующие нормы. Там ответственность и требования прописаны на уровне закона уже более детально.

Наиболее жесткие требования распространяются на так называемые высокорисковые системы - те, отказ которых способен привести к чрезвычайным ситуациям, нарушениям работы критической инфраструктуры, угрозам жизни людей, безопасности государства или серьезным экономическим последствиям. Для таких систем закон требует управления рисками, постоянного мониторинга, проведения аудита, а также регулярного пересмотра оценки рис­ков. Если выявлена угроза причинения серьезного вреда, эксплуатацию такой системы необходимо приостановить до устранения проблемы.

Однако и здесь обнаруживается еще одна закавыка. Закон требует проводить аудит, но сам по себе не устанавливает модели обязательной независимой проверки, аналогичной финансовому аудиту. Порядок контроля во многом остается предметом подзаконного регулирования.

“В целях предотвращения потенциальных угроз собственники и владельцы систем искусственного интеллекта обязаны осуществлять управление рисками систем искусственного интеллекта с принятием мер для исключения таких угроз”, - сказано в законе. Что это за риски, какие именно меры и что имеется в виду под угрозами, не очень понятно.

- Когда закон об искусственном интеллекте был принят, все участники этого рынка в нашей стране с ним очень внимательно ознакомились. И, боюсь, пришли к выводу, что никто никому ничего особенно не должен, - говорит эксперт по сетевой безопасности Вячеслав КАЦ. - В принципе, понятно желание государства делегировать разрешение очень специфических споров экспертному сообществу. Но там есть противоречие. Например, говорится, что уполномоченный орган разрабатывает и утверждает нормативные правовые акты в сфере ИИ, но в то же время владельцы могут определять условия пользования системами. На деле это выливается в то, что та же ответственность за ошибки ИИ как бы может прописываться в договорах, но совершенно естественно, что ни одна из сторон не хочет брать на себя такую ответственность, поэтому вопрос об ошибках по-джентльменски обходят стороной. Ну а что? По закону же это необязательно.

При этом, отмечает эксперт, не преду­сматривается и обязательное страхование ответственности владельцев высокорисковых систем. Иначе говоря, государство, опять же, требует предотвращать риски, но пока не соз­дает специального механизма компенсации на случай, если предотвратить их все-таки не удалось.

А это, между прочим, далеко не праздный вопрос.

В 2024 году чат-бот авиакомпании Air Canada объяснил пассажиру порядок получения скидки по так называемому траурному тарифу. Алгоритм уверенно сообщил, что человек может сначала купить билет по полной стоимости, а затем оформить возврат части денег.

На самом деле такого правила у авиа­компании никогда не существовало! И когда пассажиру отказали в компенсации, дело дошло до суда.

Компания пыталась доказать, что чат-бот является самостоятельной системой и поэтому его ошибочные ответы не могут автоматически считаться позицией перевозчика. Суд с этим не согласился и постановил, что, если компания использует искусственный интеллект для общения с клиентами, именно компания и отвечает за его слова.

Сети есть - ума не надо?

Как определить, где закончилась ответственность разработчика и началась ответственность владельца? Нужно выяснить, допустил ли ошибку оператор, правильно ли работал алгоритм, насколько тщательно человек проверил его выводы и можно ли было вообще обнаружить ошибку заранее.

Каждое такое разбирательство неизбежно станет сложной технической экспертизой. И чем глубже искусственный интеллект будет проникать в государственное управление, тем больше подобных вопросов будет возникать.

Поэтому уже сегодня специалисты говорят о необходимости следующего этапа развития законодательства.

- По сути, сейчас в Казахстане использование ИИ в преступных целях никак не регламентируется, - приводит пример Вячеслав Кац. - Один человек может использовать общественную нейросеть для создания, скажем, политически неправильного контента - и его привлекут по статье о фейках. А другой человек может установить и обу­чить собственный ИИ для совершения мошеннических действий или вообще для атак на другие государства - и его тоже привлекут, только если поймают за руку на каком-то конкретном эпизоде. Разницы между двумя этими гражданами с точки зрения правопорядка нет, хотя она, на мой взгляд, очевидна.

Речь идет не о переписывании закона заново, а о его постепенном наполнении конкретными механизмами.

Например, о более четком распределении ответственности между разработчиком, интегратором, владельцем и оператором системы. О независимом аудите наиболее опасных алгоритмов и единых требованиях к документированию решений искусственного интеллекта, чтобы в случае инцидента можно было восстановить всю цепочку событий - от исходных данных до окончательного решения.

И наконец о четком закреплении принципа, что в стратегически важных сферах искусственный интеллект может быть помощником, но не окончательной инстанцией.

Владислав ШПАКОВ, Астана