Цифра закона

«Цифровые Шерлоки»

28 ноября 2022 года Баронесса Хэмви обратилась к Палате Лордов, выступая с первым отчетом Комитета юстиции по применению искусственного интеллекта (ИИ) в системе правосудия. 76-летняя Баронесса призналась:

В самом начале члены нашего комитета мало что знали о новых технологиях — надеюсь, я никого не обижу этими словами. После некоторого обучения мы признались, что мы в ужасе — однако нас не должна ужасать неспособность понять технологии; в некотором смысле в этом и была цель нашего отчета. <...> В самом начале я задала риторический вопрос: «Каково бы мне было, если бы меня арестовали, обвинили, осудили и посадили в тюрьму на основании улик, которых я бы не понимала и к которым не могла бы получить доступ?

Мы тоже мало знаем о том, какую роль ИИ и технологии машинного обучения способны играть в расследовании преступлений, хотя в быту пользуемся цифровыми технологиями куда чаще большинства лордов. Нейросети несутся наперегонки в непрерывной эстафете совершенствования функций и увеличения их разнообразия. С помощью ChatGPT школьники создают свои сайты за считанные часы, цифровые художники подают в суд на конкурента в лице Midjourney, а диффузионные модели позволяют не только рисовать картины, но и реконструировать увиденное человеком по сигналам мозга на МРТ!

Итак, ИИ. Что это? Или кто?

Заметьте: когда мы говорим об интеллекте, мы не смешиваем это понятие с сознанием или разумом. Интеллект, как его понимает сегодняшняя когнитивная наука, — это способность решить задачу, правильным образом обработать информацию: например, собрать головоломку, составить план дел на неделю и так далее. Вы постоянно используете свой интеллект, даже не задумываясь об этом.

Когда детективный ум Шерлока Холмса занят раскрытием очередного преступления, в процесс анализа вовлечены десятки различных интеллектуальных модулей. Один оценивает свидетельские показания, другой — ищет слабые звенья в причинно-следственных цепочках, третий — реконструирует сцену преступления. До ИИ остается сделать всего лишь один шаг: представьте, что все перечисленные способности оказались воссозданы искусственно, на электронных носителях.  

Множество людей, просматривающих бумажные папки, множество дел, передающихся из отдела в отдел, — все эти процессы обработки информации могут быть свернуты и воплощены в системе искусственного интеллекта. Баронесса Сандерсон из Велтона проиллюстрировала это на следующем примере:

CAID — база данных (изображений) жестокого обращения с детьми, которая объединяет все изображения, найденные полицией, и помогает им координировать расследования. Правительство правильно придавало CAID большое значение, потому что оно изменило правила игры. Например, дело, содержащее 10 000 изображений, и рассмотрение которого обычно занимало до трех дней, благодаря CAID может быть выполнено за час. Преступники могут быть задержаны быстрее, офицеры защищены от последствий просмотра этих изображений, и больше внимания будет уделено идентификации жертв. 

Разработка «цифрового коллективного Шерлока» ведется как минимум десятилетие: с 2010-х годов органы правопорядка стали с интересом присматриваться к различным алгоритмам анализа данных и постепенно внедрять их в практику. Но ставки здесь слишком высоки, чтобы делегировать ИИ всю полноту принятия решений.

Воплощенные в микросхемах интеллектуальные способности нашли свою нишу: они распознают паттерны. У ИИ нет привычного нам контакта с миром, его вселенная состоит исключительно из поступающей информации. В ней-то и могут быть обнаружены закономерности. Но для каких целей мы могли бы использовать такой ИИ — точнее, для каких целей он уже используется в Британии?

• Для повышения эффективности. Органы полиции Восточного региона Англии создали «бота», который проводит процедурные проверки по поступающим запросам, передает ключевую информацию офицеру для оценки и принятия решения.
• Для анализа документов. Министерство внутренних дел Cоединенного Королевства использует алгоритм для проверки заявлений на заключение брака. Просматривая заявления, программа может поднять «красный флаг» внутри системы, чтобы инициировать расследование потенциально фиктивного брака.
• Для идентификации людей, их проблемного поведения и тому подобного. Великобритания сейчас — страна с самым большим количеством камер наблюдения в западном мире, а Лондон удерживает третье место среди мегаполисов: на каждые 1000 человек приходятся 73 камеры. Многие камеры наблюдения в Великобритании уже оснащены такими расширенными возможностями, как биометрическая идентификация, анализ поведения, обнаружение аномалий, распознавание предметов, одежды, транспортных средств.
• Для генерирования инсайтов. Qlik Sense — это программное обеспечение, которое предоставляет данные в интерактивном виде. Им активно пользуется полиция Сомерсета и Эйвона (Британия): программа помогает сотруднику увидеть не только тенденции преступности района, но и выяснить, какие именно виды преступлений вызывают этот рост, а также особенности соответствующих правонарушений. Преимущество, которое Qlik Sense дает человеческому интеллекту, — интерактивный интерфейс, позволяющий быстро «склеивать» различные типы данных и приходить к неочевидным закономерностям.
• Для оценки рисков. Полицейские силы Дарема (cевер Англии) используют Инструмент оценки рисков и вреда (HART), который предсказывает, насколько вероятно, что человек совершит насильственное или ненасильственное правонарушение в течение следующих двух лет.

Код мультикультурен?

Как видите, паттерны можно обнаружить где угодно: как в настоящем, так и в будущем, как на индивидуальном, так и на групповом уровне. Активность организованной преступности (ОПГ) — не исключение.

В одних случаях алгоритмы ИИ отслеживают денежные потоки, чтобы выявить подставные корпорации, используемые преступными синдикатами для отмывания средств. В других ИИ собирает данные в даркнете, чтобы выявить сети торговли людьми по моделям онлайн-покупок, или отслеживает доступную информацию по логистике, чтобы построить схему перемещения контрабанды за границу. Когда же дело уже начато, и следствие располагает большими объемами данных, машинное обучение позволяет распознавать не только устойчивые шаблоны, но даже изменения в деятельности, целях, бизнес-стратегиях и иерархии преступных организаций. В сегодняшнем мире практически невозможно жить, не оставляя цифровые следы.

Впрочем, шествие «цифровых Шерлоков» не всегда оценивается позитивно. Лорд Клемент-Джонс заострил внимание на перспективах внедрения технологии по распознаванию лиц:

Многие города в США запретили использование распознавания лиц, в то время как Европейский парламент призвал запретить использование полицией технологии распознавания лиц в общественных местах и интеллектуальную работу полиции. В 2020 году Microsoft, IBM и Amazon объявили о прекращении продажи технологий распознавания лиц правоохранительным органам США.

Мы склонны думать об искусственном интеллекте как о культурно-нейтральном, ведь вычисления везде одни и те же. Но это не совсем так. В 2020 году городской совет Санта-Круз, Калифорния, накладывает мораторий на систему распознавания лиц и прогнозирования преступлений после почти десятилетия их использования. В то время как в сонной деревушке провинции Хенан Цзя пожилые китайцы выстраиваются в длинную очередь, чтобы обменять внесение своего лица в базу данных на бутылку масла для жарки. 

В Милане программа KeyCrime, как и PredPol в Лос-Анджелесе, строит в качестве модели обобщенный прогноз: где, в какой части города, на основе прошлых данных может быть совершено новое преступление. В Китае же системы наблюдения пытаются решить задачу, кто именно совершит преступление.

Летом 2022-го в The New York Times вышел подробный материал о том, насколько развиты китайские «цифровые Шерлоки» — осуществляемый ими анализ паттернов как будто не знает границ. Бестелесный интеллект спускается на уровень самых мелких и конкретных элементов поведения:

• три человека с судимостью остановились в одном и том же отеле на юго-востоке Китая; автоматизированная система готова оповестить полицию;
• человек с историей политического протеста покупает билет на поезд до Пекина. Система может пометить активность как подозрительную и попросить полицию провести расследование;
• женщина с психическим заболеванием в провинции Фуцзянь покидает свой дом. Камера, установленная у ее дома, записывает движения женщины, чтобы полиция могла ее выследить.

Поскольку для почти полуторамиллиардного Китая сохранение общественной стабильности первостепенно, в плавильном котле наблюдения контроль смешивается с пространством частной жизни. Так, в Шанхае был использован алгоритм, выявлявший перерасход воды и электричества в квартире: он уведомлял полицию, когда обнаруживал подозрительную модель потребления. Но дело не в экономии ресурсов — это позволяло обнаружить рабочих-мигрантов, которые зачастую живут вместе из соображений экономии.

В США общественные дискуссии вокруг проблем с внедрением ИИ в полицию начались еще в середине 2010-х. Они были вызваны так называемым «прогностическим порочным кругом»: поскольку система обучается только на основании доступных данных из прошлого, она предсказывает большее число преступлений в наименее благополучных районах (например, трущобы или гетто), куда прибывает большее число отрядов полиции, которые действительно задерживают большее число правонарушителей. Но это лишь дает подкрепление модели, генерируемой системой, — и она будет предсказывать еще большее число преступлений именно в этом районе. Во многих штатах эта проблема наложилась на структурную расовую дискриминацию, что лишь подлило масла в огонь общественных дебатов.

Использовавшаяся во многих судах США программа COMPAS на основании большого числа факторов строила прогноз, совершит ли освобожденный из заключения преступление еще раз.

Однако создатели COMPAS выступили с утверждением, что в самом коде программы не было расовой предвзятости. Их утверждения были отнюдь не голословными. Специалист в области информатики из Университета Карнеги Меллон Александра Чулдехова математически доказала: если используемый вами алгоритм классификации точный, частота выдаваемых им ошибок зависит от состава классифицируемых данных.

Когда две совокупности людей неравно представлены в наборе данных, количество ошибок в предсказаниях алгоритма будет соответственно неравномерным — но это будет иметь место для совокупностей по любым критериям, а не только по признаку расы. Например, если представленные в вашей базе воры-карманники ловились на повторных кражах куда чаще, чем воры-домушники, алгоритм будет выдавать большую вероятность повторного преступления для первой категории осужденных.

Мы всегда знали, что мышление человека подвержено ошибкам. Многие люди мечтают об ИИ в роли судьи, но проблема в том, что даже бесстрастный интеллект может прийти к неверным результатам.

Слепые пятна компьютерного разума

Вернемся из Нового Света — в Старый. Слово Лорду Паддику:

Как сказала моя благородная подруга леди Хэмви, в отчете идет речь и о том, что я мог бы назвать дискриминацией второго порядка. Это происходит, когда ИИ используется для предсказания мест с наибольшим числом преступлений, но не используется для привлечения ресурсов полиции к расследованию «преступлений белых воротничков», например мошенничества с крупными суммами.

Однако когда ИИ вступает в сферу права, сложности возникают не только с последствиями его применения: обнаруживаются лакуны в самом законодательстве. Их приходится заполнять судьям, чего они делать не хотят: им нужны четкие законы для толкования, а не отсутствие закона, который приходится изобретать в процессе.

Наконец, с резкой критикой непрозрачности и неподотчетности ИТ-компаний выступила Баронесса Чакрабати. Объектом ее возмущения были не рыночные механизмы, но чувствительность для общества самой области, в которую столь активно внедряются инновации:

Мне кажется совершенно необоснованным, что частные компании экспериментируют с нашим населением, в том числе с их личными данными, с полицейской и разведывательной службой и так далее, а затем заявляют, что не будут заботиться о прозрачности или законности по причине коммерческой тайны. Это мошенничество, это скандально, и этому нужно положить конец. Мы бы не позволили оружейным или фармацевтическим компаниям вести себя подобным образом.

Итак, от восторженных возгласов, под которые ИИ усаживали на правовой престол и предлагали «навести порядок» в таком запутавшемся преступном человеческом обществе, мы приходим к лицезрению голого короля. Он наследует наши ошибки, его властью можно злоупотреблять, да и сам трон законодательно недостроен. В каком-то смысле «цифровой Шерлок» — слеп.

А значит, не нужно его короновать. Никого не нужно короновать. Будущее ИИ на поприще правоохранительной деятельности — это не антиутопия (если мы вовремя отслеживаем этапы его внедрения!), но и не панацея. Сколь бы стремительно и сколь большим объемом данных ни оперировал алгоритм, на текущем этапе он, как упомянутый уже ChatGPT, не понимает реальность человеческих взаимоотношений так, как ее понимаем мы — телесно воплощенные люди, сформированные в различных культурах. Реальность права, норм закона отражает нашу жизнь — ту жизнь, которую ИИ пока не способен прожить, как бы хорошо натренирован он ни был.

Но разве это когда-нибудь по-настоящему останавливало поток инноваций в информационных технологиях? Возможно, в некоторых странах и в некоторых областях применение ИИ замедлится, но вряд ли остановится полностью. И уже в самые ближайшие годы нам предстоит пройти сквозь на редкость турбулентный период, когда к Букве и Духу закона добавится Цифра.