Блог

Nov 09, 2023

Расистский алгоритм искусственного интеллекта дежавю с ChatGPT: ученый-компьютерщик

В 1998 году я непреднамеренно создал расово предвзятый искусственный интеллект.

В 1998 году я непреднамеренно создал алгоритм искусственного интеллекта с расовой предвзятостью. В этой истории есть уроки, которые сегодня звучат еще сильнее.

Опасности предвзятости и ошибок в алгоритмах ИИ теперь хорошо известны. Почему же в последние месяцы технологические компании совершили ряд ошибок, особенно в мире чат-ботов с искусственным интеллектом и генераторов изображений? Первоначальные версии ChatGPT приводили к расистским выводам. Генераторы изображений DALL-E 2 и Stable Diffusion продемонстрировали расовую предвзятость в созданных ими изображениях.

Мое собственное прозрение как белого мужчины-ученого-компьютерщика произошло во время преподавания урока информатики в 2021 году. Класс только что посмотрел видеопоэму Джой Буоламвини, исследователя искусственного интеллекта и художника, а также самопровозглашенного поэта кода. Ее видеопоэма 2019 года «ИИ, разве я не женщина?» — это разрушительное трехминутное разоблачение расовых и гендерных предубеждений в автоматических системах распознавания лиц — системах, разработанных такими технологическими компаниями, как Google и Microsoft.

Системы часто терпят неудачу в отношении цветных женщин, ошибочно называя их мужчинами. Некоторые из неудач особенно вопиющие: волосы чернокожего лидера гражданских прав Иды Б. Уэллс названы «енотовой шапкой»; у другой чернокожей женщины отмечены «моржовые усы».

На уроке информатики у меня случился ужасный момент дежавю: я вдруг вспомнил, что тоже когда-то создал расово предвзятый алгоритм. В 1998 году я был докторантом. Мой проект заключался в отслеживании движений головы человека на основе данных с видеокамеры. Мой научный руководитель уже разработал математические методы для точного отслеживания головы в определенных ситуациях, но система должна была быть намного быстрее и надежнее. Ранее, в 1990-х годах, исследователи из других лабораторий показали, что области изображения телесного цвета можно извлечь в реальном времени. Поэтому мы решили сосредоточиться на цвете кожи как на дополнительном сигнале для трекера.

Я использовал цифровую камеру – что в то время было редкостью – чтобы сделать несколько снимков собственной руки и лица, а также сфотографировал руки и лица двух или трех других людей, оказавшихся в здании. Было легко вручную извлечь из этих изображений некоторые пиксели телесного цвета и построить статистическую модель для цветов кожи. После некоторой настройки и отладки мы получили удивительно надежную систему отслеживания движений головы в реальном времени.

Вскоре после этого мой консультант попросил меня продемонстрировать систему нескольким приезжим руководителям компании. Когда они вошли в комнату, меня мгновенно охватила тревога: руководители были японцами. В своем случайном эксперименте, чтобы проверить, будет ли простая статистическая модель работать с нашим прототипом, я собрал данные от себя и нескольких других людей, оказавшихся в здании. Но у 100% этих испытуемых была «белая» кожа; японские руководители этого не сделали.

Каким-то чудом система в любом случае работала на руководителей достаточно хорошо. Но я был шокирован осознанием того, что я создал расово предвзятую систему, которая могла легко потерпеть неудачу для других небелых людей.

Как и почему хорошо образованные ученые с благими намерениями создают предвзятые системы ИИ? Социологические теории привилегий предоставляют одну полезную линзу.

За десять лет до того, как я создал систему отслеживания движений головы, ученый Пегги Макинтош предложила идею «невидимого рюкзака», который носят с собой белые люди. Внутри рюкзака находится сокровищница привилегий, таких как «Я могу преуспеть в сложной ситуации, не называя себя заслугой моей расы» и «Я могу критиковать наше правительство и говорить о том, как сильно я боюсь его политики и поведения, не будучи при этом рассматривается как культурный аутсайдер».

В эпоху искусственного интеллекта этот рюкзак нуждается в некоторых новых предметах, например: «Системы искусственного интеллекта не будут давать плохие результаты из-за моей расы». Невидимый рюкзак белого учёного также понадобится: «Я могу разработать систему ИИ, основанную на моей внешности, и знаю, что она будет хорошо работать для большинства моих пользователей».

Одним из предлагаемых средств борьбы с привилегиями белых является активная антирасистская позиция. Что касается системы отслеживания движений головы 1998 года, то может показаться очевидным, что антирасистское средство состоит в том, чтобы одинаково относиться ко всем цветам кожи. Конечно, мы можем и должны обеспечить, чтобы обучающие данные системы как можно более одинаково представляли диапазон всех цветов кожи.