[:ru]
Растущее использование искусственного интеллекта (ИИ) в таких областях, как прием на работу, уголовное правосудие и здравоохранение, вызывает споры о возможной предвзятости и несправедливости со стороны технологии. Но принятие решений людьми также может быть ошибочным, сформированным индивидуальными и общественными предрассудками, которые часто бывают неосознанными
В новом исследовании эксперты McKinsey анализируют, где алгоритмы могут помочь уменьшить необъективность и где все еще необходима дополнительная бдительность человека для критического анализа предубеждений.
Посредник несправедливости
Субъективность того, как люди принимают решения, хорошо задокументирована. Некоторые исследователи, напоминает McKinsey, подчеркивают, что на решения судей могут бессознательно влиять их личные качества, а работодатели перед интервью предлагают разные ставки кандидатам с одинаковыми резюме, принадлежащим к различным расовым группам. Люди также склонны к неправильному использованию информации. Например, HR-специалисты могут проверять кредитную историю потенциальных сотрудников так, чтобы это навредило представителям уязвимых слоев населения, даже если четкой связи между кредитной историей и поведением на рабочем месте нет. Человеческие решения также трудно исследовать или анализировать – люди могут не знать или намеренно лгать о факторах, которые влияют на их мышление.
Во многих случаях ИИ может уменьшить субъективную интерпретацию данных людьми, потому что алгоритмы машинного обучения учатся учитывать только те переменные, которые улучшают их прогнозную точность. В то же время модели ИИ могут встраивать человеческие и общественные предубеждения и масштабировать их.
Журналист Джулия Ангвин и другие сотрудники ProPublica показали, как программное обеспечение COMPAS, которое предсказывало риски повторных преступлений в округе Броуард штата Флорида, неверно называло обвиняемых афроамериканцев «группой высокого риска» почти в 2 разачаще, чем представителей европеоидной расы. А работа Джой Буоламвини и Тимнита Гебру выявила, что одна из технологий анализа лица среди результатов по запросу «имидж генерального директора» только 11% раз выдавала женщин, хотя они составляют 27% CEO Северной Америки.
Ошибка в данных
Часто не сам алгоритм, а используемые данные являются основным источником проблемы. Модели могут быть обучены на данных, содержащих человеческие решения, или тех, что отражают побочные эффекты социального и исторического неравенства. Например, автозаполнение слов, обучаемое новостными статьями, может демонстрировать существующие гендерные стереотипы.
Предвзятость может быть введена в данные посредством того, как они собираются или отбираются для использования. В моделях уголовного правосудия чрезмерная выборка определенных районов с усиленным контролем приводит к регистрации еще большего количества преступлений, что влечет за собой излишнюю активность полицейской деятельности.
Данные, сгенерированные пользователями, тоже не всегда объективны. В исследовании профессора Латани Суини, посвященном расовым различиям в таргетинге онлайн-рекламы, поиск традиционно афроамериканских имен приводил к большему количеству рекламы со словом «арест».
Кроме того, алгоритм машинного обучения может выявлять статистические корреляции, являющиеся социально неприемлемыми или незаконными. Так, если модель ипотечного кредитования обнаруживает, что пожилые люди имеют более высокую вероятность дефолта, и сокращает на основе этого кредитование, общество и правовые институты могут считать это незаконной дискриминацией по возрасту.
Взаимный контроль
При этом создание универсального определения справедливости или метрики для ее измерения, вероятно, никогда не будет возможным. Поэтому появилось несколько подходов к выявлению ограничений справедливости для моделей ИИ. Так, данные либо предварительно обрабатываются (для как можно большей точности и снижения взаимосвязи между результатами и защищенными характеристиками), либо обрабатываются после (некоторые из прогнозов трансформируются, чтобы удовлетворить критерию справедливости). Еще один подход накладывает ограничения справедливости на сам процесс оптимизации.
Но статистические показатели все равно не могут учитывать нюансы социального контекста, где работает система ИИ, считает McKinsey. Кто решит, когда система имеет достаточно минимизированный уклон, чтобы ее можно было безопасно использовать? Кроме того, в каких ситуациях полностью автоматизированное принятие решений должно быть допустимо в принципе? Никакой алгоритм не может ответить на эти вопросы, а значит, нам все еще требуется человеческое суждение и процессы разработки стандартов для справедливого использования ИИ, основанных на социальных науках, праве и этике.
Это в то же время является возможностью переосмыслить стандарты, которые мы используем, чтобы определить справедливость человеческих решений. Рассмотрение фактических критериев, которые люди действительно применили (а не то, что использовали, по их словам) при принятии решения, намного сложнее, чем оценка алгоритмов.
Чаще всего мы полагаемся на непредвзятость уполномоченных лиц или принимаем результаты, которые вытекают из процесса, который считается справедливым. Но является ли процедурная справедливость такой же, как справедливость результатов? Мы также полагаемся на композиционную справедливость, то есть если группа, принимающая решение, содержит множество точек зрения, то результат считается объективным.
Возможно, раньше эти методы были оптимальными, но, как только мы начинаем применять критерии справедливости к системам ИИ, то должны привлекать к ответственности и людей. Поэтому аналитика и ИИ могут стать новым мощным инструментом для изучения предубеждений человека.
[:]
