Американские компании всё активнее используют инструменты искусственного интеллекта (ИИ) для различных проверок: банки – для вынесения решений о предоставлении кредитов, каршеринговые компании – для доступа к их услугам, корпорации – для отбора потенциальных сотрудников. Фактически ИИ уже играет роль социального рейтинга.
Корпоративная Америка 10 лет назад решила бороться с предвзятостью менеджеров, отвечающих за набор новых сотрудников. Бот ChatGPT тогда не существовал, но алгоритмы для найма работников уже разрабатывали и активно отсеивали тех, кто не подходил под их стандарты.
Как выяснила Amazon, её вроде бы хорошо обученные алгоритмы, созданные для ускорения рекрутинговых процессов, были предвзяты по отношению к женщинам. В частности, они отфильтровывали все резюме со словом «женские», воспроизводя гендерную модель корпорации. Впоследствии компания внесла в алгоритмы изменения.
Идея отсеивать кандидатов с помощью машинного разума организациям понравилась. К 2019 году отправку резюме соискателя на автоматическое сканирование и фильтрацию до рассмотрения его рекрутёрами использовали 99 процентов компаний из списка Fortune 500.
Судя по исследованию того же года, три из четырёх резюме не доходили до человека, в результате чего начали регулярно происходить скандалы.
Не так давно претендент на должность в репетиторской компании Fullmind получил отказ и повторно направил резюме, изменив дату рождения, чтобы выглядеть моложе. В результате его пригласили на собеседование, поскольку программное обеспечение с ИИ, которое использовала компания, отклоняло кандидатуры людей старшего возраста. Fullmind пришлось урегулировать дело с Комиссией по равным возможностям в вопросах трудоустройства США (EEOC), так как её обвинили в эйджизме.
В мае 2022 года EEOC подала в суд на три китайские компании, ведущие бизнес под брендом ITutorGroup, утверждая, что их программное обеспечение по подбору персонала с использованием ИИ автоматически отклоняет кандидатуры соискателей из-за их возраста. ITutorGroup нанимает американских граждан для предоставления услуг онлайн-репетиторов по английскому языку студентам в Китае. В заявлении утверждалось, что программное обеспечение компании не приняло заявки женщин в возрасте от 55 лет и мужчин от 60 лет, отказав более 200 квалифицированным кандидатам из Соединённых Штатов. В сентябре 2023 года комиссия объявила, что урегулирует дело с выплатой 365 тыс. долларов и иных компенсаций. Деньги будут распределены среди пострадавших претендентов.
Программное обеспечение компаний отклоняет заявки возрастных соискателей.Фото: Sweet Life/Unsplash
Работодатели уже давно неоправданно игнорируют представителей некоторых групп американского населения. ИИ воспроизводит эту дискриминацию в большем масштабе. Инструменты проверки искусственного интеллекта обучают на ранее собранных данных, которые в настоящее время могут быть ошибочными и необъективными. Недавно BBC рассказывала о том, как ИИ, обученный на основе резюме уже работающих в компании мужчин, отказал кандидатам-женщинам, которые не играли в бейсбол или баскетбол.
Бывают и непреднамеренные ошибки. По свидетельству экспертов, системы отслеживания кандидатов (ATS) на базе искусственного интеллекта часто упускают из виду навыки, которые на бумаге не всегда могут соответствовать квалификации кандидата. В частности, фильтры ИИ могут ошибочно исключать резюме соискателей, имеющих временные перерывы в работе.
Во время собеседования искусственный интеллект может неправильно интерпретировать язык тела человека, который редко смотрит в камеру, считает карьерный эксперт TopResume Аманда Августин. Сильный акцент или дефекты речи также могут навредить кандидату.
Законодатели в некоторых регионах США, например в Нью-Йорке, разрабатывают политику, регулирующую применение подобных технологий. Однако пока законодательства по этому поводу не существует. Неудивительно, что, согласно докладу Pew Research Center за апрель 2023 года, 41 процент американцев считает нецелесообразным использование ИИ при рассмотрении резюме.
Не менее печально обстоят дела с использованием искусственного интеллекта банками для принятия решений о предоставлении кредитов.
В бизнес-кредитовании предвзятость касается возраста компании, сектора и географии. В предоставлении кредитов физическим лицам ИИ может отказать при отсутствии у них кредитной истории и залога. Проведенное в 2021 году изданием The Markup исследование показало, что чернокожие американцы на 80 процентов чаще получают автоматический отказ в выдаче кредита, чем их белые сограждане. Этому, по словам экспертов, способствует долгая история дискриминационной практики Штатов по отношению к цветным сообществам в банковской сфере.
«Если вы возьмёте предвзятые данные, всё, что сделает ИИ или любая модель, по сути, повторит то, что вы им предоставили», – объясняет старший советник глобальной IT-компании SAS Наим Сиддики.
Но ИИ дискриминирует не только цветных. Apple и Goldman Sachs, например, обвиняют в систематическом предоставлении женщинам более низких кредитных лимитов по сравнению с мужчинами.
Отказ искусственного интеллекта в выдаче кредитов при отсутствии залога отрезает от них едва ли не половину поколения Z (родившиеся между 1997 и 2012 годами), для которого «сильное финансовое здоровье», включая кредитные карты, дома и автомобили, становится всё менее актуальным показателем. Кредитные карты имеют только около половины представителей поколения Z. Это значительное снижение по сравнению со всеми предыдущими поколениями.
Искусственный интеллект дискриминирует людей по половому признаку.Фото: Giorgio Trovato/Unsplash
Люди, относящиеся к поколению Z, также значительно реже владеют имуществом, способным быть предметом залога при подаче заявки на кредит. В частности, автомобилем. Согласно недавнему исследованию консалтинговой компании McKinsey, представители этой возрастной группы реже изъявляют желание получить водительские права, чем предыдущие поколения. Лишь 25 процентов 16-летних и 45 процентов 17-летних имеют водительские права. Это на 18 и 17 процентов меньше, чем у предыдущего поколения в том же возрасте.
В сентябре 2023 года американское Бюро финансовой защиты потребителей (CFPB) объявило, что теперь финансово-кредитным организациям придётся объяснять причину отказа.
«Кредиторы часто снабжают эти сложные алгоритмы большими наборами данных, в том числе информацией, которая может быть получена в результате наблюдения за потребителями. В итоге потребителю может быть отказано в кредите по формальным причинам», – говорится в сообщении бюро.
В отчёте консалтинговой компании Gartner, опубликованном в 2018 году, прогнозировалось, что 85 процентов проектов с искусственным интеллектом до 2022 года будут давать ошибочные результаты из-за предвзятости в данных, алгоритмах или командах, ответственных за управление ими.
Однако в 2024 году, несмотря на новые достижения, предвзятость ИИ по-прежнему остаётся большой проблемой.
Если раньше речь шла только о приёме на работу или получении кредита, то теперь искусственный интеллект способен отказать человеку в предоставлении той или иной услуги. Добропорядочной жительнице нью-йоркского Бруклина, которая не имеет своей машины и работает удалённо, каршеринговая компания неожиданно отказала в предоставлении доступа к автомобилю. За всю свою многолетнюю историю вождения женщина допустила единственную ошибку – нарушила правила дорожного движения в семнадцать лет, и этот штраф был давно погашен. Однако искусственный интеллект принял решение об отказе, а служба поддержки клиентов сообщила, что вердикт ИИ человек отменить не может.
21 декабря 2023