Урок 2 із 7
Упередження й справедливість
6 хв читання
Інструмент відбору на базі AI тихо надає перевагу одному типу кандидатів. Ніхто його так не програмував. То звідки взялося упередження — і чи можна його виправити?
Він вчиться на даних — з усіма їхніми вадами
Модель не має думок; вона вчиться закономірностей у прикладах, на яких натренована. Якщо ці приклади несуть людське упередження — кого наймали раніше, чиї обличчя розмічали, чиї голоси розпізнавали добре — модель усе це вбирає й повторює. Перекошені дані на вході — перекошені рішення на виході. Вона може навіть підсилити невеликий дисбаланс до сильного.
Модель віддзеркалює свої дані. Дай їй несправедливу закономірність — і вона навчиться її повторювати.
Справедливість — це робота, а не перемикач
Оскільки упередження живе в даних — і у світі, звідки ці дані взялися, — немає одного тумблера, що його прибирає. Команди його пом'якшують: балансують навчальні дані, перевіряють результати для різних груп і лишають людину в контурі для рішень із високими ставками. Це зменшує шкоду, але «неупереджений» — це напрям, а не завершений стан, і тонке упередження ховається в сигналах, яких не покаже жоден повзунок.
Упередження пом'якшують, а не видаляють — вимірюй результати по групах і лишай людину на важливих рішеннях.
Якщо інструмент AI вирішує щось, що впливає на людей — наймання, кредити, оцінки — спитай, хто й як перевіряв його на упередження. «Це алгоритм» — не відповідь.
Головне
- —Моделі вчаться закономірностей із даних, зокрема упереджень — і можуть їх підсилювати.
- —Немає одного «розупередити» перемикача; команди пом'якшують і вимірюють.
- —Для рішень про людей лишай відповідальну людину в контурі.
Звідки переважно береться упередження AI?
Продовжити в застосунку
Пройди весь курс «AI, робота й суспільство» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.