Урок 5 із 6

Чому вона упевнено неправа

10 хв читання

Найстрашніші помилки AI — не очевидні. Це відповіді, що звучать бездоганно впевнено, бездоганно гладко — і при цьому тихо, повністю вигадані.

Студент, який ніколи не каже «не знаю»

Уяви студента, який прочитав майже все й ніколи не зізнається, що чогось не знає. Спитай про тему, яку він знає досконало, — і почуєш чітку, правильну відповідь. Спитай про те, що він заледве читав (маловідоме ім'я, вузький факт), — і він відповість тим самим упевненим голосом, тільки тепер уже вигадує. Ззовні обидві відповіді однакові. Оце й є AI: там, де матеріалу вдосталь, він надійний, а в тонкому місці заповнює прогалину гладким, правдоподібним здогадом. Ці впевнені вигадки звуться галюцинаціями.

У добре опрацьованих темах AI надійний; у прогалинах він не спиняється, а вигадує відповідь тим самим упевненим тоном.

Упевненість — це не правота

Ось пастка, яку показує сцена: стрілка впевненості майже не рухається, поки ти сунеш у невідоме, а от чи відповідь ґрунтована — стрибає з правди на брехню. Гладкість моделі щоразу постає з того самого змішування закономірностей: у неї немає окремого чуття, чи вона «справді це знає», чи «просто вгадує». Людина зазвичай цю різницю відчуває й додає застереження; модель такого сигналу не отримує, тож береться за хитку відповідь із тією ж легкою гладкістю, що й за міцну. Тому її тон майже нічого не каже про її правоту.

Ніколи не сприймай упевненість за доказ. Гладка, самовпевнена відповідь і чиста вигадка можуть виглядати геть однаково — надто коли йдеться про маловідоме, вузьке чи дуже свіже.

Наскільки впевнено вона звучить і наскільки вона права — це дві різні речі; модель не надто добре відкалібрована щодо власних прогалин.

То як користуватися нею безпечно?

Не треба не довіряти всьому підряд — просто перестань вважати тон доказом. Для будь-чого важливого звір відповідь зі справжнім джерелом або дай моделі джерело напряму, щоб вона спиралася на щось міцне, а не на здогад. Прив'язати відповідь до реального матеріалу — документа, посилання, твоїх власних нотаток — і є найнадійніші ліки від упевненого заповнювача прогалин: тепер модель переказує щось справжнє, а не тягнеться в тонке місце. А коли ставки високі, швидке «звідки це взялося?» ніколи не зайве.

Виправлення — не страх, а опертя на джерела: перевіряй те, що важливо, або передай моделі факти, щоб вона не вгадувала.