Урок 5 із 6

Чому вона упевнено неправа

10 хв читання

Найстрашніші помилки AI — не очевидні. Це відповіді, що звучать бездоганно впевнено, бездоганно гладко — і при цьому тихо, повністю вигадані.

Студент, який ніколи не каже «не знаю»

Уяви студента, який прочитав майже все й ніколи не визнає порожнечі. Спитай про тему, яку він знає досконало, — і він дасть чітку, правильну відповідь. Спитай про те, що він ледве читав, — маловідоме ім'я, вузький факт, — і він відповість тим самим упевненим голосом, тільки тепер вигадуючи. Ззовні обидві відповіді виглядають однаково. Оце й є AI: де добре вкрито — там надійно, а в тонкому місці він заповнює прогалину гладким, правдоподібним здогадом. Ці впевнені вигадки звуться галюцинаціями.

У добре прочитаних темах AI надійний; у прогалинах він не зупиняється — він вигадує відповідь тим самим упевненим тоном.

Упевненість — це не правота

Ось пастка, яку показує сцена: покажчик упевненості майже не рухається, поки ти сунеш у невідоме, але те, чи відповідь ґрунтована, перемикається з правди на брехню. Гладкість моделі щоразу йде з того самого змішування закономірностей — у неї немає окремого відчуття «я справді це знаю» проти «я вгадую». Людина зазвичай відчуває цю різницю й додає застереження; модель такого сигналу не отримує, тож береться за хитку відповідь із тією ж легкою гладкістю, що й за міцну. Тож її тон майже нічого не каже про те, чи вона права.

Ніколи не читай упевненість як доказ. Гладка, самовпевнена відповідь і вигадана можуть виглядати абсолютно однаково — надто на маловідомому, вузькому чи дуже свіжому.

Наскільки впевнено вона звучить і наскільки вона права — це дві різні речі; модель не надто добре відкалібрована щодо власних прогалин.

То як користуватися нею безпечно?

Не треба нікому не довіряти — просто перестань використовувати тон як свій доказ. Для будь-чого важливого звір це зі справжнім джерелом або дай моделі джерело напряму, щоб її відповідь спиралася на щось міцне, а не на здогад. Опертя відповіді на реальний матеріал — документ, посилання, твої власні нотатки — найнадійніші ліки від упевненого заповнювача прогалин, бо тепер вона переказує щось справжнє, а не тягнеться в тонке місце. А коли ставки високі, швидке «звідки це взялося?» ніколи не зайве.

Виправлення — не страх, а опертя на джерела: перевіряй те, що важливо, або передай моделі факти, щоб вона не вгадувала.