Урок 2 із 7
Розмова із симульованим експертом
10 хв читання
Коли асистент тобі відповідає, здається, ніби всередині хтось є — обізнаний, терплячий експерт. Нікого немає. То з ким саме ти розмовляєш?
Не розум, а вистава
Згадай, що зробило дотренування: моделі показали тисячі прикладів-діалогів, кожен із яких завершувався ідеальною корисною відповіддю, і дали їх наслідувати. Тож коли ти щось питаєш, модель не радиться з жодним розумом і нічого не шукає, а грає персонажа — корисного асистента, якого бачила знову й знову в тих прикладах. Її відповідь — це найкраще уявлення про те, що сказав би цей персонаж далі. А будь-який персонаж зіткано з його джерел. Нижче зіграй його сам: підкрути, наскільки асистент спирається на кожен тип автора, у якого вчився, і дивись, як та сама відповідь змінює голос.
Ти розмовляєш не з людиною й не з пошуковиком. Ти розмовляєш із симуляцією корисного експерта — персонажем, зітканим із людей, чиї приклади-відповіді він навчився копіювати.
Хто написав приклади
Із цього випливає гострий наслідок. Якщо асистент — це враження від людей, які написали його приклади, то саме автори прикладів і вирішують, ким він стане. Підклади обережніших, стриманіших авторів — і він стримується; дай зухвалих, категоричних — і стає зухвалим. З тієї самої базової моделі можна зробити лаконічного програміста, терплячого репетитора чи невимушеного компаньйона — нічого нового про світ не засвоєно, тільки чий голос позичити. Перепиши настанови, яких тримаються ті автори (звели їм більше вагатися чи взагалі не відмовляти), — і готовий асистент зсунеться відповідно, хоча жоден факт у його голові не змінився. Автори зазвичай тримаються настанов (бути корисним, чесним, визнавати, чого не знаєш), тож добре зроблений асистент переймає цю спокійну, розважливу вдачу. Але зваж, що прослизнуло разом із нею: той самий спокійний, упевнений тон.
Особистість асистента успадкована від прикладів, на яких його тренували: і корисність, і впевненість, і навіть чемність. Зміни авторів — і зміниш персонажа.
Тон — ще не правда
Ось у чому пастка. Добре зіграний експерт звучить упевнено — цей рівний, певний голос є частиною вистави, скопійованою прямо з авторів, які так писали. Але звучати впевнено й мати рацію — це два різні регулятори, і лише один із них тобі підвладний. Сцена внизу тепер показує два індикатори. Тягай повзунки й дивись, як звучить упевнено злітає вгору чи падає. А тоді стеж за другим індикатором — насправді правильно. Він не зрушить. Факт зафіксовано ще до першого твого доторку: голос ти можеш формувати, а факти — ні.
Упевненість — це голос, який модель навчилася вдавати, а не показник її правоти. Вона може бути впевнено, гладко неправа — і звучатиме рівно так само певно, як тоді, коли має рацію.
Чому це пастка
Чому це так важливо? Бо ми сприймаємо впевненість як сигнал: певний людський голос зазвичай означає того, хто перевірив. Із симульованим експертом цей орієнтир ламається — модель навчили звучати як упевнений помічник, байдуже, чи вона справді знає. Доведи це до краю — і отримаєш найдивніший випадок: відповідь, хибну в кожній деталі, подану найтеплішим, найавторитетнішим голосом у кімнаті. Ліки не в тому, щоб принципово не довіряти асистентові, а в тому, щоб перестати читати його тон як доказ. Оцінюй твердження, а не впевненість. На практиці підказка проста: чим гладкіше й певніше звучить відповідь, тим прискіпливіше її варто перевірити — так само, як перевіряють упевнену заяву незнайомця, адже ця гладкість відрепетирувана, а не зароблена.
За лаштунками цей упевнений образ обирають під час дотренування: зміни приклади-діалоги — і зміниш персонажа. Це ще й глибший корінь галюцинацій: модель, навчена грати експерта, що звучить певно, радше видасть упевнений здогад, ніж вийде з ролі, щоб визнати «Я не знаю».
Підсумок
- —Асистент — це персонаж, якого модель навчилася грати, наслідуючи приклади-діалоги, а не розум чи база даних
- —Автори тих прикладів і настанови, яких вони трималися, формують його особистість, цінності та голос
- —Його впевнений тон — частина вистави: регулятор, який можна крутити, незалежно від того, чи відповідь правдива
- —Тож упевненість — ніколи не перевірка фактів: зважуй саме твердження, а не те, наскільки певно воно звучить
Асистент подає тобі хибний факт спокійним, упевненим, гладко сформульованим тоном. Спираючись на цей урок, що насправді каже тобі цей упевнений тон?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.