Урок 2 із 7
Розмова із симульованим експертом
10 хв читання
Коли асистент тобі відповідає, здається, ніби всередині хтось є — обізнаний, терплячий експерт. Нікого немає. То з ким саме ти розмовляєш?
Не розум — а вистава
Згадай, що зробило дотренування: моделі показали тисячі прикладів-діалогів, кожен із яких завершувався ідеальною корисною відповіддю, і змусили її наслідувати. Тож коли ти щось питаєш, модель не радиться з розумом і нічого не шукає — вона грає персонажа: корисного асистента, якого бачила знову й знову в тих прикладах. Її відповідь — це найкраще її враження про те, що сказав би той персонаж далі. А персонаж зібраний зі своїх джерел. Нижче зіграй цього персонажа самостійно — підкрути, наскільки асистент спирається на кожен тип автора, у якого вчився, і дивись, як та сама відповідь змінює голос.
Ти розмовляєш не з людиною й не з пошуковиком. Ти розмовляєш із симуляцією корисного експерта — персонажем, зітканим із людей, чиї приклади-відповіді він навчився копіювати.
Хто написав приклади
Із цього випливає гострий наслідок. Якщо асистент — це враження від людей, які написали його приклади, то хто їх писав вирішує, ким він стає. Підклади більше обережних, стриманих авторів — і він стримується; дай зухвалих, категоричних — і він стає зухвалим. З тієї самої базової моделі можна зробити лаконічного програміста, терплячого репетитора чи невимушеного компаньйона — нічого нового про світ не вивчено, лише чий голос позичити. Перепиши настанови, яких дотримуються ті автори — скажи їм більше вагатися чи ніколи не відмовляти — і готовий асистент зсунеться відповідно, хоча жоден факт у його голові не змінився. Автори зазвичай дотримуються настанов — бути корисним, чесним, визнавати, чого не знаєш — тож добре зроблений асистент переймає цю спокійну, розважливу персону. Але зверни увагу, що приїхало разом із нею: той спокійний, упевнений тон.
Особистість асистента — корисність, упевненість, навіть чемність — успадкована від прикладів, на яких його тренували. Зміни авторів — і зміниш персонажа.
Тон — це не правда
Ось у чому пастка. Добре зіграний експерт звучить упевнено — цей рівний, певний голос є частиною вистави, скопійованою прямо з авторів, які так писали. Але звучати впевнено й бути правим — це два різні регулятори, і лише один із них тобі підвладний. Сцена внизу тепер показує два індикатори. Тягай повзунки й дивись, як звучить упевнено злітає вгору чи падає. А потім стеж за іншим індикатором — насправді правильно. Він не рухається. Факт був зафіксований ще до першого твого доторку; голос — твій, щоб формувати, а факти — ні.
Упевненість — це голос, який модель навчилася грати, а не показник того, наскільки вона права. Вона може бути впевнено, гладко неправа — і звучатиме рівно так само певно, як коли має рацію.
Чому це пастка
Чому це так важливо? Бо ми читаємо впевненість як сигнал — певний людський голос зазвичай означає того, хто перевірив. Із симульованим експертом цей прийом ламається: модель навчили звучати як упевнений помічник, незалежно від того, чи вона справді знає. Доведи це до краю — і отримаєш найдивніший випадок: відповідь, хибну в кожній деталі, подану найтеплішим, найавторитетнішим голосом у кімнаті. Ліки — не в тому, щоб не довіряти асистенту з принципу; а в тому, щоб перестати читати його тон як доказ. Оцінюй твердження, а не впевненість. На практиці підказка проста: чим гладкішою й певнішою звучить відповідь, тим більше вона заслуговує на ту саму перевірку, що й упевнене твердження незнайомця — бо ця гладкість відрепетирувана, а не заслужена.
Під капотом цю впевнену персону обирають під час дотренування — зміни приклади-діалоги, і зміниш персонажа. Це ще й глибший корінь галюцинацій: модель, навчена грати експерта, що звучить певно, часто радше дасть упевнений здогад, ніж вийде з ролі, щоб визнати «Я не знаю».
Підсумок
- —Асистент — це персонаж, якого модель навчилася грати, наслідуючи приклади-діалоги, а не розум чи база даних
- —Хто писав ті приклади й яких настанов дотримувався — формує його особистість, цінності й голос
- —Його впевнений тон — частина вистави, регулятор, який можна крутити, окремий від того, чи відповідь правдива
- —Тож упевненість — ніколи не перевірка фактів: зважуй саме твердження, а не те, наскільки певно воно звучить
Асистент дає тобі хибний факт спокійним, упевненим, гарно написаним тоном. Спираючись на цей урок, що насправді каже тобі цей упевнений тон?
Продовжити в застосунку
Пройди весь курс «Як AI вчиться думати» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.