Урок 5 із 6
Упевненість — не правильність
5 хв читання
«Я певен.» «Без сумніву.» «Це добре відомо.» AI може загорнути хибну відповідь у мову цілковитої впевненості — і вона звучить точнісінько як тоді, коли він має рацію.
Тон згенеровано, як і відповідь
Коли модель пише «безумовно» чи «я певен», вона не звітує про вимір власної надійності. Ці слова — просто ще одні ймовірні наступні слова, обрані тому, що впевнений текст зазвичай іде за таким типом питання. Певність — частина письма, а не показник того, наскільки він правий.
Те, наскільки заявлена впевненість збігається зі справжньою точністю, має назву — калібрування, — і більшість чат-ботів відкалібровані кепсько. Гучно й хибно — цілком у меню.
Тож упевненість не може бути твоїм фільтром
Якби «звучить певно» було надійним сигналом, можна було б просто довіряти упевненим відповідям і перевіряти обережні. Але певність і правильність відчіпляються одна від одної: деякі з найкатегоричніших відповідей хибні, а деякі невпевнені — точно в ціль. Сортування за впевненістю не сортує за правдою.
Переверни звичний інстинкт. Обмовка («думаю», «варто перевірити») часто означає, що модель чесна, — іноді надійніша за гучне беззастережне твердження.
Що взяти з собою
- —Упевнене формулювання — це стиль, а не доказ точності.
- —Моделі кепсько відкалібровані: вони можуть звучати так само певно, коли помиляються, як і коли мають рацію.
- —Суди про відповідь за тим, чи вона підтверджується, — ніколи за тим, як певно вона звучить.
Дві відповіді AI на фактичне питання: одна з обмовкою («гадаю, це десь…»), інша категорична («це безумовно X»). Котра заслуговує більше довіри?
Продовжити в застосунку
Пройди весь курс «Коли AI помиляється» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.