Урок 2 із 7

Як читати рейтинги

6 хв читання

Хтось постить «щойно вийшла нова модель №1» разом із графіком. Варто перемикатися? Спершу спитай: хто вирішив, що вона №1, і чи перевіряли твій тип питання?

Звідки беруться рейтинги

Ці турнірні таблиці роблять дві речі. Бенчмарки — це фіксовані екзаменаційні білети: модель відповідає на набір заданих питань і отримує бал. Арени — це конкурси популярності: люди голосують, яка з двох анонімних відповідей їм більше до вподоби, і перемоги складаються в ранг. Обидва корисні; обидва — усереднення по чужих задачах.

Рейтинг — це усереднення по фіксованому набору задач. Зміни задачу — і порядок перетасовується: №1 для програмування може бути в середині таблиці для письма.

Ранг — це не «найкраще для тебе»

Графік не знає, чим ти займаєшся цілими днями. Він також пропускає те, чого бали не вловлюють — як воно на дотик у спілкуванні, чи не забагато відмовляє, ціну, швидкість. Сприймай рейтинг як шортлист, а не вирок: він каже, хто приблизно в грі, а далі ти тестуєш їх на власній роботі.

Використовуй рейтинги, щоб скласти шортлист із двох-трьох, а потім суди їх на власних реальних задачах. Твій робочий процес — єдиний бенчмарк, що має значення.

Бенчмарки обходять. Щойно тест стає відомим, лабораторії тренуються його складати, тож бали повзуть угору без того, щоб модель ставала кращою на твоїй роботі. Число, що виглядає вирішальним, часто є найменш цікавим на сторінці.