Урок 3 із 6
Як читати рейтинги
6 хв читання
«#1 у рейтингу!» — заявляє кожен запуск. Що ці ранжування насправді вимірюють — і чому топова модель усе одно може бути не для тебе?
Як моделі ранжують
Бенчмарк — це фіксований тест: великий набір питань із відомими відповідями, і бал моделі — скільки вона вгадала. Арена ранжує інакше: люди голосують, яка з двох анонімних відповідей краща, і голоси будують рейтинг. Обидва перетворюють «яка модель хороша» на одне число, за яким можна сортувати.
Рейтинг стискає «хороша» в одне число, за яким можна сортувати.
Чого ранг не бачить
Заковика: ранг підсумовує задачі, які можуть бути не твоїми. Модель, що очолює бенчмарк із коду, усе одно може писати незграбні листи; улюбленець арени може провалити твою нішу. Бенчмарки з часом також просочуються в навчальні дані, тихо завищуючи бали. Використовуй рейтинги, щоб звузити поле, а тоді перевір кілька найкращих на власній реальній роботі — це єдиний бенчмарк, що рахується для тебе.
Найкраща модель на папері не завжди найкраща для твоєї задачі — перевір самостійно.
Відбери дві-три топові моделі з рейтингу, тоді проведи через кожну власну реальну задачу. Твоя робота — це бенчмарк, що має значення.
Коротко
- —Бенчмарки оцінюють моделі на фіксованих тестах; арени ранжують за голосами людей.
- —Ранг охоплює деякі задачі — не обов'язково твої.
- —Використай рейтинги для відбору, тоді перевір на власній роботі.
Модель очолює рейтинг. Який тверезий висновок?
Продовжити в застосунку
Пройди весь курс «Ландшафт AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.