Урок 2 із 6
Поріг корисності
7 хв читання
Найпотужніша модель має найвищі бали на кожному бенчмарку. Вона ж і найповільніша, і найдорожча. Ти її запускаєш?
Достатньо добре — свідомо
У кожної AI-функції є поріг корисності — планка, на якій результат уже достатньо добрий, щоб виконати роботу. Вище планки додаткова якість часто невидима для користувача; нижче — функція марна, хай там яка дешева. Продуктове питання ніколи не звучить як «яка модель найкраща?». Воно звучить так: «яка найдешевша й найшвидша модель долає планку?»
Якість, затримка й ціна — це один компроміс, а не три. Обираєш точку, що долає твою планку корисності за найменші гроші й найкоротше очікування.
Підбери розмір, потім перевір знову
Більша модель коштує більше за кожну відповідь і часто відповідає повільніше, а повільну відповідь користувачі сприймають як гірший продукт. Тож підбирай розмір: починай із найменшої моделі, що проходить, і піднімайся вище лише тоді, коли якості справді бракує. А далі перевіряй знову, бо моделі дужчають: задача, що минулого кварталу була по зубах лише флагманові, вже цього може працювати на дешевій моделі.
Правильна модель — це найменша, що долає планку. Платити за якість, якої користувачі не відчувають, — це просто більший рахунок.
Швидкість — це теж функція продукту. «Краща» відповідь із затримкою у дві секунди може сподобатися користувачам менше, ніж достатньо добра, але миттєва. Зважуй швидкість нарівні з якістю й ціною, а не після них.
Суть коротко
- —Задай поріг корисності: планку якості, на якій функція виконує свою роботу.
- —Обери найдешевшу й найшвидшу модель, що долає планку, — а не найпотужнішу.
- —Перевіряй знову, поки моделі змінюються; сьогоднішня дешева модель може подолати вчорашню складну планку.
Дешевша, швидша модель відповідає «достатньо добре» для твоєї задачі за частку ціни флагмана. Яке правильне рішення?
Продовжити в застосунку
Пройди весь курс «Вимірювання та управління AI-продуктами» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.