Урок 2 із 6
Поріг корисності
7 хв читання
Найпотужніша модель має найвищі бали на кожному бенчмарку. Вона ж і найповільніша, і найдорожча. Ти її запускаєш?
Достатньо добре — свідомо
У кожної AI-функції є поріг корисності — планка, на якій результат достатньо добрий, щоб виконати роботу. Вище планки додаткова якість часто невидима для користувача; нижче — функція марна, хоч якою дешевою. Продуктове питання ніколи не «яка модель найкраща?» Воно: «яка найдешевша й найшвидша модель долає планку?»
Якість, затримка й ціна — це один компроміс, а не три. Ти обираєш точку, що долає твою планку корисності за найменші гроші й очікування.
Підбери розмір, потім перевір знову
Більша модель коштує більше за відповідь і часто відповідає повільніше — а повільну відповідь користувачі відчувають як гірший продукт. Тож підбирай розмір: починай з найменшої моделі, що проходить, і піднімайся лише тоді, коли якості справді бракує. Потім перевіряй знову, поки моделі покращуються — торішня задача для флагмана може чудово працювати на цьогорічній дешевій моделі.
Правильна модель — це найменша, що долає планку. Платити за якість, якої користувачі не відчувають, — це просто більший рахунок.
Затримка — це теж функція. «Краща» відповідь, що приходить на дві секунди пізніше, може отримати гіршу оцінку від користувачів, ніж достатньо добра відповідь, що з'являється миттєво. Зважуй швидкість поряд з якістю й ціною, а не після них.
Суть коротко
- —Задай поріг корисності: планку якості, на якій функція виконує свою роботу.
- —Обери найдешевшу й найшвидшу модель, що долає планку, — а не найпотужнішу.
- —Перевіряй знову, поки моделі змінюються; сьогоднішня дешева модель може подолати вчорашню складну планку.
Дешевша, швидша модель відповідає «достатньо добре» для твоєї задачі за частку ціни флагмана. Яке правильне рішення?
Продовжити в застосунку
Пройди весь курс «Вимірювання та управління AI-продуктами» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.