Урок 1 із 6

Чому оцінювання — це справжній рів захисту

7 хв читання

Ти показуєш ефектне демо. Зал у захваті. За два тижні клієнт уводить щось, чого ти жодного разу не пробував, і все впевнено розсипається. Хто мав це зловити?

Модель — не твій рів захисту

Конкурент викликає той самий API, з тими самими вагами, за ту саму ціну. Модель — це товар. А от клонувати не вийде інше: твої оцінювання, тобто повторюваний спосіб виміряти, чи робить твоя система твою роботу на твоїх даних. Саме цей вимір і є рів захисту, і він міцнішає щоразу, коли додаєш новий кейс.

Оцінювання — це фіксований набір тестових кейсів, на якому ти проганяєш систему, щоб отримати оцінку: перетворити «виглядає добре» на число, яке можна відстоювати й відстежувати.

«Мені виглядає добре» не масштабується

Переглянути кілька відповідей оком, на відчуттях, годиться для першого демо й ні для чого далі. Тисячу запитів оком не переглянеш, минулотижневі граничні випадки забудеш, а впевнена відповідь читається однаково, байдуже, правильна вона чи галюцинація. Оцінювання — ось як перевіряти на масштабі, а не молитися.

Гарне демо — це чернетка, а не доказ. Один прогін оцінювання б'є сотню впевнених на вигляд відповідей.

Починай сміховинно мало. Навіть десять розмічених вручну прикладів у таблиці кращі за нуль, а набір ти нарощуєш тоді, коли реальні збої підкажуть нові кейси.