Урок 1 із 6

Чому оцінювання — це справжній рів захисту

7 хв читання

Ти показуєш гладеньке демо. Зал у захваті. За два тижні клієнт вводить те, що тобі й на думку не спадало, — і воно впевнено розсипається. Хто мав це зловити?

Модель — не твій рів захисту

Конкурент викликає той самий API, з тими самими вагами, за ту саму ціну. Модель — це товар. Чого він не клонує — це твоїх оцінювань: повторюваного способу виміряти, чи робить твоя система твою роботу на твоїх даних. Оцей вимір і є рів захисту, і він міцнішає з кожним доданим кейсом.

Оцінювання — це фіксований набір тестових кейсів, на якому ти проганяєш систему, щоб отримати оцінку: перетворити «виглядає добре» на число, яке можна відстоювати й відстежувати.

«Мені виглядає добре» не масштабується

Оком переглянути кілька відповідей — на відчуттях — годиться для першого демо й ні для чого далі. Тисячу запитів оком не переглянеш, минулотижневі граничні випадки забудеш, а впевнена відповідь читається однаково, чи вона правильна, чи це галюцинація. Оцінювання — це як перевіряти на масштабі замість молитися.

Гарне демо — це чернетка, а не доказ. Один прогін оцінювання б'є сотню впевнено-виглядних відповідей.

Починай сміховинно мало. Навіть десять розмічених вручну прикладів у таблиці кращі за нуль — набір ти нарощуєш, коли реальні збої підкажуть нові кейси.