Урок 3 із 6
Чому більше даних допомагає
10 хв читання
Якщо навчання — це читання і тренування, напрошується питання: чи від більшого й того, й іншого AI стає розумнішим? Здебільшого так — з двома великими застереженнями.
Дві ручки: скільки і як довго
Два чинники визначають, наскільки доброю стане навчена модель. Перший — скільки вона прочитала: більше тексту вкриває більше світу, тож менше тем лишаються порожніми. Прочитай мільйон медичних статей — і вона підтримає розмову про медицину; майже нічого про рідкісне хобі — і цей закуток лишиться тонким. Другий — як довго вона тренувалася: більше кіл здогад-і-поштовх загострюють кожне передбачення з розмитого передчуття до впевненого, влучного. Підкрути обидва — і модель водночас ширшає й гострішає.
Більше даних розширює те, що модель вкриває; більше тренування загострює те, як добре вона передбачає. Разом вони роблять її сильнішою — саме цю тягу мають на увазі під законами масштабування.
Сміття зайшло — сміття вийшло
Ось перше застереження: якість важить не менше за кількість. Перемкни дані на брудні — повні помилок, спаму й суперечностей — і нагромадження їх майже не допомагає. Модель сумлінно вивчає безлад, бо не може відрізнити добрий текст від поганого; вона просто вбирає все, що дали. Це та сама причина, чому студент, який зубрить зі стосу неправильних відповідей, стає гіршим, а не кращим: тренування вкарбовує те, що ти тренуєш. Менша купа чистого, надійного тексту зазвичай б'є гору мотлоху — ось чому справжні навчальні конвеєри викидають куди більше тексту, ніж лишають.
Ось чому команди витрачають величезні зусилля на очищення й фільтрацію навчальних даних. Модель настільки надійна, наскільки надійне те, чим її годували.
Більше допомагає лише тоді, коли воно якісне. Модель не може судити свої джерела — вона вивчає безлад так само сумлінно, як і правду.
Більше — це не чари
Друге застереження: приріст виходить на плато. Подвоєння даних не подвоює кмітливість — кожна наступна купа допомагає трохи менше за попередню, як десятий підручник з теми навчає менше за перший. І все ж за певними розмірами можуть проявитися нові здатності, яких раніше явно не було, — модель раптом дає раду задачі, яку колись провалювала, хоча ніхто не програмував цю навичку. Масштабування потужне, але це рівне сходження з нечастими сюрпризами, а не перемикач, що клацає на «геній».
Масштабування допомагає, але зі спадною віддачею — хоча за більших розмірів справді нові здатності можуть проявитися.
Що взяти з собою
- —Більше даних заповнює прогалини; більше тренування загострює передбачення.
- —Якість б'є кількість — брудні дані навчають брудну модель.
- —Приріст виходить на плато, хоча за більших масштабів іноді з'являються нові здатності.
Команда подвоює навчальні дані, додаючи брудний, низькоякісний текст. Що станеться?
Продовжити в застосунку
Пройди весь курс «Як навчається AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.