Урок 2 із 6
Що таке «навчання» насправді
11 хв читання
«Навчання» звучить як завантаження програми фактами. Насправді воно дивніше — й простіше. У самій серцевині навчання — це машина, що крутить ручки, аж поки не почне вгадувати краще.
Здогад, а тоді поштовх
Ось уся ідея в одному русі. Модель читає клаптик тексту — «трава» — і вгадує наступне слово. Усередині неї — величезна кількість крихітних ручок, які формують цей здогад. Спершу ручки випадкові, тож здогад — маячня. Потім вона підглядає справжнє наступне слово в тексті — «зелена» — і трішки підкручує ручки так, щоб наступного разу «зелена» набрала трохи більше. Здогад, звірка з реальністю, поштовх. Оце й уся хитрість.
Вчитися кидати м'яч у кошик — той самий цикл: кинь, побач промах, підкоригуй. Модель кидає в наступне слово й коригує свої ручки.
Мільйони таких ручок
Сцена дає тобі три ручки, щоб це відчути. У справжньої моделі їх мільярди — надто багато, щоб хтось виставив їх руками. У цьому й суть «Потренуватися»: замість людини, що крутить ручки, машина міряє, наскільки хибним був кожен здогад, і зсуває кожну ручку на дрібку в той бік, що допоміг би. Один поштовх майже нічого не значить. Трильйони поштовхів по океану тексту складаються в модель, що передбачає навдивовижу добре.
Ці ручки мають назву: параметри. Коли чуєш, що в моделі «70 мільярдів параметрів», — це 70 мільярдів ручок, підкручених під час навчання.
Навчання — це автоматичне підкручування ручок: вгадай, зміряй промах, зсунь кожну ручку до кращого здогаду — і повторюй у гігантському масштабі.
Нічого не зберігається як факт
Зверни увагу, чого не сталося: жоден факт не поклали в шухляду. Модель не зберегла десь «трава зелена». Вона лише підкрутила ручки, щоб закономірність виходила правильно. Усе її «знання» живе в точних положеннях цих ручок — велетенській павутині поштовхів, а не на полиці з фактами.
Ось чому не можна відкрити модель і знайти всередині речення чи чисто видалити один факт. Усе розмазане по ручках одразу. Навчена модель — це заморожений підсумок усього того тренування: одне величезне налаштування, що просто добре передбачає мову.
Знання моделі — не збережений список. Це положення мільярдів ручок, підкручених так, щоб закономірності виходили правильно.
Що взяти з собою
- —Навчання = вгадай наступне слово, звір зі справжнім, підкрути ручки — знову і знову.
- —Ці ручки звуться параметрами; у справжніх моделей їх мільярди, і крутяться вони автоматично.
- —Знання живе в положеннях ручок, а не як збережені факти, які можна знайти чи видалити.
Простими словами, що таке «навчання» моделі?
Продовжити в застосунку
Пройди весь курс «Як навчається AI» — з відстеженням
Отримай персональний план, прогрес і стріки в застосунку — цей урок і кожен наступний, по порядку.