Машинное обучение и нейросети с нуля
Курс для тех, кто хочет по-настоящему понять, как работают нейросети, — от школьной математики до трансформера. Линейная алгебра и производные с наглядными картинками, градиентный спуск, граф вычислений и автоматическое дифференцирование. Мы шаг за шагом напишем собственную библиотеку нейросетей nanotorch (как PyTorch в миниатюре): нейрон, полносвязные сети, функции активации и потерь, инициализацию, BatchNorm и LayerNorm, оптимизаторы, метрики, Dropout, свёрточные сети, эмбеддинги, механизм внимания и Transformer, и обучим их прямо в браузере. Весь код запускается на странице, графики строятся тут же, а задания проверяются автотестами.
Введение
Что такое машинное обучение, как устроен курс и NumPy — главный инструмент для работы с числами.
Линейная алгебра
Векторы, матрицы и их смысл: скалярное произведение, умножение матриц, линейные преобразования, определитель и обратная матрица — всё, на чём стоят нейросети.
Математический анализ
Функции, производные и градиенты: как понять, куда двигать параметры модели, чтобы ошибка уменьшилась. Плюс немного вероятностей для функций потерь.
Как учатся модели
Постановка задачи обучения, градиентный спуск, граф вычислений и автоматическое дифференцирование: пишем свой движок обратного распространения.
Нейронные сети
От одного нейрона до глубоких сетей: слои, активации, функции потерь, инициализация, нормализация, оптимизаторы, метрики и борьба с переобучением.
- Нейрон: шаг в будущее
- Линейный слой
- Полносвязные нейронные сети
- Функции активации
- Задача регрессии и её функция потерь
- Задача классификации и её функция потерь
- Инициализация весов нейронной сети
- BatchNorm
- LayerNorm
- Оптимизаторы градиентного спуска
- Метрики качества
- Переобучение и борьба с ним
- Dropout
- Проект: распознаём рукописные цифры
Свёрточные сети
Как нейросети видят картинки: свёртка, фильтры, пулинг и архитектура свёрточной сети.
Трансформеры
От текста к числам и механизм внимания: токенизация, эмбеддинги, attention, self-attention, multi-head attention, энкодер трансформера и визуализация того, куда смотрит модель.