Как думает нейронная сеть: от суммы весов до внимания

Зачем этот курс

Нейронная сеть — это не магия и не «чёрный ящик с нейронами мозга». Это композиция простых функций: скалярное произведение, нелинейность, усреднение ошибки и шаг по градиенту. Если понять эти четыре действия, дальше читаются и свертки, и трансформеры.

Базовая модель одного нейрона выглядит так:

Вектор \(\mathbf{x}\) — признаки примера, \(\mathbf{w}\) — обучаемые веса, \(b\) — смещение, \(\sigma\) — функция активации. Сеть из многих нейронов — это просто много таких преобразований, сложенных слоями.