🔀 Линейная алгебра в машинном обучении
Матричные операции
Умножение матриц:
Метод наименьших квадратов:
$$\hat{\beta} = (X^T X)^{-1} X^T y$$
Применение в нейронных сетях:
- Прямое распространение: $\mathbf{a}^{(l+1)} = \sigma(W^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)})$
- Обратное распространение: $\frac{\partial C}{\partial W^{(l)}} = \mathbf{a}^{(l-1)} (\delta^{(l)})^T$