行列、ベクトルと多項式の関係 - のんびり亀エンジニアの勉強日記

機械学習分野では、多項式を行列・ベクトルで表現していることがよくあります。
落ち着いて考えれば何てことないのですが、"なんでこんな式変換になるの？"と混乱することがあったので改めてまとめてみます。

一次式のベクトル表現

$\begin{align} w_{1}x_{1} +w_{2}x_{2} + \cdots + w_{n}x_{n}&=\sum_{i=1}^{n} w_{i}x_{i} \\ &= \begin{bmatrix} w_{1} & w_{2} & \cdots & w_{n} \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \\ \end{bmatrix} \\ &={\bf w}^T {\bf x} \end{align}$

重み付き総和などは、よくこのような式で表現されます。
また、このように表現される式を線形結合と呼びます。

二次式の行列・ベクトル表現

$\begin{align} {\bf x} = \begin{bmatrix} x_1 \\x_2 \end{bmatrix}, {\bf A} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} \end{align}$

としたとき、

$\begin{align} ax_1^2+(b+c)x_{1}x_{2}+dx_2^2 &= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} a & b \\ c & d \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}\\ &= {\bf x}^T{\bf A}{\bf x} \end{align}$

このように表現される式を二次形式と呼びます。

二乗和のベクトル表現

$\begin{align} x_{1}^2 + x_{2}^2 + \cdots + x_{n}^2&=\sum_{i=1}^{n} x_{i}^2 \\ &= \begin{bmatrix} x_{1} & x_{2} & \cdots & x_{n} \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \\ \end{bmatrix} \\ &={\bf x}^T {\bf x}\\ &=\begin{Vmatrix} {\bf x} \end{Vmatrix}^2\\ \end{align}$