Vektorisierung (Mathematik)

Die Vektorisierung bezeichnet in der linearen Algebra und in der Matrix-Theorie die Transformation einer Matrix oder eines Tensors in einen Vektor. Die Anordnung der Elemente im Vektor erfolgt spaltenweise. Der dazugehörige lineare Operator wird mit $\operatorname {vec}$ notiert und ist auf dem Raum der endlichdimensionalen Matrizen definiert.

Als anschauliches Beispiel:

$X={\begin{pmatrix}a_{1}&b_{1}\\a_{2}&b_{2}\end{pmatrix}}\implies \operatorname {vec} (X)={\begin{pmatrix}a_{1}\\a_{2}\\b_{1}\\b_{2}\end{pmatrix}}.$

Die Notation $\operatorname {vec} (X)$ steht für englisch vector of $X$ und wird auch mit $\operatorname {vec} X$ notiert. Zwei weitere Vektorisierungs-Operatoren sind $\operatorname {vech}$ und $\operatorname {vecp}$, deren Notation für englisch vector half und englisch vector pattern steht. Der erste Operator liefert einen Vektor mit den Elementen des oberen Dreiecks. Der zweite Operator liefert einen Vektor mit allen eindeutig unterschiedlichen Variablen einer sogenannten gemusterten Matrix, so dass im resultierenden Vektor keine Abhängigkeit zwischen den Variablen besteht. Die Literatur ist nicht immer konsistent in deren Notation.

Die Permutationsmatrix, welche $\operatorname {vec} (X)$ in $\operatorname {vec} (X^{\mathrm {T} })$ transformiert, nennt man Kommutationsmatrix.

Definition

Sei $X$ eine $m\times n$-Matrix mit endlicher Dimension und seien $x_{i},i=1,\dots ,n$ die Spalten von $X$, das heißt $x_{i}={\begin{pmatrix}x_{1i}&x_{2i}&\dots &x_{mi}\end{pmatrix}}^{\mathrm {T} }$.

Die Vektorisierung $\operatorname {Vec} (X)$ ist der $mn\times 1$-Vektor

$\operatorname {Vec} (X)={\begin{pmatrix}x_{1}\\x_{2}\\\vdots \\x_{n}\end{pmatrix}}={\begin{pmatrix}x_{11}\\x_{21}\\\vdots \\x_{mn}\end{pmatrix}}.$

Vektorisierung von Tensoren

Die Vektorisierung lässt sich auch direkt auf Tensoren übertragen. Für einen Tensor $A\in \mathbb {K} ^{I_{1}\times I_{2}\times \cdots \times I_{N}}$ bedeutet dies, dass das Element $a_{i_{1},i_{2},\dots ,i_{N}}$ an die Position

$q=i_{1}+\sum \limits _{n=2}^{N}\left((i_{n}-1)\prod \limits _{k=1}^{n-1}I_{k}\right)$

des Vektors $\operatorname {vec} (A)\in \mathbb {K} ^{I_{1}I_{2}\cdots I_{N}\times 1}$ kommt.

Eigenschaften

Seien $A(p\times m)$, $X(m\times n)$, $B(n\times q)$, $C(q\times m)$, $D(q\times n)$ und $E(m\times m)$ fünf Matrizen, deren Dimension dahinter steht, dann gilt

• $\operatorname {vec} (AXB)=(B^{\mathrm {T} }\otimes A)\operatorname {vec} (X)$,
• $\operatorname {tr} (CXB)=(\operatorname {vec} (C^{\mathrm {T} }))^{\mathrm {T} }(I_{q}\otimes X)\operatorname {vec} (B)$,
• $\operatorname {tr} (DX^{\mathrm {T} }EXB)=(\operatorname {vec} (X))^{\mathrm {T} }(D^{\mathrm {T} }B^{\mathrm {T} }\otimes E)\operatorname {vec} (X)=(\operatorname {vec} (X))^{\mathrm {T} }(BD\otimes E')\operatorname {vec} (X).$

$\otimes$ ist das Kronecker-Produkt.

Kommutationsmatrix

Sei $X$ eine $m\times n$-Matrix, dann ist die Kommutationsmatrix $K_{(mn)}$ die Permutationsmatrix der Dimension $mn\times mn$, welche folgende Gleichung

$K_{(mn)}\operatorname {vec} (X)=\operatorname {vec} (X^{\mathrm {T} })$

erfüllt.

Sie kann wie folgt konstruiert werden:

$K_{(mn)}=\sum _{i=1}^{m}\sum _{j=1}^{n}(H_{ij}\otimes H_{ij}^{\mathrm {T} })$

wobei die $H_{ij}$ Matrizen der Dimension $m\times n$ sind, die eine $1$ an der Stelle $(i,j)$ besitzen und Null an den restlichen Stellen

$H_{ij}(s,t)={\begin{cases}1&{\text{falls }}s=i,t=j\\0&{\text{sonst}}\end{cases}},$

was dem Produkt der Einheitsvektoren $e_{i}\in \mathbb {R} ^{m}$ und $e_{j}\in \mathbb {R} ^{n}$

$H_{ij}=e_{i}e_{j}^{\mathrm {T} }$

entspricht.

Es gilt

$K_{(mn)}=K_{(nm)}^{\mathrm {T} }=K_{(nm)}^{-1}.$

Verwandte Operatoren

Die Literatur ist nicht immer konsistent bezüglich der Notation von $\operatorname {vecp}$ und $\operatorname {vech}$, so definieren manche Autoren $\operatorname {vecp}$ als den Operator $\operatorname {vech}$ und umgekehrt. Auch die Anordnung der Elemente kann sich von Autor zu Autor unterscheiden. Wir folgen Henderson und Searle.

Der vech-Operator

Sei $X$ eine symmetrische Matrix der Dimension $n\times n$, dann ist $\operatorname {vech} (X)$ der ${\tfrac {1}{2}}n(n+1)$-dimensionale Vektor, bestehend aus der Diagonalen von $X$ und den Elementen darüber. Die Anordnung erfolgt wieder spaltenweise.

Konkret bedeutet das für

$X={\begin{pmatrix}x_{11}&x_{12}&\cdots &x_{1n}\\x_{21}&x_{22}&\cdots &x_{2n}\\\vdots &\vdots &\vdots &\vdots \\x_{n1}&x_{n2}&\cdots &x_{nn}\\\end{pmatrix}}$,

dass

$\operatorname {vech} (X)={\begin{pmatrix}x_{11}&x_{12}&x_{22}&x_{13}&x_{23}&x_{33}&\cdots &x_{nn}\end{pmatrix}}^{\mathrm {T} }.$

Da die Matrix symmetrisch ist, kann man für die Definition auch die Diagonale mit den Elementen darunter nehmen. Die Anordnung der Elemente wird bei einer spaltenweise Anordnung dann aber anders sein.

Der vecp-Operator

Wir nennen eine Matrix eine gemusterte Matrix (englisch patterned Matrix), wenn eine oder beide Bedingungen zutreffen:

1. Manche Elemente sind konstant (d. h. sie sind keine Variablen).
2. Manche Elemente sind Funktionen von anderen Elementen.

Sei $X$ eine gemusterte Matrix, dann ist $\operatorname {vecp} (X)$ der Vektor bestehend aus allen eindeutigen unterschiedlichen Variablen.

Damit ist gemeint, dass keine Abhängigkeiten unter diesen Variablen gelten soll und jede Variable deshalb auch nur einmal vorkommen kann. Der resultierende Vektor ist dann musterfrei.

Beispiele:

Sei

$X={\begin{pmatrix}1&(ab)^{2}&b\\a&0&dc\\b^{3}&ce&bd\end{pmatrix}},$

dann ist

$\operatorname {vecp} (X)={\begin{pmatrix}a&b&c&d&e\end{pmatrix}}^{\mathrm {T} }$

Literatur

• Arjun K. Gupta, D. K. Nagar: Matrix variate distributions. Chapman & Hall /CRC, 2000, ISBN 1-58488-046-5 (englisch). 
• Harold V. Henderson und S. R. Searle: Vec and Vech Operators for Matrices, with Some Uses in Jacobians and Multivariate Statistics. In: The Canadian Journal of Statistics / La Revue Canadienne de Statistique. Band 7, Nr. 1, 1979, S. 65–81, doi:10.2307/3315017.