RREF與線性獨立之間的關係

RREF與線性獨立之間的關係

如果我們現在有五個向量

$$v_{1}=\begin{bmatrix}1\\-2\\2\end{bmatrix},\;v_{2}=\begin{bmatrix}2\\-4\\4\end{bmatrix},\;v_{3}=\begin{bmatrix}0\\-2\\0\end{bmatrix},\;v_{4}=\begin{bmatrix}3\\0\\7\end{bmatrix},\;v_{5}=\begin{bmatrix}2\\2\\5\end{bmatrix}$$

我想要知道這五個向量是否為線性獨立，若不是，那是否意味著當中某一些向量，可以寫成其他向量的線性組合。

當我們問到「哪一些向量，可以寫成其他向量的線性組合？」關於這個問題，似乎會想到要分成五個問題來討論

• 是否存在係數$x_{1},x_{2},x_{3},x_{4}$ 使得$v_{5}=v_{1}x_{1}+v_{2}x_{2}+v_{3}x_{3}+v_{4}x_{4}$，
• 是否存在係數$y_{1},y_{2},y_{3},y_{5}$ 使得$v_{4}=v_{1}y_{1}+v_{2}y_{2}+v_{3}y_{3}+v_{5}y_{5}$，等等..

而每一個問題，好像都要做一次高斯消去法，才能夠得到解答。有沒有辦法簡化這個過程呢？

事實上，有的，我們不再考慮「向量$v_{1},\dots,v_{5}$ 當中，是否有向量可以寫成另外四個向量的線性組合」的問題，而是試著解決「向量$v_{1},\dots,v_{5}$ 當中是否有向量，可以寫成前面的向量的線性組合」，也就是

1. 是否存在係數$x_{1},x_{2},x_{3},x_{4}$ 使得$v_{1}x_{1}+v_{2}x_{2}+v_{3}x_{3}+v_{4}x_{4}=v_{5}$，
2. 是否存在係數$x_{1},x_{2},x_{3}$ 使得 $v_{1}x_{1}+v_{2}x_{2}+v_{3}x_{3}=v_{4}$
3. 是否存在係數$x_{1},x_{2}$ 使得 $v_{1}x_{1}+v_{2}x_{2}=v_{3}$
4. 是否存在係數$x_{1}$ 使得 $v_{1}x_{1}=v_{2}$

以下我們針對這4個問題詳細討論。

問題一

其中第一個問題，「是否存在係數$x_{1},x_{2},x_{3},x_{4}$ 使得$v_{1}x_{1}+v_{2}x_{2}+v_{3}x_{3}+v_{4}x_{4}=v_{5}$ 」，我們可以用高斯消去法來解增廣矩陣

$$\begin{bmatrix}1&2&0&3&|&2\\-2&-4&-2&0&|&2\\2&4&0&7&|&5\end{bmatrix}$$

我們將增廣矩陣

$$\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\-2 & -4 & -2 & 0 & \mid & 2 \\2 & 4 & 0 & 7 & \mid & 5\end{bmatrix}$$

使用高斯消去法轉換為簡化列階梯形式（RREF）。

$$\begin{align}\tag{1}\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\-2 & -4 & -2 & 0 & \mid & 2 \\2 & 4 & 0 & 7 & \mid & 5\end{bmatrix}&\to\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\0 & 0 & -2 & 6 & \mid & 6 \\2 & 4 & 0 & 7 & \mid & 5\end{bmatrix}\to\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\0 & 0 & -2 & 6 & \mid & 6 \\0 & 0 & 0 & 1 & \mid & 1\end{bmatrix}\\&\to\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\0 & 0 & 1 & -3 & \mid & -3 \\0 & 0 & 0 & 1 & \mid & 1\end{bmatrix}\to\begin{bmatrix}1 & 2 & 0 & 0 & \mid & -1 \\0 & 0 & 1 & 0 & \mid & 0 \\0 & 0 & 0 & 1 & \mid & 1\end{bmatrix}\end{align}$$

所以推得

$$\begin{cases}x_{1}&+&2x_{2}&+&&+&&=&-1\\&&&&x_{3}&&&=&0\\&&&&&&x_{4}&=&1\end{cases}$$

因此$v_{5}$ 可以寫成$v_{1},v_{2},v_{3},v_{4}$ 的線性組合。我任選一個解，如下

$$(-1)\cdot\begin{bmatrix}1\\-2\\2\end{bmatrix}+0\cdot\begin{bmatrix}2\\-4\\4\end{bmatrix}+0\cdot\begin{bmatrix}0\\-2\\0\end{bmatrix}+1\cdot\begin{bmatrix}3\\0\\7\end{bmatrix}=\begin{bmatrix}2\\2\\5\end{bmatrix}$$

問題二

對於第二個問題，「是否存在係數$x_{1},x_{2},x_{3}$ 使得 $v_{1}x_{1}+v_{2}x_{2}+v_{3}x_{3}=v_{4}$」，我們一樣用高斯消去法來解以下增廣矩陣

$$\begin{bmatrix}1&2&0&|&3\\-2&-4&-2&|&0\\2&4&0&|&7\end{bmatrix}$$

使用高斯消去法轉換為簡化列階梯形式（RREF）：

$$\tag{2}\begin{align}\begin{bmatrix}1 & 2 & 0 & \mid & 3 \\-2 & -4 & -2 & \mid & 0 \\2 & 4 & 0 & \mid & 7\end{bmatrix}&\to\begin{bmatrix}1 & 2 & 0 & \mid & 3 \\0 & 0 & -2 & \mid & 6 \\2 & 4 & 0 & \mid & 7\end{bmatrix}\to\begin{bmatrix}1 & 2 & 0 & \mid & 3 \\0 & 0 & -2 & \mid & 6 \\0 & 0 & 0 & \mid & 1\end{bmatrix}\\&\to\begin{bmatrix}1 & 2 & 0 & \mid & 0 \\0 & 0 & -2 & \mid & 0 \\0 & 0 & 0 & \mid & 1\end{bmatrix}\to\begin{bmatrix}1 & 2 & 0 & \mid & 0 \\0 & 0 & 1 & \mid & 0 \\0 & 0 & 0 & \mid & 1\end{bmatrix}\end{align}$$

所以

$$\begin{cases}x_{1}&+&2x_{2}&&&=&0\\&&&&x_{3}&=&0\\0&+&0&+&0&=&1\end{cases}$$

代表該線性方程組無解，所以$v_4$ 不能寫成$v_{1},v_{2},v_{3}$ 的線性組合。

問題三

對於第三個問題，「是否存在係數$x_{1},x_{2}$ 使得 $v_{1}x_{1}+v_{2}x_{2}=v_{3}$」，我們一樣用高斯消去法來解以下增廣矩陣

$$\begin{bmatrix}1&2&|&0\\-2&-4&|&-2\\2&4&|&0\end{bmatrix}$$

使用高斯消去法轉換為簡化列階梯形式（RREF）：

$$\begin{align}\tag{3}\begin{bmatrix}1 & 2 & \mid & 0 \\-2 & -4 & \mid & -2 \\2 & 4 & \mid &0\end{bmatrix}&\to\begin{bmatrix}1 & 2 & \mid & 0 \\0 & 0 & \mid & -2 \\2 & 4 & \mid &0\end{bmatrix}\to\begin{bmatrix}1 & 2 & \mid & 0 \\0 & 0 & \mid & -2 \\0 & 0 & \mid &0\end{bmatrix}\to\begin{bmatrix}1 & 2 & \mid & 0 \\0 & 0 & \mid & 1 \\0 & 0 & \mid &0\end{bmatrix}\end{align}$$

所以

$$\begin{cases}x_{1}&+&2x_{2}&=&0\\0&+&0&=&1\\0&+&0&=&0\end{cases}$$

代表該線性方程組無解，所以$v_3$ 不能寫成$v_{1},v_{2}$ 的線性組合。

問題四

對於第四個問題，「是否存在係數$x_{1}$ 使得 $v_{1}x_{1}=v_{2}$」，我們一樣用高斯消去法來解以下增廣矩陣：

$$\begin{bmatrix}1&|&2\\-2&|&-4\\2&|&4\end{bmatrix}$$

使用高斯消去法轉換為簡化列階梯形式（RREF）：

$$\begin{align}\tag{4}\begin{bmatrix}1 & \mid & 2 \\-2 & \mid & -4 \\2 & \mid & 4\end{bmatrix}&\to\begin{bmatrix}1 & \mid & 2 \\0 & \mid & 0 \\2 & \mid & 4\end{bmatrix}\to\begin{bmatrix}1 & \mid & 2 \\0 & \mid & 0 \\0 & \mid & 0\end{bmatrix}\end{align}$$

所以

$$x_{1}=2$$

因此$v_{2}$可以寫成$v_{1}$ 的線性組合，例如

$$2\cdot\begin{bmatrix}1\\-2\\2\end{bmatrix}=\begin{bmatrix}2\\-4\\4\end{bmatrix}$$

結論

從以上繁瑣的推導過程，我們得出「$v_{2}$可以寫成$v_{1}$ 的線性組合」，以及「$v_{5}$ 可以寫成$v_{1},v_{2},v_{3},v_{4}$ 的線性組合」。

如果我們仔細觀察我們每一次的高斯消去法，會發現其實根本在做一樣的事情，也就是說，我們其實只需要做第一次，並且得出

$$\begin{align}\tag{5}\begin{bmatrix}1 & 2 & 0 & 3 & \mid & 2 \\-2 & -4 & -2 & 0 & \mid & 2 \\2 & 4 & 0 & 7 & \mid & 5\end{bmatrix}&\to\begin{bmatrix}1 & 2 & 0 & 0 & \mid & -1 \\0 & 0 & 1 & 0 & \mid & 0 \\0 & 0 & 0 & 1 & \mid & 1\end{bmatrix}\end{align}$$

就足夠。而剩下的「該向量是否能夠寫成前面向量的線性組合」這種問題，只需看第5 式的最簡列梯形便能看出來。

如果我們仔細觀察那些能夠寫成前面向量的線性組合的向量（以現在的討論為例，是$v_{2},v_{5}$）與最簡列梯形之間的關係，我們會發現，那些能夠寫成前面向量的線性組合的向量，都不是在pivot column。

而事實上，不只是這個例子而已，無論幾維，無論幾個的column vector，都一樣，「只有那些不是在pivot column的column vector 能夠寫成前面的column vector的線性組合」

以下這個定理出自於線性代數課本，由S. Friedberg, A. Insel,  L.Spence所寫的Linear algebra的定理3.16。這個定理闡述了RREF與原本矩陣的關係，說明了如何從RREF，看出原本矩陣哪一些column是線性獨立的。

Theorem 3.16 (Linear Algebra, written by S. Friedberg, A. Insel,  L.Spence, in 2018 )

Let $A$ be an $m\times n$ matrix of rank $r$, where $r>0$, and let $B$ be the reduced row echelon form of $A$. Then

1. The number of nonzero rows in $B$ is $r$

2. For each $i = 1,2,\dots, r$, there is a column $b_{j_{i}}$ of $B$ such that $b_{j_{i}}=e_i$.

3. For each $k=1,2,\dots,n$, if column $k$ of $B$ is $d_{1}e_{1}+d_{2}e_{2}+\cdots+d_{r}e_{r}$, then column $k$ of $A$ is $d_{1}a_{j_{i}}+d_{2}a_{j_{2}}+\cdots+ d_{r}a_{j_{r}}$.

參考文獻

• https://hackmd.io/@shaoeChen/ryPMqYwGL
• Linear Algebra, written by S. Friedberg, A. Insel,  L.Spence, in 2018