Eigen Decomposition

🙅‍♂️휴대폰으로 볼 때 혹시 글자나 숫자가 화면에 다 안나오면, 휴대폰 가로로 돌리시면 됩니다

0. 들어가며

1. Eigen decomposition (long provement)
 1-1. Eigen decomposition to diagonalization
 1-2. Eigen decomposition 장점(5개) & 꿀팁(3개)

2. feature of symmetric matrix
 2-1. 표현
 2-2. 실생활 응용
 2-3. 새로운 해석  

3. 대각화 판별법
 ★대각화 가능, 불가능 사례
 3-1 중복도  
 3-2 닮음 불변량

4. 케일리-해밀턴 정리

5. 연습문제 (3개) 고유값,고유벡터 2개, 케일리해밀턴 1개

0. 들어가며

우선 요약본인데 잠시 훑어보고 지나가는 것도 나쁘진 않을 것 같습니다.
EVD 즉 고윳값 분해를 위한 식은 아래와 같이 나타낼 수 있습니다.
행렬Ax가 있을 때
$Ax = \lambda_1q_1q_1^Tx+\lambda_2q_2q_2^Tx+\cdots+\lambda_nq_nq_n^Tx$

여기서 dim reduction을 하여 고유벡터 2개만 사용할시
$Ax \approx \lambda_1q_1q_1^Tx+\lambda_2q_2q_2^Tx$ 아무튼 서론이 좀 길었는데 거두절미하고,

이번 글에서의 주요 내용인 행렬을 고윳값과 고유벡터로 분해하는 과정인 Eigenvalue Decomposition(고윳값 분해)에 대한 내용과, symmetric matrix의 실생활 응용 및 새로운 해석에 관해 알아볼 것입니다

1. Eigen decomposition (long provement)

——————— 뜻 ———————-
characteristic equation(고유방정식)
\(det(\gamma I_n - M)\) \(\Rightarrow\) 고유값, 고유벡터를 찾는 과정

diagonalization
\(A=V\gamma V^{-1}\)
——————————————-

1-1. Eigen decomposition to diagonalization

\(A_{2*2}\) 가 있다고 하자 이때
eigen value (2개)   \(\gamma_1, \gamma_2\)
eigen vector(무조건 independant) 2개   \(v_1,~ v_2\)

그러면 자연스럽게 \(Av_1=\gamma_1v_1\),       \(Av_2=\gamma_2v_2\) 가 된다
여기서 2개의 수식을 하나로 합쳐보자
\(A\left[v_1, ~~~ v_2\right] = \left[\gamma_1 v_1, ~~~ \gamma_2 v_2\right]\)

오 이식을 이렇게 바꿀 수도 있군
\(=\begin{bmatrix} v_1, ~~ v_2 \end{bmatrix} \begin{bmatrix} \gamma_1 & 0 \\ 0 & \gamma_2 \end{bmatrix}\)

자 이식에서 \(\begin{bmatrix} v_1, ~~~ v_2 \end{bmatrix}\)는 v만 모아놓은 것이니 행렬V라 하자
\(V=\begin{bmatrix} v_1, ~~~ v_2 \end{bmatrix}\), 마찬가지로 \(\gamma=\begin{bmatrix} \gamma_1 & 0 \\ 0 & \gamma_2 \end{bmatrix}\)
어 그러면 식을 이렇게도 바꿀 수 있겠다 \(\Rightarrow AV = V\gamma\)

그럴 때, \(v_1, ~~~ v_2\)는 independant한 vector로 삼으니 그럼 이건 원래 rank가 2 by 2인 행렬인데도 2개다
즉 invertable하다   why? (\(det \neq 0\) 이니까 역행렬 존재해서)

그래서 이렇게 식을 바꿀 수 있다 \(\Rightarrow A=V\gamma V^{-1}\)
🤔만약에 여기서 식을 이렇게 바꾸면? \(\Rightarrow V^{-1}AV=\gamma\)
당연히! \(\gamma\)는 diagonal matrix니까 eigen decomposition이 되는 A를 “diagonalizable하다”라고 한다

다시 말해
\(A_{n*n} \Rightarrow diagonalizable\) \(\color{red}{\Leftrightarrow}\) independant Eigen vector가 n개다
——————— 뜻 ———————-
n by n의 A행렬이 diagonalizable하면 independant Eigen vector가 n개라는 것과 동치다
——————————————-

1-2. Eigen decomposition 장점(5개) & 꿀팁(3개)

🤵‍♀️장점

(1) \(A^k\)    ex) \(A^3=V\gamma V^{-1}\) \(\color{red}{\cdot}\) \(V^{-1}\gamma V\) \(\color{red}{\cdot}\) \(V\gamma V^{-1}\) \(\color{red}{=}\) \(V\gamma^{3} V^{-1}\)

----------------sol-(1)-------------------
\(\gamma^k는 \quad \begin{bmatrix} \gamma^k & 0 \\ 0 & \gamma^k \end{bmatrix}\)   인데 제곱, 세제곱, 네제곱…은 \(\gamma\) 값만 바꿔주면 되어 계산이 편하다
-------------------------------------------

(2) \(A^{-1} \color{red}{=}\) \(\left(V\gamma V^{-1}\right)^{-1} = V \gamma^{-1}V^{-1}\)

----------------sol-(2)-------------------
\(\begin{bmatrix} \gamma_1 & 0 \\ 0 & \gamma_2 \end{bmatrix}^{-1} = \begin{bmatrix} \frac{1}{\gamma_1} & 0 \\ 0 & \frac{1}{\gamma_2} \end{bmatrix}\)
자 여기서 \(A^{-1}A\) 확인하자 \(\color{red}{\Rightarrow}\) \(V \gamma^{-1}V^{-1}\) \(\color{red}{\cdot}\) \(V\gamma V^{-1}\) 하면 바로 항등행렬I가 되네
마찬가지로 위치를 바꿔 \(AA^{-1}\) 해도 항등행렬I 나옴
-------------------------------------------

(3) \(det(A)\color{red}{=}\) \(det\left(V\gamma V^{-1}\right) = det(V) det(\gamma)det(V^{-1}) \\ \quad \Rightarrow det(\gamma) = \gamma_1 \color{red}{\cdot} \gamma_2 \cdots = \prod_{i=1}^{n} \gamma_i\)

(4) \(tr(A) = \left(V\gamma V^{-1}\right)\)

----------------sol-(4)-------------------
참고:
trace: 정방행렬의 대각성분의 합 ex)   \(A=\begin{bmatrix} 1 & 0 \\ 0 & 4 \end{bmatrix} \quad\quad tr(A)=1+4=5\)
그리고 tr(ABC)= tr(BCA)=tr(CBA)
자 이게 위치를 바꿔도 같다는 성질을 이용하여

\(tr\left(V\gamma V^{-1}\right)=tr\left(\gamma V^{-1}V\right) = tr\left(\gamma \right)\)
\(\Rightarrow \gamma_1 \color{red}{+} \gamma_2 \color{red}{+} \cdots \quad\quad\quad \color{violet}{\therefore} \sum\limits_{i=1}^n\gamma_i\)
-------------------------------------------

(5) rank-difficient \(\color{red}{\Leftrightarrow} det(A)=0 \color{red}{\Leftrightarrow} 0\) 인 eigen value가 1개 이상 존재

----------------해석-(5)-------------------
rank-dificient는 det=0인 것과 동치인데 det는 $\gamma$ 를 싹 곱한 것이니 그말은 즉슨
0인 eigen value가 1개 이상 존재한다는 뜻
-------------------------------------------

🍯꿀팁

(1) \(A^T\)의 Eigen value \(\color{red}{=}\) A의 Eigen value

----------------sol-(1)-------------------
why? \(\Rightarrow det(A-\gamma I) = det(A-\gamma I)^{T}\)
왜냐하면 \(det(A) = det(A)^T\) 라서
\(\therefore det(A-\gamma I) = det(A^T-\gamma I)\)
-------------------------------------------

(2) A가 orghogonal matrix면   \(\gamma_i = \pm 1\) 이다

----------------sol-(2)-------------------
우선 orthogonal matrix를 Q로 두자 빨빨빨빨강, 그리고 거기에 행렬 v를 통과시키자
\(QV=\gamma V\)
\(\left(Qv\right)^{T}Qv= V^TQ^TQV=V^TV= \parallel V \parallel_2^2\)
어?   여기서 \(\left(\gamma V\right)^{T}\gamma V\) 이렇게 고칠 수도 있는데    그러면 \(\color{red}{\therefore} \gamma^2\parallel V \parallel_2^2\)
-------------------------------------------

(3) A가 positive semi-difinite(P.S.D)면 \(\color{red}{\Leftrightarrow} \quad \gamma_i \ge 0\)

----------------sol-(3)-------------------
(이때 \(A= A^T\color{red}{,} \quad\) 즉 symmetric matrix)

그나저나 PSD??? ⬇️
\(z^TAz \ge 0\) 이고 이것은 z를 선형변환한 것인데 z와 내적했을 때 양수가 된다는 것은
선형변환을 거쳐도 직교하는 평면 뒤쪽으로 안튀어나간다는 말이다
(즉 어떤 벡터를 통과시키더라도 아래 그림처럼만 바뀐다)

내적했을 때 음수가 되는 \(90^{\circ}\) 방향을 넘어가지 않는다

이어서 식을 바꿔보자
\(Az=\gamma z\) 로 두면 \(z^T \gamma z \ge 0\) 된다 \(\color{red}{\Rightarrow} \quad \vert\vert z\vert\vert_2^2 \gamma\ge 0\)
\(\color{red}{\therefore}\) 자 \(\vert\vert z\vert\vert_2^2\)가 양수니 \(\gamma\)도 무조건 양수이게 된다
-------------------------------------------

(4) ⭐(핵중요) Diagonalizable matrix A의 non-zero eigen value의 수 = rank(A)

----------------sol-(4)-------------------
----------------참고:-----------------
(diagonalizable Matrix 라고 반드시 symmetric은 아니다)
-----------------------------------
\(A = V \gamma V^{-1} = rank(\gamma)\)

case 1):
\(\begin{bmatrix} \gamma_1 & & \\ & \gamma_2 & \\ && 0\end{bmatrix}\)
이것은 0이 있으니 막혀서 rank2

case 2):
\(\begin{bmatrix} \gamma_1 && \\ & \gamma_2 & \\ && \gamma_3 \\ &&& \ddots \end{bmatrix}\)
0이 나오기 전까지 rank 계속 갯수 셈
-------------------------------------------

2. feature of symmetric matrix

2-1. 표현

if \(A=A^T\)    then, symmetric matrix is diagonalizable

--------------------sol----------------------
\(A = V \gamma V^{-1}\)
\(A^T = V^{-T}\gamma V^{T}\) 이 된다. 그럼 자연스럽게 \(V=V^{-T}\color{red}{,} \quad\quad V^{-1}=V^T\) 으로
만족하도록(orthogonal matrix 이도록) V를 설정할 수 있다

여기까지 확인했으면 orthogonal Matrix는 보통 Q로 표기하니 다시 \(A=Q\gamma Q^T\) 로 바꿔적자
💡즉 symmetric matrix는 diagonalizable하며 \(A=Q\gamma Q^T\) 가 된다
----------------------------------------------

2-2. 실생활 응용

Q가 가지는 컬럼을 통해 \(Q\gamma Q^T\)를 표현해보자

(Q는 3x1,   \(Q^T\) 는 1x3이다)

\(A=\begin{bmatrix} q_1 & q_2 & q_3 \end{bmatrix} \begin{bmatrix} \gamma_1 & & \\ & \gamma_2 & \\ && \gamma_3\end{bmatrix} \begin{bmatrix} q_1^T \\ q_2^T \\ q_3^T\end{bmatrix}\)

어? \(q_1 \perp q_1^T\color{red}{,} \quad q_2 \perp q_2^T\color{red}{,} \quad q_3 \perp q_3^T\)로군

\(=\begin{bmatrix} \gamma_1q_1 & \gamma_1q_2 & \gamma_1q_3 \end{bmatrix} \begin{bmatrix} q_1^T \\ q_2^T \\ q_3^T \end{bmatrix} \\ \Rightarrow \gamma_1q_1q_1^T+\gamma_2q_2q_2^T+\gamma_3q_3q_3^T\)
오! 이거 \(q_1q_1^T\) 는 자연스럽게 Rank1 Matrix니까 행렬은 slice로 쪼갠거네

아 이거 100퍼 데이터 압축에 응용가능하다

ex) 사진 W가 100x100 이라 하면 10000개의 숫자가 필요하다.

이걸 쪼개서 5개만 쓰자 \(\gamma_1q_1q_1^T+\gamma_2q_2q_2^T+ \cdots \gamma_{10000}q_{10000}q_{10000}^T\)

그럼 $\gamma$에 대해 5개가 필요하고 q가 100x1이니까 총 5개 있어서 500
그래서 합하면 505개다
\(\color{red}{\therefore}\) 즉 10000개 중에서 505개를 쓴다는 건데 선명하지 않고 화질이 매우 구리지만 인식은 될 것이다

2-3. 새로운 해석

--------------------cond(조건)----------------------
\(A=A^T\)면 \(A=\gamma_1q_1q_1^T+\gamma_2q_2q_2^T+\gamma_3q_3q_3^T\)
(A: 3x3행렬이고,    \(q_1 \perp q_2 \perp q_3\))
---------------------------------------------------------

여기서 x라는 Eigen vector가 아닌 임의의 벡터를 행렬A에 통과시켜 decompose한 상태로 들여보자

어? \(q_1^Tx \quad\quad q_2^Tx \quad\quad q_3^Tx\) 는 각각 x랑 내적한거네??
그러면 \(q_1 \quad\quad q_2 \quad\quad q_3\) 는 각각 방향벡터다
그렇다면 \(q_1q_1^Tx \quad\quad q_2q_2^Tx \quad\quad q_3q_3^Tx\) 는 각각 projection이네 ??

🏜️그림 예시

x라는 벡터가 있을 때 직교하는 \(q_1 \quad\quad q_2 \quad\quad q_3\)가 있다 하자
\(\color{lightgreen}{/}\)선들을 아래로 내리면 $\color{purple}{\nearrow}벡터$들이 대응될 것이다

3. 대각화 판별법

판별법을 보기전 우선 대각화 불가능사례와 가능한 사례를 먼저 보고자 한다

예시 ㄱ) 대각화 불가능 사례

\(A = \begin{pmatrix} 2 & 1 \\ 0 & 2 \end{pmatrix}\)   는 대각화 가능한가?

*위의 행렬 A가 대각화가 가능하려면 선형독립인 고유벡터가 2개가 나와야함

1️⃣고윳값 구하기

고유방정식 $ \color{red}{\Rightarrow} $ \(det(\gamma I_2 - A)= det \begin{pmatrix} \gamma-2 & -1 \\ 0 & \gamma-2 \end{pmatrix} = (\gamma-2)^2 = 0 \\ \Leftrightarrow \gamma =2(중근)\)

2️⃣고유벡터 구하기

\((2I_2 - A)v = 0 \\ \Leftrightarrow \begin{pmatrix} 0 & -1 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} v_1 \\ v_2 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}\)

여기서 v는 free variables인 s 하나 잡고 (1,0)을 하던 (-1,0)을 하던 상관없는데,
(1,0)으로 선택하겠습니다.

$ \color{red}{\Rightarrow} $ 즉 \(v = s\begin{pmatrix} 1 \\ 0 \end{pmatrix}\)   으로 대각화 불가능
왜? —> 고유기저 = {(1,0)}   1개라서 안된다!
왜냐하면 선형독립인게 2개가 잡히려면 고유기저가 2개가 필요
(행렬의 n x n)에서 행 or 열갯수랑 매치될 것

예시 ㄴ) 대각화 가능 사례

아까 위의 내용을 토대로    \(A = \begin{pmatrix} 1 & -2 \\ 3 & -4 \end{pmatrix}\)   에 대한 P 찾기

이건 된다 왜냐하면 \(\gamma(고윳값) =-1\)   일 때,
\(\rightarrow 고유벡터 (s,s)\)
\(\rightarrow P_1\begin{pmatrix} 1 \\ 1 \end{pmatrix}\)   일 때, \(\rightarrow 고유벡터 (2t,3t)\)

\(\gamma(고윳값) = -2\)   일 때
\(\rightarrow P_2\begin{pmatrix} 2 \\ 3 \end{pmatrix}\)

즉 \(P = P_1 P_2 = \begin{pmatrix} 1 & 2 \\ 1 & 3 \end{pmatrix} \\ P^{-1} = \begin{pmatrix} 3 & -2 \\ -1 & 1 \end{pmatrix} \\ P^{-1} A P = B\)

참!   \(P_2 P_1\)   로 위치를 바꿔 열벡터들을 나열하여 계산해도 대각화가 됩니다!

3-1 중복도

대각화가 가능한지 판별하는 또 다른 방법입니다
기하적 중복도, 대수적 중복도를 비교하여 구할 수 있습니다
일단 요약하면 기하적 중복도 = 대수적 중복도   일 때, 행렬의 대각화가 가능 합니다

기하적 중복도:
고유값에 대응하는 고유공간의 차원 갯수

대수적중복도:
고유 다항식에서 \(\gamma-\gamma_0\) 가 인수로 나타나는 횟수
(대수적으로 고유값이 총 몇 거듭제곱인지?)

👉고유벡터, 고유기저를 잘 모르겠다면 이것 클릭

3-2 닮음 불변량

두 정사각행렬 A, B에 대하여 \(B = P^{-1}AP\)   를 만족하는 가역행렬 P가 존재하면
A, B는 서로 닮은 행렬이라 하고, 기호로 A~B라 표현한다.

서로 닮은 두 행렬의 다음과 같은 성질들은 서로 일치한다.
그 중에 일단 10개만 보겠습니다

(1) 행렬식
(2) 가역성 
(3) rank 
(4) nullity 
(5) 고유다항식(고유방정식의 좌변을 얘기함) 
(6) 고윳값 
(7) 고유공간의 차원 
(8) 대각성분들의 합 
(9) 대수적 중복도 
(10) 기하적 중복도 

서로 닮아 보이더라도, 선형사상들은 일반적으로 파악하기가 복잡한데
상당히 많은 선형사상들이 이 특성들 중 최소 한개라도 따를 확률이 높으니
선형사상들을 분해하여 간소화된 선형사상들에게서
저 특성들 중 최소 1개 이상을 찾을 수 있습니다
(즉 복잡하게 말고 쉽게쉽게 보자는 얘깁니다)

4. 케일리-해밀턴 정리

임의의 정사각행렬 A과 그 고유다항식
\(f(\gamma) = det(\gamma I - A) = \sum\limits_{i=0}^n a_i\gamma^2\)    에 대하여

\(f(A) = 0\) 이 성립하며, 이를 캐일리-해밀턴 정리 라고 한다.    (단, 0은 영행렬)

쉽게 말하면 람다자리에 A행렬을 넣었더니 영행렬이 나오더라

이 글에서는 예시 2가지를 작성합니다

ex-1)

\(A = \begin{pmatrix} 1 & -2 \\ 3 & -4 \end{pmatrix} \\ f(\gamma) = det(\gamma I_2 - A) \\ = det \begin{pmatrix} \gamma-1 & 2 \\ -3 & \gamma+4 \end{pmatrix}\)

그러면 \(\gamma\) (고유값)는 아래와 같이 나옵니다
\(= \gamma^2 + 3\gamma + 2\)

이걸 아래처럼 고칠 수도 있습니다
\(= a_2\gamma^2 + a_1\gamma^1 + a_0\gamma^0\)

여기서 A행렬을 대입하면 다음과 같습니다
\(f(A) = A^2 + 3A + 2I = 0 \quad 성립하는가?\)

\(f(A) = \begin{pmatrix} 1 & -2 \\ 3 & -4 \end{pmatrix}^2 + 3\begin{pmatrix} 1 & -2 \\ 3 & -4 \end{pmatrix}^1 + 2\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} \\ \\ \Leftrightarrow \begin{pmatrix} -5 & 6 \\ -9 & 10 \end{pmatrix} + \begin{pmatrix} 3 & -6 \\ 9 & -12 \end{pmatrix}+ \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix} = 0\)

ex-2)

행렬   \(A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}\) 에 대하여

\(A^3\)   를 케일리 해밀턴 정리를 이용해 A와 단위행렬 \(I_2\) 로써 표현하시오.

풀이:

\(A^3\) 를 이용하는 것보단,
\(A^2\) 를 이용하는게 푸는데 더 쉬울 수도 있습니다.

\(f(\gamma) = det(\gamma I_2 - A) = det \begin{pmatrix} \gamma-1 & -2 \\ -3 & \gamma-4 \end{pmatrix} = \gamma^2 -5\gamma-2 \\ \rightarrow f(A) = A^2 -5A -2I_2 =0 \quad 성립하는가?\)

\(\rightarrow f(A) = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} - 5\begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} - 2\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix} = 0\)

이를 통해 \(A^2 = 5A+2I\)   라는 것을 확인할 수 있습니다
그러면 이어서 마저 계산해봅시다

\(A^3 = 5A^2 + 2A \\ \Leftrightarrow A^3 = 5(5A + 2I_2) + 2I_2 \\ \Leftrightarrow A^3 = 27A + 12I_2\)

5. 연습문제 (3개) 고유값,고유벡터 2개, 케일리해밀턴 1개

5-1 😀예제1

\(M = \begin{pmatrix} 0 & 0 & -2 \\ 1 & 2 & 1 \\ 1 & 0 & 3\end{pmatrix}\)   의 고윳값, 고유벡터 고유기저 구하기

step 1    고윳값 구하기
(고유방정식부터 구합시다.)

\(det( \gamma I_3 - M) \\ \Leftrightarrow det\begin{pmatrix} \gamma & 0 & 2 \\ -1 & \gamma - 2 & -1 \\ -1 & 0 & \gamma -3 \end{pmatrix} \\ \Leftrightarrow det = \gamma \begin{vmatrix} \gamma-2 & -1 \\ 0 & \gamma-3 \\ \end{vmatrix} - 0 \begin{vmatrix} -1 & -1 \\ -1 & \gamma-3 \\ \end{vmatrix} + 2 \begin{vmatrix} -1 & \gamma-2 \\ -1 & 0 \\ \end{vmatrix} \\ \Leftrightarrow\gamma(\gamma^2-5\gamma+6) + 2(\gamma-2) = 0 \\ \Leftrightarrow(\gamma-1)(\gamma-2)^2 = 0\)

즉 고유값:    \(\gamma\) = 1 or 2

step 2고유벡터 구하기

case 1) \(\gamma = 1\)

\[(\gamma I_3 - M)v = 0 \\ \Leftrightarrow \begin{pmatrix} 1 & 0 & 2 \\ -1 & -1 & -1 \\ -1 & 0 & -2 \end{pmatrix} \begin{pmatrix} v_1 \\ v_2 \\ v_3\end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}\]

\(\Leftrightarrow \begin{pmatrix} 1 & 0 & 2 & 0\\ -1 & -1 & -1 & 0\\ -1 & 0 & -2 & 0\end{pmatrix}\) $ \color{red}{\Rightarrow} $ \(\begin{pmatrix} 1 & 0 & 2 & 0\\ 0 & -1 & 1 & 0\\ 0 & 0 & 0 & 0\end{pmatrix}\) $ \color{red}{\Rightarrow} $ \(\begin{pmatrix} 1 & 0 & 2 & 0\\ 0 & 1 & -1 & 0\\ 0 & 0 & 0 & 0\end{pmatrix}\)

여기에 \(v_1, v_2, v_3\) 을 곱하고 \(v_3\) 을 S로 둔다면 Eigen value의 해는 이렇게 나올겁니다.

\(\begin{cases} v_3 = s \\ v_2 = s \\ v_1 = -2s \end{cases} \quad \rightarrow \quad 즉 \quad v = s\begin{pmatrix} -2 \\ 1 \\ 1\end{pmatrix}\)

그러므로 \(\gamma =1 \quad 일 때\)

고유벡터 = \((-2s, s, s) \quad s \neq0\)
고유기저 = \(\{(-2,1,1)\}\)

case 2) \(\gamma = 2\)

\((2I_3 - M)v = 0 \\ \Leftrightarrow \begin{pmatrix} 2 & 0 & 2 \\ -1 & 0 & -1 \\ -1 & 0 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 1 & 0 & 1 & |0\\ 0 & 0 & 0 & |0 \\ 0 & 0 & 0 & |0\end{pmatrix}\)


\(\begin{cases} x \quad + z = 0 \\ \quad 0y \quad\quad = 0 \\ \quad\quad 0z \quad = 0 \end{cases}\)
이렇게 풀면 \(x\)와 \(z\)는 자유변수로 선택할 수 있습니다
즉, \(y=1\)일 때의 고유벡터는 다음과 같습니다
\(\begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}\)
이어서 풀면 아래와 같은 식이 나옵니다


\(v = t \begin{pmatrix} 0 \\ 1\\ 0 \end{pmatrix} + r \begin{pmatrix} -1 \\ 0 \\ 1 \end{pmatrix}\)
여기서 고유기저는 아래와 같습니다
\(\begin{pmatrix} 0 \\ 1\\ 0 \end{pmatrix}\),    \(\begin{pmatrix} -1 \\ 0 \\ 1 \end{pmatrix}\)
고유벡터는 아래와 같습니다
\(\begin{pmatrix} 0 \\ t\\ 0 \end{pmatrix}\),    \(\begin{pmatrix} -r \\ 0 \\ r \end{pmatrix}\)

v_2가 영행렬이라 먼저 free variables로 t를 설정해주고 나머지를 r로 구합니다
어차피 해공간은 0이 나와야 합니다
v_3과 v_1는 같은벡터로 중복을 제거할겸 v_3 + v+1 = 0을 통해 합쳐주고
즉 free variables 2개를 사용하여 v의 해공간은 위와 같이 나옵니다

free variables에 대해 잘 모르겠으면 클릭 —> ✍

그러므로 \(\gamma = 2\)     일때는
고유벡터:    (-r, t, r)
고유기저:    {(0,1,0), (-1,0,1)}

결론:

즉 이 3x3행렬 \(M = \begin{pmatrix} 0 & 0 & -2 \\ 1 & 2 & 1 \\ 1 & 0 & 3\end{pmatrix}\) 에 대해

\(\gamma(고유값) = 1\)   일때는
고유기저가 원소 1개인 {(-2,1,1)}

\(\gamma(고유값) = 2\)   일때는
고유기저가 원소 2개인 {(0,1,0), (-1,0,1)}

5-2 예제2

행렬 \(A = \begin{pmatrix} 0 & -3 & -3 \\ 1 & 4 & 1 \\ -1 & -1 & 2\end{pmatrix}\)   에 대해 다음 물음에 답하시오.

(1)   A를 대각화하는 행렬 P를 구하고,
대각행렬   \(B = P^{-1}AP\) 를 구하시오

(2)   두행렬 A, B에 대해 본문에 제시된 10가지 닮음 불변량을 각각 확인하시오 🎨여기 클릭해서 확인

풀이

(1)-ㄱ 고윳값 구하기

\(det(\gamma I_3 -A) \\ =det \begin{pmatrix} \gamma & 3 & 3 \\ -1 & \gamma-4 & -1 \\ 1 & 1 & \gamma-2\end{pmatrix} \\ \Leftrightarrow det = \gamma \begin{vmatrix} \gamma-4 & -1 \\ 1 & \gamma-2 \\ \end{vmatrix} - 3 \begin{vmatrix} -1 & -1 \\ 1 & \gamma-2 \\ \end{vmatrix} + 3 \begin{vmatrix} -1 & \gamma-4 \\ 1 & 1 \\ \end{vmatrix} \\ \Leftrightarrow \gamma(\gamma-3)^2= 0 \\ \rightarrow \gamma = 0 \quad or \quad 3\)

즉 Eigenvalue \((\gamma) = 0 \quad or \quad 3\)

(1)-ㄴ

\(\gamma =0\)   일 때

\(\begin{pmatrix} 0 & 3 & 3 & |0 \\ -1 & -4 & -1 & |0 \\ 1 & 1 & -2 & |0 \end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 1 & 1 & -2 & 0 \\ 0 & -3 & -3 & 0 \\ 0 & 3 & 3 & 0 \end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 1 & 0 & -3 & 0 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{pmatrix}\)

u로 행렬방정식을 나타내보겠습니다.     \(u_1 -3u_3 = 0 \\ u_2 + u_3 = 0\)

\(u_3\) 를 매개변수인 t로 표현하니 나머지
\(u_1, u_2\) 도 표현이 가능하더라

그러므로 \(u = t \begin{vmatrix} 3 \\ -1 \\ 1\end{vmatrix}\)

즉 \(\gamma =0\) 일 때 고유벡터인 u의 성분은

\(\begin{vmatrix} 3t \\ -t \\ t \end{vmatrix}\) 가 되더라

(1)-ㄷ

\(\gamma = 3\)   일 때

\(\begin{pmatrix} 3 & 3 & 3 & |0 \\ -1 & -1 & -1 & |0 \\ 1 & 1 & 1 & |0 \end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 1 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{pmatrix}\)

이번에는 s와 r이라는 free variables를 설정하겠습니다
\(v = s\begin{vmatrix} ? \\ ? \\ ? \end{vmatrix} + r\begin{vmatrix} ? \\ ? \\ ? \end{vmatrix}\)

링크 —> 왜 free variables 설정했는지 모르겠다면 여기 클릭

보아하니 첫번째 성분(1번행)과달리 2, 3번째 성분들은 0이네요.
그에 대해 2번째 성분에 대해 볼 때,   3번째 성분 = 0
3번째 성분에 대해 볼 때,   2번째 성분 = 0
이를 나타내면 아래와 같습니다.

\(v = s\begin{vmatrix} -1 \\ 1 \\ 0 \end{vmatrix} + r\begin{vmatrix} -1 \\ 0 \\ 1 \end{vmatrix}\)

여기서 고유기저는 \(\begin{vmatrix} -s \\ s \\ 0 \end{vmatrix} + \begin{vmatrix} -r \\ 0 \\ r \end{vmatrix}\)    이 2개의 성분으로 만들 수 있는 집합들을 의미합니다.

(1)-ㄹ

\(P = \begin{pmatrix} 3 & -1 & -1 \\ -1 & 1 & 0 \\ 1 & 0 & 1 \end{pmatrix}\)   일 때

P = A를 대각화하는 행렬
여기선 \(P^{-1}\) 도 필요한데 가우스 소거법을 통해 진행하겠습니다.

방법은 P행렬 크기만큼 우측에 단위행렬을 이어줍니다
그리고 좌측 행렬을 기약행 사다리꼴로 만들면 됩니다
\(P^{-1} = \begin{pmatrix} 3 & -1 & -1 & |1 & 0 & 0 \\ -1 & 1 & 0 & |0 & 1 & 0\\ 1 & 0 & 1 & |0 & 0 & 1\end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 3 & -1 & -1 & 1 & 0 & 0 \\ -1 & 1 & 0 & 0 & 1 & 0\\ 1 & 0 & 1 & 0 & 0 & 1\end{pmatrix}\)

이렇게 보니 3행의 1열이 선도원소라서 첫번째행으로 올리고 3행은 아래로 내려온 후에
각각 행들을 연산해 소거 해줍니다

\(\Leftrightarrow \begin{pmatrix} 1 & 0 & 1 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 & 1 & 1 \\ 0 & -1 & -4 & 1 & 0 & -3 \end{pmatrix} \\ \Leftrightarrow \begin{pmatrix} 1 & 0 & 1 & 0 & 0 & 1 \\ 0 & 1 & 1 & 0 & 1 & 1 \\ 0 & 0 & -3 & 1 & 1 & -2 \end{pmatrix} \\ P^{-1} = \begin{pmatrix} 1 & 0 & 0 & \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \\ 0 & 1 & 0 & \frac{1}{3} & \frac{4}{3} & \frac{1}{3} \\ 0 & 0 & 1 & -\frac{1}{3} & -\frac{1}{3} & \frac{2}{3} \end{pmatrix} \\ \Leftrightarrow P^{-1} = \frac{1}{3} \begin{pmatrix} 1 & 1 & 1 \\ 1 & 4 & 1 \\ -1 & -1 & 2\end{pmatrix}\)

이제 본식에 대입해봅니다
\(B = P^{-1}AP\)

\(= \frac{1}{3} \begin{pmatrix} 0 & 0 & 0 \\ 3 & 12 & 3 \\ -3 & -3 & 6 \end{pmatrix} \begin{pmatrix} 3 & -1 & -1 \\ -1 & 1 & 0 \\ 1 & 0 & 1 \end{pmatrix} \\ = \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 3 \end{pmatrix}\)

(2) 링크

이것을 참고하여 증명

A 행렬,    B행렬(A를 대각화시킨 행렬)
을 아래와 같이 구했습니다.
\(A = \begin{pmatrix} 0 & -3 & -3 \\ 1 & 4 & 1 \\ -1 & -1 & 2 \end{pmatrix} \quad\quad\quad B = \begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 3 \end{pmatrix}\)

1. 행렬식
B행렬은 det = 0 나오는게 너무 자명하다.
그러면 A행렬도 과연 0이 나올까?
(A행렬을 1열 방향으로 계산했음)
\(detA = 0 \begin{vmatrix} 4 & 1 \\ -1 & 2 \\ \end{vmatrix} -1 \begin{vmatrix} -3 & -3 \\ -1 & 2 \\ \end{vmatrix} -1 \begin{vmatrix} -3 & -3 \\ 4 & 1 \\ \end{vmatrix} = -1(-6-3)-(-3+12) = 0 \\ detB = 0\)
이로써 둘다 같습니다

2. 가역성
detA = 0,     detB = 0
즉 둘다 역행렬이 존재하지 않아 비가역성

3. rank
rankB = 2

A행렬을 기약행사다리꼴로 변환하면 rankA도 구할 수 있음
\(A = \begin{pmatrix} 0 & -3 & -3 \\ 1 & 4 & 1 \\ -1 & -1 & 2 \end{pmatrix} \rightarrow \begin{pmatrix} 1 & 4 & 1 \\ 0 & 3 & 3 \\ 0 & -3 & -3 \end{pmatrix} \rightarrow \begin{pmatrix} 1 & 0 & -3 \\ 0 & 1 & 1 \\ 0 & 0 & 0 \end{pmatrix}\)

즉 rankA = 2

4. Nullity
nullityA = n-rankA = nullityB
3-2 = 1

5. 고유다항식
\(\gamma(\gamma-3)^2= 0, \quad\quad\quad B =\begin{pmatrix} 0 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 3 \end{pmatrix}\)
B행렬의 대각성분과 좌측의 고유다항식을 보니 서로 일치합니다

6. 고윳값
\(\gamma = 0 \quad or \quad 3\)

7. 고유기저 차원
\(\gamma = 0\)   일 때 1개

\(\gamma = 3\)   일 때 2개

8. 대각성분합
A행렬:
tr(A) = 0+4+2 = 6

B행렬:
tr(B) = 0+3+3 = 6

9. 대수적 중복도
\(\gamma\) 의 계수
\(\gamma=0\) 일 때 1
\(\gamma=3\) 일 때, 2

10. 기하적 중복도
말 그대로 기저의 원소 갯수
링크 참조

5-3 예제3

행렬 \(M =\begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & -3 & 3 \end{pmatrix}\)    에 대하여 행렬
\(3M^5-5M^4\) 를 케일리 해밀턴 정리를 이용해 구하시오.

케일리 해밀턴 정리
필요한것: -고유다항식-

step 1    고유다항식 찾기
\(f(\gamma) = det(\gamma I_3 -M) \\ det = \begin{pmatrix} \gamma & -1 & 0 \\ 0 & \gamma & -1 \\ -1 & 3 & \gamma-3 \end{pmatrix}\)
1열로 det 정리하면 될 듯
\(detM = \gamma \begin{vmatrix} \gamma & -1 \\ 3 & \gamma-3 \\ \end{vmatrix} -0 \begin{vmatrix} -1 & 0 \\ 3 & \gamma-3 \\ \end{vmatrix} -1 \begin{vmatrix} -1 & 0 \\ \gamma & -1 \\ \end{vmatrix} \\ \Leftrightarrow \gamma^3-3\gamma^2+3\gamma-1 \\ \Leftrightarrow M^3-3M^2+3M-I_3 = 0\)

이것을 \(M^3\) 에 대해 정리하면 아래와 같이 됩니다.

\(M^3 = 3M^2-3M+I_3\)



step 2    수식 변환 응용
방금 위의 식에 M을 곱하면 아래처럼 됩니다.
\(M^4 = 3M^3 - 3M^2 + M\)

이 식에서 \(M^3\) 에 대해 계산한 것을 대입하면 됩니다
계산하면 이렇게 정리가 가능합니다
\(M^4 = 3(3M^2 - 3M + I_3) -3M^2 + M \\ \Leftrightarrow M^4 = 6M^2 -8M +3 I_3 \\ M^5 = MM^4 = M(6M^2 -8M +3 I_3)\)
$ \color{red}{\Rightarrow} $ \((6M^3 -8M^2 +3M)\)
이 식에 아까구했던 \(M^3\) 에 대한 수식을 대입하면 됩니다

\(M^5 = 6(3M^2-3M+I_3) - 8M^2 + 3M \\ \Leftrightarrow M^5 = 10M^2 - 15M + 6I_3\)

이로써 \(M^5 \quad M^4\) 를 둘다 구했으니 이제 문제에 맞춰 각각 변형시킵시다
\(\Leftrightarrow 3M^5-5M^4 \\3(10M^2 - 15M + 6I_3) \quad - \quad 5(6M^2 -8M +3 I_3) \\ \Leftrightarrow -5M + 3I_3\)

결과

준식:    \(-5M + 3I_3 = \begin{pmatrix} 3 & -5 & 0 \\ 0 & 3 & -5 \\ -5 & 15 & -12 \end{pmatrix}\)

참고

1. [선형대수학] 5강. 고윳값과 대각화
2. 혁펜하임     [선대] 5-2강. 고윳값 분해 (Eigendecomposition) 의 모든 것!
3. [장황수학]    고유치 및 고유벡터
4. [장황수학]    고유치 및 고유벡터의 성질
5. [장황수학]    닮은 및 대각화 행렬
6. [공돌이의 수학정리노트 (Angelo’s Math Notes)]     고윳값과 고유벡터