Linear Independence

 

linear independence (선형 독립)

1) linear combination이 0일 때, (x1v1 + ... + xpvp = 0) trivial solution 만을 가지면 linearly independent 하다.

=> {x1, ..., xp} = 0

 

2) A = [a1, ..., an] 일 때, Ax = 0 은 trivial solution 만을 가지면 linearly independent 하다.

 

3) pivot position 이 모든 colum에 있으면, (= trivial solution 만을 가지면) linearly independent 하다.

 

4) 하나의 vector 만을 가질 때, vector가 0이 아니면 linearly independent 하다.

(v = 0 이면, x1v = x1*0 = 0 이므로 x1에 어떤 값이 와도 성립하기 때문에)

 

5) 최소 1개의 vector가 다른 vector의 곱으로 표현되지 않으면 ( v1 != cv2) linearly independent 하다.

 

linear dependence

1) "c1v1 + ... + cpvp = 0" 식에서 Rn space에 있는 {v1, ..., vp}의 weight {c1, ..., cp}가 최소 1개 이상 0이 아닐 때, linearly dependent 하다.

( = nontrivial solution 이 있을 때)

 

-> 이때, vj = a1v1 + ... + apvp 로 표현될 수 있다. (최소 1개의 weight가 nonzero 이므로. 단, 항상 이 방식으로 표현될 수 있는 건 아니다.)

 

2-1) (정리 7)

: An indexed set S = {v1, ..., vp} of two or more vectors is linearly dependent

if and only if at least one of the vectors in S is a linear combination of the others.

 

: 두개 이상의 벡터로 이루어진 S에 속한 벡터 중 최소 1개 이상이 다른 벡터들의 linear combination으로 표현될 수 있으면 linearly dependent 하다.

 

e.g.

c1v1 + c2v2 + ... + cpvp = 0

v1 = (-c2/c1)v2 + ... + (-cp/c1)vp

 

v1 = c2v2 + ... + cpvp

-v1 + c2v2 + ... + cpvp = 0 (이때, c2 ... cp 가 모두 0이어도 v1의 weight는 -1이므로 최소 1개 이상이 nonzero라는 조건을 성립한다.)

 

2-2) (정리 7)

: In fact, If S is linearly dependent and v1 != 0,

then some vj (with j > 1) is a linear combination of the preceding vectors, v1, ..., vj-1

(j : the largest subscript for whice cj != 0)

 

: S가 linearly dependent 하고, v1 이 0이 아니면, vj ( j>1 라는 조건을 만족하는) 라는 벡터는 다른 v1, ..., vj-1 벡터들의 linear combination으로 표현될 수 있다.

(j : cj !=0 인 조건에서 가장 큰 수)

 

e.g.

c1v1 + ... + cjvj + 0vj+1 + ... + 0vp = 0

j > 1

vj = (-c1/cj)v1 + ... + (-cj-1/cj)vj-1

 

* j가 1이면 안되는 이유 :

linear dependence 이려면 최소 1개 이상의 계수가 nonzero 여야하므로 c1 (j=1) !=0, 따라서 c1v1 = 0를 성립하기 위해 v=1 이어야 한다.

그런데 v1이 0이 아니어야 하는 조건이 있기 때문에 j는 1이 될 수 없으므로, 1보다 커야한다.

 

 

 

---

{u, v, w} in R3 with u and v linearly independent

: w is in Span {u, v}

: if and only if the set {u, v, w} is linearly dependent.

 

[증명]

(1) "w is in Span {u, v} 이면, the set {u, v, w} 는 linearly dependent 하다" 증명

: w가 Span {u, v} 이면 w = cu + dv 으로 표현할 수 있다.

(vector w 가 Span {u, v} 에 있으면 linear combination으로 표현할 수 있기 때문에)

: -w + cu + dv = 0 로 변형

-> w의 weight가 nonzero 이므로 w는 linearly dependent 하다.

 

(2) "the set {u, v, w} is linearly dependent 이면, w is in Span {u, v} 이다." 증명

: u와 v는 linearly independent 하므로 0이 아니다 (u != 0, v != 0)

: u != cv, v != cu

(linearly independent 한 경우, 한 벡터의 곱으로 다른 벡터가 표현될 수 없다.)

: 이때, w는 u와 v의 linear combination으로 표현할 수 있다. (정리 7 참고)

: S가 linearly dependent 하고, v1 이 0이 아니면, vj ( j>1 라는 조건을 만족하는) 라는 벡터는 다른 v1, ..., vj-1 벡터들의 linear combination으로 표현될 수 있다.

= w는 Span {u, v} 상에 있다.

 

 

- 정리 8

: n x p vector에서 p > n인 경우 (가로가 세로보다 큰 경우)linearly dependent 하다. (free variable이 무조건 존재하기 때문)

 

- 정리 9

: zero vector 를 포함한 경우, 그 set은 linearly dependent 하다.

해당 vector가 어떤 weight를 가지든 = 0 이라는 식이 성립하기 때문에, nonzero weight가 올 수 있다.

또, 한 벡터를 다른 벡터들의 linear combination으로 표현할 수 있기 때문에