[선형대수학] 4.벡터의 놈(norm)

<목차>

1. 놈(norm)의 정의 및 필요성

2. 놈(norm)의 종류

3. 놈(norm)을 시각화

1. 놈(norm)의 정의

벡터의 크기(magnitude) 또는 길이(length)를 측정하는 방법을 의미한다.

고로, 놈(norm)은 항상 0 또는 양수다.

 

예로 들어, 다음과 같은 벡터가 있다고 가정했을 때,

해당 벡터의 차원은 3으로, 3차원 공간에 그릴 수 있으며

이때, 빨간선에 해당하는 벡터의 길이를 구하는 방법이 바로 Norm이다.

 

놈(norm)의 필요성 - 머신러닝에서

1) Normalization(정규화)
 Norm을 이용하여 벡터를 특정 길이로 조정할 수 있다.

 이를 통해 모델이 학습 데이터의 스케일에 민감하지 않도록 일반화 성능을 강화할 수 있다.

2) Similarity Measurement(유사도 측정)
Norm은 벡터간의 거리나 유사도를 측정하는데 사용된다.

Text관련 task 또는 추천시스템에 자주 활용된다.

3) Loss Function(손실함수)
모델의 예측결과가 실제 데이터로부터 얼마나 벗어나 있는지 측정하기 위해 사용되며,

Norm은 그 차이를 정량화하는데 활용된다.

---

2. 놈(norm)의 종류

1) 1-norm = L1-norm = Manhattan/Taxi norm

벡터의 각 원소들의 크기(절댓값)의 합으로 정의된다.

방향이 음수(-)일수 있으므로, 절대값을 씌운다.

해당 수식처럼 1의 제곱으로 표현되기 때문에 "1-norm"이라고 불린다.

 

E.g. 만약 아래와 같은 2차원의 벡터가 있다면,

 

2) 2-norm = L2-norm = Euclidean norm

해당 수식처럼 2의 제곱으로 표현되기 때문에 "2-norm"이라고 불린다.

 

E.g. 만약 아래와 같은 2차원의 벡터가 있다면,

 

3) p-norm

일반화하자면,

이때 p >= 1

 

해당 수식처럼 p의 제곱으로 표현되기 때문에 "p-norm"이라고 불린다.

 

4) infinite-norm

p값을 무한대로 보내준다.

지수승으로 무한하게 증가한다는 것은, 가장 큰 절댓값 하나를 제외하고 나머지는

상대적으로 무한대로 작아지므로 의미가 없어진다. (가장 큰 절대값 1개만 남음)

그러므로, 최종적인 수식은 

위에 있는 식과 동일

---

3. 놈(norm)을 시각화

1-norm = 1 인 vector들을 모두 좌표평면에 나타내면,

 

2-norm = 1 인 vector들을 모두 좌표평면에 나타내면,

 

infinity-norm = 1 인 vector들을 모두 좌표평면에 나타내면,

 

정리하자면...

---

※ 개인공부 목적으로 정리한 내용들입니다.

출처

https://familia-89.tistory.com/80

[Norm] L2 Norm? L1 Norm? 이제 제대로 알고 사용하자!

https://blog.naver.com/waterforall/223058427336

[선형대수] 5. 놈(노름, norm)과 놈 공간(normed space)

https://scribblinganything.tistory.com/673

[선형대수학] 놈(Norm)이란? 벡터 길이측정(Vector, l1, l2, Infinity)

https://www.youtube.com/watch?v=6B1dj6L0Xiw&list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0&index=6