[ 인공지능 ] Loss Surface란?

Loss surface는 머신 러닝 모델의 손실 함수가 그래프로 표현된 것입니다. 손실 함수는 모델의 예측 결과와 실제 값 사이의 차이를 측정하고, 모델을 최적화하는 데 사용됩니다. 따라서 손실 함수의 그래프는 모델의 성능과 최적화 과정에 매우 중요한 역할을 합니다.

Loss surface의 특징:

고차원: 대부분의 머신 러닝 모델은 매우 높은 차원의 입력 공간에서 작동합니다. 따라서 loss surface는 매우 높은 차원의 공간에 있는 함수로 볼 수 있습니다.

비선형성: 많은 머신 러닝 모델은 비선형 함수를 사용합니다. 이러한 모델의 손실 함수는 비선형적이며, loss surface는 매우 복잡한 형태를 가질 수 있습니다.

지역 최소값: 일부 모델의 손실 함수는 지역 최소값이 존재할 수 있습니다. 이러한 경우 모델은 최적의 해에 도달하지 못하고 지역 최소값에 빠질 수 있습니다.

Loss surface의 장단점:

장점:

모델을 최적화하는 데 매우 중요한 정보를 제공합니다. 모델의 손실 함수를 시각화하면 모델이 수행하는 작업에 대한 이해를 높일 수 있으며, 최적화 알고리즘의 성능을 개선할 수 있습니다.

Overfitting과 Underfitting을 판단하는 데 도움이 됩니다. Loss surface를 시각화하면 모델이 학습 데이터에 과적합되는지, 적절하게 일반화되는지 여부를 판단할 수 있습니다.

단점:

높은 차원의 함수이기 때문에 시각화하기 어려울 수 있습니다. 이를 해결하기 위해서는 차원 축소 기술을 사용하거나, 일부 함수 값만 시각화해야 할 수도 있습니다.

일부 손실 함수는 지역 최소값에 빠질 가능성이 있습니다. 이러한 경우 모델의 최적화가 더 어려울 수 있습니다.

 

 

### 이승현님 ###

 

학습의 진행 상황을 직관적으로 이해할 수 있도록 오차 함수를 3차원 공간에 표현한 것

 

### 안동하 ###

Loss function은 모델의 예측값과 실제답이 얼마나 다른지를 나타내는 지표이다. loss surface는 loss function의 loss를 줄이는 방향으로 학습이 진행되고 파라미터에 따라 loss값이 변하는데, 이러한 loss의 값들로 이뤄진 surface를 loss surface라고 한다. 한마디로 매개변수.

 

 

### 기승현님 ###

https://codinghistoryfor.tistory.com/64?category=1124252 

 

 

추가 자료 : https://github.com/MinyeLee/RL_LossSurface