[보이저엑스 - 인공지능] Gradient Descent란?

Gradient Descent는 우리나라 말로 이야기하면 경사 하강법이라고 칭합니다.

인공지능의 신경망은 학습을 진행하며 각 사이의 가중치를 조정하여 정답값과 예측값과의 차이를 최소화해 나갑니다.

이때, 정답값과 예측값의 차이를 Cost라합니다.

이 Cost(손실)를 최소화하는것을 찾는 방법, 즉 가중치를 조정하는 방법을 옵티마이저라고 하는데

경사하강법은 이 옵티마이저에 속합니다.

특정 함수가 있을때 특정 지점에서 미분한 값, 즉 기울기를 더하면 값이 올라가게 되고 기울기를 빼면 값이 감소하는 성질를 사용하여, 기울기를 빼줌으로써 손실의 최소값에 도달하도록 하는방식이 경사하강법 입니다.

단, 학습할때 경사의 정도(기울기의 정도)가 어느정도인지 모르므로 과하게 손실그래프의 기울기가 크다면

기울기를 뺄때 계속 최저점을 계속 넘어가버릴수가 있는데, 이를 방지하기위해 기울기에 특정 비율을 곱해줍니다.

이 곱해주는 특정 비율을 러닝레이트라고 칭합니다.

 

 

요약 : 학습이란 현 가중치 w에서 좀더 로스가 적은 w로 가기위해 w값을 바꾸는 과정이며, 기울기를 빼주면 항상 최저점으로 향하는데, 기울기가 얼마나 큰지 모르므로 너무크면 최저점을 넘어가버릴테니까 어느정도 낮게주는것(러닝레이트).

 

학습은 가중치를 손실값을 최저점으로 만들기위한 과정