AI 최적화 방법

1. AI 최적화란?

손실함수를 최소화하도록 모델의 파라미터를 조정하는 과정

2. 손실함수 (Loss Function)

AI 모델의 예측값과 실제 정답의 차이를 측정하여 모델의 성능을 평가하고 최소화하는 지표

→ 선형대수 2에서 수학적 개념과 함께 자세히 작성해 놓음

{1}. ML에서의 역할

모델이 예측하면

• 얼마나 틀렸는지 숫자로 측정
• 이 숫자를 줄이는 방향으로 학습 진행 

예) :

3. 경사하강법 (Gradient Descent)

→ 수학 쪽에서 자세히 다뤄질 예정으로 ML에서 어떻게 사용하는지만 간단하게 정리할 거임

• AI 모델의 예측값과 실제값의 손실을 최소화하기 위해
• 손실 함수의 기울기 반대 방향으로 모델의 파라미터를 조금씩 반복적으로 조정해서
• 최적의 해를 찾는 알고리즘

4. 학습률 (Learning Rage)

• 머신러닝에서 모델이 데이터로부터 배우는 속도를 조절하는 파라미터
• 값이 너무 크면 모델이 데이터를 너무 빠르게 배워 주요 패턴을 놓칠 수 있고,
• 너무 작으면 학습에 너무 오랜 시간이 걸릴 수 있다.

{1}. 왜?

보통 모델을 학습시킬 때 손실 함수를 사용해서 최소화하려 한다.

학습률은 손실 함수의 경사를 따라 얼마나 큰 걸음을 내딛을지 결정한다.

즉, 손실함수가 0에 가까워지도록, 가중치를 얼마나 수정할지 그 크기를 결정하는 것이 학습률의 역할이다. 

5. 정규화 (Regularization)

→ 선형대수 2에서 자세히 다뤄짐

{1}. ML에서의 역할

모델이 학습 데이터를 외워버리면 ⇒ 과적합 발생

• 새로운 데이터에서 성능이 떨어짐
• 정규화로 가중치를 억제해서 과적합 방지 

6. 최적화 순서

1. 모델이 예측

2. 손실함수로 오차 측정

3. 경사하강법으로 오차 줄이는 방향 게산

4. 학습률만큼 이동

5. 정규화로 과적합 방지

6. 정답에 가까워질 때까지 반복 

 

 

 

출처 :

https://whoishoo.tistory.com/418

[Machine Learning] Learning Rate(학습률)

 

https://datasciencebeehive.tistory.com/91#google_vignette

[Machine Learning] 🤖 머신러닝에서의 학습률(Learning Rate)이란 무엇일까요? 🌟