진도가 뭔지 몰라서 예전 과제 가져오깅.. ㅎㅎ
Chapter 4. 다양한 분류 알고리즘
4-1. 로지스틱 회귀
- Logistic regression
- 이름은 회귀지만 사실은 분류 모델. 선형 방정식을 사용한 분류 알고리즘. 선형 회귀와 달리 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스의 확률을 출력할 수 있다.
- 시그모이드 함수 : 선형 방정식의 출력을 0과 1 사이의 값으로 압축.
- 소프트맥스 함수 : 다중 분류에서 여러 선형 방정식의 출력 결과를 정규화하여 합이 1이 되도록 만듦
4-2. 확률적 경사하강법
- 점진적 학습
- 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 훈련하는 학습법. 대표적으로 확률적 경사하강법이 있다.
- 확률적 경사하강법이란?
- 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾는 방법.
- 이걸 계속 랜덤하게 반복하여 만족할만한 위치에 도달할 때 까지 내려가는 원리.
- epoch : 확률적 경사하강법에서 훈련 세트를 한번 모두 사용하는 과정. 일반적으로 수십, 수백번 이상의 에포크를 수행.
- 미니배치 경사하강법
- 손실함수
- 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준
- 로지스틱 손실함수 : 이진 분류에서 사용하는 손실함수
- 크로스 엔트로피 손실함수 : 다중 분류에서 사용하는 손실함수
- 평균 제곱 오차 : 회귀 문제에서 사용하는 손실함수
- 에포크와 과대/과소 적합
- early stopping : 과대 적합이 시작되기 전에 훈련을 멈추는 것
- SGDClassifier의 손실함수 : 힌지손실
- 주로 서포트 벡터머신 알고리즘에서 사용하는 손실함수
미션
기본미션 : 4-1 2번 문제를 풀고 풀이 과정 설명하기
- 로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수 : 시그모이드 함수
선택 미션 : 4-2 과대적합 / 과소적합 손코딩 코랩 화면 캡쳐하기
