인공지능 강의 11화 :: 회귀분석, 선형회귀, 로지스틱 회귀, 군집화

인공지능 강의 11화를 보며 배운내용

 

 

KEYWORDS

• 회귀분석: 독립변수와 종속변수 사이 상관관계 추정
  
  
• 선형회귀: 독립변수와 종속변수 사이의 상관관계를 선형함수로 모델링
  
  
• 평균제곱오차(mean squared error): 실제값과 예측값 사이 오차를 제곱한 값의 평균
  
  
• 로지스틱 회귀: 회귀 분석 기법 중 종속변수가 0 or 1, 참 or 거짓 등 구분하기 위한 방법
  
  
• 다향 로지스틱 회귀: 3개 이상 클래스를 식별하기 위한 로지스틱 회귀
  
  
• 군집화: 패턴 집합을 같은 종류라고 할 수 있는 몇 개의 서브클래스로 분할
  
  
• k-평균 군집화: k개 평균벡터를 임의 위치로 시작, 학습표본 집합으로 반복적 업데이트,
  학습표본 집합을 대표하는 평균벡터를 만드는 군집화

 

 

회귀분석(regression anlysis)

독립변수와 종속변수 사이 상관관계 추정

 

• 독립변수: 입력
• 종속변수: 독립변수에 의한 출력

=> 즉, 입력과 출력 관계를 예상해보는 거다.

단어에 쫄지말자

 

선형회귀(linear regression)

독립변수(입력), 종속변수(출력) 사이 상관관계를 선형함수로 모델링하는 것

 

선형회귀 예시

ko.wikipedia.org/wiki/선형_회귀

 

선형회귀 목표

d개의 독립변수와 종속변수 y에 대한

학습 표본 집합으로부터 선형가설을 구하는 것

 

가설과 실제와 오차가 존재할텐데

이 오차를 최소로 만드는게 목표이다.

 

 

선형가설의 학습

비용함수 = 평균제곱오차

 

 

기계학습을 할 때

경사하강법(gradient descent method) 많이 사용한다

비용함수 기울기의 음의 방향으로

경사면을 따라내려가도록 w0, w1을 조금씩 변화시킨다

 

 

로지스틱 회귀(logistic regression)

독립변수(입력)에 대해 종속변수(출력)이

0 또는 1이라는 값을 내는 가설을 구하는 것

 

 

가설의 학습

비용함수 = 교차 엔트로피(cross entropy)

그 다음 경사하강법에 대한 학습 => 비용함수가 최소가 되도록

 

 

다항 로지스틱 회귀(multinomial logistic regression)

식별하려는 클래스가 3개 이상인 경우

Softmax라는 함수를 이용해서 확률을 구한다

 

Softmax: 0~1 사이 값으로 압축한다

 

비용함수: 이것도 교차 엔트로피

그 다음 => 경사하강법으로 학습 => 비용함수가 최소가 되도록

 

 

군집화(clustering)

패턴 집합에서 같은 종류라고 생각되는

몇 개의 서브클래스로 분할

자율학습을 시킨다

 

 

k-평균 군집화(k-means clustering)

1. k개의 평균벡터를 찾고
2. k개의 평균벡터의 임의의 값을 초기값(추정)으로 주고
3. 학습표본을 평균벡터 중 가장 가까운 것으로 분류
4. 분류된 합습표본의 평균을 구하고
5. 그 값으로 평균벡터를 업데이트
6. 위 과정을 적절한 위치에 올 때까지 반복한다

 

 

Artificial Intelligence by Possessed Photography #unsplash