인공지능 강의 12화 :: 신경회로망, 학습방법, 퍼셉트론

인공지능 강의 12화를 보며 배운내용

 

 

KEYWORDS

• 인공 신경회로망: 생물학 신경체계 이해를 바탕으로 지능적 문제해결에 사용하기 위한 구조 및 학습 방법을 모델링
• 활성함수: 연결가중치가 적용된 입력이 뉴런에 전달되었을 때 뉴런의 출력을 활성활 할 것인지,
  활성화할 경우 어떤 값을 출력으로 전달할 것인지 결정하는 함수
  
  
• 피드포워드 신경망: 신호가 입력층에서 출력층으로 전달되는 신경망 구조
  
  
• 순환 신경망: 뉴런의 출력이 입력으로 들어갈 수 있는 순환연결 신경망 구조
• 준지도학습: 라벨이 지정되지 않은 큰 규모 학습표본 집합과 작은 규모의 라벨이 지정된 학습표본 집합을 사용하는 학습 방법
  
  
• 배치학습: 학습 표본집합 내의 각각 표본에 의한 연결가중치 변화분을 누적하고,
  전체 학습 표본에 대해 누적 변화량을 반영하여 연결가중치를 업데이트 하는 기계학습 방식
  
  
• 온라인 학습: 개별 학습 표본에 대해 연결가중치의 변화량을 계산하며 연결가중치를 업데이트하는 기계학습 방식
  
  
• 미니배치: 전체 학습 표본집합을 작은 부분집합으로 나눈 것
  
  
• 퍼셉트론: 프랭크 로잰블랫이 제안한 지도학습 방식의 신경망 모델
  선형 결정경계 학습 가능

 

 

활성함수(activation function)

• Hard limit
  
  • 0보다 크면 1, 작으면 -1
• Sigmoid
  • 미분 가능 함수
• TanH
  • S형태 모양
• ReLU
  • x가 0보다 작으면 0
    0보다 크면 x(비례)
  • 많이 사용된다

 

 

학습방법

지도학습

입력벡터와 출력을 쌍으로 학습데이터로 제공

 

자율학습

입력벡터만 제공

 

준지도학습

라벨 없는 큰 규모 학습표본 집합 + 비교적 작은 학습표본

 

배치 학습

 

온라인 학습

확률적 경사하강법 이용(SGD)

 

미니배치(mini-batch) SGD

미니배치(작은 부분집합)으로 분할

미니배치 단위로 연결가중치 업데이트

 

 

퍼셉트론(Perceptron) 학습

유명한 신경회로망중 하나

선형분리가 가능한 입력벡터의 집합에 대한 성형분리경계면 학습 입증

 

활성함수: 하드 리미트(hard limit)

 

기대하는 출력과, 실제 출력이 같으면 좋겠지

그걸 위해 학습 하는 것

 

성과: 반복 학습하면 분리할 수 있는 선형 결정경계 형성

한계: 선형분리가 되지 않는 문제 해결 불가(익스클루시브 오어 문제 XOR)

 

XOR 문제 해법 - 2단계 접근

• 1단계: 동일한 입력에 2개의 퍼셉트론 구성
  각각의 출력 u1과 u2의 새로운 2차원 공간 형성
  
  
• 2단계: u1-u2 공간에 사상된 결과를
  u1과 u2 입력으로 하는 퍼셉트론에 의해 결정경계 형성

문제: u1, u2 학습할 부분이 마땅치 않다. 활용 불가 X

 

해결할 수 있는 다른 방법이 나왔다

다른 강의(13화) 오차역전파 모델

 

 

Neuron by Josh Riemer #unsplash