인공지능 강의 13화를 보며 배운내용
KEYWORDS
- 오차역전파: 다수의 은닉층을 포함하는 다층 퍼셉트론을 학습할 수 있는 지도학습 모델
출력층으로부터 입력층 방향으로 오차를 전달하며 연결가중치 업데이트 - 관성항(or 모멘텀): 경사하강법 적용 과정에서 이전 단계의 연결중치 변화량을 현 단계에 반영하기 위한 비율
연결가중치가 진동하듯, 변화로 수렴이 늦어지거나, 적절한 값을 수렴하지 못하는 문제 개선 가능 - 경쟁학습: 입력 데이터에 대해 반응 권한을 다른 노드들과 경쟁을 통해 얻어내는 신경망 자율학습의 형태
오차역전파(Backpropagation: BP) 모델
다층 퍼셉트론을 훈련할 수 있는 학습 모델
다층 퍼셉트론: 입력층과 출력층 사이에 1개이상 은닉층 포함
선형 결정경계가 없을 때 해결방법
중간층의 해결 방법의 필요로 나왔다
활성함수: 시그모이드(Sigmoid) 함수와 같이 미분 가능한 함수 사용
출력층과 은닉층 j의 뉴런 간 연결 가중치 조정
은닉층 j와 은닉층 j-1 뉴런 간 연결 가중치 조정
이 방법을 여러 번 반복한다
관성(inertia)항
현 단계 변화량뿐만 아니라,
이전 단계 변화량을 적절한 관성계수 비율로 반영
결정경계 형태
- 단층 구조
선형경계 - 2층 구조
볼록한 경계 - 3층이상 구조
임의 형태의 경계
다층 퍼셉트론 층이 많이 쌓이는 것을 해결해야 되는데
이럴 때 이용되는게 딥러닝(심층학습) 다음강의(14화)
자기조직화 지도(Self-Organizing Map: SOM)
Kohonen이 제안한 신경회로망 모델
밀접한 관계가 있는 정보를 다루는 뉴런은
가깝게 위치해서 짧은 연접 연결을 통해 상호작용 가능
목표
임의 차수의 입력 패턴 => 1차원 , 2차원 지도로 변환
위상적으로 순서화된 형태로 적응적 변환 일어나도록
학습 개념
- 경쟁: 가장 큰 값을 갖는 노드가 승자가 됨
- 협력: 승자 노드 중심으로 이웃 노드들의 위치를 결정해서 활성화
- 적응: 활성화된 노드들의 판별식이 주어진 입력에 대해 강화
맵 위치 결정 과정
학습 표본이 있으면
제일 가까운 뉴런과 이웃 뉴런이 함께 조금씩 이동
LVQ(Learning Vector Quantization)
자기조직화 지도를 패턴 븐류에 활용하기 위한 모델
벡터 양자화
입력 신호를 근사화해서 표현
목표: 양자화 오차를 최소화하도록 대표 벡터의 위치 구함
LVQ의 학습
- 지도학습 방식에 따라 대표벡터 학습
- 학습표본 x가 입력되면
가장 유사한 연결 가중치 w를 갖는
출력노드 c가 승자노드가 되고 w 갱신
