전체 글14 Chapter 5. 순환신경망 (RNN) 2022. 7. 27. Chapter 4. word2vec 속도 개선 2022. 7. 26. Chapter 3. word2vec 2022. 7. 25. Chapter 6. 학습 관련 기술들 이 게시글은 '밑바닥부터시작하는딥러닝' 교재를 정리 한 것입니다. 이번장에서 다룰 주제: 가중치 매개변수의 최적값을 탐색하는 최적화 방법 가중치 매개변수 초깃값 하이파라미터 설정 방법 오버피팅의 대응책인 가중치 감소 & 드롭아웃 등의 정규화 방법 배치정규화 6.1 매개변수 갱신 신경망 학습의 목적은 손실함수의 값을 최대한 낮추는 매개변수를 찾는것이고, 이 매개변수 최적값을 찾는것을 최적화 (Optimization) 이라고 한다. 하지만 매개변수 공간은 너무 넓고 복잡하며, 심층신경망에서는 매개변수의 수가 엄청나게 많아져 최적화는 굉장이 어려운 문제이다. 지금까지는 이 매개변수의 최적값을 찾기위해 매개변수의 기울기 (미분)를 이용했다. 매개변수 기울기를 구하고, 기울어진 방향으로 매개변수 값을 갱신하는 일.. 2022. 7. 24. 이전 1 2 3 4 다음