Hierarchical_Softmax
-
#hierarchical softmax #Word2vec을 효과적으로 학습시키는 방법Data miner/Information Retrieval 2019. 11. 25. 21:21
논문 소스 : Distributed Representations of Words and Phrases and their Compositionality Word2vec모델에서 모델의 출력층 이전 부분에서 정답 단어의 원핫인코더 값과 cross entropy로 계산되는 값인 스코어 값은Softmax를 지나친 값이다. 하지만, 코퍼스 전체의 단어집이 일반적으로 매우 크므로(10만개 이상) 하나의 데이터에 대해서 계산을 할 때 매우 많은 계산량이 요구된다. 이에 이를 개선하고자 나온 방법 중 하나가 Hierarchical softmax기법이다. 이는 balanced binary tree을 기반으로 계산되며, 이 때문에 계산량이 log(|v|)로 줄어든다는 이점이 있다. 먼저 Balanced binary tree..