Pre-trained_model
-
#FastText #초기_Pre-trained_model #논문리뷰Data miner/Information Retrieval 2019. 10. 22. 12:11
Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, Armand Joulin. Advances in Pre-Training Distributed Word Representations, 2017 NLP 영역에서, 사전학습된 모델로서 초창기에 등장한 모델에 대해서 리뷰해보는 시간을 갖도록 해본다. 초창기(?)라지만 2017년이라니(...) 모델 성능 개선의 속도가 참 빠르다. 위의 논문에서는 Word2vec 모델과의 비교를 통해서 보다 표현력이 상승된 워드 임베딩 모델을 제시하고자 한다. 이전의 잘 알려진 개선 방법 3가지를 조합하였으며, 그 개선방법 1) position dependent features 2) phrase represent..