NLP
-
#FastText #초기_Pre-trained_model #논문리뷰Data miner/Information Retrieval 2019. 10. 22. 12:11
Tomas Mikolov, Edouard Grave, Piotr Bojanowski, Christian Puhrsch, Armand Joulin. Advances in Pre-Training Distributed Word Representations, 2017 NLP 영역에서, 사전학습된 모델로서 초창기에 등장한 모델에 대해서 리뷰해보는 시간을 갖도록 해본다. 초창기(?)라지만 2017년이라니(...) 모델 성능 개선의 속도가 참 빠르다. 위의 논문에서는 Word2vec 모델과의 비교를 통해서 보다 표현력이 상승된 워드 임베딩 모델을 제시하고자 한다. 이전의 잘 알려진 개선 방법 3가지를 조합하였으며, 그 개선방법 1) position dependent features 2) phrase represent..
-
#논문공부 #Attention is all you need #NLPData miner 2019. 7. 12. 20:13
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008). - Attention이라는 개념은 Neural machine translation by jointly learning to align and translated의 논문에서 처음 제시된 아이디어라고 한다. align and translate jointly로 표현되어 있는데, context vector로 구체적으로 표현된다. 위 논문에서는 conte..