Cara's Moving Cara's Moving

사용자는 대부분 광고를 귀찮아하지만, 광고는 검색엔진에 있어서 존립할 수 있게 하는 기반이다. 생각을 조금만 달리 해보면, 검색 엔진에서 유저들이 광고를 보는 행위를 통해서, 유저는 원하는 정보를 검색만으로 쉽게 얻을 수 있다. 드라마에서 적절하게 PPL을 배치하여 시청자가 불편함을 느끼지 않도록 노력하는 것처럼, 검색엔진 또한 이왕이면 사용자에게 필요한 광고를 보여주고자 한다. 검색엔진의 처음의 광고 방식, Goto. 구글 이전의 검색엔진의 광고방식으로는 Goto(1996) 방식이 있다. 이는 웹사이트에 광고주가 일정 비용을 지불하면, 페이지에 해당 사이트가 포함하게 하는 방식이다. 신촌 지역에 있는 식당 할인 쿠폰북처럼, 웹사이트는 특정 쿼리에 대해서 자신의 사이트에 일정 비용을 지불한 사이트만을 실..

- 본 논문에서 Transformer라 불리는 Architecture의 큰 구조는 RNN와 같이 encoder - decoder로 이뤄져 있다. 모델의 가장 큰 특징으로, 순차적으로 이전 정보에 의존하는 구조는 아니라는 점을 꼽을 수 있다(Not rely on recurrent connections). 대신에, 이러한 역할을 attention modules가 맡게 된다. 아래의 그림에서 왼쪽이 encoder, 오른쪽이 decoder이다. - 한편으로, BERT의 경우에는 Transformer의 Encoder부분만 사용한다. - Self-attention은 Encoder와 Decoder의 각 Layer의 입력 정보 자체를 함축하기 위해서 사용된다. 기존의 attention 혹은 align (transfor..