서히의 우당탕탕 코딩일기

Word Embedding정의단어를 실수으 벡터로 매핑시키는 것매핑된 벡터를 Word Representation 이라고도 함방법론One-hot EncodingLatent Sentiment AnalysisNNLM, RNNLM (Word2vec의 전 버전)Word2vecGloVeFastText One-hot Encoding입력값 사이즈만큼 벡터가 만들어져야 함 → 차원의 저주모든 벡터가 Orthogonal하고 거리가 같음 = 서로 Independent → 연관성, 유사성을 표현할 수 없음Distributed RepresentationOne-hot Encoding의 문제점Sparsity: 다 0이고 한 차원만 1Independence: 단어 간의 연관성 표현 XSolutionDistributed Represe..

Outlineseq2seq에 기반한 Attention의 한계가 있음병렬 처리가 불가능 → 속도가 느림Long Term Dependency 문제를 완전히 해결 X⇒ Attention이 Long Term Dependency 문제를 어느정도 해결하였으나 결국 RNN 기반이어서 병렬 처리 불가능Transformer의 특징Positional Encoding(Masked) Multi-Head AttentionScaled Dot-product AttentionPosition-wise Feedforward Network + Residual ConnectionTransformerEncoder Input = source SentenceDecoder Input = right shifted Target SentenceDeco..