서히의 우당탕탕 코딩일기

https://arxiv.org/abs/2306.11695 A Simple and Effective Pruning Approach for Large Language ModelsAs their size increases, Large Languages Models (LLMs) are natural candidates for network pruning methods: approaches that drop a subset of network weights while striving to preserve performance. Existing methods, however, require either retraining, whicharxiv.org 본 Paper Review에 앞서, 이 Paper를 선택한 이유..

BITAmin 14기 부원으로 합격한지 어연 1년이 지나가고, 이제 수료를 앞두고 있어서 늦은 감이 없지 않아있지만..이제서야 합격 후기를 적고자 한다 🍊 먼저 BITAmin이란? 비타민(BITAmin) | Linktree빅데이터 연합동아리 비타민(BITAmin) 입니다😀 아래 링크를 통해 네이버 공식 계정들을 접속하실 수 있습니다 🥰linktr.ee BIG DATA를 배우는 민족, BITAmin연합 빅데이터 분석 & 인공지능 동아리정규 세션한 학기에는 머신러닝과 딥러닝에 대해 기초부터 체계적으로 학습하고, 다른 한 학기에는 관심 분야의 논문을 선정한 뒤, 조별로 논문을 분석하고 발표하는 시간을 가진다. 이번 14기부터는 발표를 조별 대표가 아닌 전체 조원이 함께 발표하는 방식으로 바뀌었는데, 이 ..

Word Embedding정의단어를 실수으 벡터로 매핑시키는 것매핑된 벡터를 Word Representation 이라고도 함방법론One-hot EncodingLatent Sentiment AnalysisNNLM, RNNLM (Word2vec의 전 버전)Word2vecGloVeFastText One-hot Encoding입력값 사이즈만큼 벡터가 만들어져야 함 → 차원의 저주모든 벡터가 Orthogonal하고 거리가 같음 = 서로 Independent → 연관성, 유사성을 표현할 수 없음Distributed RepresentationOne-hot Encoding의 문제점Sparsity: 다 0이고 한 차원만 1Independence: 단어 간의 연관성 표현 XSolutionDistributed Represe..

Artificial IntelligenceProblem Solving by SearchingLogic and OntologyMachine Learning: 충분한 데이터를 이용해서 잘 표현할 수 있는 모델링Classification & Clustering: 비슷한 feature를 가진 데이터를 군집화Reinforcement Learning: agent의 action으로부터 보상값을 받으면 보상값을 이용해서 어떤 action을 취하는 데에 유리할지 결정Logistic Regression: variable 간의 관계를 수식으로 표현 → 새로운 데이터에 대한 output을 예측Deep Learning인공신경망 기술로부터 layer를 깊게 가져간 것 (Neural Network에서 층이 많을 때)Unstruct..