서히의 우당탕탕 코딩일기

스터디 날짜: 11/24(월)~11/28(금)스터디범위: 모의고사 5, 6, 7회 전범위 이번주 스터디 하면서 느낀 점: 유형 3에서 라이브러리를 비롯하여 암기할 내용이 많아서 힘들었다. 시험 때도 많이 허둥지둥댔는데, 만약 다시 본다면 유형3을 위주로 공부를 해야될 것같다. 만약 스터디를 안했다면 유용한 정보를 비롯하여 공부를 안했을 것같다.

스터디 날짜: 11/17(월)~11/21(금)스터디범위: Part04~Part06, 모의고사 3, 4회 제 1, 2유형 복습 이번주 스터디 하면서 느낀 점: 3유형이 통계라서 너무 힘들었고 기출을 풀수록 개념 이론과 실습이 완전히 달라서 실습 위주로 마지막 주를 준비해야겠다. 1. 군집분석을 이용한 문제 해결K-means 알고리즘: 서로 유사한 데이터는 동일 그룹으로, 유사하지 않은 데이터는 다른 그룹으로 분류하는 대표적인 군집분석목표: iris 데이터셋으로 K-means 클러스터링을 사용하여 비슷한 붓꽃끼리 그룹화하고 성능을 평가한다.# 1. 패키지 임포트import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.c..

스터디 날짜: 11/10(월)~11/14(금)스터디범위: PART 03, 모의고사 3, 4회 문제 제 1, 2유형 이번주 스터디 하면서 느낀 점: 기초적인 Pandas를 비롯해서 모듈을 불러오는 것부터 헷갈렸다. 또한 기출을 실제로 처음 풀어봤는데 생각했던 것보다 어려워서 열심히 해야 될 것같다. 지도학습 - 분류분류의 대표적인 알고리즘의사결정나무로지스틱회귀나이브베이즈서포트벡터머신KNN랜덤포레스트신경망-> 교재에서는 의사결정나무, KNN, SVM, 로지스틱 회귀, 랜덤포레스트를 이용한 분류 문제 예제 다룬다.1. 의사결정나무를 이용한 분류 문제 해결📌 목표: 타이타닉 데이터를 기반으로 Survived 컬럼의 값을 예측-> 불필요한 속성은 제거하고 전처리 과저을 거친 후, 사이킷런의 의사결정나무 알고리..

스터디 날짜: 11/3(월)~11/7(금)스터디범위: Part01, PART 02, 모의고사 3, 4회 문제 제 1유형이번주 스터디 하면서 느낀 점: Python의 기초부터 시작하여 Pandas, 벡터 등 기본기부터 다룸으로써 탄탄하게 할 수 있었다. 또한 스터디 팀원분들이랑 같이 해서 더 힘이 났다Part 01. Python 기초와 데이터 구조Section 01. 변수와 연산1) 변수 개념 이해하기변수 = 데이터를 저장하는 컨테이너변수 선언과 할당 → = 사용변수 사용 → 이름을 통해서 가능변수의 동적 타이핑 → 변수의 타입을 미리 선언 X2) 변수명변수명 규칙숫자로 시작 불가능대소문자 구분예약어 사용 X용도를 알 수 있게 선언변수명 스타일스네이크 케이스(snake_case): 단어 구분은 밑줄로카멜 ..

https://arxiv.org/abs/2306.11695 A Simple and Effective Pruning Approach for Large Language ModelsAs their size increases, Large Languages Models (LLMs) are natural candidates for network pruning methods: approaches that drop a subset of network weights while striving to preserve performance. Existing methods, however, require either retraining, whicharxiv.org 본 Paper Review에 앞서, 이 Paper를 선택한 이유..

BDA 란?https://linktr.ee/official.bdaa?fbclid=PAZXh0bgNhZW0CMTEAAaaHz7lk0OQSj94dwTz1XDrsNJNVxLlV9YJR0b-DNT3wmP8mOtKM1bXlf_A_aem_3GveKEVxQdlVqMnwF2v5BA BDA | Instagram | LinktreeBig Data Analysis | 빅데이터분석학회linktr.ee B.D.A는 (사)한국빅데이터학회 산하 기관으로, 전국 대학생 연합 빅데이터 학회 및 실무 연계 학회입니다.데이터 분석에 진심인 현직자와 함께 소규모 스터디로 시작하여,3년 만에 누적 학회원 7,000명 이상을 돌파하며 가파른 성장세를 보이고 있습니다. B.D.A는 현재 빅데이터 분석 관련 학회 중 학회원 수 1위를 기록하며,..

https://arxiv.org/abs/2507.23279 Unveiling Super Experts in Mixture-of-Experts Large Language ModelsSparsely activated Mixture-of-Experts (MoE) models have shown promise in enhancing the learning capacity of large language models (LLMs). Leveraging the intrinsic importance differences among experts, recent research has explored expert-level compression tarxiv.org AbstractSparse MoE LLM은 dense LL..

https://arxiv.org/abs/2408.08274 BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of ExpertsThe Mixture of Experts (MoE) framework has become a popular architecture for large language models due to its superior performance over dense models. However, training MoEs from scratch in a large-scale regime is prohibitively expensive. Existing methods marxiv.org Abstract문제정의: 기..

BITAmin 14기 부원으로 합격한지 어연 1년이 지나가고, 이제 수료를 앞두고 있어서 늦은 감이 없지 않아있지만..이제서야 합격 후기를 적고자 한다 🍊 먼저 BITAmin이란? 비타민(BITAmin) | Linktree빅데이터 연합동아리 비타민(BITAmin) 입니다😀 아래 링크를 통해 네이버 공식 계정들을 접속하실 수 있습니다 🥰linktr.ee BIG DATA를 배우는 민족, BITAmin연합 빅데이터 분석 & 인공지능 동아리정규 세션한 학기에는 머신러닝과 딥러닝에 대해 기초부터 체계적으로 학습하고, 다른 한 학기에는 관심 분야의 논문을 선정한 뒤, 조별로 논문을 분석하고 발표하는 시간을 가진다. 이번 14기부터는 발표를 조별 대표가 아닌 전체 조원이 함께 발표하는 방식으로 바뀌었는데, 이 ..

논문 링크: https://arxiv.org/pdf/2506.01939 1. 논문이 다루는 Task이 논문은 LLM의 Chain-of-Thought 추론 능력을 강화하기 위해 증명 가능한 보상(RLVR) 기반의 강화 학습을 활용하는 작업을 다룬다. 특히 수학 문제 풀이(AIME’24/’25, AMC’23 등)와 같은 표준 추론 벤치마크를 대상으로 하며, LLM이 단계적 추론을 통해 정답에 도달하도록 학습시킨다. 기존 연구에서는 이러한 RLVR 기법을 통해 LLM의 성능이 크게 향상되었지만, 본 연구에서는 토큰 단위 엔트로피(token entropy) 관점에서 분석하여 어떤 토큰들이 추론 과정에서 핵심 역할을 하는지에 주목한다. 2. 기존 연구 한계기존의 RLVR 연구들은 모든 출력 토큰을 동일하게 학습했..