전체 글
-
DistiLLM 논문 리뷰: 학생이 만든 답을 재사용해 증류 학습 비용 줄이기IT 이야기 2026. 10. 18. 18:00
작은 언어모델을 가르칠 때 큰 교사의 답을 따라 하게 하는 증류는 유용하지만, 학생이 학습 중 보는 문장과 실제 생성할 문장이 다르면 문제가 생깁니다. 학생이 직접 만든 답으로 학습하면 그 차이를 줄일 수 있지만 매번 생성하는 비용이 커집니다. DistiLLM은 확률 분포를 비교하는 손실과 생성 데이터를 쓰는 방법을 함께 바꾸어, 품질과 증류 학습 시간을 조절하는 연구입니다.모델의 추론 비용과 증류 비용은 다르다이 글은 ICML 2024 논문의 arXiv v2를 대상으로 합니다. 큰 교사 모델의 확률 분포를 작은 학생 모델이 따라가도록 학습한다는 기본 틀은 유지합니다. 이 연구가 특히 줄이려는 것은 학생을 만드는 증류 과정의 비용입니다. 이미 만들어진 같은 학생 모델이 답을 생성하는 속도가 손실 함수 변..
-
Layer-Condensed KV Cache 논문 리뷰: 층의 기억을 공유할 때 얻는 처리량과 학습 비용IT 이야기 2026. 10. 18. 09:00
언어모델을 작게 저장해도 긴 대화를 여러 개 동시에 처리하면 KV cache가 메모리를 크게 차지합니다. Layer-Condensed KV Cache는 과거 토큰을 적게 남기는 대신, 그 기억을 보관하는 층의 수를 줄입니다. 일부 층의 KV를 다른 층도 함께 참조하도록 모델 구조를 바꾸어 배치를 키우려는 접근입니다. 다만 최대 26배라는 처리량 이득은 특정 하드웨어와 offload 조건의 결과이며 학습 비용과 프롬프트 처리의 제약을 함께 보아야 합니다.토큰을 줄이는 압축과 층을 줄이는 압축이 리뷰는 ACL 2024에 실린 논문을 대상으로 합니다. 일반 decoder는 생성 중 각 층의 key와 value를 저장해 다음 토큰 계산에 재사용합니다. 이 공간은 문맥 길이·동시 처리량·층 수가 커질수록 늘어납니..
-
SparseGPT 논문 리뷰: 가중치 절반을 지우는 정확도와 실제 가속의 조건IT 이야기 2026. 10. 17. 18:00
언어모델의 가중치 절반을 0으로 만들면 계산도 절반이 될까요? SparseGPT는 거대한 사전학습 모델을 추가 미세조정 없이 가지치기하면서 정확도를 유지할 수 있는지부터 해결합니다. 이어 비정형 희소성과 하드웨어가 지원하는 패턴을 구별해 실제 가속 가능성을 살핍니다. ‘절반을 지워도 정확하다’는 결과와 ‘전체 서비스가 두 배 빠르다’는 결론 사이에는 구현과 평가 조건이 놓여 있습니다.사전학습 뒤에 한 번 처리하는 가지치기이 리뷰는 2023년 3월 arXiv v3를 대상으로 합니다. 양자화가 남길 숫자의 표현 비트를 줄이는 방법이라면, 가지치기는 일부 가중치를 제거하는 방법입니다. SparseGPT는 이미 학습된 모델과 작은 보정 데이터를 받아 층별 입력·출력 관계를 최대한 유지하는 희소 모델을 만듭니다...
-
SmoothQuant 논문 리뷰: 활성값의 이상값을 옮겨 W8A8을 실제 속도로 잇기IT 이야기 2026. 10. 17. 09:00
언어모델을 8비트로 바꾸면 메모리와 계산을 줄일 수 있지만, 큰 모델의 활성값에 드물게 매우 큰 값이 나타나면 정확도가 크게 떨어질 수 있습니다. SmoothQuant는 그 값을 무조건 잘라 버리지 않고, 활성값과 가중치 사이의 배율을 조정해 양쪽의 양자화 난도를 나누는 방법입니다. 정확도를 보존하는 수치 실험과 실제 INT8 커널에서의 지연시간을 함께 제시한다는 점이 핵심입니다.가중치만 줄이는 것과 W8A8의 차이이 리뷰는 ICML 2023 논문의 2024년 3월 arXiv v7을 대상으로 합니다. 가중치 8비트뿐 아니라 계산에 들어가는 활성값도 8비트로 만드는 W8A8이 주제입니다. 가중치 파일을 작게 저장해도 행렬곱을 계속 FP16으로 처리한다면 기대한 정수 연산 가속을 얻기 어렵습니다. 따라서 어..
-
FBI-LLM 논문 리뷰: 1.01비트의 계산 범위와 처음부터 학습하는 비용IT 이야기 2026. 10. 16. 18:00
FBI-LLM은 언어모델의 큰 선형 가중치를 두 값으로 표현하면서, 무작위 초기화에서 학습할 수 있는지 묻는 연구입니다. 이름의 ‘Fully Binarized’만 보면 모델 전체가 1비트처럼 들리지만, 실제 설정은 가중치 1비트와 활성값 16비트를 결합한 W1A16입니다. 압축의 범위, 교사 모델을 쓰는 학습 비용, 정확도 손실을 함께 보아야 연구의 성과와 남은 문제가 구별됩니다.기존 모델을 변환하는 일과 처음부터 배우는 일이 글은 2024년 7월 공개된 arXiv v1을 대상으로 합니다. 논문은 130M·1.3B·7B 크기의 이진 모델을 만들고, 사전학습된 가중치를 가져오지 않아도 교사의 다음 토큰 확률을 따라 학습할 수 있음을 실험합니다. 여기서 처음부터라는 말은 학생 가중치의 출발점을 뜻합니다. 교..
-
EfficientQAT 논문 리뷰: 2비트 정확도를 회복하는 두 단계와 41시간의 조건IT 이야기 2026. 10. 16. 09:00
2비트로 줄인 대형 언어모델은 저장 공간을 아낄 수 있지만, 줄어든 숫자 표현으로 원래의 판단을 얼마나 유지하는지가 문제입니다. EfficientQAT는 양자화를 고려해 다시 학습하되, 모든 가중치를 처음부터 끝까지 동시에 조정하는 비용을 피하려는 연구입니다. 핵심은 블록 안에서는 충분히 조정하고, 마지막에는 적은 수의 배율만 모델 전체에서 맞추는 두 단계입니다.무엇을 줄이고 무엇을 다시 학습하는가이 리뷰의 대상은 2025년 5월 갱신된 arXiv v3입니다. 사전학습된 Llama 계열 모델을 저비트로 바꾸는 방법이므로, 2비트 모델을 처음부터 사전학습하는 연구와 구별해야 합니다. 여기서 가중치의 정수 표현, 양자화 간격을 정하는 step size, 기준점을 옮기는 zero point는 서로 다른 역할을..
-
Gemma 2 논문 리뷰: ‘2B’라는 이름만으로 sLLM을 고르면 놓치는 것IT 이야기 2026. 10. 15. 18:00
작은 언어모델을 고를 때는 파라미터 수와 평균 점수부터 보게 됩니다. Gemma 2 논문은 여기에 질문 하나를 더합니다. 작은 모델이 학습할 때 받은 정보는 얼마나 풍부했을까요? 이 글은 2024년 논문의 v3를 기준으로, 2B 모델을 중심에 놓고 증류의 효과와 실제 선택 기준을 살펴봅니다. 현재 모델 순위를 매기거나 특정 기기에서의 실행 성능을 검증한 글은 아닙니다.정답 하나보다 풍부한 학습 신호일반적인 다음 토큰 학습은 실제 등장한 토큰을 맞히도록 합니다. 지식 증류는 큰 교사 모델이 여러 후보 토큰에 부여한 확률 분포를 작은 학생 모델이 배우게 합니다. 정답뿐 아니라 후보들 사이의 상대적인 가능성도 전달하는 셈입니다. Gemma 2는 2B와 9B 사전학습에 이 방식을 적용했고, 27B는 증류 없이 ..
-
MobiLlama 논문 리뷰: 5억 파라미터를 만드는 다른 방법, FFN 공유IT 이야기 2026. 10. 15. 09:00
작은 언어모델을 만들 때 층을 줄이거나 각 층의 폭을 좁히는 방법만 있는 것은 아니다. MobiLlama는 여러 층이 하나의 FFN을 함께 사용하도록 설계해 깊이와 폭을 유지한다. 이 연구의 가치는 “작아도 무엇이든 잘한다”는 약속보다, 제한된 메모리에서 어떤 구조를 선택할지 실험으로 보여준 데 있다. 이름이 비슷한 MobileLLM과는 별개 연구다.무엇을 줄이고, 무엇을 남겼나이 글은 2024년 2월 26일 공개된 arXiv:2402.16840v1을 기준으로 한다. 연구진은 0.5B급 모델에서 22층·은닉 차원 1,024인 baseline1과 8층·2,048인 baseline2를 비교했다. 층과 폭을 모두 유지한 large-base는 약 1.2B가 된다. MobiLlama는 22층·2,048을 유지하면..