코기 코기

전체 글

• DOS RAG 논문 2탄: 세 데이터셋의 점수와 예외는 무엇인가

  IT 이야기 2026. 11. 1. 18:00

  DOS RAG 논문 1탄에서 본 핵심은 같은 문서 구간을 검색한 뒤 원래 문서 순서로 다시 배열하는 것이다. 2탄은 그 작은 차이가 실제 숫자에서 얼마나 드러났는지 본다. 결과를 한 줄의 ‘단순 RAG 승리’로 줄이면 중요한 예외가 사라진다. ∞Bench, QuALITY, NarrativeQA는 질문과 지표가 다르고, 입력 토큰 예산도 서로 다르다. 각 표의 독해 범위를 먼저 맞춰야 한다.∞Bench에서 30K 토큰 예산의 차이는 어느 정도인가원문 Appendix Table 2는 GPT-4o를 읽기 모델로 쓴 영어 객관식 ∞Bench 결과다. 입력 검색 예산을 3만 토큰으로 맞추면 DOS RAG 정확도는 93.1%±0.5%, 일반 RAG는 87.8%±0.4%, RAPTOR는 85.0%±0.2%다. DOS..

  Read More
• DOS RAG 논문 1탄: 긴 문서 검색에서 원래 순서가 왜 중요한가

  IT 이야기 2026. 11. 1. 15:00

  긴 문서를 읽을 수 있는 모델이 생겼다면 검색·요약·재검색을 여러 번 이어 붙이는 RAG가 꼭 필요할까. Alex Laitenberger와 동료들의 EMNLP 2025 논문은 이 질문을 ‘복잡한 방법이 무조건 나쁘다’는 구호가 아니라 같은 입력 토큰 예산에서 비교할 실험 문제로 바꾼다. 1탄에서는 Figure 2와 방법 절을 따라 무엇을 공정하게 맞추었고, DOS RAG가 정확히 무엇을 바꾸는지 읽는다. 2탄에서는 세 데이터셋의 숫자와 예외를 따로 살펴본다.긴 문맥 시대에 비교 기준을 왜 다시 세워야 하나이전 RAG는 모델이 한 번에 읽을 수 있는 길이가 짧아 문서를 압축하고 추론 단계를 나누는 데 많은 설계를 썼다. ReadAgent는 문서의 자연스러운 경계로 페이지를 나누고 요약 기억을 만든 뒤 질문..

  Read More
• RoseRAG 논문 2탄: 세 모델의 점수와 실패 조건은 무엇인가

  IT 이야기 2026. 11. 1. 12:00

  1탄에서는 작은 모델에 검색 잡음이 섞일 때 RoseRAG가 어떤 훈련 쌍을 만드는지 봤다. 이제 실제 숫자를 살필 차례다. 이 논문의 결과는 ‘작은 모델에 문서를 더 주면 무조건 좋다’도, ‘RoseRAG가 모든 조건에서 이긴다’도 아니다. 모델·데이터셋·지표·소거 조건을 한 묶음으로 읽을 때만 어떤 개선인지 알 수 있다. 이 글은 원문 Table 1–4와 Figure 4–5의 핵심을 구분해 읽는다.세 모델의 성능표는 같은 질문에 답했나원문은 Qwen2.5-1.5B-Instruct, Llama-3.2-1B-Instruct, gemma-2-2b-it 세 모델을 썼다. HotPotQA와 2WikiMultiHopQA는 여러 단계를 잇는 질의응답이므로 정확 일치(EM)와 F1을 본다. StrategyQA는 이..

  Read More
• RoseRAG 논문 1탄: 검색 잡음 앞에서 작은 모델은 어떻게 배우나

  IT 이야기 2026. 11. 1. 09:00

  검색 증강 생성(RAG)은 질문을 받은 뒤 관련 문서를 찾아 작은 언어모델에 함께 건넨다. 그중 엉뚱한 문서가 섞이면 모델은 근거와 잡음을 구분해야 한다. Tianci Liu와 동료들의 RoseRAG 논문은 검색 문서가 늘 때 작은 모델이 흔들리는 문제를 모델의 훈련 방법으로 다룬다. 이 1탄은 점수보다 먼저 잡음의 조건과 세 단계 방법을 읽는다. 2탄에서는 실제 비교표와 한계를 따로 살핀다.검색 문서를 더 주면 항상 좋아질까RAG의 기본 흐름은 질문을 검색기에 보내 상위 K개 문서를 받고, 이 문서와 질문을 모델에 넣어 답을 생성하는 것이다. 하지만 검색 순위가 높다는 이유만으로 모든 문서가 답의 근거가 되지는 않는다. 관련 문서 한두 개와 무관한 문서 여러 개가 한 프롬프트 안에 들어갈 수 있다. 작..

  Read More
• RAGEval 논문 리뷰: 검색 답변의 빠진 근거와 틀린 근거를 따로 재는 법

  IT 이야기 2026. 10. 31. 18:00

  검색한 문서가 있다는 사실만으로 답을 평가할 수 있을까요?Zhu 등 연구진의 ACL 2025 논문 RAGEval은 검색 증강 생성 시스템을 특정 업무 상황에 맞춰 평가하는 방법을 제시합니다. 질문에 참고 문서가 붙었다는 사실만 보면 답이 중요한 항목을 빠뜨렸는지, 문서와 충돌했는지 구분하기 어렵습니다. 저자들은 문서·질문·정답·참조 근거를 만들고, 정답에서 핵심 사실을 뽑아 답을 항목별로 검사합니다.논문은 법률·의료·금융의 가상 상황에서 중국어와 영어 자료를 구성했습니다. 이것은 실제 환자나 고객에게 적용할 조언을 생성하는 실무 매뉴얼이 아닙니다. 산업별 평가 문항을 만드는 연구입니다. 국내 기관이 같은 시스템을 도입하려면 한국어 자료와 전문가 검수, 개인정보 처리 조건을 별도로 검토해야 합니다.기존의 ..

  Read More
• 뉴스 요약 SLM 평가 논문 2탄: 점수와 실패 사례는 무엇을 말하나

  IT 이야기 2026. 10. 31. 15:00

  1탄에서 살핀 평가 설계 위에 실제 결과를 올려 보자. 이 논문은 작은 언어모델 19개를 네 가지 영어 뉴스 데이터셋의 2,000건에 시험했다. 점수가 높은 모델을 찾는 데서 끝내지 않고, 원문에 충실한지, 너무 길거나 짧지 않은지, 지시를 복잡하게 하면 더 나아지는지를 나눠 봐야 연구 결과가 실제 선택에 도움이 된다. 1탄의 평가 설계를 먼저 읽으면 지표의 의미가 더 분명하다.높은 유사도와 사실 일치는 같은 지표가 아니다원문 Table 3에서 네 데이터셋과 두 기준 요약을 합친 평균 BertScore는 Phi-3-Mini가 74.01, Llama3.2-3B-Instruct가 74.41이다. 이 표는 생성한 요약이 기준 요약의 의미와 얼마나 가까운지를 보여준다. 두 숫자의 차이만으로 모든 기사에서 어느 ..

  Read More
• 뉴스 요약 SLM 평가 논문 1탄: 작은 모델의 ‘좋은 요약’을 무엇으로 재었나

  IT 이야기 2026. 10. 31. 12:00

  ‘작은 언어모델도 큰 모델만큼 뉴스를 잘 요약한다’는 결론을 읽기 전에, 먼저 좋은 요약의 기준부터 살펴볼 필요가 있다. 짧기만 한 문장은 핵심을 빠뜨릴 수 있고, 원문과 닮은 문장도 사실을 틀릴 수 있다. Xu와 동료들의 2025년 NAACL 논문은 19개 범용 작은 언어모델(SLM)의 뉴스 요약을 비교하면서, 무엇을 기준으로, 어떤 데이터에서, 어떤 지표로 비교했는지를 설계의 중심에 놓았다. 이 글은 결과 순위보다 평가 방법을 먼저 읽는다.크기가 작으면 곧바로 요약에 유리할까연구진이 던진 첫 질문은 모델 크기가 달라질 때 뉴스 요약 품질이 어떻게 달라지는지다. 원문 Figure 1은 모델의 파라미터 수와 BertScore를 함께 보여준다. 작은 모델이라는 이름 아래에도 점수 분포가 넓다. 이 그림에서..

  Read More
• DRAG 논문 리뷰: 작은 모델에 답 대신 근거를 건네는 RAG

  IT 이야기 2026. 10. 31. 09:00

  작은 모델에 큰 모델의 답을 외우게 하는 방식일까요?Chen 등 연구진의 ACL 2025 논문 DRAG는 큰 모델이 만든 근거와 관계 정보를 작은 언어모델의 질문 답변에 활용합니다. 제목에 증류라는 말이 있지만, 본문의 핵심 실험은 작은 모델의 가중치를 다시 학습시키는 방식이 아닙니다. 저자들은 방법 절에서 미세조정이 필요 없는 접근이라고 설명합니다. 큰 모델이 후보 근거를 만들고 고른 뒤, 작은 모델이 그 근거를 문맥으로 받아 마지막 답을 생성합니다.이 차이는 서비스 비용을 따질 때 중요합니다. 큰 모델 호출과 근거 순위 계산은 답변 전에 여전히 필요합니다. 한 번 학습해 둔 작은 모델만 기기 안에서 독립적으로 답한다는 뜻으로 읽으면 구현 구조를 잘못 설계하게 됩니다. 논문이 겨냥한 것은 큰 모델의 정..

  Read More