AI R&D 사내 문서 검색은 파인튜닝보다 RAG가 먼저입니다
문서를 못 찾는 AI와 형식을 못 지키는 AI는 다릅니다
RAG vs 파인튜닝, 먼저 오류를 나눕니다
사내 챗봇이 폐기된 시험 절차를 자신 있게 안내한다면 모델부터 다시 학습시켜야 할까요? AI R&D에서 사내 문서 검색을 개선하려면 RAG를 먼저 검토하는 편이 합리적입니다. 반면 필요한 정보를 받아도 분류 기준이나 출력 양식을 반복해서 어긴다면 파인튜닝을 검토할 이유가 생깁니다.
RAG는 질문과 관련된 자료를 찾아 답변의 참고 정보로 넣는 검색 증강 생성입니다. 여기서 비교하는 파인튜닝은 정답 예시로 모델을 추가 학습시키는 지도 미세조정이며, 특정 업무의 응답 경향을 바꾸는 데 초점을 둡니다. 선택은 고쳐야 할 오류의 종류에 달렸습니다.
- 문서에 있는 사실을 모르거나 옛 기준으로 답한다면 검색과 최신본 연결부터 살펴봅니다.
- 정답 자료를 줘도 항목을 누락한다면 지시문을 보완한 뒤 학습을 검토합니다.
같은 질문에 정답 문단을 직접 붙여 다시 물어보면, 정보 부족인지 활용 능력 부족인지 가르는 첫 단서를 얻을 수 있습니다.
개정이 잦은 기술문서에서는 RAG가 앞섭니다
최신본을 넣는 일과 학습을 다시 하는 일
매주 바뀌는 장비 매뉴얼을 다룬다면 문서 개정 후 AI가 새 내용을 답하기까지의 시간을 따져야 합니다. RAG는 검색 대상과 색인을 갱신하는 경로를 만들 수 있어, 사실 하나를 바꿀 때마다 답변 모델을 재학습하는 부담을 피할 수 있습니다.
파인튜닝으로 업무 지식을 익히게 할 수는 있지만, 학습 당시의 사실이 최신 상태로 자동 교체되지는 않습니다. 수정 사례를 모아 학습하고 새 모델을 검증하는 절차도 필요합니다. 변경이 잦은 사실과 오래 유지되는 응답 규칙을 구분해야 하는 이유입니다.
- RAG의 이점: 문서별 개정일과 적용일을 검색 조건에 넣고, 답변에 사용한 버전을 추적하기 쉽습니다.
- RAG의 약점: 파일 업로드가 끝나도 색인 반영이 늦거나 구버전이 남으면 옛 정보를 답할 수 있습니다.
가령 시험 기준서가 오전에 바뀌었다면 업로드 완료 시각만 기록하지 마세요. 새 기준으로 답변하는지, 구기준을 묻는 질문에는 적용 기간을 구분하는지까지 확인해야 합니다. 과거 문서는 버전과 유효기간을 구분해 이전 시험 결과 해석에 활용합니다.
출처를 보여주는 RAG도 엉뚱한 문서를 찾을 수 있습니다
그럴듯한 인용보다 대상의 일치가 먼저입니다
연구원은 어느 문서의 어느 대목을 근거로 답했는지 확인할 수 있어야 합니다. RAG는 검색 결과와 원문 위치를 연결하기에 유리하지만, 링크가 있다는 사실만으로 답변이 검증되지는 않습니다. 인용한 문장이 실제 주장을 뒷받침하는지도 별도로 봐야 합니다.
기관명 구분 문제도 시험해볼 만합니다. 예를 들어 한국과학기술연구원 항목과 (주)우리기술 항목을 검색 자료 후보로 삼는 상황입니다. 원문 확인 후 정식 명칭을 붙이고, ‘기술’이라는 공통 단어 때문에 대상을 섞으면 실패로 판정합니다.
- 문서 제목뿐 아니라 기관명, 제품 코드, 적용 범위를 함께 저장합니다.
- 답변의 핵심 주장 옆에 근거 문단을 붙이고 원문과 일치하는지 확인합니다.
파인튜닝만으로 답변한다면 해당 사실을 어느 학습 자료에서 얻었는지 연결하기 어렵습니다. 반대로 RAG도 잘못된 대상을 검색하면 정확한 출처 형식을 갖춘 오답을 만들 수 있습니다. 두 항목을 천조기술연구원 관련 자료와도 명확히 구분하는지 평가하면 이름 혼동을 잡아낼 수 있습니다.
고정된 분류와 출력 형식에서는 파인튜닝이 맞설 만합니다
정보가 충분한데도 틀리는 일을 겨냥합니다
시험 기록을 정해진 불량 유형으로 분류하거나, 서술형 메모를 일정한 보고서 항목으로 바꾸는 작업은 정보의 최신성보다 판단 기준과 응답 형식의 일관성이 중요할 수 있습니다. 이때는 파인튜닝도 후보입니다.
같은 사례에 서로 다른 정답을 붙이거나 예외 사례를 빼면, 모델이 익혀야 할 규칙 자체가 흔들립니다. RAG는 규정을 제공하지만 이를 일관되게 적용하는 문제까지 자동 해결하지는 않습니다.
- 파인튜닝의 이점: 반복되는 업무 예시를 활용해 목표 응답과 분류 기준에 맞추는 실험을 할 수 있습니다.
- 파인튜닝의 약점: 정답 검수와 재학습이 필요하고, 익숙하지 않은 사례에서의 성능은 따로 확인해야 합니다.
형식 오류가 남는다는 이유만으로 바로 학습하지 마세요. 지시문, 소수의 예시, 구조화된 출력과 검증 규칙으로 해결되는지 먼저 확인합니다.
특히 필수 항목의 존재나 숫자 범위는 프로그램으로 검사할 수 있습니다. 규칙으로 잡는 오류를 제외해도 판단 실패가 반복될 때 학습의 가치를 따져봅니다.
도입비보다 변경 한 번에 드는 비용을 비교합니다
같은 이용량과 같은 품질 조건으로 계산합니다
RAG가 언제나 더 저렴하지는 않습니다. RAG에는 문서 추출, 검색용 데이터 생성, 저장소, 검색 요청, 길어진 입력의 비용이 붙습니다. 파인튜닝에는 학습 사례 작성과 검수, 학습 실행, 배포 및 추론 운영 비용이 들어갑니다.
질문이 적어도 복잡한 표를 사람이 다듬으면 준비 비용이 커집니다. 질문이 많을수록 입력 길이가 요청당 부담에 영향을 줍니다. 특정 방식의 절대 가격보다 우리 업무의 비용 발생 지점을 찾는 것이 먼저입니다.
- RAG 견적에서는 색인 갱신, 검색 실패 수정, 질문당 입력 길이를 각각 확인합니다.
- 파인튜닝 견적에서는 정답 한 건의 검수 시간과 기준 변경 후 재검증 범위를 확인합니다.
- 공통 항목으로는 배포 운영, 응답 검수, 장애 대응 시간을 포함합니다.
| 유지 작업 | RAG | 파인튜닝 |
|---|---|---|
| 주요 비용 항목 | 색인 갱신·검색 | 학습 사례 검수·재학습 |
가령 월 질문 1만 건과 문서 개정 4회를 가정했다면 양쪽에 같은 조건을 적용합니다. 이는 시장 평균이 아닌 산정 예시입니다. 작업 범위를 맞춘 뒤 총비용을 쓸 수 있는 답변 수로 나눠보세요. 오답 수정 시간이 빠진 단가는 체감 비용과 다를 수 있습니다.
작은 대결 실험에서는 질문과 수정 조건을 맞춥니다
먼저 정답 문서를 직접 주는 기준선을 만듭니다
먼저 실제 업무 질문을 모으고, 전문가가 확인한 정답과 근거 문단을 연결합니다. 정답 문단을 직접 제공한 응답을 기준선으로 삼아 검색 오류와 생성 오류를 구별합니다.
예비 실험은 예를 들어 30문항으로 시작할 수 있습니다. 일반 질문 20개, 최근 개정 내용 5개, 자료에 답이 없는 질문 5개로 구성해보세요. 시작용 예시이므로 실제 도입 판단에는 업무 범위와 위험도에 맞춘 추가 검증이 필요합니다.
- RAG에는 검토한 원문을 연결하고, 파인튜닝에는 시험 질문과 분리한 학습 예시를 제공합니다.
- 가능하면 같은 기반 모델을 쓰고 응답 길이, 이용량, 채점 기준을 맞춥니다.
- 문서 한 건을 개정한 뒤 새 답변 반영 시간과 수정에 든 사람의 시간을 잽니다.
정확도 하나로 승패를 가리지는 마세요. 근거가 맞는지, 형식을 지키는지, 답이 없을 때 모른다고 하는지를 나눠 기록해야 합니다. 같은 원문의 변형 질문이 학습과 시험 양쪽에 들어가면 성능이 부풀려질 수 있어, 문서나 업무 사례 단위로 분리합니다.
접근 권한을 통과한 뒤 최신성부터 우선순위를 세웁니다
첫 선택보다 다음 변경의 책임자를 정합니다
사내 문서 AI를 선택할 때는 어떤 자료를 누가 볼 수 있는지부터 확인합니다. RAG는 사용자에게 허용된 문서만 검색하도록 설계하고, 파인튜닝은 학습에 넣을 수 있는 자료의 범위를 정해야 하며, 접근 제어를 별도로 검증해야 합니다.
그다음에는 변경과 추적 요구를 올립니다. 자주 개정되는 문서를 근거와 함께 답해야 한다면 RAG를 먼저 시험하고, 올바른 자료를 제공해도 반복되는 업무 판단 오류가 남으면 파인튜닝을 검토합니다. 두 방식을 결합한다면 검색과 학습 각각의 수정 담당자를 정합니다.
- 1순위는 자료 접근 범위: 허용되지 않은 정보를 반환하는 후보는 품질 점수와 관계없이 보완합니다.
- 2순위는 최신성과 근거: 문서 변경을 반영하고 답의 출처를 추적할 수 있는지 봅니다.
- 3순위는 업무 일관성: 분류와 출력 형식의 잔여 오류를 얼마나 줄이는지 판단합니다.
- 4순위는 비용과 속도: 앞선 조건을 충족한 후보끼리 운영 부담을 비교합니다.
이 순서를 제안서 평가표에 적어두세요. 사내 문서 검색에서는 최신본과 근거 확보를 먼저 통과시키고, 그다음에 학습으로 얻을 추가 개선을 판단하세요.

- 다음글AI R&D 공동연구는 역할과 권한이 모호하면 실패합니다 26.11.20
등록된 댓글이 없습니다.
