AI R&D 파운데이션 모델, 직접 학습하지 않아도 되는 이유

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

“우리만의 AI를 만들려면 파운데이션 모델부터 직접 학습해야 하지 않을까?” 기술기업의 AI R&D 기획 회의에서 자주 나오는 질문입니다. 독자 모델은 기술 주도권과 차별화 측면에서 매력적이지만, 실제 사업 성과는 모델의 크기보다 데이터 적합성, 평가 체계, 서비스 연결성에서 갈리는 경우가 많습니다.

이번 선택지는 단순한 오픈소스 대 상용 API 구도가 아닙니다. 수백억 개 이상의 매개변수를 처음부터 학습하는 자체 사전학습 진영과, 이미 학습된 파운데이션 모델을 미세조정·RAG·도구 호출로 특화하는 기존 모델 활용 진영의 대결입니다. 어느 한쪽이 항상 우월한 것이 아니라, 기업이 확보한 자산과 목표에 따라 승자가 달라집니다.

자체 사전학습 vs 기존 모델 활용, 출발선부터 다릅니다

직접 만든다는 말의 범위를 먼저 구분해야 합니다

AI R&D에서 ‘자체 모델’이라는 표현은 자주 혼용됩니다. 공개 가중치를 내려받아 사내 데이터로 미세조정한 모델도 자체 모델이라고 부르고, 토크나이저 설계부터 대규모 사전학습까지 수행한 모델도 같은 이름으로 부릅니다. 그러나 두 방식의 비용과 위험, 필요한 인력은 전혀 다릅니다.

자체 사전학습은 데이터 수집과 정제, 분산학습 인프라, 학습 안정화, 모델 평가, 안전성 검증까지 전 과정을 책임지는 방식입니다. 반면 기존 모델 활용은 상용 API 또는 공개 모델을 기반으로 프롬프트 설계, 검색증강생성(RAG), 미세조정, 에이전트 워크플로를 조합해 업무 성능을 끌어올립니다. 후자는 모델을 덜 만드는 방식이 아니라 제품에 필요한 층에 연구 역량을 집중하는 방식입니다.

• 자체 사전학습의 승부처: 독점 데이터 규모, 학습 알고리즘, GPU 운영 역량, 장기 자본
• 기존 모델 활용의 승부처: 도메인 지식 구조화, 검색 정확도, 평가 데이터셋, 사용자 경험
• 공통 과제: 보안 정책, 환각 관리, 추론비용 통제, 지속적인 품질 측정
• 먼저 물을 질문: 고객이 원하는 것은 새로운 기반 모델인가, 더 정확하고 빠른 업무 결과인가?

실무 팁: “직접 만들 것인가”보다 “어느 계층을 직접 소유해야 경쟁력이 생기는가”를 먼저 결정하십시오. 데이터와 평가 체계를 소유하는 것만으로도 강력한 기술 장벽을 만들 수 있습니다.

기술 연구기관의 역할과 장기 연구 축적 방식을 살펴보려면 한국과학기술연구원 관련 지식백과도 참고할 만합니다. 조직 이름이나 모델 보유 여부보다 중요한 것은 연구 성과가 반복 가능한 체계로 축적되는지입니다.

비용 대결에서는 GPU 가격표 밖의 항목이 승패를 가릅니다

학습비보다 무서운 것은 실패한 반복 실험입니다

직접 학습 비용을 계산할 때 GPU 임대료만 곱하면 예산이 크게 왜곡됩니다. 원천 데이터의 사용 권한 확인, 중복·유해 데이터 제거, 분산학습 장애 대응, 체크포인트 저장, 평가 실행, 보안 인력까지 포함해야 합니다. 첫 학습이 원하는 품질에 도달하지 못하면 데이터 구성과 하이퍼파라미터를 바꿔 다시 돌려야 하므로 실패 비용이 선형으로 증가하지 않습니다.

기존 모델 활용도 공짜는 아닙니다. API는 초기 투자비가 작지만 이용량이 늘면 토큰 비용이 누적되고, 공개 모델을 자체 호스팅하면 GPU 유휴시간과 운영 인력이 발생합니다. 다만 작은 실험으로 수요를 검증한 뒤 확장할 수 있어 현금흐름과 기술 불확실성을 함께 관리하기 쉽습니다.

가격은 총소유비용으로 비교해야 합니다

견적을 만들 때는 최소 12개월의 총소유비용을 계산하십시오. 모델 학습비뿐 아니라 추론 서버, 관측 도구, 보안 심사, 장애 대응, 재학습, 라이선스 검토를 포함해야 합니다. API 비용 역시 입력·출력 토큰뿐 아니라 임베딩, 검색 인덱스, 캐시, 재시도 호출까지 반영해야 실제와 가까워집니다.

1. 월간 사용자 수와 사용자당 요청 횟수를 보수적·기준·공격적 시나리오로 나눕니다.
2. 요청당 평균 입력·출력량과 검색 문서 길이를 측정합니다.
3. 자체 호스팅은 목표 동시접속과 지연시간을 기준으로 필요한 GPU 수를 산출합니다.
4. ML 엔지니어, 데이터 엔지니어, 보안 담당자의 투입 시간을 인건비로 환산합니다.
5. 모델 교체나 재학습이 발생하는 실패 시나리오를 별도 예비비로 반영합니다.

예산이 제한된 조직이라면 특정 공급사의 현재 단가를 그대로 장기 계획에 넣기보다, 업무 한 건을 성공적으로 완료하는 데 드는 비용을 핵심 지표로 삼는 편이 안전합니다. 저렴한 모델이 재질문과 사람 검수를 늘리면 오히려 건당 비용이 높아질 수 있기 때문입니다.

성능 대결은 모델 크기가 아니라 업무 통과율로 판정합니다

벤치마크 점수와 현장 성능은 같은 숫자가 아닙니다

범용 벤치마크에서 높은 점수를 받은 모델도 회사의 도면 명칭, 계약 문구, 장비 오류 코드에는 약할 수 있습니다. 반대로 크기가 작은 모델이 명확한 검색 문서와 출력 규칙을 제공받으면 특정 업무에서 더 높은 정확도와 빠른 응답을 보이기도 합니다. 그래서 AI R&D의 성능 목표는 “최고 모델 개발”보다 업무 시나리오별 합격 기준 달성으로 정의해야 합니다.

예를 들어 기술문의 답변 시스템이라면 정답 유사도만 측정해서는 부족합니다. 근거 문서의 적절성, 인용 위치, 금지 표현 준수, 답변 거부 판단, 담당자 이관 여부를 함께 평가해야 합니다. 연구보고서 초안 생성이라면 숫자 보존율과 출처 추적 가능성이 문장 유창성보다 중요할 수 있습니다.

• 정확성: 핵심 사실과 수치가 기준 답안에 부합하는가?
• 근거성: 답변이 승인된 문서에서 도출되며 인용을 추적할 수 있는가?
• 안전성: 개인정보, 영업비밀, 규제 대상 표현을 적절히 차단하는가?
• 일관성: 같은 조건의 반복 실행에서 품질 편차가 허용 범위 안인가?
• 효율성: 목표 지연시간과 건당 비용을 동시에 만족하는가?

블라인드 대결로 내부의 모델 편향을 줄입니다

자체 사전학습 후보와 기존 모델 활용 후보를 동일한 평가 세트에서 겨루게 하십시오. 평가자에게 모델 이름을 숨기고 답변 품질, 처리시간, 비용을 따로 채점하면 “우리가 만든 모델이니 더 좋을 것”이라는 매몰비용 편향을 줄일 수 있습니다. 질문은 쉬운 예제보다 실제 실패가 잦았던 경계 사례를 많이 포함해야 합니다.

권장 절차는 간단합니다. 현업이 자주 처리하는 사례와 사고 위험이 큰 사례를 모아 골든셋을 만들고, 두 후보에 동일한 입력을 제공합니다. 이후 자동 채점과 도메인 전문가의 사람 평가를 결합해 합격률을 계산합니다. 승자는 평균점수만 높은 모델이 아니라 치명적 오류가 적고 운영 조건을 지키는 모델입니다.

1. 업무 유형별로 정상·예외·공격성 질문을 균형 있게 수집합니다.
2. 개발팀과 분리된 현업 평가자가 합격 기준을 먼저 확정합니다.
3. 모델명과 구현 방식을 가린 상태에서 답변을 채점합니다.
4. 정확도, 심각도별 오류, 응답시간, 건당 비용을 함께 비교합니다.
5. 월별로 실패 사례를 평가 세트에 추가해 성능 퇴행을 감시합니다.

통제권 대결에서는 데이터보다 교체 가능성이 중요합니다

자체 모델의 통제력은 강하지만 책임도 함께 커집니다

자체 사전학습은 가중치, 학습 데이터 구성, 배포 환경을 폭넓게 통제할 수 있습니다. 폐쇄망이나 특수한 언어 체계가 필요한 산업에서는 이 장점이 결정적일 수 있습니다. 그러나 학습 데이터의 적법성, 유해 출력, 취약점 대응, 모델 업데이트까지 모두 조직의 책임이 된다는 점도 놓치면 안 됩니다.

상용 API는 모델 운영 부담을 덜어주지만 가격 변경, 기능 중단, 데이터 처리 지역, 호출 한도 같은 공급자 조건에 영향을 받습니다. 공개 모델은 가중치를 확보할 수 있어 통제력이 높지만 라이선스 조건과 파생 모델 배포 범위를 검토해야 합니다. 따라서 진짜 통제권은 모든 것을 직접 만드는 데서만 나오지 않습니다. 특정 모델을 다른 모델로 바꿀 수 있는 아키텍처가 있어야 협상력과 사업 연속성을 확보할 수 있습니다.

• 모델 호출부를 공통 인터페이스로 분리해 공급자별 코드를 격리합니다.
• 프롬프트와 정책을 애플리케이션 코드 밖에서 버전 관리합니다.
• 검색 인덱스의 원본 문서와 메타데이터를 자체 자산으로 유지합니다.
• 입출력 로그는 개인정보를 제거한 뒤 품질 개선에 활용합니다.
• 주력 모델 장애 시 사용할 보조 모델과 성능 하한선을 정합니다.

독점 자산은 모델보다 평가 데이터에 남길 수 있습니다

경쟁사가 같은 파운데이션 모델을 사용하더라도 결과가 같아지는 것은 아닙니다. 기업 고유의 용어 사전, 승인된 지식베이스, 현업 피드백, 실패 사례 평가셋, 업무 도구 연결 규칙은 쉽게 복제하기 어렵습니다. 이 자산들은 모델을 교체해도 남으므로 특정 가중치보다 긴 수명을 가질 가능성이 큽니다.

기술기업의 축적과 사업적 평가가 어떻게 연결되는지 맥락을 넓혀 보고 싶다면 우리기술 기업 정보와 현대기술투자 관련 지식백과를 참고할 수 있습니다. 개별 사례를 그대로 적용하기보다 기술 역량, 자본, 시장 적용성이라는 세 축을 함께 보는 관점이 중요합니다.

전문가 조언: 모델 공급자를 바꿨을 때 서비스가 멈춘다면 모델을 소유한 것이 아니라 모델에 종속된 것입니다. 검색 데이터, 평가셋, 정책 계층을 분리해 교체 비용부터 낮추십시오.

1. 월 1회 대체 모델로 회귀 테스트를 실행합니다.
2. 주력 모델 대비 허용 가능한 품질 하락 폭을 문서화합니다.
3. 공급자 종료 시 데이터와 로그를 반출할 절차를 계약 전에 확인합니다.
4. 핵심 업무에는 단일 모델 장애를 우회하는 폴백 경로를 둡니다.

연구조직의 체급에 따라 대결의 승자가 달라집니다

직접 사전학습이 이길 수 있는 조건

직접 사전학습이 불필요하다는 뜻은 아닙니다. 범용 모델이 거의 학습하지 못한 언어·센서·과학 데이터가 대규모로 있고, 그 데이터를 합법적으로 사용할 권리가 있으며, 성능 우위가 곧 제품 경쟁력으로 이어진다면 독자 모델은 의미가 있습니다. 장기간 연구를 감당할 자본과 분산학습 경험을 갖춘 팀이라면 외부 모델의 한계를 넘어설 여지도 큽니다.

특히 모델 자체를 고객에게 공급하거나, 매우 낮은 단위 추론비용이 대규모 트래픽에서 결정적인 사업이라면 초기 투자 회수 가능성을 검토할 만합니다. 단, “데이터가 많다”는 주장에는 수량만 아니라 품질, 중복률, 권리 관계, 학습 유효성이 포함되어야 합니다.

• 독점적으로 사용할 수 있는 고품질 데이터가 충분히 축적되어 있습니다.
• 기존 모델이 핵심 업무에서 반복적으로 명확한 성능 한계를 보입니다.
• 분산학습, 데이터 엔지니어링, 평가, 보안을 담당할 전담 인력이 있습니다.
• 다수의 학습 실패와 재시도를 감당할 장기 예산이 확보되어 있습니다.
• 완성된 모델을 지속적으로 활용할 제품과 고객 수요가 검증되어 있습니다.

기존 모델 활용이 이길 가능성이 높은 조건

반대로 시장 적합성을 아직 확인하지 못했거나, 데이터가 수천~수만 건 수준이며, 핵심 요구가 사내 문서 검색과 업무 자동화라면 기존 모델 활용이 유리합니다. 이런 상황에서는 사전학습보다 문서 파싱, 접근권한, 검색 재순위화, 평가 자동화에 투자할 때 체감 품질이 더 빨리 오릅니다.

팀 규모가 작다면 한 가지 방식에 전부 걸기보다 단계적으로 접근하십시오. API로 업무 가치를 검증한 뒤 민감정보나 비용 문제가 확인되면 공개 모델의 자체 호스팅을 시험하고, 그래도 해소되지 않는 성능 격차가 데이터로 입증될 때 사전학습 범위를 확대하는 방식입니다. 이 순서는 연구 야심을 낮추는 것이 아니라 증거에 따라 연구비를 크게 투입하는 포트폴리오 전략입니다.

1. 1단계: 상용·공개 모델 2~3개로 핵심 업무의 기준 성능을 측정합니다.
2. 2단계: RAG와 프롬프트 개선으로 해결되는 오류를 먼저 제거합니다.
3. 3단계: 반복되는 형식·용어 오류에 한해 미세조정을 적용합니다.
4. 4단계: 보안과 비용 요구가 크면 자체 호스팅 모델을 검증합니다.
5. 5단계: 남은 성능 격차의 사업 가치가 학습비를 넘을 때만 사전학습을 검토합니다.

“우리 데이터가 특수한데도 범용 모델로 충분한가요?”

특수 데이터와 독자 사전학습은 같은 뜻이 아닙니다

가장 많이 받는 질문은 “우리 회사 데이터는 전문적이니 모델을 처음부터 학습해야 하지 않느냐”는 것입니다. 답은 대부분의 경우 바로 그렇지는 않다입니다. 데이터가 특수하다는 사실은 도메인 적응이 필요하다는 뜻이지, 곧바로 대규모 사전학습이 필요하다는 뜻은 아닙니다. 최신 규정, 제품 사양, 고객별 계약처럼 자주 바뀌는 지식은 모델 가중치에 넣기보다 검색으로 제공해야 수정과 출처 관리가 쉽습니다.

먼저 데이터의 성격을 네 가지로 나누어 보십시오. 사실 지식은 RAG, 출력 형식은 프롬프트와 구조화 출력, 반복되는 언어 습관은 미세조정, 범용 모델이 전혀 표현하지 못하는 새로운 데이터 양식은 추가 사전학습 후보가 됩니다. 하나의 기술로 모든 문제를 해결하려 하면 비용은 커지고 오류 원인은 흐려집니다.

• 자주 변경되는 지식: 문서 검색과 권한 기반 RAG가 적합합니다.
• 고정된 답변 형식: 스키마 검증과 예시 프롬프트를 우선 적용합니다.
• 회사 고유 문체·분류 규칙: 소규모 지도 미세조정을 시험합니다.
• 이미지·센서·과학 신호 같은 고유 양식: 어댑터 학습 또는 추가 사전학습을 비교합니다.
• 법률·의료·안전 관련 판단: 모델 성능과 별개로 사람 승인 절차를 유지합니다.

판단 실험은 4주 단위로 설계할 수 있습니다. 첫 주에는 실제 업무 사례 100~300건을 비식별화해 평가셋을 만들고, 둘째 주에는 범용 모델 단독 성능을 측정합니다. 셋째 주에는 RAG와 출력 검증을 추가하며, 넷째 주에는 해결되지 않은 오류를 원인별로 분류합니다. 이때 남은 오류가 지식 검색 실패인지, 추론 한계인지, 학습되지 않은 데이터 표현 때문인지 구분하면 다음 투자 방향이 선명해집니다.

1. 기존 모델 단독 기준선을 기록하고 실패 사례를 보존합니다.
2. 검색증강을 적용한 뒤 사실 오류와 출처 정확도의 변화를 측정합니다.
3. 미세조정 후보에는 학습·검증 데이터를 분리해 과적합을 확인합니다.
4. 각 방식의 품질 향상 1%당 추가 비용과 운영 복잡도를 계산합니다.
5. 독자 사전학습은 앞선 방법으로 해결되지 않은 핵심 오류가 매출·안전·지식재산 가치와 직접 연결될 때 승인합니다.

따라서 특수 데이터를 가진 기업이 지켜야 할 원칙은 모델 규모 경쟁이 아닙니다. 변하는 지식은 검색으로, 반복 행동은 미세조정으로, 정말 새로운 표현 체계만 학습으로 분리하십시오. 이 기준을 적용하면 파운데이션 모델을 직접 학습하지 않고도 고유한 AI R&D 자산을 축적하면서, 독자 학습이 필요한 순간에는 훨씬 구체적인 근거를 가지고 투자 결정을 내릴 수 있습니다.