AI R&D 데이터 품질, 라벨링 비용 없이 높일 수 있을까?

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

모델 성능이 기대보다 낮으면 가장 먼저 데이터 수집량이나 라벨링 인력을 늘리고 싶어집니다. 하지만 AI R&D 현장에서 성능을 가로막는 원인은 데이터 부족보다 중복 샘플, 모호한 라벨 기준, 잘못 나뉜 검증 데이터인 경우가 많습니다.

이미 확보한 데이터를 재배치하고 오류가 의심되는 일부만 골라 검토해도 추가 발주 없이 품질을 높일 수 있습니다. 예산을 더 쓰기 전에 적용할 수 있는 숨은 데이터 운영법을 실무 순서대로 살펴보겠습니다.

라벨을 더 붙이기 전에 중복 데이터부터 찾아야 할까?

파일명이 달라도 같은 데이터일 수 있습니다

학습 데이터 폴더에 이미지가 10만 장 있다고 해서 서로 다른 장면이 10만 개라는 뜻은 아닙니다. 동영상에서 연속 추출한 프레임, 여러 부서가 따로 보관한 사본, 해상도만 바꾼 이미지가 섞이면 모델은 사실상 같은 사례를 반복해서 학습합니다. 정확도가 빠르게 오르는 것처럼 보이지만 실제 환경의 새로운 입력에는 약해질 수 있습니다.

가장 간단한 방법은 파일명 대신 해시값으로 완전 중복을 찾는 것입니다. 이미지나 음성처럼 조금씩 변형된 자료에는 지각 해시, 임베딩 유사도 또는 녹음 길이와 파형 특징을 함께 사용합니다. 유사도 기준을 너무 낮게 잡으면 서로 다른 정상 샘플까지 지울 수 있으므로, 자동 삭제보다 후보 묶음을 만든 뒤 사람이 대표 샘플을 확인하는 방식이 안전합니다.

• 완전 중복: SHA 계열 해시로 빠르게 확인하고 보관 위치만 통합합니다.
• 근접 중복: 크기 변경, 압축, 밝기 보정이 적용된 파일을 유사도 기준으로 묶습니다.
• 연속 프레임: 초당 추출 수를 줄이되 결함 발생 전후처럼 의미 있는 변화는 남깁니다.
• 문장 데이터: 공백과 기호를 정규화한 뒤 동일 문장과 거의 같은 문장을 따로 집계합니다.

중복률은 전체보다 라벨별로 봅니다

전체 중복률이 5%라 해도 특정 불량 라벨의 절반이 같은 제품 사진이라면 해당 클래스는 심각하게 편향된 상태입니다. 따라서 클래스별 원본 수, 중복 제거 후 수, 촬영 장비와 작업일 분포를 함께 기록해야 합니다. 희귀 라벨일수록 한 묶음에서 대표 샘플을 무조건 하나만 남기지 말고 조명이나 각도 차이가 실제 판정에 필요한지 연구자가 확인해야 합니다.

숨은 팁: 중복 후보를 지우지 말고 별도 목록으로 보관하세요. 추후 데이터 누수 원인을 재현하거나 동일 개체가 학습·검증 세트에 동시에 들어갔는지 확인할 때 유용합니다.

라벨 오류를 전수검사하지 않고 어떻게 골라낼까?

모델이 계속 헷갈리는 샘플부터 역으로 봅니다

10만 건을 다시 검수하는 대신 기존 모델의 예측 확률과 실제 라벨이 크게 충돌하는 샘플을 우선 확인해 보세요. 예를 들어 정답은 정상인데 모델이 여러 차례 95% 이상 확률로 불량이라고 판단했다면 모델이 틀렸을 수도 있지만 라벨 오류, 촬영 조건 이상 또는 클래스 정의의 빈틈일 가능성도 있습니다. 여러 학습 시드에서 반복적으로 충돌하는 항목은 일회성 오판보다 검수 우선순위가 높습니다.

여기서 중요한 점은 모델 예측으로 라벨을 즉시 덮어쓰지 않는 것입니다. AI는 기존 데이터의 편향까지 학습하므로 자동 수정은 오류를 증폭할 수 있습니다. 의심 점수 산정 → 검수자 재판정 → 변경 사유 기록의 세 단계를 유지하면 적은 인원으로도 고위험 샘플부터 바로잡을 수 있습니다.

1. 교차검증 또는 서로 다른 초기값으로 모델을 3회 이상 학습합니다.
2. 예측과 라벨이 반복 충돌하는 샘플을 우선순위 큐에 넣습니다.
3. 손실값 상위 항목에서 훼손 파일과 범위 밖 데이터를 먼저 분리합니다.
4. 라벨 변경 여부와 근거를 기록하고 다음 학습에서 성능 변화를 비교합니다.

검수자 불일치는 오류가 아니라 기준 개선 신호입니다

두 검수자가 같은 샘플을 다르게 판단한다면 누가 틀렸는지만 따지기보다 라벨 지침의 경계가 모호한지 확인해야 합니다. 특히 의료 영상, 제조 결함, 감성 문장처럼 해석이 필요한 데이터는 짧은 라벨명만으로 일관성을 만들기 어렵습니다. 각 클래스에 포함 사례와 제외 사례, 경계 사례를 3개 이상 붙인 판정 카드를 만들어 검수 화면 옆에 두는 것이 효과적입니다.

조직형 연구개발은 개인 실험과 달리 기준의 지속성이 핵심입니다. 공공 연구기관의 역할과 연구 기반을 살펴볼 때는 한국과학기술연구원 지식백과 정보도 참고할 수 있습니다. 기관 사례를 그대로 모방하기보다, 데이터 정의와 변경 이력을 조직 자산으로 관리한다는 관점을 가져오는 것이 중요합니다.

검증 점수를 왜 믿기 어려운지 데이터 분할에서 찾아볼까?

무작위 분할이 오히려 누수를 만들기도 합니다

한 제품을 여러 각도에서 촬영한 사진이나 한 환자의 연속 기록을 행 단위로 무작위 분할하면 매우 비슷한 샘플이 학습 세트와 검증 세트에 동시에 들어갑니다. 모델은 새로운 대상을 일반화한 것이 아니라 이미 본 대상의 특징을 기억했는데도 높은 점수를 얻습니다. 배포 후 성능이 급락하는 이유가 바로 이런 그룹 누수일 수 있습니다.

데이터를 나눌 때는 파일보다 실제 생성 단위를 기준으로 묶어야 합니다. 제조 데이터는 제품 번호·생산 라인·촬영일, 고객 데이터는 고객 ID, 시계열 데이터는 기간을 기준으로 분리합니다. 미래 값을 예측하는 프로젝트라면 과거로 학습하고 이후 기간으로 검증해야 하며, 무작위 분할 결과는 보조 지표로만 두는 편이 현실적입니다.

• 동일 개체: 한 사람이나 제품에서 나온 자료는 한 세트에만 배치합니다.
• 운영 환경: 장비·지점·라인별 편중을 확인하고 미관측 환경 테스트를 별도로 둡니다.
• 시간 순서: 배포 시점 이후와 유사한 최신 구간을 최종 테스트에 남깁니다.
• 증강 데이터: 원본을 먼저 분할한 다음 각 세트 안에서만 증강합니다.

작은 비밀 테스트 세트를 남겨 둡니다

검증 세트를 보며 하이퍼파라미터를 반복 조정하면 연구자가 의도하지 않아도 해당 세트에 과적합됩니다. 그래서 전체 데이터의 일부를 접근 권한이 제한된 비밀 테스트 세트로 보관하고, 중요한 후보 모델에만 평가를 허용하는 방법이 유용합니다. 데이터가 적다면 고정 비율에 집착하기보다 그룹 교차검증을 병행해 점수의 평균과 편차를 함께 보세요.

R&D 성과가 투자나 기술사업화 검토로 이어질 계획이라면 최고 점수 하나보다 재현 가능한 평가 근거가 더 설득력 있습니다. 기술투자 조직의 기본 맥락은 현대기술투자 지식백과 항목에서 확인할 수 있으며, 실제 자료를 준비할 때는 모델 버전·데이터 버전·평가 조건을 한 묶음으로 제시하는 편이 좋습니다.

실무 팁: 테스트 점수가 올랐다는 사실만 기록하지 말고 어떤 데이터 그룹에서 개선됐는지 남기세요. 전체 평균은 좋아졌지만 중요한 희귀 조건의 성능이 떨어지는 현상을 놓치지 않을 수 있습니다.

한정된 예산이라면 데이터 추가와 재검수 중 무엇을 고를까?

오류 유형별로 비용을 다르게 배분합니다

데이터 품질 개선 비용은 건당 라벨링 단가만으로 판단하기 어렵습니다. 수집 허가, 개인정보 비식별화, 전문가 판정, 검수와 재작업까지 포함한 총비용을 봐야 합니다. 먼저 200~500건 정도의 표본을 뽑아 중복률, 라벨 오류율, 클래스별 부족량, 운영 환경 차이를 측정하면 어디에 돈을 써야 할지 훨씬 선명해집니다.

중복률과 라벨 오류율이 높다면 신규 수집보다 기존 데이터 정제가 먼저입니다. 반대로 라벨은 일관되지만 특정 장비나 계절, 지역 데이터가 아예 없다면 정제만으로는 해결되지 않습니다. 이때는 전체 데이터를 무작정 늘리지 말고 모델의 불확실성이 높은 조건을 중심으로 수집하는 능동학습 방식을 적용해 라벨링 물량을 줄일 수 있습니다.

1. 표본 감사로 오류 종류와 발생 비율을 계산합니다.
2. 오류가 집중된 라벨과 데이터 출처를 찾아냅니다.
3. 재검수 1건과 신규 수집 1건의 실제 총비용을 비교합니다.
4. 소규모 개선 후 동일한 비밀 테스트 세트로 효과를 검증합니다.
5. 효과가 확인된 작업에만 다음 예산을 단계적으로 투입합니다.

팀 규모와 데이터 상태에 따라 선택이 달라집니다

데이터 담당자가 1~2명이고 기존 자료가 많은 팀이라면 중복 탐지와 충돌 샘플 검수부터 시작하세요. 무료 스크립트와 현재 모델의 예측 로그만으로도 후보를 좁힐 수 있으며, 첫 주에는 자동 삭제 없이 품질 대시보드와 판정 카드만 만들어도 운영 위험을 크게 낮출 수 있습니다. 라벨 변경 기록에는 담당자, 변경 전후 값, 근거, 적용 데이터 버전을 반드시 남기는 것이 좋습니다.

새로운 서비스 환경으로 확장하는 팀이라면 기존 데이터 재검수에 예산을 모두 쓰지 말고 새 장비·신규 고객군·다른 계절처럼 아직 관측하지 못한 조건을 소량씩 수집하세요. 처음에는 조건별 50~100건의 탐색 표본으로 모델의 취약 구간을 확인한 다음, 성능 차이가 큰 구간에만 추가 수집을 집중하는 방식이 효율적입니다.

• 기존 데이터가 많고 품질이 의심된다면 오류 후보 선별과 재검수를 선택합니다.
• 기존 라벨은 안정적이지만 배포 환경이 달라진다면 조건 중심의 신규 수집을 선택합니다.
• 둘 다 불확실하다면 큰 계약부터 하지 말고 소규모 표본 감사에 먼저 비용을 배정합니다.

즉, 자료는 충분한데 성능이 정체된 독자라면 오늘 바로 중복률과 라벨 충돌 목록을 만들어 보세요. 반면 신규 시장이나 설비로 모델을 옮기려는 독자라면 기존 점수를 더 다듬기보다 아직 데이터가 없는 운영 조건을 찾아 작은 현장 수집부터 시작하는 편이 낫습니다.