AI R&D 라벨링 외주를 전부 맡기지 않아도 되는 이유

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

라벨링을 맡겼는데 연구 속도가 느려진 경험

제가 처음 놓친 것은 작업량이 아니라 판단 기준이었습니다

AI R&D 프로젝트에서 데이터 라벨링은 늘 급한 일처럼 보입니다. 모델을 빨리 학습시키려면 정답 데이터가 필요하고, 내부 연구원이 일일이 붙잡고 있으면 비효율적으로 느껴지기 때문입니다. 저도 처음에는 라벨링 외주를 크게 맡기면 연구 일정이 빨라질 것이라고 생각했습니다.

그런데 실제로는 반대에 가까웠습니다. 외주 업체가 파일을 빨리 돌려줘도 연구팀은 다시 샘플을 열어보고, 기준을 설명하고, 애매한 케이스를 재분류해야 했습니다. 특히 이미지 결함 탐지, 문서 분류, 센서 이상 탐지처럼 도메인 맥락이 중요한 AI R&D에서는 단순 작업량보다 판단의 일관성이 더 큰 병목이었습니다.

• 좋았던 점: 단순하고 반복적인 1차 분류 속도는 확실히 빨라졌습니다.
• 아쉬웠던 점: 경계 사례를 설명하는 시간이 생각보다 많이 들었습니다.
• 가장 큰 문제: 라벨 품질을 확인하는 내부 검수 인력이 결국 다시 필요했습니다.

외주가 나쁜 것이 아니라 범위를 잘라야 했습니다

제가 체감한 핵심은 외주 여부가 아니라 어디까지 외주화할 것인가였습니다. 예를 들어 정상과 비정상을 크게 나누는 작업은 외부에 맡겨도 괜찮았지만, 비정상 중에서도 미세 균열, 노이즈, 조명 반사, 장비 오차를 구분하는 작업은 내부 연구자의 판단이 필요했습니다.

이후에는 전체 데이터를 한꺼번에 맡기지 않고, 200건 정도의 파일럿 라벨링을 먼저 진행했습니다. 그 결과 업체가 헷갈리는 케이스, 우리 기준서가 모호한 문장, 연구원이 직접 봐야 하는 구간이 분명해졌습니다. 이 방식은 일정은 조금 늦게 시작하는 듯 보여도, 뒤에서 다시 뜯어고치는 시간을 크게 줄여줬습니다.

처음부터 전량 외주를 넣지 않은 뒤 달라진 점

작게 돌려보니 비용보다 오류 패턴이 먼저 보였습니다

전량 외주를 멈추고 가장 먼저 한 일은 데이터 300건을 세 구간으로 나누는 것이었습니다. 쉬운 데이터, 애매한 데이터, 반드시 연구원이 봐야 하는 데이터로 나눴습니다. 이렇게 해보니 외주 비용을 줄이는 것보다 더 중요한 이점이 있었습니다. 바로 오류가 어디서 반복되는지 빠르게 보인다는 점입니다.

예를 들어 텍스트 분류에서는 제목만 보고 라벨이 붙은 사례가 많았고, 이미지에서는 배경 그림자 때문에 결함으로 오해한 사례가 반복됐습니다. 이런 패턴은 납품 완료 후 한꺼번에 보면 발견이 늦습니다. 반대로 작은 배치로 받으면 기준서를 고치고 바로 다음 배치에 반영할 수 있습니다.

1. 처음 100건은 내부 연구원이 직접 라벨링해 기준을 만듭니다.
2. 다음 100건은 외주 작업자에게 맡기고 결과를 비교합니다.
3. 마지막 100건은 애매한 사례만 모아 검수 회의를 진행합니다.

라벨링 외주는 연구 판단을 대신하는 서비스가 아니라, 반복 작업을 줄여주는 도구에 가깝습니다. 기준이 약하면 외주를 많이 줄수록 수정해야 할 데이터도 같이 늘어납니다.

연구원 시간이 오히려 덜 갈렸습니다

처음에는 내부에서 샘플을 직접 보는 시간이 낭비라고 생각했습니다. 하지만 기준을 초기에 잡아두면 연구원은 나중에 수천 건을 뒤지는 대신, 품질에 영향을 주는 소수의 케이스만 판단하면 됩니다. 체감상 가장 큰 변화는 회의 시간이었습니다. “이건 왜 오답이죠?”라는 회의가 줄고, “이 유형은 모델에 넣을 가치가 있나요?”라는 생산적인 논의가 늘었습니다.

특히 (주)천조기술연구원처럼 AI R&D 성격의 프로젝트를 다루는 조직이라면, 데이터 라벨링을 단순 사무 작업으로만 보기 어렵습니다. 라벨은 곧 실험 조건이고, 실험 조건은 모델 성능과 운영 안정성을 바꿉니다. 그래서 외주를 쓰더라도 연구팀의 해석이 남아 있는 구조가 훨씬 안정적이었습니다.

제가 써본 하이브리드 라벨링 방식

외부 작업자와 내부 연구자의 역할을 분리했습니다

가장 효과가 좋았던 방식은 하이브리드 라벨링이었습니다. 외부 작업자는 빠르게 볼 수 있는 반복 라벨을 붙이고, 내부 연구자는 기준 변경과 경계 사례만 담당했습니다. 말은 단순하지만 실제로는 역할을 분명하게 나누는 것이 중요했습니다. 역할이 흐려지면 외주 작업자는 과잉 판단을 하고, 내부 연구자는 단순 검수에 시간을 빼앗깁니다.

제가 운영한 방식은 세 단계였습니다. 1차 라벨링은 외부에서 처리하고, 2차 샘플 검수는 내부 주니어 연구원이 맡고, 3차 기준 변경은 프로젝트 리더가 결정했습니다. 이 구조를 만들고 나니 누구에게 어떤 질문을 해야 하는지가 명확해졌습니다. 작은 차이지만 실제 운영에서는 꽤 큰 차이를 만듭니다.

• 외부 담당: 명확한 정상/비정상, 카테고리 1차 분류, 중복 데이터 표시
• 내부 담당: 경계 사례 판정, 라벨 체계 수정, 학습 제외 데이터 결정
• 공동 확인: 작업자 질문 목록, 주간 오류 유형, 기준서 업데이트 내역

도구보다 기준서가 먼저였습니다

라벨링 툴은 다양합니다. 이미지 바운딩 박스, 텍스트 태깅, 음성 구간 표시, 시계열 이벤트 마킹까지 분야마다 필요한 기능도 다릅니다. 하지만 제가 사용해보니 도구의 화려함보다 중요한 것은 작업자가 같은 화면을 보고 같은 결정을 내릴 수 있는 기준서였습니다.

기준서는 길 필요가 없습니다. 오히려 너무 길면 아무도 읽지 않습니다. 저는 한 라벨당 “정의, 포함 사례, 제외 사례, 헷갈리는 사례, 질문 방법”만 적었습니다. 그리고 라벨링 도구 안에 주석으로 바로 붙여두었습니다. 별도 문서를 찾아보게 만들면 작업 품질이 흔들렸기 때문입니다.

기술 조직의 역할을 생각할 때는 연구와 산업 적용 사이의 연결도 중요합니다. 관련 기관의 맥락을 참고하고 싶다면 한국과학기술연구원 지식백과 항목처럼 연구기관의 기능을 살펴보는 것도 도움이 됩니다. AI R&D 라벨링도 결국 연구 성과를 실제 적용 가능한 데이터 구조로 바꾸는 과정이기 때문입니다.

비용은 줄었지만 무조건 싸게 가면 안 됐습니다

건당 가격보다 재작업률을 봐야 했습니다

라벨링 비용을 볼 때 많은 분이 건당 단가부터 묻습니다. 저도 그랬습니다. 하지만 실제 프로젝트에서는 건당 20원인지, 200원인지보다 더 무서운 것이 재작업률이었습니다. 싸게 맡겼는데 30%를 다시 고치면, 비용뿐 아니라 연구 일정도 같이 흔들립니다.

제가 경험한 프로젝트에서는 단순 텍스트 분류나 중복 표시 작업은 비교적 저렴한 편이었고, 이미지의 정밀 영역 표시나 전문 용어 판정이 들어가는 작업은 단가가 훨씬 올라갔습니다. 이때 중요한 것은 최저가를 고르는 일이 아니었습니다. 오히려 샘플 검수에서 오류 유형을 투명하게 보여주는 업체가 장기적으로 더 저렴했습니다.

• 단순 분류: 빠른 처리에는 유리하지만 기준 모호성에 약합니다.
• 정밀 태깅: 단가가 올라가지만 학습 데이터 품질에 직접 영향을 줍니다.
• 전문 검수: 초기 비용은 부담스럽지만 운영 모델의 오답 비용을 줄일 수 있습니다.

견적서에서 꼭 확인한 세 가지

외주 견적을 받을 때 저는 총액보다 항목을 먼저 봤습니다. 특히 파일럿 비용, 수정 횟수, 검수 리포트 포함 여부를 확인했습니다. 견적서에 “라벨링 1만 건”만 적혀 있으면 위험합니다. 어떤 기준으로 실패를 판정하고, 오류를 누가 고치며, 기준 변경 시 추가 비용이 어떻게 붙는지 봐야 합니다.

또 하나는 보안입니다. AI R&D 데이터에는 장비 로그, 제조 조건, 고객 문서, 내부 실험값이 섞일 수 있습니다. 단순한 이미지나 텍스트처럼 보여도 회사의 기술 흐름이 드러날 수 있습니다. 그래서 저는 외주 범위를 정할 때 원본 데이터 반출 여부, 비식별화 방식, 접근 권한 만료일을 함께 확인했습니다.

1. 파일럿 작업 후 본 계약으로 넘어갈 수 있는지 확인합니다.
2. 수정 요청이 몇 회까지 포함되는지 문서로 남깁니다.
3. 원본 데이터와 라벨 결과물의 보관 기간을 정합니다.
4. 작업자 질문 기록을 받을 수 있는지 확인합니다.

견적이 싸 보일수록 “검수는 누가 하나요?”를 먼저 물어보는 편이 좋습니다. 라벨링 품질 비용은 대개 계약서가 아니라 재학습 단계에서 뒤늦게 드러납니다.

실제로 도움 됐던 검수 루틴과 실패한 루틴

무작위 검수만으로는 부족했습니다

처음에는 납품 데이터 중 5%만 무작위로 열어봤습니다. 겉으로는 합리적인 방식처럼 보였습니다. 하지만 문제가 있었습니다. 오류는 랜덤하게 흩어져 있지 않았습니다. 특정 작업자, 특정 라벨, 특정 시간대, 특정 장비 조건에서 몰려 나왔습니다. 그래서 단순 무작위 검수만으로는 중요한 문제를 놓치기 쉬웠습니다.

이후에는 무작위 검수와 집중 검수를 섞었습니다. 예를 들어 모델이 자주 틀리는 클래스, 작업자 질문이 많았던 유형, 내부 연구자가 불안하다고 표시한 데이터는 별도로 더 많이 봤습니다. 이렇게 하니 검수량은 크게 늘리지 않으면서도 실제 성능에 영향을 주는 오류를 더 빨리 잡을 수 있었습니다.

• 무작위 검수: 전체 품질의 평균을 보는 데 유용합니다.
• 집중 검수: 모델 성능을 흔드는 위험 구간을 찾는 데 좋습니다.
• 교차 검수: 내부 기준이 사람마다 다르게 적용되는지 확인할 수 있습니다.

라벨 수정 로그가 연구 자산이 됐습니다

가장 의외였던 장점은 수정 로그였습니다. 예전에는 라벨 오류를 발견하면 바로 고치고 끝냈습니다. 그런데 수정 전 라벨, 수정 후 라벨, 수정 이유를 남기기 시작하니 다음 실험 설계가 쉬워졌습니다. 어떤 데이터가 모델을 헷갈리게 하는지, 어떤 클래스 정의가 너무 넓은지 보였기 때문입니다.

AI R&D에서는 실패한 라벨도 버릴 정보가 아닙니다. 예를 들어 작업자가 계속 헷갈리는 데이터는 실제 서비스 사용자도 헷갈릴 가능성이 있습니다. 또 연구원이 여러 번 판단을 바꾼 데이터는 학습에 넣기보다 별도 평가셋으로 빼는 편이 나을 때도 있었습니다. 이런 판단은 단순 외주 납품물만 받아서는 얻기 어렵습니다.

1. 오류 샘플을 삭제하지 않고 별도 폴더에 보관합니다.
2. 수정 이유를 “기준 모호”, “작업 실수”, “데이터 품질 문제”로 나눕니다.
3. 반복 오류는 기준서 첫 페이지에 예시로 올립니다.
4. 학습 성능이 떨어진 날에는 수정 로그부터 다시 확인합니다.

기업 기술 개발의 맥락을 볼 때도 라벨링은 단순 데이터 입력이 아니라 기술 축적의 일부입니다. 산업 기술 기업 사례가 궁금하다면 (주)우리기술 지식백과 설명처럼 기술 기업의 사업 영역을 참고해볼 수 있습니다. 데이터 작업이 연구, 제품, 운영 사이에서 어떤 위치를 갖는지 생각하는 데 도움이 됩니다.

내일 바로 50건만 다시 열어보면 보이는 것

큰 개편 전에 작은 샘플부터 보면 됩니다

AI R&D 라벨링 외주를 이미 쓰고 있다면 당장 계약을 바꿀 필요는 없습니다. 제가 추천하는 첫 행동은 아주 작습니다. 최근 납품받은 데이터 중 50건만 다시 열어보는 것입니다. 단, 그냥 맞고 틀림만 보지 말고 “왜 이 라벨이 붙었는지 설명 가능한가”를 함께 확인해야 합니다.

50건이면 부담이 크지 않습니다. 하지만 그 안에서도 기준서가 애매한지, 외주 작업자가 과하게 추정했는지, 내부 연구자가 처음에 만든 라벨 체계가 너무 복잡한지 드러납니다. 특히 모델 성능이 기대보다 낮거나 클래스별 편차가 큰 상황이라면, 새 모델을 찾기 전에 라벨 50건을 먼저 보는 편이 더 빠를 수 있습니다.

• 1단계: 최근 납품 데이터에서 무작위 30건, 성능 저하 클래스에서 20건을 고릅니다.
• 2단계: 각 데이터에 대해 현재 라벨, 내가 붙일 라벨, 수정 이유를 적습니다.
• 3단계: 수정 이유가 3번 이상 반복되는 항목만 기준서에 반영합니다.
• 4단계: 다음 외주 배치에는 바뀐 기준을 한 페이지로 전달합니다.

제가 쓰는 30분 점검 양식

저는 회의 전에 스프레드시트 하나를 열고 다섯 칸만 만듭니다. 데이터 ID, 기존 라벨, 재검토 라벨, 수정 이유, 다음 조치입니다. 복잡한 대시보드가 없어도 충분합니다. 중요한 것은 라벨 하나를 고치는 데서 멈추지 않고, 그 오류가 다음 작업 지시와 모델 평가에 이어지게 만드는 것입니다.

이 방식의 장점은 부담이 작다는 것입니다. 연구팀이 바쁠수록 거창한 개선안은 미뤄집니다. 하지만 30분짜리 점검은 시작하기 쉽습니다. 그리고 한 번만 해봐도 “외주가 문제인지, 기준서가 문제인지, 데이터 자체가 문제인지” 감이 잡힙니다. 그 다음에는 전량 외주를 유지할지, 하이브리드로 바꿀지, 내부 검수 비율을 높일지 결정하기가 훨씬 쉬워집니다.

1. 오늘 납품 데이터에서 50건을 고릅니다.
2. 연구원 1명과 실무자 1명이 같은 데이터를 따로 봅니다.
3. 서로 다른 판단이 나온 항목만 10분 동안 이야기합니다.
4. 반복되는 수정 이유 하나를 골라 기준서 첫 줄에 추가합니다.

기술 투자는 장비나 인력 확충만 뜻하지 않습니다. 작은 운영 기준을 고쳐 연구 재작업을 줄이는 것도 분명한 투자입니다. 기술 사업과 투자 관점이 궁금하다면 현대기술투자(주) 지식백과 항목도 함께 참고할 만합니다. 내일 오전에는 새 견적서를 요청하기보다, 최근 라벨 50건을 열고 수정 이유 열 하나를 추가해보십시오.