AI R&D 데이터 라벨링은 보류 기준을 넣어야 검수가 쉬워집니다
12건을 분류하자 빈칸보다 억지 정답이 먼저 보였습니다
짧은 문의에 두 가지 분류 방식을 적용했습니다
같은 문장을 보고도 누군가는 오류, 다른 사람은 사용법 질문이라고 분류한다면 학습 데이터를 더 모으기 전에 판단 기준부터 살펴야 합니다. 이 글은 작성 과정에서 직접 만든 가상 문의 12건에 분류 규칙을 적용하고 결과를 집계한 소규모 사용 후기입니다. (주)천조기술연구원의 실제 고객 사례나 현장 성과를 뜻하지 않습니다.
저는 먼저 오류를 나타내는 표현이 있으면 ‘오류’, 추가나 기능이라는 단어가 있으면 ‘기능 요청’, 나머지는 ‘사용 문의’로 넣는 단순 규칙을 적용했습니다. 이어 문장에 근거가 충분한지 다시 읽고, 부족하면 확정 라벨을 비워 두는 분류표를 만들었습니다. 항목 번호, 원문, 라벨, 처리 상태, 보류 사유를 나누고 스크립트로 건수를 확인했습니다.
라벨이 모두 채워졌다고 검수가 끝난 것은 아니었습니다
- 오류 3건: 오류 화면 표시, 저장 버튼 무반응, 업로드 후 파일 소실처럼 실패 양상이 적힌 문장을 골랐습니다. 이는 문의 유형을 정한 것이며 소프트웨어 결함을 확정한 판단은 아닙니다.
- 기능 요청 3건과 사용 문의 2건: ‘엑셀 형식을 추가해 주세요’처럼 추가 의도가 명시된 요청과 ‘변경 메뉴가 어디인가요’처럼 위치를 묻는 질문을 구분했습니다.
- 보류 4건: 로그인 불가, 느린 검색, PDF 지원 여부, 내보내기 가능 여부처럼 추가 맥락을 확인해야 하는 문장을 따로 남겼습니다. 지원 범위에 따라 판단이 달라질 수 있습니다.
첫 방식은 12건 모두에 라벨을 붙였지만, 두 번째 방식에서는 8건 확정·4건 보류로 나뉘었습니다. 보류율은 33.3%였으며, 애매한 문장을 의도적으로 포함한 표본이므로 현업의 평균 보류율로 읽으면 안 됩니다. 제가 확인한 이점은 정확도 상승이 아니라, 검토할 문장과 확인 이유가 분류표에 드러났다는 점입니다.
보류 버튼보다 사유 한 줄이 더 유용했습니다
라벨과 작업 상태를 다른 칸에 넣었습니다
처음에는 보류를 네 번째 문의 유형으로 넣을까 생각했습니다. 하지만 보류는 고객의 의도가 아니라 작업자의 판단 상태이므로, 저는 문의 유형과 처리 상태를 분리했습니다. 최종 학습에 넘길 라벨과 검수 과정에서 필요한 메모를 섞지 않으니 무엇을 더 확인해야 하는지 읽기 편했습니다.
- 보류 사유: ‘애매함’ 대신 ‘지원 형식 확인 필요’처럼 부족한 근거를 적었습니다. 다음 사람이 동일한 고민을 처음부터 반복하지 않도록 확인 대상을 좁히는 용도입니다.
- 해제 조건: PDF 내보내기 지원 문서가 확인되면 재분류하는 식으로 조건을 붙였습니다. 필요한 답까지 적어야 다음 판단으로 넘어갈 수 있습니다.
- 기타와 구분: 정해진 문의 유형에 속하지 않는 사례는 기타 후보이고, 정보가 부족한 사례는 보류입니다. 기타 유형의 필요성도 별도로 검토하도록 메모했습니다.
‘로그인이 안 됩니다’라는 문장도 곧바로 제품 오류라고 단정하기는 어렵습니다. 계정 잠금인지, 입력 실수인지, 화면에서 실패 메시지가 나온 것인지에 따라 후속 조치가 달라집니다. 여러분의 데이터에서도 증상 분류와 원인 판정을 한 라벨에 담고 있지는 않은지 확인해 보시기 바랍니다.
확정 속도가 느려지는 단점도 받아들여야 합니다
보류를 허용하면 처리 완료 건수는 당장 줄고 확인 요청은 늘어납니다. 저도 분류표를 채울 때 사유를 작성하는 단계가 추가됐지만, 근거 없이 확정한 라벨을 숨기는 것보다 검토 범위를 설명하기 쉬웠습니다. 다만 모든 애매한 표현을 보류하면 활용할 데이터가 줄어드므로, 프로젝트가 구분하려는 수준에 맞춰 기준을 조절해야 합니다.
보류를 없애는 것이 목표는 아닙니다. 보류 한 건마다 ‘무엇을 확인하면 다음 판단을 할 수 있는가’를 적는 것이 더 실용적입니다.
기관명은 문의 유형과 다른 칸에서 확인했습니다
이름에 들어간 단어로 조직을 추정하지 않습니다
분류표를 확장하면서 발견한 또 다른 문제는 문의 대상과 문의 유형을 함께 판단하기 쉽다는 점이었습니다. ‘연구원에 전달해 주세요’에서 연구원은 기관을 뜻할 수도, 담당자를 뜻할 수도 있습니다. 그래서 저는 대상 기관명과 식별 근거를 별도 항목으로 설계하고, 이름이 생략된 문장에는 임의로 조직명을 채우지 않도록 기준을 적었습니다.
기관명 대조를 연습할 참고 항목으로는 네이버 지식백과의 한국과학기술연구원과 (주)우리기술이 있습니다. 두 링크는 서로 다른 이름을 확인하기 위한 참고 경로이며, 이번 12건의 정답을 정하는 근거로 사용하지 않았습니다. 실제 기관 식별에서는 해당 항목의 설명과 최신 공식 소개를 확인하고, 이름에 ‘기술’이 들어간다는 이유만으로 같은 조직이나 같은 업무라고 묶지 않는 것이 좋습니다.
다른 사람이 다시 읽을 수 있는 기록을 남깁니다
- 원문과 표준 이름을 분리합니다. 줄임말을 정식 명칭으로 바꿔도 원래 표현을 보존해야 합니다. 그래야 잘못 연결된 기관명을 발견했을 때 어떤 표현에서 판단이 시작됐는지 되짚을 수 있습니다.
- 확인 근거의 범위를 적습니다. 링크를 붙이는 데서 끝내지 말고 어떤 명칭이나 설명을 확인했는지 짧게 남깁니다. 자료가 열리지 않거나 내용이 충분하지 않으면 확인 완료로 처리하지 않습니다.
- 기관 식별과 문의 분류를 따로 보류합니다. 사용법 질문이라는 점이 명확해도 대상 기관은 모를 수 있습니다. 한 칸이 불확실하다는 이유로 이미 확인한 다른 정보까지 지울 필요는 없습니다.
이 방식의 장점은 잘못된 기관 연결을 문의 분류의 문제와 구별할 수 있다는 점입니다. 반면 항목이 늘어나 입력 부담이 생기므로, 기관별 전달이나 검색에 쓰지 않는 데이터라면 기관 식별 칸까지 만들 필요는 없습니다. 데이터 라벨링 기준은 수집할 수 있는 정보보다 실제로 사용할 정보에 맞추는 편이 제 분류표에는 더 적합했습니다.
100건 검수 예산은 두 사람의 200분으로 계산했습니다
프로그램 비용보다 검토 시간을 먼저 계산합니다
12건의 분류표를 실제 작업으로 넓힌다면 비용은 얼마나 들까요? 저는 다음 시험 규모를 100건으로 놓고, 문장이 짧고 외부 자료 조회가 많지 않다는 조건으로 예산을 계산했습니다. 아래 숫자는 실측 작업 시간이나 시장 단가가 아닌 계획용 가정이며, 앞서 확인한 4건의 보류 결과와 구분해서 봐야 합니다.
| 작업 | 시간 가정 | 합산 인력 시간 |
|---|---|---|
| 기준과 예문 준비 | 1명 × 30분 | 30분 |
| 100건 독립 분류 | 2명 × 각 60분 | 120분 |
| 보류·불일치 협의 | 2명 × 각 15분 | 30분 |
| 확정본 점검과 추출 | 1명 × 20분 | 20분 |
분류 시간은 한 사람당 한 건에 평균 36초를 쓰는 가정입니다. 두 사람이 동시에 분류하면 위 단계의 경과 시간은 약 125분이지만, 비용 계산에 쓰는 합산 인력 시간은 200분입니다. 실제 투입비를 시간당 3만 원으로 가정하면 10만 원이며, 이는 외주 견적이나 특정 도구의 이용료가 아닙니다.
- 먼저 20건으로 시간을 잽니다. 한 건에 36초보다 오래 걸리면 분류 시간을 다시 잡습니다. 읽기, 근거 조회, 보류 사유 작성 시간을 따로 재면 어떤 단계가 부담인지 확인하기 쉽습니다.
- 협의 시간을 넘으면 범위를 줄입니다. 15분 안에 판단하지 못한 항목은 억지로 확정하지 않고 다음 검토로 넘깁니다. 보류 건수와 확정 건수를 함께 보고해야 완료량이 부풀려지지 않습니다.
- 추가 비용을 별도로 적습니다. 유료 도구, 외부 API, 긴 문서 조회가 필요하면 위 인력비에 더합니다. 기준 작성 시간을 매번 반복하는지, 다음 묶음에서도 재사용할 수 있는지도 나눠 계산합니다.
예를 들어 협의가 15분에서 30분으로 늘면 두 사람의 투입 시간이 30분 추가됩니다. 합산 시간은 230분, 같은 가정 단가의 인력비는 11만 5천 원입니다. 이번 계획의 시작점은 100건·검토자 2명·200분·10만 원이며, 보류를 해결하는 데 필요한 조회 시간이 길어지면 그만큼 일정과 비용을 더해야 합니다.

- 다음글AI R&D 사내 문서 검색은 파인튜닝보다 RAG가 먼저입니다 26.11.21
등록된 댓글이 없습니다.
