AI R&D 데이터셋 품질, 라벨보다 먼저 뭘 봐야 할까?

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

모델 정확도가 기대보다 낮으면 가장 먼저 라벨 오류를 의심하기 쉽습니다. 하지만 라벨을 전수 검수하고도 성능이 그대로라면 문제는 다른 곳에 있을 가능성이 큽니다. AI R&D 데이터셋 품질은 정답표의 정확성뿐 아니라 수집 시점, 중복 구조, 분할 방식, 파일 변환 과정까지 함께 살펴야 제대로 판단할 수 있습니다.

특히 연구 초기에 만들어진 데이터셋은 같은 대상이 여러 파일명으로 저장되거나, 운영 환경에서는 나오지 않을 조건이 학습 데이터에 과도하게 포함되곤 합니다. 아래 방법들은 별도의 고가 솔루션 없이도 적용할 수 있는 데이터 품질 점검 요령입니다.

라벨을 고치기 전에 중복 데이터부터 찾아야 할까?

파일명이 달라도 같은 표본일 수 있습니다

연구원이 파일명을 변경했거나 이미지를 다시 압축하면 일반적인 중복 파일 검색으로는 같은 표본을 발견하기 어렵습니다. 이미지라면 해상도와 용량이 달라도 시각적으로 거의 동일할 수 있고, 문서라면 머리말이나 공백 한 줄만 달라 별개의 자료처럼 보일 수 있습니다. 이런 준중복 데이터가 학습 세트와 검증 세트에 동시에 들어가면 모델은 새로운 패턴을 이해한 것이 아니라 이미 본 표본을 기억해 높은 점수를 냅니다.

숨은 팁은 원본 파일의 해시값만 비교하지 않고 데이터 유형에 맞는 ‘내용 지문’을 함께 만드는 것입니다. 이미지는 지각 해시, 텍스트는 공백과 특수문자를 정규화한 뒤 계산한 해시, 음성은 일정 구간별 특징값을 활용할 수 있습니다. 완전히 같은 자료는 자동으로 묶고, 유사도가 높은 자료는 사람이 대표 표본만 확인하면 전수 검수보다 훨씬 빠릅니다.

• 이미지: 리사이즈·압축에도 비교할 수 있는 지각 해시를 사용합니다.
• 텍스트: 줄바꿈, 연속 공백, 날짜 표기를 정규화한 사본으로 중복을 찾습니다.
• 시계열: 전체 길이가 아니라 겹치는 시간 구간과 센서 식별자를 함께 비교합니다.
• 음성: 무음 구간을 제거한 뒤 특징 지문을 비교하되 원본은 그대로 보존합니다.

중복을 무조건 삭제하면 오히려 분포가 망가집니다

같은 유형의 표본이 여러 번 등장했다고 해서 모두 오류는 아닙니다. 실제 운영 환경에서 빈번하게 발생하는 사건이라면 그 빈도 자체가 중요한 정보입니다. 예를 들어 설비의 정상 진동이 반복 수집된 것은 자연스러울 수 있지만, 한 번의 고장 녹음을 복사해 파일명만 바꾼 자료는 성능을 부풀릴 가능성이 큽니다.

따라서 삭제 전에 자연 발생 반복과 인위적 복제를 구분해야 합니다. 원본 장비 ID, 수집 일시, 장소, 작업자 같은 메타데이터를 나란히 보면 판단하기 쉬워집니다. 연구조직의 역할과 기술개발 맥락을 살펴볼 때는 한국과학기술연구원 지식백과 항목처럼 기관의 기능을 설명하는 자료도 용어와 범위를 정리하는 참고점이 됩니다.

실무 팁: 중복률 하나만 보고 삭제하지 말고 ‘동일 대상·동일 시점·동일 원천’이라는 세 조건을 붙이세요. 세 조건이 모두 겹치는 표본부터 검토하면 정상적인 반복 관측을 실수로 없앨 위험이 줄어듭니다.

랜덤 분할보다 그룹 분할이 성능을 더 솔직하게 보여줄까?

같은 사람과 장비가 양쪽에 섞이면 누수가 생깁니다

데이터를 무작위로 8대 2로 나누는 방식은 간단하지만 모든 AI R&D 과제에 안전하지는 않습니다. 한 환자의 여러 촬영본, 같은 설비에서 연속으로 얻은 센서 값, 한 사용자가 작성한 여러 문장이 학습 세트와 검증 세트에 나뉘면 모델이 대상 고유의 특징을 기억할 수 있습니다. 이를 모르고 평가하면 연구실에서는 95%였던 성능이 신규 사용자나 새로운 장비에서 크게 낮아질 수 있습니다.

이때 유용한 방법이 그룹 단위 데이터 분할입니다. 사람, 장비, 사업장, 촬영 세션처럼 서로 공유되면 안 되는 기준을 먼저 정하고 같은 그룹의 표본은 한쪽 세트에만 배치합니다. 시간 흐름이 중요한 예측 과제라면 과거 자료로 학습하고 미래 자료로 평가해야 하며, 무작위 섞기는 피하는 편이 좋습니다.

검증 점수가 지나치게 좋을 때 해볼 역검사

점수가 예상보다 높다면 모델을 칭찬하기 전에 일부러 어려운 검증 세트를 만들어보세요. 최신 기간, 한 번도 보지 않은 장비, 신규 지점처럼 운영 환경의 변화를 대표하는 그룹만 따로 떼어 시험하는 방식입니다. 기본 검증 점수와 큰 차이가 난다면 데이터 누수나 분포 편향이 숨어 있을 가능성이 있습니다.

1. 데이터 한 건이 만들어지는 과정을 수집부터 라벨 확정까지 순서대로 적습니다.
2. 같은 원천에서 파생된 표본을 연결할 그룹 키를 만듭니다.
3. 그룹 키가 학습·검증 양쪽에 동시에 존재하는지 확인합니다.
4. 시간, 지역, 장비 중 실제 배포 후 달라질 조건을 하나 골라 별도 시험 세트를 만듭니다.
5. 전체 점수와 그룹별 점수를 함께 기록해 취약한 조건을 찾습니다.

기술기업이나 연구기관 명칭이 데이터 출처에 포함됐다면 동일한 이름의 조직을 혼동하지 않는 것도 중요합니다. 예를 들어 우리기술 기업 정보처럼 기관·기업의 정확한 정체를 확인할 수 있는 출처를 연결해 두면 외부 데이터의 출처 계보를 관리할 때 도움이 됩니다.

모델 없이도 데이터셋의 이상 신호를 잡는 방법은?

작은 표본판을 만들면 숫자 밖의 오류가 보입니다

수십만 건의 통계만 바라보면 개별 오류가 감춰집니다. 반대로 전체 데이터를 사람이 읽는 것은 현실적이지 않습니다. 이 사이에서 효과적인 요령은 조건별로 소량을 뽑은 데이터 표본판을 만드는 것입니다. 클래스별 20건, 수집 장비별 10건, 월별 10건처럼 여러 축에서 표본을 뽑아 한 화면이나 문서에서 비교하면 특정 기간의 색감 변화, 반복 문구, 센서 단위 오류가 눈에 띕니다.

무작위 표본만 쓰지 말고 극단값과 경계값도 의도적으로 넣어야 합니다. 텍스트 길이가 가장 짧거나 긴 자료, 이미지 밝기가 상·하위 1%인 자료, 센서 변화량이 급격한 구간을 함께 보면 평범한 표본에서는 드러나지 않는 전처리 실패를 발견할 수 있습니다. 독자님의 데이터에서 ‘너무 정상적이라서 의심스러운 구간’은 어디인가요? 값이 오랫동안 완전히 같다면 안정 상태가 아니라 센서 멈춤일 수도 있습니다.

• 상수 구간: 측정값이 일정 시간 동안 한 번도 변하지 않았는지 봅니다.
• 단위 전환: 특정 날짜부터 섭씨와 화씨, mm와 cm가 섞이지 않았는지 확인합니다.
• 문자 인코딩: 깨진 한글이나 대체 문자가 특정 수집 경로에 집중되는지 찾습니다.
• 이미지 테두리: 리사이즈 과정에서 생긴 검은 여백을 모델이 라벨 단서로 쓰지 않는지 살핍니다.
• 결측 패턴: 결측값의 개수뿐 아니라 어떤 장비·시간대에서 함께 발생하는지 비교합니다.

라벨 이름 대신 출처를 가리고 검수해봅니다

검수자가 어떤 연구팀이나 외주 업체가 만든 데이터인지 알면 무의식적으로 판단이 달라질 수 있습니다. 소량의 검수 세트에서는 출처와 기존 라벨을 가린 채 두 명이 독립적으로 판단하고, 불일치한 사례만 함께 토론해 기준을 갱신해보세요. 단순 일치율보다 클래스별 불일치와 ‘판단 불가’ 비율을 보면 라벨 정의가 모호한 지점을 빨리 찾을 수 있습니다.

또 하나의 생활 해킹은 라벨 지침에 좋은 예시만 넣지 않는 것입니다. 연구원이 헷갈렸던 경계 사례와 틀린 이유를 짧게 축적하면 새 담당자의 판단 속도가 빨라집니다. 투자·사업화 자료와 기술개발 자료가 뒤섞인 외부 문서를 분류한다면 현대기술투자 기업 정보처럼 대상의 성격을 확인할 수 있는 기준 자료를 함께 기록해 문맥 오분류를 줄일 수 있습니다.

작은 요령: 라벨 지침의 버전 번호를 데이터 행에도 남기세요. 기준이 바뀐 뒤 어느 표본까지 다시 검토해야 하는지 즉시 추적할 수 있어 전수 재작업을 피할 수 있습니다.

자동 점검이 놓치는 데이터 경계는 어디에 있을까?

통계적으로 정상이어도 연구 윤리와 권리 문제는 남습니다

중복률, 결측률, 클래스 비율이 모두 정상이라고 해서 데이터셋을 바로 사용할 수 있는 것은 아닙니다. 개인정보가 자유 서술란에 섞이거나, 공개 웹페이지에서 가져온 콘텐츠의 이용 조건이 불분명하거나, 동의받은 연구 목적과 현재의 모델 활용 목적이 달라질 수 있습니다. 이런 문제는 품질 검사 코드가 자동으로 판정하기 어렵습니다.

특히 익명화는 이름과 전화번호를 지우는 것만으로 끝나지 않습니다. 희귀 질환, 좁은 지역, 정확한 날짜, 소속 부서가 결합되면 개인을 다시 추정할 여지가 생깁니다. 데이터 공개 범위와 모델 배포 방식이 바뀔 때는 기존 검토 결과를 그대로 재사용하지 말고 개인정보·보안·계약 담당자와 사용 가능 범위를 다시 확인해야 합니다.

• 수집 동의와 계약서에 명시된 사용 목적이 현재 연구와 일치하는지 확인합니다.
• 원본 데이터 접근 권한과 가공 데이터 접근 권한을 분리합니다.
• 외부 반출본에는 직접 식별자뿐 아니라 재식별 가능한 조합 정보도 줄입니다.
• 라이선스, 제공 기관, 수집일, 삭제 요청 처리 방법을 데이터 계보에 기록합니다.
• 생성형 모델로 합성한 표본은 원본과 분리하고 생성 조건과 모델 버전을 남깁니다.

희귀 사례는 숫자만으로 삭제 여부를 정할 수 없습니다

이상치 탐지 도구가 표시한 표본이 실제 오류인지, 중요한 희귀 현상인지는 해당 분야 전문가의 판단이 필요합니다. 제조 데이터의 급격한 진동은 센서 오류일 수도 있지만 실제 고장의 전조일 수도 있습니다. 의료 영상의 극단적인 형태 역시 촬영 실패가 아니라 놓치면 안 되는 드문 사례일 수 있습니다. 자동 탐지는 삭제 명령이 아니라 검토 순서를 정하는 장치로 사용하는 편이 안전합니다.

또한 합성 데이터는 부족한 클래스를 보완하는 데 유용하지만 실제 세계의 다양성을 자동으로 만들어주지는 않습니다. 생성 규칙이 원본 데이터의 편향을 복제하거나, 지나치게 깔끔한 표본 때문에 모델이 합성 흔적을 학습할 수 있습니다. 합성 표본만으로 성능이 좋아졌다면 실제 데이터로만 구성한 별도 시험 세트에서도 개선이 유지되는지 확인해야 합니다.

1. 이상 표본을 바로 삭제하지 않고 ‘오류·희귀 정상·판단 보류’로 구분합니다.
2. 판단 보류 자료는 도메인 전문가가 원본 맥락과 함께 확인합니다.
3. 삭제 전후의 클래스 분포와 그룹별 성능을 각각 기록합니다.
4. 운영 중 새롭게 나타난 실패 사례를 고정 시험 세트에 추가하되 과거 점수도 보존합니다.

여기서 다루지 못한 경계도 분명합니다. 법률상 적법성, 의료적 유효성, 산업 안전성처럼 전문 자격과 공식 심의가 필요한 사안은 데이터 품질 지표만으로 확정할 수 없습니다. 표본의 의미가 애매하거나 피해 가능성이 큰 분야라면 자동화 범위를 좁히고 관련 전문가의 검토를 거치는 것이 AI R&D 데이터셋 관리의 일부입니다.