AI R&D 데이터 드리프트 알림을 한 달 고쳐봤더니

• 목록
• 답변
• 글쓰기
• 옵션
  • 수정
  • 삭제

알림이 울린 날부터 먼저 본 세 가지

드리프트인지 수집 장애인지 가르는 법

데이터 드리프트 알림이 울리면 많은 팀이 곧바로 모델 성능 저하를 의심합니다. 그런데 한 달 동안 AI R&D 데이터 드리프트 알림을 따라가 보니, 실제 원인은 모델보다 앞단에 있는 경우가 더 많았습니다. 수집 주기가 밀렸거나, 전처리 버전이 바뀌었거나, 라벨 기준이 조용히 달라진 식입니다.

처음 해야 할 일은 알림을 더 크게 만드는 것이 아니라 알림이 무엇을 비교했는지를 확인하는 일입니다. 기준 분포가 지난주 데이터인지, 최초 학습 데이터인지, 운영 승인 데이터인지에 따라 해석이 완전히 달라집니다. (주)천조기술연구원처럼 연구 과제와 현장 적용을 함께 보는 조직이라면 이 기준선을 문서로 고정해 두는 것이 특히 중요합니다.

• 수집량 변화: 평소 1만 건이 들어오던 배치가 3천 건으로 줄었다면 드리프트보다 누락을 먼저 봅니다.
• 스키마 변화: 컬럼명, 단위, 결측 처리 방식이 바뀌면 분포가 갑자기 튀어 보입니다.
• 표본 구성 변화: 특정 장비, 지역, 시간대 데이터만 과하게 들어오면 모델이 아니라 표본이 흔들린 것입니다.

처음 30분에 남겨야 할 기록

알림 발생 직후에는 담당자가 여러 명 붙으면서 대화가 빠르게 흩어집니다. 그래서 저는 첫 30분 기록을 짧게 고정했습니다. 누가 봐도 같은 사건을 같은 기준으로 읽도록 만드는 것이 목적입니다.

기록은 길 필요가 없습니다. 다만 시각, 데이터 범위, 비교 기준, 영향 범위, 임시 조치는 빠지면 안 됩니다. 이 다섯 가지가 없으면 나중에 회고할 때 원인을 다시 추측하게 되고, 같은 장애가 반복될 때마다 팀의 피로가 커집니다.

1. 알림이 울린 정확한 시각과 감지 지표를 적습니다.
2. 최근 배치 데이터의 건수, 결측률, 주요 범주 비율을 확인합니다.
3. 운영 모델의 응답 품질이 실제로 변했는지 샘플 20~50건을 손으로 봅니다.
4. 장애가 맞다면 새 데이터 반영을 잠시 멈추고 이전 기준선으로 비교합니다.

드리프트 알림은 경보이지 판결문이 아닙니다. 처음부터 모델 교체로 뛰어가면, 수집 장애와 정책 변경을 놓치기 쉽습니다.

흔한 원인은 모델보다 데이터 입구에 있었다

스키마, 단위, 표본 비율의 작은 균열

가장 자주 본 실수는 단위 변경을 사소하게 여기는 태도였습니다. 예를 들어 밀리초로 들어오던 시간이 초 단위로 바뀌었는데, 전처리 코드가 그대로라면 모델은 갑자기 매우 큰 변화가 생긴 것으로 받아들입니다. 사람 눈에는 단순한 표기 차이지만, AI R&D 파이프라인에서는 성능 저하처럼 보일 수 있습니다.

두 번째는 표본 비율입니다. 특정 라벨이 5%에서 25%로 늘었을 때 그것이 시장 변화인지, 캠페인 영향인지, 수집기 오류인지 구분해야 합니다. 이 구분 없이 재학습부터 하면 새 모델은 현재 오류를 정상 패턴으로 배워 버립니다.

• 배포 이력은 모델 코드뿐 아니라 수집기, 정제 스크립트, 라벨 도구까지 함께 봅니다.
• 비교 구간은 하루 단위만 보지 말고 요일 효과와 업무 시간대를 나눠 확인합니다.
• 라벨 기준은 담당자별 판단 차이가 생기기 쉬우므로 예시 데이터를 같이 보관합니다.

외부 데이터가 섞일 때의 기준선

외부 공개 자료나 기업 정보를 함께 쓰는 프로젝트라면 출처의 성격도 기준선에 포함해야 합니다. 기술 기업의 사업 설명을 확인할 때는 지식백과의 기업 정보 예시처럼 공개 프로필이 어떤 단위로 정리되는지 참고할 수 있습니다. 다만 이런 자료는 모델 입력의 정답이 아니라, 용어와 맥락을 맞추는 보조 기준으로 다루는 편이 안전합니다.

투자, 연구, 제조, 서비스 데이터가 한 파이프라인에 섞이면 드리프트 판단도 복잡해집니다. 기술투자 기업 정보처럼 같은 기술 분야라도 지표의 목적이 다르면 데이터 해석이 달라집니다. 그래서 외부 데이터를 넣을 때는 원천명, 갱신 주기, 수집 방식, 신뢰 수준을 별도 메타데이터로 남겨야 합니다.

1. 외부 데이터는 원천별로 테이블을 분리하고, 합치기 전에 품질 지표를 계산합니다.
2. 갱신 주기가 다른 데이터는 같은 날짜로 묶지 말고 지연 시간을 함께 저장합니다.
3. 기관, 기업, 장비, 사용자 데이터는 같은 컬럼명이라도 의미가 다른지 확인합니다.
4. 기준선은 하나만 두지 말고 연구용, 검증용, 운영용으로 나눕니다.

한 달 동안 실제로 바꾼 복구 순서

대시보드는 적게, 로그는 더 자세하게

처음에는 대시보드 지표를 늘리면 문제가 빨리 보일 줄 알았습니다. 하지만 지표가 많아질수록 담당자는 무엇을 먼저 봐야 할지 더 헷갈렸습니다. 그래서 화면에는 핵심 네 가지, 로그에는 상세 원인을 남기는 방식으로 바꿨습니다.

대시보드에는 데이터 건수, 결측률, 주요 라벨 비율, 운영 샘플 실패율만 올렸습니다. 대신 로그에는 배치 ID, 원천 시스템, 전처리 버전, 라벨러 그룹, 모델 버전을 붙였습니다. 이 조합이 있어야 나중에 AI R&D 문제 해결이 감이 아니라 추적이 됩니다.

1. 1단계: 알림 발생 배치와 직전 정상 배치를 나란히 비교합니다.
2. 2단계: 수집 실패와 전처리 실패를 분리해 집계합니다.
3. 3단계: 운영 샘플을 사람이 확인해 사용자 영향이 있는지 판단합니다.
4. 4단계: 영향이 있으면 새 데이터 반영을 멈추고 이전 안정 버전으로 되돌립니다.
5. 5단계: 원인이 데이터인지 정책인지 확인한 뒤 재학습 여부를 결정합니다.

좋은 복구 순서는 빠른 재학습이 아니라, 잘못된 데이터를 더 이상 학습하지 않게 멈추는 데서 시작합니다.

재학습보다 먼저 해야 할 격리

드리프트가 확인되면 재학습을 서두르고 싶어집니다. 그러나 원인이 수집기 장애라면 재학습은 복구가 아니라 오염 확대가 됩니다. 한 달 동안 가장 효과가 컸던 조치는 문제 데이터를 별도 저장소로 격리하고, 정상 데이터와 섞이지 않게 하는 일이었습니다.

• 격리 폴더: 알림이 울린 배치 원본과 전처리 결과를 삭제하지 않고 따로 보관합니다.
• 승인 플래그: 운영 학습에 들어갈 수 있는 데이터만 명시적으로 승인합니다.
• 샘플 리뷰: 숫자 지표가 정상이어도 대표 샘플을 사람이 봅니다.
• 롤백 기준: 사용자 영향이 확인되는 순간 모델이 아니라 데이터 반영부터 되돌립니다.

연구기관과 협업하는 과제라면 이 격리 기준을 계약이나 과업 범위와 연결해 두는 것도 좋습니다. 예를 들어 한국과학기술연구원 같은 연구기관 정보를 참고해도 알 수 있듯, 연구 조직은 성과뿐 아니라 검증 가능한 절차를 중요하게 봅니다. 데이터 격리와 승인 기록은 나중에 기술 검토, 과제 보고, 외부 감사에서 설명 가능한 근거가 됩니다.

자동 알림이 놓치는 회색 구간도 있었다

연구 목적이 바뀌면 드리프트 정의도 바뀐다

마지막으로 솔직히 말하면, 자동 알림만으로 모든 문제를 잡을 수는 없었습니다. 특히 연구 목적이 바뀌는 순간에는 기존 기준선 자체가 낡아집니다. 예측 정확도를 보던 과제가 위험 탐지 중심으로 바뀌면, 같은 데이터 변화도 장애가 아니라 필요한 전환일 수 있습니다.

이때는 알림을 끄는 것이 아니라 기준선을 새로 선언해야 합니다. 어떤 변화는 허용하고, 어떤 변화는 막을지 연구 책임자와 운영 담당자가 함께 정해야 합니다. (주)천조기술연구원 같은 기술 연구 조직에서는 이 합의가 늦어질수록 모델 담당자만 애매한 책임을 떠안게 됩니다.

• 허용 가능한 변화: 신규 사용자군, 신규 장비, 신규 실험 조건처럼 연구 범위가 넓어진 경우입니다.
• 막아야 할 변화: 수집 누락, 중복 적재, 라벨 기준 흔들림처럼 품질을 낮추는 경우입니다.
• 판단 보류 변화: 계절성, 이벤트, 정책 변경처럼 시간이 지나야 원인이 보이는 경우입니다.

작은 팀이 예외를 다루는 방식

작은 팀일수록 완벽한 관측 시스템을 한 번에 만들기는 어렵습니다. 그래서 예외 처리 문서를 짧고 자주 고치는 방식이 현실적입니다. 비용도 처음부터 큰 모니터링 플랫폼을 도입하기보다, 저장소 로그와 배치 리포트, 간단한 알림 규칙으로 시작하는 편이 부담이 적습니다.

1. 월 1회 기준선 회의를 열어 알림 임계값을 조정합니다.
2. 반복되는 오탐은 삭제하지 말고 왜 오탐인지 이유를 남깁니다.
3. 새 실험이 시작될 때마다 기존 드리프트 규칙이 여전히 맞는지 확인합니다.
4. 운영 영향이 없는 연구용 변화와 사용자에게 영향을 주는 운영 변화를 분리합니다.

다만 이미지, 음성, 센서 융합 데이터처럼 사람이 바로 해석하기 어려운 데이터는 이 방식만으로 부족할 수 있습니다. 개인정보 규제가 걸린 데이터, 의료·안전처럼 오판 비용이 큰 과제, 원천 시스템을 외부 기관이 관리하는 과제도 별도 검증 절차가 필요합니다. 이 글의 방식은 AI R&D 데이터 드리프트를 초기에 분류하고 복구 순서를 잡는 실무 기준에 가깝고, 모든 산업의 품질 보증 절차를 대신하지는 못합니다.