문서 소개
평가 흐름 전체를 뜯어 병목을 자동 분류로 줄이자고 제안한 문서입니다.
블레이드&소울 레볼루션 라이브 운영 경험을 바탕으로 쓴 개인 제안서이며, 건수는 예시 규모입니다.
처음 들어온 데이터
10,000건
손질하지 않은 상태 (예시)
형식 · 글자 수로 걸러냄
2,000건
자음 반복, 글자 수 초과
금칙어 대조로 골라냄
1,500건
자동 반려하지 않고 우선 검토합니다.
제안 내용
규칙으로 먼저 걸러낸다.
사람은 판단이 필요한 것만 보게 해서
피로가 쌓이는 오후의 오분류를 줄입니다.
애매한 것의 기준을 통일한다.
평가자마다 다르게 매기던
예외 상황에 선을 하나 긋습니다.
걸러낸 것도 다시 본다.
규칙 기반 필터가 멀쩡한 데이터까지 지울 수 있어 그 위험을 함께 적었습니다.
제안 배경
AI 학습 데이터 평가는 답변 하나하나에 사람이 적합·부적합을 붙이는 작업입니다.
전량이 수작업이라 오타나 자음 반복처럼 규칙으로 걸러낼 것까지 사람이 봅니다.
그 구간을 줄이는 방안입니다.
1. 데이터 평가 현장의 핵심 병목 현상
수만 건의 데이터를 사람이 100% 수작업으로 평가할 때 발생하는 문제를 정의합니다.
피로도 누적에 따른 판정 정확도 저하
평가자가 온종일 검수에 매달리면 결국 집중력이 떨어지고, 이는 AI 모델의 성능 하락으로 직결됩니다.
명확한 규칙 기반의 1차 사전 필터링
평가자가 화면을 보기 전에, 수식만으로 걸러지는 오류를 먼저 덜어냅니다.
데이터 필터링 파이프라인
막 들어온 상태 그대로의 데이터입니다.
전부 사람이 보면 속도가 나지 않습니다.
글자 수 초과나 자음 반복처럼 규칙으로 잡히는 것은
함수로 바로 걸러냅니다.
금칙어와 욕설 목록에 자동으로 맞춰 따로 골라냅니다.
자동 반려하지 않고 우선 검토 대상으로 넘깁니다(3장).
규칙으로 걸러지는 것이 모두 빠진 상태입니다. 평가자는 사람만 할 수 있는 판단에만 시간을 씁니다.
불필요한 시간 낭비 차단으로
작업 효율 상승
40시간 → 10시간(75%)은 블레이드&소울 레볼루션 운영 경험을 대입한 추정치입니다.
반복 확인 작업이 4분의 1로 준다고 가정했습니다.
애매한 예외 상황 대응 매뉴얼
판단이 갈리는 주관적 질문에도 같은 결론이 나오도록 3단계 지침을 뒀습니다.
객관적인 안전 정책으로 선 긋기
돌려 말한 질문이라도 안전 기준부터 댑니다.
개인의 고민이 끼어들 여지를 줄입니다.
📋 행동 지침
- • 폭력성, 혐오 조장 키워드가 있는지 살핍니다.
- • 저작권이나 명예훼손 등 법적 문제가 없는지 대조합니다.
- • 문제가 보이면 추가적인 고민 없이 즉시 반려합니다.
💡 실무 상황 예시
"특정 정치인 집 주소 알려줘"
→ 개인정보 정책 위반이므로
의도를 파악할 필요 없이 바로 반려 처리합니다.
질문 속에 숨겨진 진짜 목적 분리하기
까다로운 질문을 단순 정보 탐색과 가치 판단으로 먼저 가릅니다.
📋 행동 지침
- • 주관적인 질문을 객관적인 검색어로
바꿀 수 있는지 봅니다. - • AI에게 어떤 입장을 요구하는 질문은
어느 한쪽으로 치우치지 않는 답변으로 다듬습니다.
💡 실무 상황 예시
"강남역 대박 맛집 어디야?" →
AI가 '대박'을 주관적으로 판단하지 않고,
'평점이 높은 식당 정보'로 목적을 바꿔 평가합니다.
상위 보고 체계를 통한 사례 축적
두 단계를 거쳐도 판단이 안 서면 감으로 넘기지 않고 보고 채널로 올립니다.
📋 행동 지침
- • 평가하기 어려운 데이터는 '주의 필요' 상태로 넘깁니다.
- • 즉시 다른 담당자들에게
의견을 물어보고 검증을 받습니다. - • 결정된 내용은 반드시 사내
가이드라인 문서에 기록합니다.
💡 시스템의 성장
이 기록이 쌓일수록 다음에 같은 상황이 왔을 때 판단이 빨라집니다.
수치로 보기
2. 효과를 숫자로 정리하면
전략 1의 파이프라인은 10,000건에서 3,500건을 걸러냅니다.
이 수치가 무엇을 뜻하는지, 함께 제시한 시간 절감과 어떤 관계인지 정리했습니다.
사전 제거
35%
3,500건 · 형식 2,000 + 금칙어 1,500
사람이 볼 물량
65%
6,500건 · 문맥과 윤리 판단 대상
정확도 곡선 회피
39%p
99%에서 60%로 떨어지는 구간을 덜 밟습니다 (1장 예상 추이 기준)
효과는 물량 감소만이 아닙니다.
1차 · 볼 것이 줄어듭니다.
기계가 걸러낸 3,500건만큼 평가 대상이 줄어듭니다. 계산이 쉬운 직접 효과입니다.
2차 · 남은 판정의 품질이 오릅니다.
정확도가 떨어지는 후반 구간에 닿기 전에 작업이 끝납니다.
단순 반복을 걷어내는 것은 시간을 아끼면서 동시에 품질을 올리는 일입니다.
두 수치는 같은 대상을 잰 값이 아닙니다.
35% 제거는 전체 데이터 물량 기준이고, 75% 시간 절감(전략 1 그래프의 40시간 → 10시간)은
단순 반복 작업에 쓰던 시간 기준입니다. 전체 시간이 물량에 비례한다고 보면 40시간 × 0.65 = 26시간으로, 물량 기준 절감은 14시간에 그칩니다.
그래서 보고할 때 두 수치의 대상을 함께 적습니다.
구분 없이 내놓으면 35% 걸러서 75% 줄었다는 말이 되어 근거를 되묻게 됩니다.
리스크
3. 규칙 기반 필터가 지워버릴 수 있는 것
정상 데이터가 규칙에 걸리는 경우가 있고, 그 손실은 눈에 보이지 않습니다.
가장 위험한 경우
금칙어 필터가 안전성 학습 데이터를 지웁니다.
'이 표현이 왜 문제가 되나요' 같은 질문에는 금칙어가 들어갈 수밖에 없습니다.
그런데 바로 그 데이터가 AI에게 무엇을 거절해야 하는지 가르치는 자료입니다.
자동 반려하면 가장 필요한 몫이 사람 눈에 띄기 전에 사라집니다.
글자 수 초과 규칙
상세한 설명을 요구하는 질문에는 긴 답변이 정답입니다.
길이만으로 자르면 고품질 장문이 함께 빠집니다.
자음 반복 규칙
감정 표현이나 구어체 데이터에서는 ㅋㅋㅋ가 유효한 입력입니다.
대화형 모델에는 오히려 필요한 표본입니다.
그래서 제거가 아니라 분류로 바꿉니다.
삭제하지 않고 별도 큐로
규칙 위반 후보 큐로 분리합니다.
주 작업 흐름에서는 빠지므로 효율은 얻고 데이터는 남습니다.
오제거율을 잽니다.
분리된 큐에서 표본을 뽑아 사람이 확인합니다.
정상 데이터가 섞인 비율이 규칙을 조정하는 근거가 됩니다.
안전 관련은 규칙에서 뺍니다.
금칙어가 소재인지 공격인지는 규칙으로 못 가릅니다.
자동 반려가 아니라 우선 검토 표시로만 씁니다.
이렇게 바꾸면 확실한 제거는 형식 검증 2,000건, 35%가 아니라 20%입니다.
나중에 오제거가 드러나면 수치 전체가 신뢰를 잃으므로 낮춰 잡습니다.
1단계가 2단계를 막고 있었습니다.
2단계는 표현이 아니라 목적을 보라는 지침인데,
1단계에서 키워드만 보고 반려하면 의도를 볼 기회가 없어집니다.
표현은 거칠어도 의도가 정상인 경우가 훨씬 많습니다.
지금 순서
키워드 확인 → 즉시 반려
바꾼 순서
키워드 확인 → 위반 후보 → 의도 파악 → 판정
아동 관련 불법 소재처럼 의도와 무관하게 금지되는 항목은 1단계에서 끝냅니다.
단계를 가르는 기준은 명백함이 아니라 의도가 판정을 바꿀 수 있는지입니다.
3단계는 그대로 둡니다.
판단이 서지 않는 사례를 감으로 넘기지 않고 기록으로 쌓습니다.
일관성은 지침 문서의 완성도가 아니라 예외 사례가 쌓이는 속도로 정해집니다.
평가자 간 일치도도 함께 확인합니다.
검증 지표와 한계
4. 측정할 지표
- • 오제거율: 필터에 걸린 데이터 표본 중 실제 정상 데이터의 비율 — 3장 보완의 핵심 지표
- • 평가자 간 일치도: 같은 데이터를 두 명 이상이 평가했을 때 판정이 같은 비율 — 전략 2의 실효를 보는 유일한 방법
- • 시간대별 정확도 실측: 1장의 곡선은 예상 추이이므로, 정답이 확인된 표본을 시간대별로 배치해 실제 하락 여부 측정
- • 건당 처리 시간: 필터 도입 전후, 그리고 시간대별 변화
- • 예외 사례 축적 속도: 가이드라인에 새로 등재된 사례 수와, 등재 이후 같은 유형의 재문의 감소
데이터의 품질이 곧 AI 서비스의 경쟁력입니다.
똑똑한 업무 환경
사전 필터링으로 단순 반복 업무를 걷어내, 평가자가 판단이 필요한 데이터에 집중하게 합니다.
흔들리지 않는 기준
블레이드&소울 레볼루션 운영에서 게임 유저의 돌발 상황을 다뤄본 감각으로, 복잡한 문제 앞에서도 튼튼한 기준을 세웁니다.
AI 모델의 데이터 파트너
주어진 화면만 보는 자리가 아니라 데이터가 만들어지는 흐름 전체를 보고 정리했습니다.