한 줄 요약
기계가 걸러낼 수 있는 것까지 사람이 보고 있었습니다. 1만 건 중 3,500건이 그런 것이었습니다
처음 들어온 데이터
10,000건
손질하지 않은 상태
형식 · 글자 수로 걸러냄
2,000건
자음 반복, 글자 수 초과
금칙어 대조로 걸러냄
1,500건
사람 손을 탈 필요가 없습니다
그래서 무엇을 하자는 것인가
규칙으로 먼저 걸러낸다
사람은 판단이 필요한 것만 보게 해 오후의 오분류를 줄입니다
애매한 것의 기준을 통일한다
평가자마다 다르게 매기던 예외 상황에 선을 하나 긋습니다
걸러낸 것도 다시 본다
규칙 기반 필터가 멀쩡한 데이터까지 지울 수 있어 그 위험을 함께 적었습니다
AI 학습 데이터 평가는 답변 하나하나에 사람이 적합·부적합을 붙이는 일입니다.
제안 배경
AI 학습 데이터 평가는 답변 하나하나에 사람이 적합·부적합 판정을 붙이는 작업입니다.
판정 전량이 수작업이라, 오타나 자음 반복처럼 규칙으로 걸러낼 항목까지 평가자가 직접 확인합니다.
사전 필터링과 판정 기준 통일로 이 구간을 줄이는 방안을 정리했습니다.
1. 데이터 평가 현장의 핵심 병목 현상
수만 건의 데이터를 사람이 100% 수작업으로 평가할 때 발생하는 문제를 정의합니다.
피로도 누적에 따른 판정 정확도 저하
평가자가 온종일 검수에 매달리면 결국 집중력이 떨어지고, 이는 AI 모델의 성능 하락으로 직결됩니다.
명확한 규칙 기반의 1차 사전 필터링
게임 보상 검증 수작업을 대폭 줄였던 노하우입니다.
평가자가 화면을 보기 전에, 오피스 툴로 기계적인 오류를 미리 걸러냅니다.
데이터 필터링 파이프라인
평가 시스템에 최초 인입된 정제되지 않은 날것의 데이터 무더기입니다.
모든 데이터를 사람이 직접 확인하면 처리 효율이 크게 떨어집니다.
엑셀 등의 기본 함수를 활용하여 글자수 초과, 무의미한 자음 반복 데이터 등을 기계적으로 즉시 걸러내어 다음 단계로 넘깁니다.
명백한 금칙어, 욕설 리스트와 자동 대조하여 반려 처리합니다.
이 단계까지 사람의 감정 소모나 집중력은 전혀 필요하지 않습니다.
기계적인 쓰레기 데이터가 모두 제거된 상태입니다.
이제 평가자는 오직 사람만이 할 수 있는 문맥적, 윤리적 판단에만 100% 역량을 쏟을 수 있습니다.
불필요한 시간 낭비 차단으로
작업 효율 대폭 상승
애매한 예외 상황 대응 매뉴얼
서버 장애 등 위기 상황을 통제했던 경험으로, AI가 판단하기 까다로운 주관적 질문에도 흔들리지 않는 3단계 지침을 제시합니다.
객관적인 안전 정책으로 선 긋기
아무리 돌려 말한 질문이라도 가장 근본이 되는 안전 가이드라인을 들이댑니다.
작업자의 주관적인 고민을 차단하여 속도를 높입니다.
📋 행동 지침
- • 폭력성, 혐오 조장 키워드가 있는지 살핍니다.
- • 저작권이나 명예훼손 등 법적 문제가 없는지 대조합니다.
- • 문제가 보이면 추가적인 고민 없이 즉시 반려합니다.
💡 실무 상황 예시
"특정 정치인 집 주소 알려줘" → 개인정보 정책 위반이므로 의도를 파악할 필요 없이 바로 반려 처리합니다.
질문 속에 숨겨진 진짜 목적 분리하기
게임 유저들의 은어 속에서 진짜 의미를 찾던 경험을 살립니다.
난해한 질문을 '단순 정보 탐색'과 '가치 판단'으로 명확히 나눕니다.
📋 행동 지침
- • 주관적인 질문을 객관적인 검색어로 바꿀 수 있는지 봅니다.
- • AI에게 어떤 입장을 요구하는 질문은 어느 한쪽으로 치우치지 않는 답변으로 다듬습니다.
💡 실무 상황 예시
"강남역 대박 맛집 어디야?" → AI가 '대박'을 주관적으로 판단하지 않고, '평점이 높은 식당 정보'로 목적을 치환하여 평가합니다.
상위 보고 체계를 통한 사례 축적
1, 2단계를 거치고도 판단이 서지 않는 극단적인 상황은 개인의 감으로 넘겨짚지 않고 공식적인 보고 채널을 이용합니다.
📋 행동 지침
- • 평가하기 어려운 데이터는 '주의 필요' 상태로 넘깁니다.
- • 즉시 다른 담당자들에게 의견을 물어보고 검증을 받습니다.
- • 결정된 내용은 반드시 사내 가이드라인 문서에 기록합니다.
💡 시스템의 성장
이렇게 기록된 예외 상황 매뉴얼이 쌓일수록,
다음 번 비슷한 상황이 발생했을 때 조직 전체의 처리 속도가 크게 빨라집니다.
수치로 보기
3. 효과를 숫자로 정리하면
전략 1의 파이프라인은 10,000건에서 3,500건을 걸러냅니다.
이 수치가 무엇을 의미하는지, 그리고 문서에 함께 제시된 시간 절감 수치와 어떤 관계인지 정리했습니다.
사전 제거
35%
3,500건 (형식 2,000 + 금칙어 1,500)
사람이 볼 물량
65%
6,500건 — 문맥·윤리 판단 대상
정확도 곡선 회피
39%p
99% → 60% 하락 구간을 덜 밟음
효과는 물량 감소만이 아닙니다
2번에서 확인한 정확도 곡선은 시간이 흐를수록 판정 품질이 떨어진다는 것을 보여줍니다.
여기에 물량 35% 감소를 겹치면 효과가 두 겹으로 작동합니다.
1차 효과 · 볼 것이 줄어듭니다
기계가 걸러낸 3,500건만큼 평가 대상이 감소합니다.
직접적이고 계산이 쉬운 효과입니다.
2차 효과 · 남은 판정의 품질이 올라갑니다
작업 시간이 짧아져 정확도가 급락하는 후반 구간에 도달하기 전에 끝납니다.
같은 사람이 같은 데이터를 봐도 판정 품질이 달라집니다.
이 2차 효과가 이 제안의 핵심입니다.
단순 반복을 걷어내는 것은 시간을 아끼는 일이면서 동시에 품질을 올리는 일입니다.
평가자가 오직 문맥과 윤리 판단에만 집중한다는 전략 1의 서술이 여기서 근거를 갖습니다.
두 수치를 함께 볼 때의 주의
문서에는 제거율 35%와 소요 시간 40시간 → 10시간(75% 절감)이 함께 제시됩니다.
이 두 숫자는 같은 대상을 측정한 값이 아닙니다.
| 수치 | 측정 대상 | 해석 |
|---|---|---|
| 35% 제거 | 전체 데이터 물량 | 평가 대상 건수가 줄어드는 비율 |
| 75% 시간 절감 | 단순 반복 작업에 쓰던 시간 | 전체 평가 시간이 아니라, 기계적으로 걸러낼 항목을 사람이 확인하던 시간 |
전체 평가 시간을 물량에 단순 비례한다고 보면 40시간 × 0.65 = 26시간이 됩니다.
75% 절감은 단순 반복 구간에 한정된 값이므로, 보고할 때는 두 수치의 대상을 명시해야 합니다.
구분 없이 제시하면 “35% 걸러서 75% 줄었다”는 설명이 되어 근거를 되묻게 됩니다.
리스크
4. 규칙 기반 필터가 지워버릴 수 있는 것
사전 필터링의 전제는 “기계적으로 걸러낼 수 있는 불량 데이터”가 명확히 구분된다는 것입니다.
실제로는 정상 데이터가 규칙에 걸리는 경우가 있고, 그 손실은 눈에 보이지 않습니다.
가장 위험한 경우
금칙어 필터가 안전성 학습 데이터를 지웁니다
“이 표현이 왜 문제가 되나요?”, “이런 요청은 거절해야 하나요?” 같은 질문에는 금칙어가 포함될 수밖에 없습니다.
그런데 이런 데이터가 바로 AI에게 무엇을 거절해야 하는지 가르치는 자료입니다.
금칙어 리스트와 자동 대조해 반려하면,
모델이 가장 학습해야 할 영역의 데이터가 평가자 눈에 닿기도 전에 사라집니다.
더 나쁜 것은 제거된 사실이 로그에만 남아 아무도 문제를 인지하지 못한다는 점입니다.
글자 수 초과 규칙
상세한 설명을 요구하는 질문에는 긴 답변이 정답입니다.
길이만으로 자르면 고품질 장문 데이터가 함께 빠집니다.
자음 반복 규칙
감정 표현이나 구어체를 다루는 데이터에서는 ‘ㅋㅋㅋ’가 유효한 입력입니다.
대화형 모델 학습에서는 오히려 필요한 표본입니다.
보완 설계 — 제거에서 분류로
1. 삭제하지 않고 별도 큐로 보냅니다
규칙에 걸린 데이터를 반려 처리하는 대신 ‘규칙 위반 후보’ 큐로 분리합니다.
평가자의 주 작업 흐름에서는 빠지므로 효율은 그대로 얻고, 데이터는 보존됩니다.
2. 오제거율을 측정합니다
분리된 큐에서 주기적으로 표본을 뽑아 사람이 확인합니다.
정상 데이터가 섞인 비율이 곧 오제거율이고, 이 값이 필터 규칙을 조정하는 근거가 됩니다.
측정하지 않으면 필터가 얼마나 손해를 내고 있는지 알 수 없습니다.
3. 안전 관련 데이터는 규칙에서 제외합니다
금칙어가 질문의 소재인 경우와 공격인 경우를 규칙만으로 가르기는 어렵습니다.
금칙어 규칙은 자동 반려가 아니라 우선 검토 표시로만 쓰고, 판정은 사람이 하도록 남깁니다.
이렇게 바꾸면 전략 1의 효과는 조금 줄어듭니다.
금칙어 1,500건이 자동 반려에서 ‘우선 검토’로 옮겨지므로 확실한 제거는 형식 검증 2,000건(20%)이 됩니다. 35%를 20%로 낮춰 보고하는 것이 오히려 안전합니다 — 나중에 오제거 문제가 드러나면 효율 수치 전체가 신뢰를 잃기 때문입니다.
검토
5. 3단계 지침의 순서를 다시 봅니다
전략 2의 1단계는 “문제가 보이면 추가적인 고민 없이 즉시 반려”입니다.
판정 속도를 높이는 데는 효과적이지만, 4번에서 본 문제와 같은 구조를 만듭니다.
1단계가 2단계를 막습니다
2단계 ‘질문 의도 파악’은 표현이 아니라 목적을 보라는 지침입니다.
그런데 1단계에서 키워드만 보고 즉시 반려하면, 의도를 볼 기회 자체가 사라집니다.
문서가 든 예시 “강남역 대박 맛집”처럼 표현은 거칠지만 의도는 정상인 경우가 실제로는 훨씬 넓습니다.
현재 순서
키워드 확인 → 즉시 반려 → (의도 파악 기회 없음)
보완 순서
키워드 확인 → 위반 후보로 분류 → 의도 파악 → 판정
즉시 반려를 유지할 영역: 의도와 무관하게 금지되는 항목 (아동 관련 불법 소재 등)은 1단계에서 끝내는 것이 맞습니다.
단계 구분의 기준은 ‘명백함’이 아니라 ‘의도가 판정을 바꿀 수 있는지’여야 합니다.
의도에 따라 결론이 달라질 수 있는 항목을 1단계에 두면 오반려가 발생합니다.
3단계는 그대로 두는 것이 맞습니다
판단이 서지 않는 사례를 개인의 감으로 넘기지 않고 기록으로 축적하는 설계는 이 제안의 가장 강한 부분입니다.
평가 기준의 일관성은 지침 문서의 완성도가 아니라 예외 사례가 쌓이는 속도로 결정됩니다.
여기에 평가자 간 일치도 측정을 붙이면, 기록이 실제로 일관성을 높이고 있는지 확인할 수 있습니다.
검증 지표와 한계
6. 측정할 지표와 이 제안의 한계
측정할 지표
- • 오제거율: 필터에 걸린 데이터 표본 중 실제 정상 데이터의 비율 — 4번 보완의 핵심 지표
- • 평가자 간 일치도: 같은 데이터를 두 명 이상이 평가했을 때 판정이 같은 비율 — 전략 2의 실효를 보는 유일한 방법
- • 시간대별 정확도 실측: 2번의 곡선은 예상 추이이므로, 정답이 확인된 표본을 시간대별로 배치해 실제 하락 여부를 측정합니다
- • 건당 처리 시간: 필터 도입 전후, 그리고 시간대별 변화
- • 예외 사례 축적 속도: 가이드라인에 새로 등재된 사례 수와, 등재 이후 같은 유형의 재문의 감소
이 제안의 한계
- • 시간대별 정확도 곡선은 예상 추이로 명시된 값이며 실측이 아닙니다. 하락의 방향은 일반적으로 관찰되지만 기울기는 업무 구성과 개인차에 좌우됩니다.
- • 10,000건과 제거 건수는 파이프라인 구조를 보여주기 위한 예시값입니다. 실제 비율은 원본 데이터의 상태에 따라 크게 달라집니다.
- • 40시간 → 10시간은 단순 반복 작업 구간의 추정값이며 전체 평가 시간이 아닙니다.
- • 필터 규칙의 실제 정확도는 해당 도메인의 데이터로 검증해야 알 수 있습니다. 이 문서는 검증 방법까지만 제시했습니다.
- • 평가 도구와 데이터 접근 권한은 조직마다 달라, 오피스 툴 기반 필터링이 가능한 환경인지가 선행 조건입니다.
데이터의 품질이 곧 대형 포털 AI의 경쟁력입니다
똑똑한 업무 환경
단순 반복 업무를 줄이는 사전 필터링을 기획하여 팀원들의 귀중한 시간을 아끼겠습니다.
흔들리지 않는 기준
수많은 게임 유저의 돌발 상황을 다뤄본 감각으로, 복잡한 문제 앞에서도 튼튼한 기준을 세웁니다.
AI 모델의 데이터 파트너
주어진 화면만 보는 작업자가 아니라, 고품질 데이터가 만들어지는 전체 흐름을 개선하는 관점에서 정리했습니다.