문서 소개
반복 검수를 시스템으로 흡수해 후기 검수 품질을 유지하는 방안을 정리한 문서입니다.
블레이드&소울 레볼루션 라이브 운영 경험을 바탕으로 쓴 개인 제안서이며, 아래 건수는 가설 시뮬레이션 값입니다.
사람이 집중해서 보는 건
2,000건
1만 건 가운데
사람이 보지 않는 건
8,000건
여기 섞인 가짜는 그대로 노출
Q6(6번째 분기) 위험군 물량 대 검수 한계
3배
9,000건 대 3,000건
핵심 쟁점
필터가 무엇을 놓치는지
문제로 지목한 것이 '교묘한 가짜'인데,
교묘한 것일수록 규칙에 안 걸립니다.
한계선은 멈춰 있고 양은 는다.
인력 한계는 3,000건에 고정인데 리뷰는 계속 올라갑니다.
처리 시간은 운영 조직의 지표
빨리 처리했다는 것은 운영 조직의 지표이지
이용자가 느끼는 값이 아닙니다.
BPO는 업무를 외부 업체에 맡겨 처리하는 방식입니다. 여기서는 리뷰 검수를 맡은 외주사를 가리킵니다.
데이터 자동화
반복적인 데이터 정제·검수 시간을 단축하고
휴먼 에러를 차단합니다.
사전 리포팅
이슈 발생 전 커뮤니티 동향을 파악하여 리스크를
유관 부서에 미리 알립니다.
요구사항 번역
현장의 불만(정성적 피드백)을 개발팀이
바로 구현할 수 있는 지표로 변환합니다.
서비스 구조와 리스크
후기를 보고 병원을 고르는 서비스라 대가성 허위 후기가 가장 큰 위험입니다.
지금은 외주사 인력이 후기를 하나씩 눈으로 확인합니다.
외주사 수작업 검수의 병목 현상
📈 리뷰 데이터 폭증
글로벌 진출로 인해 검수해야 할 데이터가 기하급수적으로 늘어납니다.
🛑 물리적 한계와 어뷰징 누락
인력을 무한정 늘릴 수 없으며, 피로도는 결국
'교묘한 가짜 후기 누락'으로 이어집니다.
리뷰 증가량 vs 수작업 검수 한계선
※ 출처: 플랫폼 성장 곡선 대비 외주 인력 투입 한계 가설 시뮬레이션
검수 효율화를 위한 '1차 자동 필터링'
모든 리뷰를 눈으로 보기 전, 자동 분류 로직을 통해 업무량을 줄입니다.
원본 데이터 유입 (리뷰/문의)
1차 시스템 자동 필터링
- • 중복 아이피 및 비정상 계정 매칭
- • 브로커 의심 금칙어 자동 탐지
- • 단기간 별점 몰림 패턴 감지
외주사(BPO) 심층 타깃 검수
위험군(20%)만 타깃팅하여 이미지 조작 등 고난도 검수에 집중
도입 기대 효과 (1만 건 처리 기준)
※ 출처: 블레이드&소울 레볼루션 라이브 운영 효율화 경험을 대입한 추정치입니다. 검수 총시간이 4분의 1로 준다고 가정했으며 실측값이 아닙니다.
현장의 목소리를 데이터로 번역합니다.
운영 현장이나 커뮤니티에서 발견된 정성적인 이슈를,
기획·개발팀이 즉시 구현 가능한 시스템 스펙으로 변환하는 과정을 경험해 보세요.
"요즘 브로커들은 이미지를 교묘하게 잘라서 올려서
눈으로 구분이 잘 안 돼요."
-
🎯
목표: 중복 이미지 조작 어뷰징 탐지 로직 고도화
-
📊
데이터 지표: 업로드 이미지의 해상도 비율 변동 추이 모니터링
-
⚙️
세부 스펙: 이미지 메타데이터(EXIF) 검증 및 생성일자 불일치 시 '위험군' 자동 분류
"특정 병원 후기 게시판에 갑자기
칭찬 글이 엄청나게 도배되고 있어요."
-
🎯
목표: 단기 트래픽 급증 구간 기반의 어뷰징 탐지 모델 구축
-
📈
임계치 설정: 1시간 내 특정 병원 언급량이 평시(최근 7일 평균) 대비 300% 초과 시 경고 알림 발생
-
⚡
대응 방안: 경고 발생 즉시 신규 글 노출을 지연시키고 심층 검수 최우선 할당
위험군 20%도 결국 한계선을 넘습니다.
문제 정의 차트의 두 선과 해결 전략의 위험군 20%를 같은 표에 놓고 분기별로 비교했습니다.
| 분기 | 리뷰 생성량 | 수작업 검수 한계 | 초과분 | 위험군 20% 물량 | 한계 대비 |
|---|---|---|---|---|---|
| Q1 | 1,000 | 1,500 | -500 | 200 | 0.13배 |
| Q2 | 2,500 | 2,000 | +500 | 500 | 0.25배 |
| Q3 | 5,000 | 2,500 | +2,500 | 1,000 | 0.40배 |
| Q4 | 12,000 | 3,000 | +9,000 | 2,400 | 0.80배 |
| Q5 | 25,000 | 3,000 | +22,000 | 5,000 | 1.67배 초과 |
| Q6 | 45,000 | 3,000 | +42,000 | 9,000 | 3.00배 초과 |
6개 분기 누적 리뷰
90,500건
실제 검수 가능량은 14,500건(Q1은 1,000건뿐)
사람이 볼 수 있는 비율
16.0%
나머지 76,000건은 미검수
Q6 격차
15배
45,000건 대비 한계 3,000건
20%는 고정값이 될 수 없습니다.
위험군을 20%로 좁히면 Q4까지는 2,400건 대 3,000건으로 여유가 있습니다.
그런데 Q5에서 5,000건, Q6에서 9,000건이 됩니다.
한계선은 3,000건에 멈춰 있는데 리뷰량만 계속 오르기 때문입니다.
Q6에서 3,000건 안에 들어오려면 위험군 비율이 6.7% 이하여야 합니다.
필터가 분기마다 더 정밀해져야 한다는 뜻이라, 한 번 만들고 끝나는 기능이 아니라 계속 조여야 하는 운영 대상입니다.
30시간으로 줄어든 것이 어디서 나온 값인지
기존 수작업
건당 43.2초
1만 건 전체를 120시간에 처리하는 기준입니다.
자동 필터 도입 후
건당 54초
위험군 2,000건을 30시간에 보는 기준으로, 오히려 1.25배 길어집니다.
검수 대상을 바꾸는 안입니다.
총 시간은 120시간에서 30시간으로 75% 줄어듭니다.
그런데 사람이 보는 건수도 1만 건에서 2,000건으로 줄어, 건당 시간은 43.2초에서 54초로 늘어납니다.
검수를 빨리 하는 것이 아니라 검수 대상을 바꾸는 안입니다.
쉬운 건은 기계가 보고, 사람은 어려운 건에 시간을 더 씁니다.
인력을 줄이는 것이 아니라 제대로 쓰는 쪽입니다.
규칙 넷에 각각 조건을 붙였습니다.
필터가 작동하려면 규칙마다 서로 다른 전제가 필요합니다. 그대로 두면 정상 후기가 걸립니다.
이미지 메타데이터
없는 것 자체는 어뷰징 신호가 아닙니다.
메신저를 거친 사진은 대체로 메타데이터가 지워집니다.
부재를 위험으로 두면 정상 후기가 위험군으로 대량 분류돼 20% 목표부터 무너집니다.
중복 아이피
혼자서는 판정 근거가 못 됩니다.
병원 대기실 와이파이로 남기면 여러 환자가 같은 아이피를 씁니다.
이동통신망도 마찬가지입니다.
작성 시간 간격이나 계정 생성 시점과 함께 볼 때만 의미가 생깁니다.
금칙어
갱신 주기를 정해야 유지됩니다.
표현은 금방 바뀌는데 규칙을 고치는 곳은 외주사가 아니라 플랫폼 개발 조직입니다.
새 패턴이 규칙으로 돌아오는 경로가 이 제안의 수명입니다.
급증 감지 임계치
정상적으로 300%를 넘는 구간이 있습니다.
리뷰량이 분기마다 80~150%씩 느는 국면이라 평시를
최근 7일 이동 평균으로 잡은 것이 맞습니다. 다만 신규 입점이나 성수기에 노출을 늦추면
손해는 브로커가 아니라 환자와 병원이 봅니다. 입점 직후와 캠페인 기간은 예외로 둡니다.
75% 절감은 80%를 자동 통과시킨다는 말이기도 합니다.
얻는 것
검수 시간 75% 절감
1만 건 중 2,000건에 집중합니다.
같은 수치의 다른 면
8,000건은 사람이 안 봄
여기 섞인 허위 후기는 그대로 노출됩니다.
누락이 사라지는 게 아니라 자리를 옮깁니다.
필터를 넣으면 누락의 원인이 사람의 피로도에서 규칙의 빈틈으로 옮겨갑니다.
수작업 누락은 담당자마다 흩어지지만, 필터는 빈틈 있는 유형만 일관되게 통과시킵니다.
한 번 뚫은 방법을 계속 쓸 수 있어 총량이 같아도 더 위험합니다.
이 일은 품질 문제이면서 법적 문제입니다.
치료 후기를 병원 홍보에 쓰는 것은 의료 광고 규제를 받는 영역입니다.
허위 후기를 걸러내는 일은 신뢰도 관리를 넘어 플랫폼이 지는 법적 위험을 줄이는 일입니다.
시간만 재면 방향이 반대로 잡힙니다.
플랫폼과 외주사가 보는 것
처리 시간과 처리 건수
짧을수록 좋은 지표이고 정산 근거이기도 합니다.
병원을 고르는 사람이 보는 것
후기가 사실인지
검수가 몇 시간 걸렸는지는 관심 밖입니다.
필터를 느슨하게 할수록 성과 지표는 좋아지고 놓치는 건수는 늘어납니다.
처리 시간만 재면 기준을 풀어서 나온 값인지 필터가 좋아져서 나온 값인지 가릴 수 없습니다.
그래서 이 제안이 쓰는 지표는 절감률이 아니라 자동 통과분에서 나중에 발견된 허위 후기의 비율입니다.
도입과 함께 표본 검수를 설계해 이 값을 만들어 둡니다.
먼저 할 일과 확인할 지표
자동 통과분의 표본 재검수를 먼저 붙입니다.
통과된 8,000건 중 일부를 무작위로 뽑아 사람이 다시 봅니다.
이 값이 없으면 이후의 모든 판단이 근거를 잃습니다.
여기 드는 시간은 절감분 안에서 뺍니다.
규칙 갱신의 담당자와 주기를 절차로 확정합니다.
검수 담당자가 발견한 새 우회 패턴을 어느 조직이 며칠 안에 규칙에 반영하는지 정합니다.
외주 계약과 개발 요청 경로 양쪽에 들어가야 실제로 작동합니다.
위험군 비율 목표를 분기별로 내려 잡습니다.
20%를 시작값으로 두고, 리뷰량 증가에 맞춰 Q6까지 6.7% 수준으로 낮추는 계획을 함께 제시합니다.
비율을 낮추는 방법은 필터 정밀도 개선이며, 그 진척은 1번의 표본 검수로 확인합니다.
단독 판정 금지 규칙과 노출 지연 예외를 넣습니다.
아이피 중복과 메타데이터 부재는 다른 신호와 결합할 때만 위험군으로 올립니다.
신규 입점이나 캠페인 기간은 급증 감지의 예외로 등록해 정상 후기의 노출 지연을 막습니다.
| 확인할 지표 | 보는 이유 |
|---|---|
| 자동 통과분에서 나중에 발견된 허위 후기 비율 | 절감이 성과인지 누락인지 가르는 유일한 지표입니다. |
| 위험군 중 실제 허위로 확인된 비율 | 낮으면 정상 후기를 걸러 검수 인력의 시간을 낭비하고 있다는 신호입니다. |
| 심층 검수 건당 소요 시간 | 54초 수준이 유지되는지 봅니다. 다시 43초로 내려가면 집중이 아니라 물량 처리로 돌아간 것입니다. |
| 노출 지연이 걸린 정상 후기 건수와 지연 시간 | 급증 감지의 부작용 규모입니다. 후기 작성자와 병원이 부담하는 비용입니다. |
| 새 우회 패턴 발견부터 규칙 반영까지의 일수 | 이 값이 우회가 바뀌는 주기보다 길면 필터의 효과가 시간이 갈수록 떨어집니다. |