이전 라이브 서비스에서 수작업을 대폭 단축한 경험을 바탕으로, 의료 정보 플랫폼 확장에 필요한 외주사(BPO) 관리 자동화 파이프라인을 제안합니다.
반복적인 데이터 정제·검수 시간을 단축하고 휴먼 에러를 차단합니다.
이슈 발생 전 커뮤니티 동향을 파악하여 리스크를 유관 부서에 미리 알립니다.
현장의 불만(정성적 피드백)을 개발팀이 바로 구현할 수 있는 지표로 변환합니다.
한 줄 요약
검수 시간을 75% 줄인다는 것은 1만 건 중 8천 건을 그냥 통과시킨다는 뜻이기도 합니다. 그래서 필터가 무엇을 놓치는지를 함께 정의했습니다
사람이 집중해서 보는 건
2,000건
1만 건 가운데
사람이 보지 않는 건
8,000건
여기 섞인 가짜는 그대로 노출
Q6 리뷰량 대 검수 한계
3배
9,000건 대 3,000건
그래서 무엇이 관건인가
필터가 무엇을 놓치는지
문제로 지목한 것이 '교묘한 가짜'인데, 교묘한 것일수록 규칙에 안 걸립니다
한계선은 멈춰 있고 양은 는다
인력 한계는 3,000건에 고정인데 리뷰는 계속 올라갑니다
처리 시간은 누구의 지표인가
빨리 처리했다는 것은 운영 조직의 지표이지 이용자가 느끼는 값이 아닙니다
BPO는 업무를 외부 업체에 맡겨 처리하는 방식입니다. 여기서는 리뷰 검수를 맡은 외주사를 가리킵니다.
병원·시술 정보와 실제 진료 후기를 근거로 병원을 선택하게 돕는 서비스를 다룹니다.
후기가 선택의 기준이므로 대가성 허위 후기가 가장 큰 리스크입니다.
현재 검수는 외주사(BPO) 인력이 후기를 개별 확인하는 수작업으로 처리되고 있습니다.
글로벌 진출로 인해 검수해야 할 데이터가 기하급수적으로 늘어납니다.
인력을 무한정 늘릴 수 없으며, 피로도는 결국 '교묘한 가짜 후기 누락'으로 이어집니다.
※ 출처: 플랫폼 성장 곡선 대비 외주 인력 투입 한계 가설 시뮬레이션
모든 리뷰를 눈으로 보기 전, 자동 분류 로직을 통해 업무량을 줄입니다.
위험군(20%)만 타겟팅하여 이미지 조작 등 고난도 검수에 집중
※ 출처: 담당 중인 라이브 서비스의 운영 효율화 경험을 대입한 추정치
운영 현장이나 커뮤니티에서 발견된 정성적인 이슈를,
기획·개발팀이 즉시 구현 가능한 시스템 스펙으로 변환하는 과정을 경험해 보세요.
문제 정의 차트의 두 선과 해결 전략의 위험군 20%를 같은 표에 놓고 분기별로 비교했습니다.
| 분기 | 리뷰 생성량 | 수작업 검수 한계 | 초과분 | 위험군 20% 물량 | 한계 대비 |
|---|---|---|---|---|---|
| Q1 | 1,000 | 1,500 | -500 | 200 | 0.13배 |
| Q2 | 2,500 | 2,000 | +500 | 500 | 0.25배 |
| Q3 | 5,000 | 2,500 | +2,500 | 1,000 | 0.40배 |
| Q4 | 12,000 | 3,000 | +9,000 | 2,400 | 0.80배 |
| Q5 | 25,000 | 3,000 | +22,000 | 5,000 | 1.67배 초과 |
| Q6 | 45,000 | 3,000 | +42,000 | 9,000 | 3.00배 초과 |
6개 분기 누적 리뷰
90,500건
검수 가능 총량은 15,000건
사람이 볼 수 있는 비율
16.6%
나머지 75,500건은 미검수
Q6 격차
15배
45,000건 대비 한계 3,000건
20%는 고정값이 될 수 없습니다
위험군을 20%로 좁히면 Q4까지는 한계선 안에 들어옵니다.
2,400건 대 3,000건이므로 여유가 있습니다.
그런데 Q5에서 5,000건이 되어 한계선의 1.67배가 되고, Q6에는 9,000건으로 3배가 됩니다.
한계선은 Q4부터 3,000건에 멈춰 있는데 리뷰량은 계속 오르기 때문입니다.
Q6에서 3,000건 안에 들어오려면 위험군 비율이 6.7% 이하여야 합니다.
같은 자동 필터가 분기마다 더 정밀해져야 한다는 뜻이고, 이는 한 번 만들어 두는 기능이 아니라 계속 조여야 하는 운영 대상이라는 의미입니다.
제안서에 20%를 단일 수치로 적으면 이 조임 과정이 업무 계획에서 빠집니다.
기존 수작업
건당 43.2초
1만 건 전체를 120시간에 처리하는 기준입니다.
자동 필터 도입 후
건당 54초
위험군 2,000건을 30시간에 보는 기준으로,
오히려 1.25배 길어집니다.
문서가 스스로 설명한 구조와 계산이 맞물립니다
총 시간은 120시간에서 30시간으로 75% 줄어듭니다.
그런데 사람이 보는 건수도 1만 건에서 2,000건으로 줄기 때문에,
건당 시간은 43.2초에서 54초로 늘어납니다. 이 수치는 문서가 3단계에 적어둔 이미지 조작 등 고난도 검수에 집중이라는 설명과 정확히 같은 방향입니다.
즉 이 제안의 성격은 검수를 빨리 하는 것이 아니라 검수 대상을 바꾸는 것입니다.
쉬운 건을 기계에 넘기고 사람은 어려운 건에 시간을 더 씁니다.
발표에서 75% 절감만 말하면 비용 절감안으로 들리지만, 건당 시간이 늘어난다는 점을 함께 말하면 인력을 줄이려는 안이 아니라 인력을 제대로 쓰려는 안이라는 것이 분명해집니다.
1차 자동 필터링의 판정 근거를 하나씩 따라가 보면, 각 규칙이 작동하기 위한 전제가 서로 다릅니다.
이미지 메타데이터 검증은 원본을 직접 올린 경우에만 작동합니다
요구사항에 생성일자 불일치 시 위험군 자동 분류가 적혀 있습니다.
그런데 메신저나 소셜 미디어를 거친 사진은 대체로 메타데이터가 지워진 상태로 도착합니다.
실제 환자가 병원에서 받은 사진을 메신저로 전달받아 올리는 경우가 흔하므로, 메타데이터가 없는 것 자체는 어뷰징 신호가 아닙니다.
메타데이터 부재를 위험으로 볼지 판정 불가로 볼지 먼저 정해야 하고, 부재를 위험으로 두면 정상 후기가 대량으로 위험군에 들어와 20% 목표부터 무너집니다.
중복 아이피는 정상 사례를 함께 잡습니다
병원 대기실 와이파이로 후기를 남기면 여러 환자가 같은 아이피를 씁니다.
이동통신망에서도 다수 이용자가 아이피를 공유합니다.
병원이 진료 후 후기 작성을 안내하는 것 자체는 문제가 아니므로, 아이피 중복 단독으로는 판정 근거가 약합니다. 작성 시간 간격이나 계정 생성 시점 같은 다른 신호와 함께 볼 때만 의미가 생깁니다.
금칙어 규칙은 갱신 주기를 정해야 유지됩니다
걸러진 표현을 바꾸는 데는 오래 걸리지 않습니다.
반면 금칙어 목록과 임계치를 고치는 주체는 검수를 수행하는 외주사가 아니라 플랫폼 개발 조직입니다. 규칙을 고치려면 개발 일정에 들어가야 하므로, 누가 언제 갱신하는지를 운영 절차에 미리 넣지 않으면 우회 속도가 갱신 속도를 앞지릅니다.
검수 담당자가 발견한 새 패턴이 규칙으로 돌아오는 경로가 이 제안의 실제 수명입니다.
급증 감지 임계치는 성장 국면을 감안해야 합니다
두 번째 요구사항의 임계치는 최근 7일 평균 대비 300% 초과입니다.
기준을 이동 평균으로 잡은 것은 적절한 선택입니다.
문제 정의 차트대로 리뷰량이 분기마다 80%에서 150%씩 늘어나는 국면에서는 고정 기준을 쓰면 정상 유입까지 계속 걸리기 때문입니다.
다만 신규 병원 입점이나 시술 성수기처럼 정상적인 사유로 300%를 넘는 구간이 있습니다.
이때 신규 글 노출을 지연시키면 손해를 보는 쪽은 브로커가 아니라 실제로 후기를 쓴 환자와 해당 병원입니다.
입점 직후나 캠페인 기간을 예외로 등록하는 절차를 함께 두면 이 부작용을 줄일 수 있습니다.
제안서에 적힌 면
검수 시간 75% 절감
1만 건 중 2,000건에 집중합니다.
같은 수치의 다른 면
8,000건은 사람이 보지 않음
여기에 섞인 허위 후기는 그대로 노출됩니다.
이 제안의 성패는 필터가 무엇을 놓치는지에 달려 있습니다
문제 정의는 수작업의 한계를 피로도로 인한 교묘한 가짜 후기 누락으로 적었습니다.
정확한 진단입니다.
그런데 자동 필터를 넣으면 누락의 원인이 사라지는 것이 아니라 사람의 피로도에서 필터의 규칙으로 옮겨갑니다. 필터가 위험군으로 올리지 못한 건은 검수 담당자가 볼 기회조차 없어집니다.
수작업 시절에는 누락이 담당자마다 흩어져 발생했지만,
필터를 쓰면 규칙에 빈틈이 있는 유형만 일관되게 통과합니다.
한 번 통과한 방법을 반복해서 쓸 수 있다는 뜻입니다.
같은 총량의 누락이라도 흩어진 누락보다 한 유형에 몰린 누락이 위험합니다.
앞의 규칙 갱신 주기가 필요한 이유가 여기 있습니다.
의료 후기는 품질 문제이자 법적 문제입니다
환자의 치료 경험을 담은 후기를 병원 홍보에 활용하는 것은 의료 광고 규제를 받는 영역입니다.
따라서 대가성 허위 후기를 걸러내는 일은 서비스 신뢰도 관리에 그치지 않고 플랫폼이 지는 법적 위험을 줄이는 일에 해당합니다.
제안의 근거를 검수 비용 절감에만 두면 예산 항목으로 취급되지만,
규제 대응이라는 성격을 함께 적으면 우선순위가 달라집니다.
같은 이유로 놓친 건수와 조치 내역을 기록으로 남기는 체계가 나중에 대응 노력을 설명하는 근거가 됩니다.
플랫폼과 외주사가 보는 것
처리 시간과 처리 건수입니다.
짧을수록 좋은 지표이고 정산 근거이기도 합니다.
병원을 고르는 사람이 보는 것
후기가 사실인지 여부입니다.
검수가 몇 시간 걸렸는지는 관심 밖입니다.
시간만 지표로 두면 방향이 반대로 잡힙니다
위험군 비율을 낮추면 검수 시간이 줄어듭니다.
필터를 느슨하게 잡을수록 성과 지표는 좋아지고 놓치는 건수는 늘어납니다.
처리 시간만 측정하는 상태에서는 이 둘을 구분할 방법이 없습니다.
앞에서 계산한 Q6의 6.7%도 마찬가지입니다.
기준을 느슨하게 해서 도달한 것인지 필터가 정밀해져서 도달한 것인지는 놓친 건수를 함께 재야 판별됩니다.
그래서 이 제안에 필요한 지표는 절감률이 아니라 자동 통과분에서 나중에 발견된 허위 후기의 비율입니다.
이 값은 현재 측정되지 않고 있으며, 도입 이후에도 별도 표본 검수를 설계하지 않으면 알 수 없습니다.
측정 체계가 없으면 개선 여부 자체를 말할 수 없다는 점이 이 제안의 가장 큰 공백입니다.
자동 통과분의 표본 재검수를 먼저 붙입니다
필터 도입과 동시에, 통과된 8,000건 중 일정 규모를 무작위로 뽑아 사람이 다시 봅니다.
여기서 나온 허위 후기 비율이 없으면 이후의 모든 판단이 근거를 잃습니다.
표본 검수에 드는 시간은 절감분 안에서 확보할 수 있습니다.
규칙 갱신의 담당자와 주기를 절차로 확정합니다
검수 담당자가 발견한 새 우회 패턴을 어느 조직이 며칠 안에 규칙에 반영하는지 정합니다.
외주 계약과 개발 요청 경로 양쪽에 들어가야 실제로 작동합니다.
위험군 비율 목표를 분기별로 내려 잡습니다
20%를 시작값으로 두고, 리뷰량 증가에 맞춰 Q6까지 6.7% 수준으로 낮추는 계획을 함께 제시합니다.
비율을 낮추는 방법은 필터 정밀도 개선이며, 그 진척은 1번의 표본 검수로 확인합니다.
단독 판정 금지 규칙과 노출 지연 예외를 넣습니다
아이피 중복과 메타데이터 부재는 다른 신호와 결합할 때만 위험군으로 올립니다.
신규 입점이나 캠페인 기간은 급증 감지의 예외로 등록해 정상 후기의 노출 지연을 막습니다.
| 확인할 지표 | 보는 이유 |
|---|---|
| 자동 통과분에서 나중에 발견된 허위 후기 비율 | 절감이 성과인지 누락인지 가르는 유일한 지표입니다. |
| 위험군 중 실제 허위로 확인된 비율 | 낮으면 정상 후기를 걸러 검수 인력의 시간을 낭비하고 있다는 신호입니다. |
| 심층 검수 건당 소요 시간 | 54초 수준이 유지되는지 봅니다. 다시 43초로 내려가면 집중이 아니라 물량 처리로 돌아간 것입니다. |
| 노출 지연이 걸린 정상 후기 건수와 지연 시간 | 급증 감지의 부작용 규모입니다. 후기 작성자와 병원이 부담하는 비용입니다. |
| 새 우회 패턴 발견부터 규칙 반영까지의 일수 | 이 값이 우회가 바뀌는 주기보다 길면 필터의 효과가 시간이 갈수록 떨어집니다. |
분석의 한계