적중률 분모의 함정
— 진행 중인 종목이 승률을 부풀린다
적중률은 적중 ÷ 분모입니다. 그런데 분모에 누가 들어오는지를 잘못 정하면, 계산이 전부 맞아도 숫자가 부풀려집니다. 이 글은 DawnScan이 실제로 저지른 오류와 그 정정 과정을 숫자 그대로 공개합니다.
분모에 “아직 안 끝난 것”을 넣으면 벌어지는 일
스캐너가 어떤 종목을 골랐다고 합시다. 성패는 20거래일 뒤에 정해집니다. 그런데 아직 5일밖에 안 지난 종목이 있습니다. 이걸 성적표에 넣어야 할까요?
“이미 목표에 도달했으면 넣고, 아직 아니면 나중에 판정한다” — 언뜻 합리적으로 들립니다. 이게 함정입니다. 같은 시기에 뽑힌 종목들 중 이긴 것만 먼저 분모에 들어오고, 아직 못 오른 것은 “판정 전”이라는 이유로 빠지기 때문입니다.
이 구조를 임상통계에서는 불멸시간 편향(immortal time bias)이라고 부릅니다. 결과가 나올 때까지 살아남아야만 집계에 들어오는 표본은, 그 조건 자체가 이미 성공을 요구합니다.
DawnScan이 실제로 저지른 오류
2026년 8월 11일, 이 사이트의 적중률 집계 코드에서 다음 규칙을 발견했습니다.
가운데 조건이 문제였습니다. 정정 당시(2026-08-11) 추적 중이던 픽 210건의 내역은 이랬습니다.
| 진행 중인 픽 | 건수 | 분모 진입 |
|---|---|---|
| 이미 +15% 도달 | 40건 | 들어옴 |
| 아직 도달 못 함 | 170건 | 빠짐 |
진행 중인 210건 중 이긴 40건만 성적표에 들어가고, 아직 못 오른 170건은 빠져 있었습니다. 규칙을 고쳐 20거래일이 끝난 픽만 세도록 하자 숫자는 이렇게 바뀌었습니다.
| 지표 | 정정 전 | 정정 후 |
|---|---|---|
| 누적 적중률 | 39.8% | 30.7% |
| 변동성 매칭 리프트(고정 +15% 기준) | +11.1%p | +2.9%p |
위 두 숫자는 2026-08-11 정정 시점의 값입니다. 현재 값이 아니라 “무엇이 얼마나 바뀌었는지”를 보여주기 위해 그대로 둡니다.
지금 값(2026-08-14): 성숙한 픽 259건 중 적중 73건 → 28.2%(95% 구간 ±5.4%p). 아직 진행 중인 픽은 211건이며, 그중 이미 도달한 58건과 미도달 153건은 둘 다 분모에 넣지 않습니다 — 이게 정정의 핵심입니다. 최신 값은 /track에서 직접 확인할 수 있습니다.
9.1%p가 사라졌습니다. 그리고 “스캐너가 같은 변동성 구간의 무작위 선택을 이긴다”는 주장도 이 기준에서는 통계적 유의성을 잃었습니다. 현재 수치는 적중률 페이지에서 정정된 기준으로 공개하고 있습니다.
왜 검산으로는 잡히지 않나
이 오류의 무서운 점은 계산이 전부 맞다는 것입니다. 신뢰구간도 정확히 계산되고, 다중검정 보정도 제대로 적용되고, 소수점까지 재현됩니다. 숫자를 아무리 다시 더해도 오류가 드러나지 않습니다.
그래서 성과 통계를 볼 때는 결과 숫자보다 모집단 정의를 먼저 봐야 합니다. 비슷한 함정으로 생존편향(망한 종목을 표본에서 빼는 것), 다중검정(여러 번 시험해 우연히 맞은 것을 고르는 것), 과최적화가 있습니다.
남의 성과를 볼 때 물어볼 세 가지
리딩방·유튜브·블로그의 “적중률 ○○%”를 만났을 때, 이 세 가지를 물어보면 대부분 걸러집니다.
-
진행 중인 종목은 어떻게 처리하나요?
“아직 보고 있다”는 답이 나오면 그 종목들은 분모에서 빠져 있을 가능성이 높습니다. 그중 이긴 것만 이미 실적에 들어가 있는지 확인해야 합니다. -
분모가 몇 건인가요? 전체 추천 건수와 같나요?
추천 100건인데 분모가 60이라면, 나머지 40건이 어디로 갔는지 물어야 합니다. -
기간이 끝난 종목만 세나요?
도중 목표 도달을 세는 것 자체는 문제가 아닙니다. 같은 시기의 실패도 함께 세는지가 핵심입니다.
DawnScan은 어떻게 처리하나
- 20거래일이 끝난 픽만 분모에 넣습니다. 도중에 목표에 도달했더라도 기간이 끝나기 전에는 집계하지 않습니다 — 같은 시기의 실패가 아직 분모에 없기 때문입니다.
- 상장폐지는 확정으로 보고 기간과 무관하게 분모에 넣습니다. 대부분 미달로 집계되어 적중률을 낮추지만, 빼면 생존편향이 됩니다.
- 같은 종목이 반복 선정되면 21일 창으로 1회만 셉니다 (반복 신호 참고).
- 이 규칙과 과거에 잘못 표기했던 사실을 적중률 페이지 본문에 그대로 적어 두었습니다.
숫자가 내려가는 정정을 공개하는 이유는 간단합니다. 유리한 기준을 골라 만든 숫자는 검증이 아니라 광고이기 때문입니다. 이 사이트가 측정하려는 것은 기저율이지 인상이 아닙니다.