리프트와 신뢰구간
— 신호가 진짜인지 판별하는 법

“적중률 60%, 표본 20건”과 “적중률 42%, 표본 1,400건” 중 어느 쪽이 더 믿을 만할까요? 리프트와 신뢰구간을 알면 이 질문에 답할 수 있습니다. 수식 없이 정리합니다.

💡 핵심 한 줄 — 리프트는 기준선보다 얼마나 나은지, 신뢰구간은 그 숫자가 표본 운빨인지를 말해줍니다. 둘 다 없으면 적중률은 해석 불가입니다.

리프트(lift) — 기준선 대비 얼마나 나은가

리프트는 간단합니다.

리프트 = 신호 보유 시 적중률 − 기저율

기저율이 30%인데 어떤 신호의 적중률이 42%라면 리프트는 +12%p입니다. 이 +12%p가 신호의 실제 기여분입니다. 42%라는 숫자 자체가 아니라요.

리프트가 0에 가까우면 그 신호는 아무 정보도 주지 않는 것과 같습니다. 음수라면 오히려 없는 편이 낫습니다.

신뢰구간 — 그 숫자를 믿어도 되나

문제는 표본이 적으면 리프트가 운으로도 크게 나온다는 점입니다.

동전을 10번 던져 앞면이 7번 나왔다고 “이 동전은 앞면이 70% 나온다”고 하지 않습니다. 10번으로는 그 정도 편차가 흔하기 때문입니다. 적중률도 똑같습니다.

신뢰구간은 “표본 오차를 감안하면 실제 값은 이 범위 안에 있을 것”을 알려줍니다. 표본이 적을수록 범위가 넓어집니다.

관측	적중률	95% 신뢰구간(대략)	판정
표본 20건 중 12건 적중	60%	39% ~ 78%	기저율 30%와 겹칠 수도 있음 → 판단 보류
표본 1,400건 중 588건 적중	42%	39% ~ 45%	기저율 30%를 확실히 상회

적중률만 보면 60%가 더 좋아 보이지만, 믿을 수 있는 쪽은 42%입니다. 표본 20건짜리 60%는 다음 20건에서 35%가 나와도 이상하지 않습니다.

DawnScan의 판정 기준

기저율 증명 페이지는 다음 세 가지를 함께 표시합니다.

표본 — 100건 미만이면 “표본 부족”으로 표시하고 회색 처리합니다. 참고용일 뿐 판단 근거로 쓰지 않습니다.
95% CI 하한 — Wilson 방식으로 계산한 보수적 하한값입니다. 이 값이 기저율보다 높아야 우연이 아닌 것으로 봅니다.
✓BH — 다중검정 보정까지 통과했는지 표시합니다.

세 조건을 모두 통과해야 “유의한 신호”로 취급합니다. 하나만 통과한 것은 후보일 뿐입니다.

⚠️ CI 하한을 쓰는 이유 — 중앙값(적중률)이 아니라 하한을 기준으로 삼는 것은 보수적 판단입니다. “잘하면 이만큼”이 아니라 “못해도 이만큼”을 보고 결정하겠다는 뜻입니다.

표본은 몇 건이면 충분한가

정답은 없지만 감은 잡을 수 있습니다. 기저율 30% 수준에서 +10%p 정도의 차이를 안정적으로 구분하려면 대체로 수백 건 단위의 표본이 필요합니다.

그래서 DawnScan은 최소 기준을 100건으로 두되, 그것도 “충분”이 아니라 “최소한 이건 넘어야 논의를 시작한다”는 선으로 씁니다. 여기에 중복 관측 제거까지 적용하면 실제 유효 표본은 더 줄어듭니다.

📌 정리 — 적중률을 볼 때 세 숫자를 세트로 확인하세요. ① 기저율(비교 대상) ② 리프트(차이) ③ 표본 수와 신뢰구간(믿을 만한가). 하나라도 빠지면 그 적중률은 해석할 수 없는 숫자입니다.

자주 묻는 질문

리프트가 뭔가요?

신호 보유 시 적중률에서 기저율을 뺀 값입니다. 기저율 30%인 시장에서 적중률이 42%라면 리프트는 +12%p이고, 이 12%p가 신호의 실제 기여분입니다. 리프트가 0에 가까우면 그 신호는 정보를 주지 않는 것과 같고, 음수라면 없는 편이 낫습니다.

신뢰구간은 왜 필요한가요?

표본이 적으면 우연만으로도 높은 적중률이 나올 수 있기 때문입니다. 동전을 10번 던져 앞면이 7번 나와도 그 동전이 70% 동전은 아닙니다. 신뢰구간은 표본 오차를 감안한 범위를 알려주며, 표본이 적을수록 범위가 넓어집니다.

적중률 60%(20건)와 42%(1,400건) 중 어느 쪽이 나은가요?

42% 쪽이 신뢰할 만합니다. 20건 기준 60%는 95% 신뢰구간이 대략 39~78%로 매우 넓어 기저율 30%와 겹칠 여지가 있습니다. 반면 1,400건 기준 42%는 구간이 39~45%로 좁아 기저율을 확실히 상회합니다. 절대 수치가 아니라 구간과 표본을 함께 봐야 합니다.

표본이 몇 건이면 충분한가요?

확정된 기준은 없지만, 기저율 30% 수준에서 +10%p 차이를 안정적으로 구분하려면 대체로 수백 건이 필요합니다. DawnScan은 100건을 최소선으로 두고 그 미만은 '표본 부족'으로 표시합니다. 100건은 충분하다는 뜻이 아니라 논의를 시작할 수 있는 최소선입니다.