캘리브레이션 — 확률이 정직한지 확인하는 법
카드뉴스 내용을 글자로 보기
- 확률이 정직한지 확인하는 법 — 10시즌 검증 캘리브레이션 읽기
- 예측 구간마다 실제 승률은? — 막대는 실제 승률, 괄호는 예측 평균이에요
- MLB는 0.5%p 차이 — KBL 1.8%p · 구간별 차이의 경기 수 가중 평균
- 몇몇 구간은 3~4%p 차이
- 70%라고 했으면 70% 근처로
핵심 요약
- 예측 구간마다 실제 승률은? — 막대는 실제 승률, 괄호는 예측 평균이에요
- MLB는 0.5%p 차이 — KBL 1.8%p · 구간별 차이의 경기 수 가중 평균
- 몇몇 구간은 3~4%p 차이
'70%'라고 말한 경기들이 정말 70% 근처에서 이겼을까요? DATA ARENA 10시즌 검증의 확률 구간별 실제 승률을 리그별로 펼쳐 보고, 어디서 예측과 실제가 벌어졌는지 짚었어요.
캘리브레이션이 뭐예요?
일기예보에서 '비 올 확률 70%'라고 한 날을 100일 모았는데 실제로 비가 온 날이 70일 안팎이면, 그 예보는 확률이 정직한 거예요. 스포츠 예측도 같아요. 어떤 팀에 70%를 준 경기를 많이 모아 실제로 몇 %가 이겼는지 세면 돼요. 이걸 캘리브레이션(보정) 검사라고 해요.
DATA ARENA는 10시즌 검증(accuracy.json, 측정 9월 24일)에서 이 검사를 했어요. 우세 팀에 준 확률을 5%p 구간으로 나누고, 구간마다 우세 팀이 실제로 이긴 비율을 셌어요. 표본이 200경기 미만인 구간은 오차가 커서 표시하지 않아요. DATA ARENA 경기 리포트의 방법론에도 '60%라고 말한 경기들이 장기적으로 60% 근처에서 이겨야 한다'는 기준을 통과한 모델만 배포한다고 적혀 있어요.
NBA 확률 구간 7개를 펼쳐 보면
| 우세 확률 구간 | 경기 수 | 예측 평균 | 실제 승률 | 차이 |
|---|---|---|---|---|
| 50~55% | 2,297 | 52.5% | 52.2% | −0.3%p |
| 55~60% | 2,269 | 57.5% | 57.4% | −0.1%p |
| 60~65% | 1,940 | 62.4% | 61.2% | −1.2%p |
| 65~70% | 1,561 | 67.5% | 69.0% | +1.5%p |
| 70~75% | 1,344 | 72.4% | 72.3% | −0.1%p |
| 75~80% | 1,010 | 77.4% | 75.9% | −1.4%p |
| 80~100% | 1,472 | 85.8% | 82.5% | −3.4%p |
NBA는 표본이 많아 50%대부터 80% 이상까지 7개 구간이 모두 나와요. 나머지 6개 구간은 차이가 1.5%p 이하예요. 눈에 띄는 곳은 맨 끝 80% 이상 구간으로, 예측 평균 85.8%에 실제 82.5%였어요. 아주 높은 확률을 준 경기에서 실제 승률이 조금 덜 나왔다는 뜻이에요.
리그별 보정 오차
보정 오차(calibrationError)는 구간마다 '예측 평균과 실제 승률의 차이'를 구간 경기 수로 가중 평균한 값이에요. 파일의 구간 값으로 직접 계산해 보면 아래처럼 파일 값과 같게 나와요.
| 리그 | 표시된 구간 | 파일의 보정 오차 | 직접 계산 |
|---|---|---|---|
| KBO | 4개 | 0.94%p | 0.94%p |
| MLB | 5개 | 0.50%p | 0.50%p |
| NBA | 7개 | 1.02%p | 1.02%p |
| KBL | 5개 | 1.82%p | 1.82%p |
MLB가 0.5%p로 가장 작고, KBL이 1.8%p로 가장 커요. 경기 수가 적은 리그일수록 구간마다 표본이 작아 실제 승률이 더 흔들려요.
차이가 가장 컸던 구간
- KBL 65~70% 구간(367경기) — 예측 67.5%, 실제 63.5% (−4.0%p, 우연에 따른 흔들림 ±2.5%p)
- KBL 60~65% 구간(542경기) — 예측 62.4%, 실제 66.0% (+3.6%p, 우연에 따른 흔들림 ±2.0%p)
- NBA 80~100% 구간(1,472경기) — 예측 85.8%, 실제 82.5% (−3.4%p, 우연에 따른 흔들림 ±1.0%p)
- KBO 65~70% 구간(245경기) — 예측 66.8%, 실제 63.7% (−3.2%p, 우연에 따른 흔들림 ±3.1%p)
실제가 예측보다 낮으면 그 구간에서 확률을 조금 높게 준 것이고, 높으면 조금 낮게 준 거예요. 예를 들어 KBO 65~70% 구간은 245경기라 우연만으로도 ±3.1%p쯤 흔들릴 수 있어요. 차이가 이 범위 안팎이면 '확률이 크게 틀렸다'고 단정하기 어려워요.
이미지 · Håkan Dahlström from Malmö, Sweden / Wikimedia Commons(CC BY 2.0) · Staff Sgt. Raul Gonzalez / Wikimedia Commons(Public domain) · DaHuzyBru / Wikimedia Commons(CC BY-SA 4.0)
본 예측은 과거 경기 데이터와 공개된 경기 정보를 기반으로 계산된 통계적 추정치입니다. 실제 경기 결과를 보장하지 않으며, 베팅 또는 투자 판단을 권유하기 위한 정보가 아닙니다.
