“내일 오를 확률 60%”와 “90%”는 같은 말이 아닙니다. 둘 다 틀릴 수 있지만 90%라고 말한 쪽이 훨씬 강한 자신감을 보였습니다. 확률예측을 평가할 때는 이 차이를 남겨야 합니다.
계산은 단순합니다.
결과가 일어나면 1, 일어나지 않으면 0으로 놓고 (예측확률 - 실제결과)²를 계산합니다. 점수는 낮을수록 좋습니다.
60% 예측이 맞음(0.6-1)² = 0.16
90% 예측이 맞음(0.9-1)² = 0.01
60% 예측이 틀림(0.6-0)² = 0.36
90% 예측이 틀림(0.9-0)² = 0.81
왜 적중률만 보면 부족할까
늘 51%라고만 말하면 맞은 횟수는 그럭저럭 나올 수 있지만 정보량은 크지 않습니다. 반대로 90%를 자주 말하면서 자주 틀리면 과도한 자신감이 드러납니다. Brier Score는 이런 차이를 잡아냅니다.
한 번의 점수로 실력을 말할 수는 없습니다.
예측 수가 충분히 쌓이고, 훈련에 쓰지 않은 구간에서도 성과가 반복되는지 봐야 합니다. Brier는 그 과정에서 쓰는 한 도구일 뿐입니다.
확률을 평가할 때
확률예측은 맞고 틀림뿐 아니라 ‘얼마나 자신 있게 말했나’까지 평가해야 합니다.
이 글은 시장 개념을 설명하기 위한 교육 콘텐츠이며 특정 금융상품의 매수·매도 권유가 아닙니다.