我意識到勝率在騙我的那一刻
在我數據科學職業生涯的早期，我構建了一個我認為很棒的預測模型。它在測試數據上有68%的勝率。我非常興奮。
然後有人問了我一個簡單的問題：「你的Brier分數是多少？」
我完全不知道那是什麼。所以我計算了一下。結果我的「68%準確」模型實際上*比*僅使用市場共識概率*更差*。怎麼會？
因為我的模型過於自信。當它應該說60%時，它說了85%。高勝率掩蓋了糟糕的概率估計。
那天我學到了準確率和校準之間的區別。
校準實際上意味著什麼
這是我能給出的最簡單的定義：
一個經過校準的模型的60%預測應該大約60%的時間成真。
聽起來很明顯，對吧？但大多數模型在這個測試中表現很差。
為什麼單獨的勝率是危險的
勝率告訴你你的最高預測正確了多少次。但它忽略了其他一切：
問題1：信心水平
如果你預測主場勝率51%並且它發生了，那是一勝。如果你預測主場勝率90%並且它發生了，那也是一勝。同樣的分數，完全不同的質量。
問題2：概率分布
一個說「每場比賽都是50/50」的模型會非常無用。
問題3：它獎勵過度自信
模型學會更加極端，因為事後看起來很好。
我們實際上如何評估我們的模型
Brier分數：衡量你預測的概率和實際發生的事情之間的平方差。
校準桶：我們按信心水平分組所有預測，然後檢查實際命中率。
關鍵要點
- 1勝率可以隱藏過度自信、校準不良的模型
- 2校準意味著你的概率與現實匹配
- 3Brier分數衡量概率質量
- 4在不同信心水平上測試你的模型校準
- 5與基線比較——打敗隨機是不夠的
*OddsFlow提供AI驅動的體育分析，僅供教育和資訊目的。*