自製決策模型懶人包

用現成 LLM 模擬 Jev：單步推論加校準

sourceNish Tahir 2026-10-10

Lead: 決策模型不逐字生成，只從固定選項挑一個，並附可信的機率。照三步做，現成小模型也能達到接近效果。

A

兩種推論

B

三步做法

拼提示詞：題目加選項，結尾加 Answer:。
取最後位置的 logits，只對選項 token 做 softmax。
取 argmax 當答案，機率分布當信心初值。

C

準確率

版本	accuracy	macro F1
Qwen3-1.7B 零樣本	0.5938	0.5844
資料集 finetune 後	0.6241	0.6234

測試集：CommonsenseQA holdout，共 1221 題。

D

校準前後

狀態	最高信心桶	該桶實際答對率	ECE
未校準 T = 1.0	0.99	0.70	20.1%
校準 T = 3.80	0.93	0.95	2.9%

未校準模型過度自信。調高 temperature 可壓平分布，讓信心貼近真實答對率。

E

關鍵提醒

機率不等於答對率

沒額外訓練時，token 機率只反映下一個 token 的信心，不是答案正確的機率。模糊題最能暴露這點：蝙蝠題下模型以 0.9978 選山洞，但本來就沒有標準答案。

F

社群反應

HN 討論串 366 points、80 則留言。三大戰場：命名之爭（分類器換名？）、校準方法（事後調參是否算 p-hacking？）、架構質疑（mask 只是受限生成？）。實用派回報：論文分類、指令風控、測試 harness 都已落地。

G

相關連結

原文：https://nishtahir.com/build-your-own-decision-model/
教學 repo：https://github.com/nishtahir/build-your-own-jev
HN 討論：https://news.ycombinator.com/item?id=50037949
Jev 官方介紹：https://typesafe.ai/blog/introducing-system-one-models-and-jev

---
title: 自製決策模型懶人包
subtitle: 用現成 LLM 模擬 Jev：單步推論加校準
source: Nish Tahir 2026-10-10
---

Lead: 決策模型不逐字生成，只從固定選項挑一個，並附可信的機率。照三步做，現成小模型也能達到接近效果。

## 兩種推論 {span=2}

```flow
T[傳統 LLM] -> J[輸出合法 JSON]: 逐 token 生成
J -> N[11 次 forward pass]: 每 token 跑一次
D[決策模型] -> O[只准吐 A～E]: mask 詞表其餘 token
O -> P[單次 pass 得答案]: 取機率最高者
```

## 三步做法

1. 拼提示詞：題目加選項，結尾加 `Answer:`。
2. 取最後位置的 logits，只對選項 token 做 softmax。
3. 取 argmax 當答案，機率分布當信心初值。

## 準確率

| 版本 | accuracy | macro F1 |
|------|----------|----------|
| Qwen3-1.7B 零樣本 | 0.5938 | 0.5844 |
| 資料集 finetune 後 | 0.6241 | 0.6234 |

測試集：CommonsenseQA holdout，共 1221 題。

## 校準前後

| 狀態 | 最高信心桶 | 該桶實際答對率 | ECE |
|------|-----------|----------------|-----|
| 未校準 T = 1.0 | 0.99 | 0.70 | 20.1% |
| 校準 T = 3.80 | 0.93 | 0.95 | 2.9% |

未校準模型過度自信。調高 temperature 可壓平分布，讓信心貼近真實答對率。

## 關鍵提醒

```callout warn 機率不等於答對率
沒額外訓練時，token 機率只反映下一個 token 的信心，不是答案正確的機率。模糊題最能暴露這點：蝙蝠題下模型以 0.9978 選山洞，但本來就沒有標準答案。
```

## 社群反應

HN 討論串 366 points、80 則留言。三大戰場：命名之爭（分類器換名？）、校準方法（事後調參是否算 p-hacking？）、架構質疑（mask 只是受限生成？）。實用派回報：論文分類、指令風控、測試 harness 都已落地。

## 相關連結

- 原文：https://nishtahir.com/build-your-own-decision-model/
- 教學 repo：https://github.com/nishtahir/build-your-own-jev
- HN 討論：https://news.ycombinator.com/item?id=50037949
- Jev 官方介紹：https://typesafe.ai/blog/introducing-system-one-models-and-jev