近年大型語言模型多半靠梯度下降(gradient descent)訓練,直接改權重(weights)的做法相對少見。
這個月 MIT CSAIL 發表 Sparks of Weight-Space Programming,讓通用大型語言模型直接讀寫另一個網路的權重,不經過梯度下降。
隨後開發者 Nathan Barry 指出:其中一項權重編輯,本質上是線性規劃(Linear Programming,簡稱 LP)問題,解幾次 LP、每次約一分鐘,就能取代原本約 8 小時的試誤。
我們來看看這個想法是什麼、作者怎麼驗證,以及限制在哪裡。
什麼是「權重空間程式設計」
MIT CSAIL 把 Weight-Space Programming 描述成:讓通用的大型語言模型直接讀取、寫入另一個網路的權重,不經過最佳化器或梯度下降。
其中一項實驗,是請名為 GPT-6 Astra 的模型編輯 Qwen3.5-0.8B 的權重。依 MIT 文章,改動約 0.016%(131,072 個)權重,MATH-500 正確率從 7.9% 升到 48.1%。
Barry 討論的正是這項編輯。小型推理模型常陷入思考迴圈(thinking loop),不斷重複同幾行文字而寫不出結論。他引用的數字是,Qwen3.5-0.8B 在 MATH-500 上有 93.0% 的回答撞到 32,768 token 上限。
所以這個編輯的作用是消除迴圈,不是教模型新的數學。
作者怎麼用線性規劃來做
Astra 的編輯
模型每層的輸出會加回殘差流(residual stream)。Barry 的說明是,模型陷入迴圈時,殘差流會往固定的迴圈方向 u 偏移。
Astra 修改第 15、19 層 MLP 的 down_proj 矩陣,讓輸出往 u 的反方向推,等於一個秩為 1 的更新 ΔW = u vᵀ。方向 u 約 15 分鐘就找到,難的是向量 v:要改哪些欄位、改多少。依作者引用的紀錄,這一步花了約 8 小時。
把選 v 變成 LP
某個 token 被推動的量是 v · h,對 v 是線性的,所以兩個需求都能寫成不等式。作者用基礎模型自己的回答標記資料:
| 類別 | 條件 | 限制 |
|---|---|---|
| 迴圈 token | 已深入迴圈內部 | 推離 u 至少 δ |
| 正常 token | 迴圈開始前很早,或完整回答中 | 推動量不超過 ε |

目標是讓 v 的 L1 範數(各分量絕對值總和)最小。作者的解釋是,這樣解多半落在頂點,多數分量剛好為 0,求解器同時決定「改哪幾欄」與「改多少」。無法全部滿足的限制則加上有懲罰的鬆弛變數(slack variable)。
求解器方面,作者說 HiGHS 每次要超過 20 分鐘,所以自己寫了 GPU 版 PDHG(PDLP 背後的演算法),約一分鐘逼近最佳值 0.2% 以內。
實驗結果與限制
作者測了兩種 LP 編輯:沿用 Astra 的方向 u,以及用簡單的重複偵測器自動標記、不靠語言模型的方向。LP 參數在另一組 128 題開發集上調整,下表是未用於調參的資料。
| 模型 | 改動的權重數 |
|---|---|
| 基礎模型 | 0 |
| Astra 的編輯 | 130,188 |
| LP(Astra 的方向) | 16,291 |
| LP(自動標記的方向) | 16,271 |
| 模型 | GSM8K test | MATH-500 | IFEval |
|---|---|---|---|
| 基礎模型 | 14.1 | 7.0 | 22.9 |
| Astra 的編輯 | 68.2 | 50.9 | 61.9 |
| LP(Astra 的方向) | 69.6 | 51.7 | 59.7 |
| LP(自動標記的方向) | 65.4 | 47.8 | 60.4 |
資料來源:Nathan Barry 原文的 Results 表格,為作者自己的評測環境結果。
作者的結論是:用 Astra 的方向時,LP 與 Astra 的編輯差異在誤差範圍內,但改動的權重少約 8 倍;用自動標記的方向則約達 93%。
其實是固定的推力
LP 選出的第 15 層 8 欄在 89% 的 token 上都有作用,推力幾乎不隨 token 變化。所以作者把平均推力直接加到未編輯的模型上,當作 steering vector。
強度 1 倍時 MATH-500 為 50.8,接近編輯版;0.5 倍時迴圈回來,2 倍時迴圈消失但推理品質崩壞。差別只在交付方式:LP 編輯是一般 checkpoint,steering vector 則需要推論時多跑額外程式。

作者列出的限制
- 只測一個模型、一種行為,能否推廣到其他模型與行為,目前沒有資料。
- 層的選擇仍依賴 Astra,最好的結果也用 Astra 的方向。
- 迴圈用固定推力就能修,LP 的逐 token 限制其實沒被真正考驗。
這個想法的意義
以下是站長的看法。
這篇文章值得看的地方,是把看似玄的「讓 AI 改權重」拆回可檢查的數學問題:目標與限制明確,解出來就能和人工結果比較。
依作者的結果,這個行為近似固定推力,用 steering vector 在 MATH-500 上也得到接近的分數,不一定要動權重;但這只是同一個模型、同一種行為的結果。
不過這是單一模型的個人實驗,作者自己也說評測環境是重新實作的,數字不宜直接推到其他模型。想驗證的話,可以看作者公開的程式碼。
參考資料與延伸閱讀
- Nathan Barry,Can a Linear Program Do Weight-Space Programming?(本文主要來源)
- Nathan Barry,weight-space-lp 程式碼與完整寫作稿(GitHub)
- Takehi、Teoh、Zhang、Khattab(MIT CSAIL),Sparks of Weight-Space Programming
- Astra 執行紀錄(GitHub,CC BY 4.0)
發佈留言