紀錄工作經驗、相關知識,解決技術相關問題。

時事新聞, 資訊相關

線性規劃能做 Weight-Space Programming 嗎?用 LP 修正小模型思考迴圈的實驗

線性規劃能做 Weight-Space Programming 嗎?用 LP 修正小模型思考迴圈的實驗 特色圖片

近年大型語言模型多半靠梯度下降(gradient descent)訓練,直接改權重(weights)的做法相對少見。

這個月 MIT CSAIL 發表 Sparks of Weight-Space Programming,讓通用大型語言模型直接讀寫另一個網路的權重,不經過梯度下降。

隨後開發者 Nathan Barry 指出:其中一項權重編輯,本質上是線性規劃(Linear Programming,簡稱 LP)問題,解幾次 LP、每次約一分鐘,就能取代原本約 8 小時的試誤。

我們來看看這個想法是什麼、作者怎麼驗證,以及限制在哪裡。

什麼是「權重空間程式設計」

MIT CSAIL 把 Weight-Space Programming 描述成:讓通用的大型語言模型直接讀取、寫入另一個網路的權重,不經過最佳化器或梯度下降。

其中一項實驗,是請名為 GPT-6 Astra 的模型編輯 Qwen3.5-0.8B 的權重。依 MIT 文章,改動約 0.016%(131,072 個)權重,MATH-500 正確率從 7.9% 升到 48.1%。

Barry 討論的正是這項編輯。小型推理模型常陷入思考迴圈(thinking loop),不斷重複同幾行文字而寫不出結論。他引用的數字是,Qwen3.5-0.8B 在 MATH-500 上有 93.0% 的回答撞到 32,768 token 上限。

所以這個編輯的作用是消除迴圈,不是教模型新的數學。

作者怎麼用線性規劃來做

Astra 的編輯

模型每層的輸出會加回殘差流(residual stream)。Barry 的說明是,模型陷入迴圈時,殘差流會往固定的迴圈方向 u 偏移。

Astra 修改第 15、19 層 MLP 的 down_proj 矩陣,讓輸出往 u 的反方向推,等於一個秩為 1 的更新 ΔW = u vᵀ。方向 u 約 15 分鐘就找到,難的是向量 v:要改哪些欄位、改多少。依作者引用的紀錄,這一步花了約 8 小時。

把選 v 變成 LP

某個 token 被推動的量是 v · h,對 v 是線性的,所以兩個需求都能寫成不等式。作者用基礎模型自己的回答標記資料:

類別條件限制
迴圈 token已深入迴圈內部推離 u 至少 δ
正常 token迴圈開始前很早,或完整回答中推動量不超過 ε
示意圖:圓形軌道上的紅色彈珠被槓桿推到直線軌道,直線軌道上的藍色彈珠維持原來的位置與速度
圖:LP 讓迴圈被推離,正常輸出不動

目標是讓 v 的 L1 範數(各分量絕對值總和)最小。作者的解釋是,這樣解多半落在頂點,多數分量剛好為 0,求解器同時決定「改哪幾欄」與「改多少」。無法全部滿足的限制則加上有懲罰的鬆弛變數(slack variable)。

求解器方面,作者說 HiGHS 每次要超過 20 分鐘,所以自己寫了 GPU 版 PDHG(PDLP 背後的演算法),約一分鐘逼近最佳值 0.2% 以內。

實驗結果與限制

作者測了兩種 LP 編輯:沿用 Astra 的方向 u,以及用簡單的重複偵測器自動標記、不靠語言模型的方向。LP 參數在另一組 128 題開發集上調整,下表是未用於調參的資料。

模型改動的權重數
基礎模型0
Astra 的編輯130,188
LP(Astra 的方向)16,291
LP(自動標記的方向)16,271
模型GSM8K testMATH-500IFEval
基礎模型14.17.022.9
Astra 的編輯68.250.961.9
LP(Astra 的方向)69.651.759.7
LP(自動標記的方向)65.447.860.4

資料來源:Nathan Barry 原文的 Results 表格,為作者自己的評測環境結果。

作者的結論是:用 Astra 的方向時,LP 與 Astra 的編輯差異在誤差範圍內,但改動的權重少約 8 倍;用自動標記的方向則約達 93%。

其實是固定的推力

LP 選出的第 15 層 8 欄在 89% 的 token 上都有作用,推力幾乎不隨 token 變化。所以作者把平均推力直接加到未編輯的模型上,當作 steering vector。

強度 1 倍時 MATH-500 為 50.8,接近編輯版;0.5 倍時迴圈回來,2 倍時迴圈消失但推理品質崩壞。差別只在交付方式:LP 編輯是一般 checkpoint,steering vector 則需要推論時多跑額外程式。

示意圖:同一條木軌上有一個木塊與一道終點閘門,木塊靠近起點的一端有彈簧,示意固定推力的強度會決定木塊停在哪裡
圖:固定推力的強度,要落在窄範圍內才有效

作者列出的限制

  • 只測一個模型、一種行為,能否推廣到其他模型與行為,目前沒有資料。
  • 層的選擇仍依賴 Astra,最好的結果也用 Astra 的方向。
  • 迴圈用固定推力就能修,LP 的逐 token 限制其實沒被真正考驗。

這個想法的意義

以下是站長的看法。

這篇文章值得看的地方,是把看似玄的「讓 AI 改權重」拆回可檢查的數學問題:目標與限制明確,解出來就能和人工結果比較。

依作者的結果,這個行為近似固定推力,用 steering vector 在 MATH-500 上也得到接近的分數,不一定要動權重;但這只是同一個模型、同一種行為的結果。

不過這是單一模型的個人實驗,作者自己也說評測環境是重新實作的,數字不宜直接推到其他模型。想驗證的話,可以看作者公開的程式碼。

參考資料與延伸閱讀

發佈留言