事件總覽:從大腦模擬未來的心理歷程到全新數學模型 ROSETTE 的誕生,這項研究為人類決策機制提供了前所未有的精確解析。
📅 基礎模型建構:ROSETTE 的運作邏輯
在此之前,科學界對於人類如何進行基於模擬的規劃(rollout-based planning)一直缺乏完美的數學解釋。為了發展出在數學上可處理的模型,研究團隊推出了隨機早期終止與可處理估計模型(Rollouts with Stochastic Early Termination and Tractable Estimation,簡稱 ROSETTE)。ROSETTE 將這種規劃形式公式化,同時允許解析上可處理的行動機率。這種可處理性本身並不能證明該過程在心理學上是正確的,這個問題必須透過模型比較和模型檢驗來評估。規劃中的一個核心挑戰是,可能未來的空間隨著每次模擬的行動而快速增長。為了管理這種複雜性,研究者提出人類會以隨機的方式提早終止模擬。這種停止條件在人類規劃模型中非常常見。
在模型中,假設存在一個離散狀態空間,且規劃從代理程式(agent)的當前狀態 $s_0$ 開始。代理程式透過模擬一系列行動來執行模擬,在心智中遍歷狀態空間。研究以 $t$ 表示模擬行動後到達的狀態。每次模擬行動後,代理程式會決定是繼續模擬還是終止它。如果代理程式選擇終止,就會到達虛擬停止狀態 $T_{rand}$,從而完成模擬。只要終止機率不為零,產生無限模擬的機率就是 0。另一種完成模擬的方式是代理程式到達終止/目標狀態,統稱為 $T^+$。因此,在這個公式中,模擬品質透過模擬是否在隨機終止之前到達目標狀態來總結。這種二元達成目標的公式適用於此處考慮的倫敦塔(Tower of London)和尖峰時刻(Rush Hour)任務,但比一般累積獎勵馬可夫決策過程(MDP)更為狹窄。
📅 模型更新機制:從分佈評估到政策調整
一旦評估了可能模擬結果的分佈,ROSETTE 就只會更新當前規劃狀態 $s_0$ 的行動政策。下游狀態的模擬政策在整個規劃情境中保持固定。這直接導致了規劃改變了代理程式當前可用行動之間的相對偏好,同時用於生成模擬行動的特定任務政策保持不變。每個更新週期都會累積模擬分佈所暗示的達成目標機率。隨後,代理程式決定是停止規劃並採取行動,還是執行另一步模擬。這會一直持續到代理程式停止並選擇要執行的行動為止。當停止機率不為零時,無限規劃迴圈的機率為 0。
圓形節點代表狀態,方形節點代表停止狀態,菱形節點代表決策點。藍色區域中的狀態轉換指示心智過程,而褐色區域中的狀態轉換指示代理程式執行行動。ROSETTE 分為三個部分:評估可能的模擬結果、更新行動政策,以及採取行動。第一部分關於模擬軌跡在終止前可以繼續多遠,第二部分在當前規劃狀態累積預期的模擬證據,最後一部分決定模型是否執行另一步模擬或採取行動。因此,模擬停止和規劃停止的決定分別控制模擬深度和模擬次數。
從產業面來看,ROSETTE 模型最大的突破在於它繞過了傳統模擬模型如蒙地卡羅樹搜尋(Monte Carlo Tree Search, MCTS)的計算瓶頸。換個角度想,當我們試圖用演算法模擬人類的直覺與決策時,這種不依賴大量隨機抽樣、能直接以解析式計算機率的方法,正是人工智慧與認知科學交會處的一大聖杯。對一般人來說,這不僅有助於理解我們大腦在面對複雜選擇時的運作邏輯,更為未來的高效能決策 AI 提供了全新的設計藍圖。
📅 數學推導應用:吸收馬可夫階鎖的運用
為了計算行動機率,必須計算從給定狀態 $s_0$ 開始模擬並在兩個終止狀態之一終止的機率:$T^+$ 或 $T_{rand}$。這些模擬機率可以使用吸收馬可夫鏈(absorbing Markov chains)的理論來計算。馬可夫鏈是一個隨機過程,描述了一系列狀態,其中在狀態之間轉換的機率僅取決於當前狀態。在設定中,狀態空間是有限且離散的,允許以向量表示代理程式在時間 $t$ 的狀態,其中每個索引對應於唯一的狀態。這個向量表示代理程式處於每個狀態的機率。為了構建這個向量,必須先獲得狀態與 1 到之間的雙射對應。這種對應可以透過列出所有狀態並為每個狀態分配其在列表中的索引來輕鬆形成。列表中狀態的順序並不重要。
狀態之間的轉換對應於確定性任務的政策,由轉換矩陣 $P$ 描述,其中指定了從索引 $i$ 的狀態到索引 $j$ 的狀態的機率,從而編碼了模擬政策。對於玩具範例,轉換矩陣為特定的數學結構。分析師用轉換矩陣來表示模擬過程,而不是模型假設人們明確構建的矩陣。在實證應用中,合法的任務轉換決定了哪些條目可以非零,而特定任務的模擬政策決定了它們的機率。對於確定性任務,每個模擬行動都有一個唯一的後繼狀態。對於隨機任務轉換,行動的機率可以分佈在多個後繼者上。吸收狀態是指一旦進入就無法離開的狀態。如果每個狀態都有非零的機率最終到達吸收狀態,則馬可夫鏈是吸收的。令為瞬態狀態的數量,為吸收狀態的數量。在吸收馬可夫鏈中,轉換矩陣 $P$ 可以分解為包含單位矩陣、瞬態狀態之間的轉換,以及從瞬態到吸收狀態的轉換。
📅 政策更新方法:期望模擬證據的累積
ROSETTE 累積解析計算出的期望模擬證據,並更新當前規劃狀態下的行動政策。為了保持所得行動機率的可處理性,只更新初始狀態 $s_0$ 的政策。在隨後狀態中使用的模擬政策在整個規劃情境中保持固定。因此,控制模擬繼續的轉換結構,以及上面計算的模擬成功機率,在政策更新中保持不變。這種限制對模型的可處理性非常重要。研究在討論部分探討了更新下游政策的擴展。其他研究也假設了類似的約束條件。
$T^+$ 和 $T_{rand}$ 表示吸收目標和隨機終止狀態。這些模擬結果的機率被解析邊際化,以獲得期望證據。藍色區域指示心智模擬,粉紅色區域指示政策更新,褐色區域指示行動執行。令表示經過 $k$ 次模擬後行動的機率。模型應該增加其後繼狀態具有更高達成目標機率的行動的相對機率。在對數機率空間中使用加法更新,因為它產生穩定、單調的動態,並且自然地適應接近 0 和 1 的機率。對數勝率表示法也成功地用於跨越行為經濟學和神經科學的模型中,幾項研究報告了證據表明人們將機率表示為對數勝率。
至今影響與未來展望
ROSETTE 模型作為此類模擬模型的可處理邊際化示範,同時也作為人類規劃的候選過程模型。其可處理性並不能確立心理學上的有效性,這必須透過行為預測來評估。透過將馬可夫鏈理論與認知心理學中的規劃行為相結合,這項研究不僅填補了心智模擬計算模型上的空白,也為未來認知科學與人工智慧的跨領域研究開啟了全新的道路。過去數十年來,科學界對於大腦如何在瞬間權衡多種可能性始終充滿好奇,而 ROSETTE 的出現證明了數學工具依然能夠優雅地描繪人類心智的複雜運作,未來的行為實驗與模型驗證將持續檢視這套理論的極限與應用價值。
本文改寫整理自公開新聞來源,原始報導由PLOS發布。
常見問題 FAQ
什麼是 ROSETTE 模型?
ROSETTE 全稱為 Rollouts with Stochastic Early Termination and Tractable Estimation,是一個結合隨機早期終止與可處理估計的計算模型,用以數學化解釋人類在心智中模擬與規劃未來的決策過程。
ROSETTE 模型與傳統的蒙地卡羅樹搜尋有何不同?
ROSETTE 的主要優勢在於它能提供解析式、無需模擬的行動機率表達方式,這使得決策者能夠進行無蒙地卡羅誤差的確定性可能性評估,大幅提升計算效率。
為什麼模型要使用吸收馬可夫鏈來計算機率?
因為透過吸收馬可夫鏈的理論,研究人員能夠精確計算代理程式從給定狀態出發,最終終止於目標狀態或隨機終止狀態的機率,進而推導出預期的未來佔有與決策證據。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。











