CAIA 基準測試：對抗性金融市場中的人工智慧代理評估

2.1 基準測試設計

CAIA採用多面向評估框架，旨在模擬真實世界的對抗條件。基準測試包含：

• 具有不可逆後果的時間錨定任務
• 武器化的錯誤資訊活動
• SEO優化的欺騙性內容
• 社交媒體操縱策略
• 相互衝突的資訊來源

2.2 任務類別

任務分為三個主要領域：

1. 資訊驗證：區分合法專案與詐騙
2. 市場分析：識別被操縱的價格波動
3. 風險評估：評估智能合約漏洞

3.1 效能分析

結果揭示了根本的能力缺口：在沒有工具的情況下，即使是前沿模型在初級分析師常規處理的任務上，準確率也僅達12-28%。工具增強雖能提升表現，但在無限制使用專業資源的情況下，最高僅達67.4%（GPT-5），相較於80%的人類基準仍有差距。

3.2 工具選擇模式

最關鍵的是，研究揭露了系統性的工具選擇災難：模型偏好選擇不可靠的網路搜尋（佔呼叫次數的55.5%），而非權威的區塊鏈數據，因而落入SEO優化錯誤資訊和社交媒體操縱的陷阱。即使正確答案可透過專業工具直接取得，此行為依然持續。

4.1 數學框架

對抗韌性可使用資訊理論和決策理論形式化。在對抗環境中，代理決策的期望效用可建模為：

$EU(a) = \sum_{s \in S} P(s|o) \cdot U(a,s) - \lambda \cdot D_{KL}(P(s|o) || P_{adv}(s|o))$

其中$P(s|o)$是給定觀測值的後驗信念狀態，$U(a,s)$是效用函數，KL散度項則懲罰由對抗操縱引起的偏差。

工具選擇問題可框架為具有情境資訊的多臂吃角子老虎機：

$\pi^*(t|q) = \arg\max_t \mathbb{E}[R(t,q) - C(t) + \alpha \cdot I(S;O|t,q)]$

其中$R(t,q)$是工具$t$對查詢$q$的期望回報，$C(t)$是成本，資訊增益項$I(S;O|t,q)$則鼓勵探索高資訊價值的工具。

4.2 程式碼實作

CAIA基準測試實作包含複雜的工具選擇機制。以下是簡化的虛擬碼範例：

class AdversarialAgent:
    def __init__(self, model, tools):
        self.model = model
        self.tools = tools  # [web_search, blockchain_scan, social_media]
        self.trust_scores = {tool: 1.0 for tool in tools}
    
    def select_tool(self, query, context):
        # 計算每個工具的資訊增益
        info_gains = {}
        for tool in self.tools:
            expected_info = self.estimate_information_gain(tool, query)
            trust_weight = self.trust_scores[tool]
            info_gains[tool] = expected_info * trust_weight
        
        # 選擇具有最高加權資訊增益的工具
        selected_tool = max(info_gains, key=info_gains.get)
        return selected_tool
    
    def update_trust_scores(self, tool, outcome_quality):
        # 根據表現以貝氏更新信任分數
        prior = self.trust_scores[tool]
        likelihood = outcome_quality  # 0-1尺度
        self.trust_scores[tool] = (prior * 0.9) + (likelihood * 0.1)