CAIAベンチマーク：敵対的金融市場におけるAIエージェントの評価

2.1 ベンチマーク設計

CAIAは、実世界の敵対的状況をシミュレートするように設計された多面的な評価フレームワークを採用している。このベンチマークには以下が組み込まれている：

• 取り返しのつかない結果を伴う時間固定タスク
• 武器化された誤情報キャンペーン
• SEO最適化された欺瞞的コンテンツ
• ソーシャルメディア操作戦術
• 矛盾する情報源

2.2 タスクカテゴリ

タスクは3つの主要領域に分類される：

1. 情報検証： 正当なプロジェクトと詐欺の区別
2. 市場分析： 操作された価格変動の特定
3. リスク評価： スマートコントラクトの脆弱性評価

3.1 パフォーマンス分析

結果は根本的な能力ギャップを明らかにしている：ツールなしでは、最先端モデルでさえ、初級アナリストが日常的に処理するタスクにおいて12-28%の精度しか達成できない。ツールによる拡張はパフォーマンスを改善するが、プロフェッショナルリソースへの無制限のアクセスにもかかわらず、67.4%（GPT-5）で頭打ちとなり、80%の人間ベースラインに及ばない。

3.2 ツール選択パターン

最も重大なことに、この研究は体系的なツール選択の破綻を明らかにしている：モデルは信頼できるブロックチェーンデータよりも信頼性の低いWeb検索を優先的に選択し（呼び出しの55.5%）、SEO最適化された誤情報やソーシャルメディア操作に陥っている。この行動は、正しい答えが専門ツールを通じて直接アクセス可能な場合でも持続する。

4.1 数学的フレームワーク

敵対的ロバスト性は、情報理論と意思決定理論を用いて形式化できる。敵対的環境におけるエージェントの意思決定の期待効用は以下のようにモデル化できる：

$EU(a) = \sum_{s \in S} P(s|o) \cdot U(a,s) - \lambda \cdot D_{KL}(P(s|o) || P_{adv}(s|o))$

ここで、$P(s|o)$は観測给定後の事後信念状態、$U(a,s)$は効用関数、KLダイバージェンス項は敵対的操作によって引き起こされる偏差をペナルティする。

ツール選択問題は、文脈情報を伴う多腕バンディット問題として捉えることができる：

$\pi^*(t|q) = \arg\max_t \mathbb{E}[R(t,q) - C(t) + \alpha \cdot I(S;O|t,q)]$

ここで、$R(t,q)$はクエリ$q$に対するツール$t$からの期待報酬、$C(t)$はコスト、情報利得項$I(S;O|t,q)$は高情報ツールの探索を促進する。

4.2 コード実装

CAIAベンチマークの実装には、高度なツール選択メカニズムが含まれている。以下は簡略化された擬似コードの例である：

class AdversarialAgent:
    def __init__(self, model, tools):
        self.model = model
        self.tools = tools  # [web_search, blockchain_scan, social_media]
        self.trust_scores = {tool: 1.0 for tool in tools}
    
    def select_tool(self, query, context):
        # 各ツールの情報利得を計算
        info_gains = {}
        for tool in self.tools:
            expected_info = self.estimate_information_gain(tool, query)
            trust_weight = self.trust_scores[tool]
            info_gains[tool] = expected_info * trust_weight
        
        # 重み付け情報利得が最も高いツールを選択
        selected_tool = max(info_gains, key=info_gains.get)
        return selected_tool
    
    def update_trust_scores(self, tool, outcome_quality):
        # パフォーマンスに基づく信頼スコアのベイズ更新
        prior = self.trust_scores[tool]
        likelihood = outcome_quality  # 0-1スケール
        self.trust_scores[tool] = (prior * 0.9) + (likelihood * 0.1)