CAIA Benchmark: Valutazione degli Agenti IA in Mercati Finanziari Adversarial

2.1 Progettazione del Benchmark

CAIA utilizza una struttura di valutazione multidimensionale progettata per simulare condizioni adversarial del mondo reale. Il benchmark incorpora:

• Attività ancorate al tempo con conseguenze irreversibili
• Campagne di disinformazione strumentalizzate
• Contenuti ingannevoli ottimizzati per il SEO
• Tattiche di manipolazione dei social media
• Fonti di informazioni contrastanti

2.2 Categorie di Attività

Le attività sono categorizzate in tre domini principali:

1. Verifica delle Informazioni: Distinguere progetti legittimi da truffe
2. Analisi di Mercato: Identificare movimenti di prezzo manipolati
3. Valutazione del Rischio: Valutare le vulnerabilità degli smart contract

3.1 Analisi delle Prestazioni

I risultati rivelano un divario fondamentale nelle capacità: senza strumenti, anche i modelli d'avanguardia raggiungono solo il 12-28% di accuratezza su compiti che gli analisti junior gestiscono abitualmente. L'augmentation con strumenti migliora le prestazioni ma si stabilizza al 67,4% (GPT-5) rispetto all'80% della baseline umana, nonostante l'accesso illimitato a risorse professionali.

3.2 Modelli di Selezione degli Strumenti

Ancora più critico, la ricerca scopre una catastrofe sistematica nella selezione degli strumenti: i modelli preferiscono scegliere ricerche web inaffidabili (55,5% delle invocazioni) rispetto ai dati autorevoli della blockchain, cadendo nella disinformazione ottimizzata per il SEO e nella manipolazione dei social media. Questo comportamento persiste anche quando le risposte corrette sono direttamente accessibili attraverso strumenti specializzati.

4.1 Struttura Matematica

La robustezza adversarial può essere formalizzata utilizzando la teoria dell'informazione e la teoria delle decisioni. L'utilità attesa della decisione di un agente in ambienti adversarial può essere modellata come:

$EU(a) = \sum_{s \in S} P(s|o) \cdot U(a,s) - \lambda \cdot D_{KL}(P(s|o) || P_{adv}(s|o))$

Dove $P(s|o)$ è lo stato di credenza a posteriori date le osservazioni, $U(a,s)$ è la funzione di utilità, e il termine di divergenza KL penalizza le deviazioni causate dalla manipolazione adversarial.

Il problema della selezione degli strumenti può essere inquadrato come un multi-armed bandit con informazioni contestuali:

$\pi^*(t|q) = \arg\max_t \mathbb{E}[R(t,q) - C(t) + \alpha \cdot I(S;O|t,q)]$

Dove $R(t,q)$ è la ricompensa attesa dallo strumento $t$ per la query $q$, $C(t)$ è il costo, e il termine di guadagno informativo $I(S;O|t,q)$ incoraggia l'esplorazione di strumenti ad alto contenuto informativo.

4.2 Implementazione del Codice

L'implementazione del benchmark CAIA include meccanismi sofisticati di selezione degli strumenti. Di seguito un esempio semplificato di pseudocodice:

class AdversarialAgent:
    def __init__(self, model, tools):
        self.model = model
        self.tools = tools  # [web_search, blockchain_scan, social_media]
        self.trust_scores = {tool: 1.0 for tool in tools}
    
    def select_tool(self, query, context):
        # Calcola il guadagno informativo per ogni strumento
        info_gains = {}
        for tool in self.tools:
            expected_info = self.estimate_information_gain(tool, query)
            trust_weight = self.trust_scores[tool]
            info_gains[tool] = expected_info * trust_weight
        
        # Seleziona lo strumento con il guadagno informativo ponderato più alto
        selected_tool = max(info_gains, key=info_gains.get)
        return selected_tool
    
    def update_trust_scores(self, tool, outcome_quality):
        # Aggiornamento bayesiano dei punteggi di fiducia basato sulle prestazioni
        prior = self.trust_scores[tool]
        likelihood = outcome_quality  # scala 0-1
        self.trust_scores[tool] = (prior * 0.9) + (likelihood * 0.1)