Benchmark CAIA: Avaliando Agentes de IA em Mercados Financeiros Adversariais

2.1 Design do Benchmark

O CAIA emprega uma estrutura de avaliação multifacetada projetada para simular condições adversariais do mundo real. O benchmark incorpora:

• Tarefas ancoradas no tempo com consequências irreversíveis
• Campanhas de desinformação utilizadas como arma
• Conteúdo enganoso otimizado para SEO
• Táticas de manipulação em redes sociais
• Fontes de informação conflitantes

2.2 Categorias de Tarefas

As tarefas são categorizadas em três domínios principais:

1. Verificação de Informação: Distinguir projetos legítimos de golpes
2. Análise de Mercado: Identificar movimentos de preços manipulados
3. Avaliação de Risco: Avaliar vulnerabilidades de contratos inteligentes

3.1 Análise de Desempenho

Os resultados revelam uma lacuna fundamental de capacidade: sem ferramentas, mesmo os modelos de ponta atingem apenas 12-28% de precisão em tarefas que analistas juniores lidam rotineiramente. A ampliação com ferramentas melhora o desempenho, mas estabiliza em 67,4% (GPT-5) versus a linha de base humana de 80%, apesar do acesso ilimitado a recursos profissionais.

3.2 Padrões de Seleção de Ferramentas

Mais criticamente, a pesquisa revela uma catástrofe sistemática na seleção de ferramentas: os modelos preferem escolher pesquisas na web não confiáveis (55,5% das invocações) em vez de dados autorizados da blockchain, caindo em desinformação otimizada para SEO e manipulação em redes sociais. Esse comportamento persiste mesmo quando as respostas corretas são diretamente acessíveis através de ferramentas especializadas.

4.1 Estrutura Matemática

A robustez adversária pode ser formalizada usando teoria da informação e teoria da decisão. A utilidade esperada da decisão de um agente em ambientes adversariais pode ser modelada como:

$EU(a) = \sum_{s \in S} P(s|o) \cdot U(a,s) - \lambda \cdot D_{KL}(P(s|o) || P_{adv}(s|o))$

Onde $P(s|o)$ é o estado de crença posterior dado as observações, $U(a,s)$ é a função de utilidade, e o termo de divergência KL penaliza desvios causados pela manipulação adversária.

O problema de seleção de ferramentas pode ser enquadrado como um bandido multi-armado com informação contextual:

$\pi^*(t|q) = \arg\max_t \mathbb{E}[R(t,q) - C(t) + \alpha \cdot I(S;O|t,q)]$

Onde $R(t,q)$ é a recompensa esperada da ferramenta $t$ para a consulta $q$, $C(t)$ é o custo, e o termo de ganho de informação $I(S;O|t,q)$ incentiva a exploração de ferramentas de alta informação.

4.2 Implementação de Código

A implementação do benchmark CAIA inclui mecanismos sofisticados de seleção de ferramentas. Abaixo está um exemplo simplificado de pseudocódigo:

class AdversarialAgent:
    def __init__(self, model, tools):
        self.model = model
        self.tools = tools  # [web_search, blockchain_scan, social_media]
        self.trust_scores = {tool: 1.0 for tool in tools}
    
    def select_tool(self, query, context):
        # Calcular ganho de informação para cada ferramenta
        info_gains = {}
        for tool in self.tools:
            expected_info = self.estimate_information_gain(tool, query)
            trust_weight = self.trust_scores[tool]
            info_gains[tool] = expected_info * trust_weight
        
        # Selecionar ferramenta com maior ganho de informação ponderado
        selected_tool = max(info_gains, key=info_gains.get)
        return selected_tool
    
    def update_trust_scores(self, tool, outcome_quality):
        # Atualização bayesiana dos escores de confiança baseada no desempenho
        prior = self.trust_scores[tool]
        likelihood = outcome_quality  # escala 0-1
        self.trust_scores[tool] = (prior * 0.9) + (likelihood * 0.1)