CAIA বেঞ্চমার্ক: প্রতিকূল আর্থিক বাজারে কৃত্রিম বুদ্ধিমত্তা এজেন্টদের মূল্যায়ন

2.1 বেঞ্চমার্ক নকশা

CAIA বাস্তব-বিশ্বের প্রতিকূল অবস্থা সিমুলেট করার জন্য ডিজাইন করা একটি বহুমুখী মূল্যায়ন কাঠামো ব্যবহার করে। বেঞ্চমার্কে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছে:

• অপরিবর্তনীয় পরিণতি সহ সময়-ভিত্তিক কাজ
• অস্ত্র হিসেবে ব্যবহৃত ভুল তথ্য প্রচারণা
• এসইও-অপ্টিমাইজড প্রতারণামূলক বিষয়বস্তু
• সোশ্যাল মিডিয়া কারসাজি কৌশল
• বিরোধপূর্ণ তথ্যের উৎস

2.2 কাজের বিভাগ

কাজগুলিকে তিনটি প্রাথমিক ডোমেনে বিভক্ত করা হয়েছে:

1. তথ্য যাচাইকরণ: বৈধ প্রকল্পগুলিকে স্ক্যাম থেকে আলাদা করা
2. বাজার বিশ্লেষণ: কারসাজি করা মূল্য চলাচল চিহ্নিত করা
3. ঝুঁকি মূল্যায়ন: স্মার্ট কন্ট্রাক্টের দুর্বলতাগুলি মূল্যায়ন করা

3.1 কর্মদক্ষতা বিশ্লেষণ

ফলাফলগুলি একটি মৌলিক সক্ষমতার ফাঁক প্রকাশ করে: টুল ছাড়া, এমনকি ফ্রন্টিয়ার মডেলগুলিও শুধুমাত্র ১২-২৮% নির্ভুলতা অর্জন করে সেই কাজগুলিতে যা জুনিয়র বিশ্লেষকরা নিয়মিতভাবে পরিচালনা করে। টুল সংযোজন কর্মদক্ষতা উন্নত করে কিন্তু ৬৭.৪% (জিপিটি-৫) এ স্থিতিশীল থাকে, যা ৮০% মানুষের বেসলাইনের বিপরীতে, পেশাদার সম্পদের সীমাহীন অ্যাক্সেস থাকা সত্ত্বেও।

3.2 টুল নির্বাচন প্যাটার্ন

সবচেয়ে গুরুত্বপূর্ণভাবে, গবেষণাটি একটি পদ্ধতিগত টুল নির্বাচন বিপর্যয় উন্মোচন করে: মডেলগুলি কর্তৃত্বপূর্ণ ব্লকচেইন ডেটার চেয়ে অবিশ্বস্ত ওয়েব অনুসন্ধান (৫৫.৫% ইনভোকেশন) অগ্রাধিকার সহকারে বেছে নেয়, এসইও-অপ্টিমাইজড ভুল তথ্য এবং সোশ্যাল মিডিয়া কারসাজির শিকার হয়। এই আচরণ তখনও অব্যাহত থাকে যখন সঠিক উত্তরগুলি বিশেষায়িত টুলের মাধ্যমে সরাসরি অ্যাক্সেসযোগ্য হয়।

4.1 গাণিতিক কাঠামো

প্রতিকূল স্থিতিস্থাপকতাকে তথ্য তত্ত্ব এবং সিদ্ধান্ত তত্ত্ব ব্যবহার করে আনুষ্ঠানিকভাবে প্রকাশ করা যেতে পারে। প্রতিকূল পরিবেশে একটি এজেন্টের সিদ্ধান্তের প্রত্যাশিত উপযোগিতা মডেল করা যেতে পারে:

$EU(a) = \sum_{s \in S} P(s|o) \cdot U(a,s) - \lambda \cdot D_{KL}(P(s|o) || P_{adv}(s|o))$

যেখানে $P(s|o)$ হল পর্যবেক্ষণ দেওয়া পরবর্তী বিশ্বাস অবস্থা, $U(a,s)$ হল উপযোগিতা ফাংশন, এবং KL-ডাইভারজেন্স শব্দটি প্রতিকূল কারসাজির কারণে বিচ্যুতিগুলিকে শাস্তি দেয়।

টুল নির্বাচন সমস্যাটিকে প্রাসঙ্গিক তথ্য সহ একটি মাল্টি-আর্মড ব্যান্ডিট হিসাবে ফ্রেম করা যেতে পারে:

$\pi^*(t|q) = \arg\max_t \mathbb{E}[R(t,q) - C(t) + \alpha \cdot I(S;O|t,q)]$

যেখানে $R(t,q)$ হল প্রশ্ন $q$ এর জন্য টুল $t$ থেকে প্রত্যাশিত পুরস্কার, $C(t)$ হল খরচ, এবং তথ্য লাভ শব্দ $I(S;O|t,q)$ উচ্চ-তথ্য টুলগুলির অন্বেষণকে উত্সাহিত করে।

4.2 কোড বাস্তবায়ন

CAIA বেঞ্চমার্ক বাস্তবায়নে অত্যাধুনিক টুল নির্বাচন প্রক্রিয়া অন্তর্ভুক্ত রয়েছে। নীচে একটি সরলীকৃত সিউডোকোড উদাহরণ দেওয়া হল:

class AdversarialAgent:
    def __init__(self, model, tools):
        self.model = model
        self.tools = tools  # [web_search, blockchain_scan, social_media]
        self.trust_scores = {tool: 1.0 for tool in tools}
    
    def select_tool(self, query, context):
        # Calculate information gain for each tool
        info_gains = {}
        for tool in self.tools:
            expected_info = self.estimate_information_gain(tool, query)
            trust_weight = self.trust_scores[tool]
            info_gains[tool] = expected_info * trust_weight
        
        # Select tool with highest weighted information gain
        selected_tool = max(info_gains, key=info_gains.get)
        return selected_tool
    
    def update_trust_scores(self, tool, outcome_quality):
        # Bayesian update of trust scores based on performance
        prior = self.trust_scores[tool]
        likelihood = outcome_quality  # 0-1 scale
        self.trust_scores[tool] = (prior * 0.9) + (likelihood * 0.1)