مصنوعی ذہانت کے عملی استعمال کو جانچنے کے لیے ایک نیا اور سنجیدہ معیار متعارف کرا دیا گیا ہے۔ APEX-Agents نامی یہ نیا بینچ مارک اس بات کا جائزہ لیتا ہے کہ آیا آج کے اے آئی ایجنٹس سرمایہ کاری بینکاری، کنسلٹنگ اور کارپوریٹ قانون جیسے شعبوں میں طویل اور پیچیدہ کام حقیقتاً انجام دے سکتے ہیں یا نہیں۔
یہ نیا بینچ مارک Mercor کے اے آئی پروڈکٹیویٹی انڈیکس (APEX) کا حصہ ہے، جس کا مقصد ایسی صلاحیتوں کی پیمائش کرنا ہے جو معاشی طور پر حقیقی قدر رکھتی ہوں۔ APEX-Agents کو خاص طور پر اس سوال کے جواب کے لیے تیار کیا گیا ہے کہ کیا اے آئی ایجنٹس آج ہی ٹیموں کے ساتھ کام کرنے، اصل سافٹ ویئر ٹولز استعمال کرنے اور کلائنٹ کے لیے قابلِ قبول نتائج فراہم کرنے کے قابل ہو چکے ہیں۔
حقیقی دفتری ماحول سادہ نہیں ہوتا۔ معلومات مختلف فائلوں، ای میلز اور چیٹ تھریڈز میں بکھری ہوتی ہیں اور کام مکمل ہونے میں گھنٹوں لگتے ہیں۔ بیشتر موجودہ بینچ مارکس ان حالات کی عکاسی نہیں کرتے بلکہ الگ تھلگ سوالات یا محدود مہارتوں پر ماڈلز کو پرکھتے ہیں۔ APEX-Agents اسی خلا کو پُر کرنے کی کوشش ہے۔
اس مقصد کے لیے ایک چار مرحلوں پر مشتمل طریقہ اپنایا گیا۔ سب سے پہلے سرمایہ کاری بینکاری، کنسلٹنگ اور قانون کے شعبوں سے تعلق رکھنے والے سینکڑوں ماہرین سے سروے کیے گئے، جن میں Goldman Sachs، McKinsey اور Cravath جیسے اداروں کے تجربات شامل تھے۔ اس کے بعد مرکور کے سینئر ماہرین نے گوگل ورک اسپیس میں فرضی مگر حقیقت سے قریب منظرنامے تیار کیے، جیسے یورپ کی ایک آئل اینڈ گیس کمپنی کے لیے لاگت کم کرنے کا ہفتوں پر محیط کنسلٹنگ پروجیکٹ۔
فائل سسٹمز کی حقیقت کو سامنے لانے کے لیے Box کے تعاون سے ایسے ڈیٹا رومز بنائے گئے جو پیشہ ور افراد کے روزمرہ کام کی عکاسی کرتے ہیں۔ پھر انہی منظرناموں کی بنیاد پر مخصوص ٹاسکس اور واضح جانچ کے معیار مقرر کیے گئے کہ “کلائنٹ ریڈی” کام کسے کہا جائے گا۔ کارپوریٹ قانون کے حصے میں Harvey AI نے ابتدائی فیڈبیک دے کر اس بات کی تصدیق کی کہ یہ کام فورچون 500 کمپنیوں کے وکلاء کے معیار کے مطابق ہیں۔
نتائج خاصے معنی خیز ہیں۔ جدید ترین اے آئی ماڈلز ان کاموں میں سے پچیس فیصد سے بھی کم مکمل کر پاتے ہیں جو ایک پیشہ ور کو گھنٹوں میں کرنے پڑتے ہیں۔ متعدد بار کوشش کے باوجود بہترین ایجنٹس بھی چالیس فیصد سے آگے نہیں بڑھ سکے۔ ناکامی کی بڑی وجہ محض صلاحیت کی کمی نہیں بلکہ ابہام کو سنبھالنے، درست فائل ڈھونڈنے اور پورے ورک فلو میں سیاق و سباق برقرار رکھنے میں مشکل ہے۔ خلاصہ یہ کہ فی الحال کوئی بھی ماڈل مکمل طور پر کسی پیشہ ور کی جگہ لینے کے لیے تیار نہیں۔
اپیکس-Agents کو اوپن سورس بھی کر دیا گیا ہے اور یہ Hugging Face پر CC-BY لائسنس کے تحت دستیاب ہے، جبکہ اس کی ایویلیوایشن انفراسٹرکچر Archipelago کو GitHub پر جاری کیا گیا ہے۔ مکمل تحقیقی مقالہ arXiv پر پڑھا جا سکتا ہے۔
یہ تحریر اے آئی کی دنیا کے فیس بک پیج پر پوسٹ کی گئی ہے
#AiKiDuniya, #ArtificialIntelligence, #AIAgents, #EnterpriseAI, #FutureOfWork, #OpenSourceAI, #TechResearch
