প্রকৃত, বেতনভুক্ত বিশেষজ্ঞ কাজ থেকে তৈরি একটি নতুন বেঞ্চমার্ক এইমাত্র বিশটি ফ্রন্টিয়ার AI মডেল মূল্যায়ন করেছে, এবং তাদের মধ্যে সেরাটি 12 শতাংশ স্কোর করেছে।
একটি AI এজেন্ট কি সেই কাজ করতে পারে যার জন্য আপনার প্রতিষ্ঠান বিশেষজ্ঞদের বেতন দেয়? সেই দাবির জন্য একটি সৎ স্কোরবোর্ড দেখতে কেমন হবে? আর চুক্তি স্বাক্ষরের আগে বিক্রেতাকে কী জিজ্ঞাসা করা উচিত?
সিডনিতে ক্ষুদ্র, মাঝারি ও বড় উদ্যোগের সঙ্গে কাজ করা একজন স্বাধীন AI মডেল ডেভেলপার এবং AI নিরাপত্তা পরামর্শদাতা হিসেবে, আমাকে প্রতি সপ্তাহে এই প্রশ্নগুলো করা হয়। উত্তরগুলো বাজেট, জনবল ও ঝুঁকির সঙ্গে জড়িত।
এই নিবন্ধটি ব্যাখ্যা করে GDPx বেঞ্চমার্ক কী পরিমাপ করেছে, এর সংখ্যাগুলো কী প্রমাণ করে ও কী প্রমাণ করে না, এবং এই ত্রৈমাসিকে AI এজেন্ট মূল্যায়ন করা যেকোনো নেতার জন্য ব্যবহারিক শিক্ষাগুলো।
এই সপ্তাহে গবেষণা প্রতিষ্ঠান SemiAnalysis প্রকাশ করেছে GDPx, এমন একটি বেঞ্চমার্ক যাতে 11টি ক্ষেত্রে 206টি কাজ রয়েছে। ক্ষেত্রগুলো বেছে নেওয়া হয়েছে কারণ মানুষ এগুলো করে জীবিকা নির্বাহ করে: চিপ ডিজাইন, সাইবার নিরাপত্তা, আইনি কাজ, কোয়ান্টিটেটিভ ট্রেডিং, জীববিজ্ঞান, সফটওয়্যার ইঞ্জিনিয়ারিং এবং আরও অনেক কিছু।
চৌদ্দটি শিল্প অংশীদার কাজগুলো সরবরাহ করেছে, এবং বিশটি ফ্রন্টিয়ার মডেল মূল্যায়ন করা হয়েছে। এই বেঞ্চমার্ক উল্লেখযোগ্য এর কঠিনতার জন্য নয়, বরং এর উৎস-উপাদানের জন্য: এমন কাজ যার জন্য মানুষ বেতন পায়।
শীর্ষে থাকা Claude Opus 5.5 মাত্র 12 শতাংশ পেয়েছে। Gemini 4 Carbon পেয়েছে 10.9। GPT-6 Astra পেয়েছে 9.6।
তবে স্কোরবোর্ড একটি সূচনা বিন্দু, রায় নয়। এই সংখ্যাগুলো একটি প্রতিষ্ঠানের কাজকে সেই একই প্রতিষ্ঠানের মূল্যায়ন পদ্ধতিতে মাপে, এবং এগুলো আগামী বছরের নয়, আজকের মডেলগুলোর বর্ণনা দেয়।
GDPx নিখুঁত নয়। এতে একটি প্রতিষ্ঠানের কাজ ও একটি প্রতিষ্ঠানের মূল্যায়ন পদ্ধতি ব্যবহৃত হয়েছে, এখনো কোনো স্বাধীন যাচাই হয়নি, এবং প্রতিষ্ঠানটি যে শিল্পের মূল্যায়ন করে সেই শিল্পকেই গবেষণা বিক্রি করে।
শিক্ষা হলো সংখ্যাটিকে সাবধানে ধরা। কিন্তু দিকটি ঠিক আছে, কারণ এটি মডেলগুলোকে মূল্যায়ন করে এমন কাজে যা অর্থ দেয়, এমন তুচ্ছ বিষয়ে নয় যা শুধু মুগ্ধ করে।
শীর্ষ মডেলটি প্রতি সম্পন্ন কাজে গড়ে প্রায় 51 ডলার খরচ করেছে। দ্বিতীয় স্থানাধিকারী এক পয়েন্টের মধ্যে থাকা স্কোরের জন্য গড়ে প্রায় 16 ডলারই খরচ করেছে।
যদি আপনার এজেন্টিক কৌশল ধরে নেয় যে সামর্থ্য ও খরচ একসাথে বাড়ে, তবে এই টেবিল বলছে তা নয়। ফলাফলের সবচেয়ে সস্তা পথ এখন ফলাফলের মতোই কৌশলগত, এবং সেই বিশ্লেষণের ঠিকানা মার্কেটিং পৃষ্ঠা নয়, ক্রয় বিভাগ।
এই ত্রৈমাসিকে আপনি যে ডেমোগুলো দেখবেন সেগুলো সবই বিশেষজ্ঞ কাজের জন্য প্রস্তুতির দাবি করবে। একটি সর্বজনীন, নামকরণ করা বেঞ্চমার্ক এইমাত্র সীমা নির্ধারণ করেছে 12 শতাংশে।
এতে এজেন্টরা অকেজো হয়ে যায় না। এর অর্থ হলো আজকের সৎ স্থাপনার ক্ষেত্র হলো সংকীর্ণ, সুনির্ণীত, মানব পর্যালোচনাযুক্ত কাজ, মঞ্চে বিক্রি হওয়া স্বায়ত্তশাসিত বিভাগ নয়।
প্রথমত, ডেমো যুগ শেষ। যখন একটি শিল্প স্কোরবোর্ড নিয়ে তর্ক শুরু করে, ডেমো তখন আর তর্কের মীমাংসা করছে না।
দ্বিতীয়ত, খরচ ও সামর্থ্য একসাথে বাড়ে না। প্রতি সম্পন্ন কাজের খরচকে স্কোরের পাশে ক্রয় প্রক্রিয়ায় ঢোকান।
তৃতীয়ত, প্রতিটি এজেন্ট পিচ একটি সর্বজনীন সংখ্যার বিপরীতে পড়ুন। আজকের সৎ স্থাপনার ক্ষেত্র সংকীর্ণ, সুনির্ণীত এবং মানব-পর্যালোচিত।
অবশেষে, এই ত্রৈমাসিকে প্রতিটি AI বিক্রেতাকে একটি মাত্র প্রশ্ন করুন: আমার মতো কাজের জন্য একটি স্বাধীন, কাজভিত্তিক বেঞ্চমার্কে আপনার স্কোর দেখান, এবং প্রতি সম্পন্ন কাজে আপনার খরচ বলুন। উত্তর দিতে না পারলে, আপনি ডেমোর চেয়ে মূল্যবান কিছু শিখে গেছেন।
12 শতাংশের সিলিং AI এজেন্ট থেকে দূরে সরে যাওয়ার কারণ নয়। এটি উদ্দীপনার বদলে প্রমাণের ভিত্তিতে সেগুলো কেনার কারণ।
কৃত্রিম বুদ্ধিমত্তা মঞ্চকৌশলে নয়, পরিমাপযোগ্য ফলাফলে তার জায়গা অর্জন করবে। শেষ পর্যন্ত, প্রতি সম্পন্ন কাজের খরচের গণিত, সৎভাবে গণনা করা, ঠিক করে এই প্রযুক্তির প্রকৃত জায়গা কোথায়।
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, গবেষণা নোট ও শিল্প বিশ্লেষণ - https://semianalysis.com
গাণিতিকভাবে চিন্তা করুন। বুদ্ধিমত্তার সাথে প্রকৌশল করুন। কৌশলগতভাবে নেতৃত্ব দিন। দায়িত্বের সাথে তৈরি করুন। বৈশ্বিকভাবে সম্প্রসারিত হন। কৃত্রিম বুদ্ধিমত্তার মাধ্যমে প্রকৃত ব্যবসায়িক মূল্য তৈরি করুন।
