Sebuah benchmark baru yang dibangun dari pekerjaan ahli yang nyata dan dibayar baru saja menilai dua puluh model AI frontier, dan yang terbaik di antaranya meraih 12 persen.
Bisakah agen AI melakukan pekerjaan yang perusahaan Anda bayar kepada para ahli? Seperti apa papan skor yang jujur untuk klaim itu? Dan apa yang harus Anda tanyakan kepada vendor sebelum menandatangani kontrak?
Sebagai pengembang model AI privat dan konsultan keamanan AI yang bekerja dengan UKM dan perusahaan besar di Sydney, saya ditanyai pertanyaan-pertanyaan ini setiap minggu. Jawabannya penting bagi anggaran, kepegawaian, dan risiko.
Artikel ini menjelaskan apa yang diukur oleh benchmark GDPx, apa yang dibuktikan dan tidak dibuktikan oleh angka-angkanya, serta pelajaran praktis bagi setiap pemimpin yang mengevaluasi agen AI kuartal ini.
Minggu ini perusahaan riset SemiAnalysis menerbitkan GDPx, sebuah benchmark berisi 206 tugas di 11 domain yang dipilih karena orang mencari nafkah darinya: desain chip, keamanan siber, pekerjaan hukum, perdagangan kuantitatif, biologi, rekayasa perangkat lunak, dan lainnya.
Empat belas mitra industri menyediakan tugas-tugasnya, dan dua puluh model frontier dinilai. Benchmark ini patut diperhatikan bukan karena kesulitannya, melainkan karena bahan bakunya: pekerjaan yang dibayar untuk dilakukan orang.
Pemimpinnya, Claude Opus 5.5, hanya mampu meraih 12 persen. Gemini 4 Carbon mencetak 10,9. GPT-6 Astra mencetak 9,6.
Namun, papan skor adalah titik awal, bukan vonis. Angka-angka ini mengukur tugas satu perusahaan dengan rubrik perusahaan yang sama, dan menggambarkan model hari ini, bukan model tahun depan.
GDPx tidak sempurna. Ia menggunakan tugas dari satu perusahaan dan rubrik dari satu perusahaan, belum ada reproduksi independen, dan perusahaan itu menjual riset kepada industri yang ia nilai.
Pelajarannya adalah memegang angka itu dengan longgar. Tetapi arahnya benar, karena ia mengukur model pada pekerjaan yang menghasilkan uang, bukan trivia yang mengesankan.
Pemimpin menghabiskan rata-rata sekitar $51 per tugas yang diselesaikan. Peringkat kedua menghabiskan rata-rata sekitar $16 untuk skor yang hanya terpaut satu poin.
Jika strategi agen Anda mengasumsikan kemampuan dan biaya bergerak bersama, tabel ini mengatakan sebaliknya. Jalur termurah menuju hasil kini sama strategisnya dengan hasil itu sendiri, dan analisis itu seharusnya ada di pengadaan, bukan di halaman pemasaran.
Demo yang akan Anda lihat kuartal ini semuanya mengklaim siap untuk pekerjaan ahli. Sebuah benchmark publik yang disebut namanya baru saja menetapkan batas atas di 12 persen.
Itu tidak membuat agen menjadi tidak berguna. Artinya, zona penerapan yang jujur hari ini adalah tugas-tugas sempit yang terukur dengan baik dan disertai tinjauan manusia, bukan departemen otonom yang dijual di atas panggung.
Pertama, era demo sudah berakhir. Ketika sebuah industri mulai berdebat soal papan skor, demo sudah tidak lagi menyelesaikan perdebatan.
Kedua, biaya dan kemampuan tidak bergerak bersama. Masukkan biaya per tugas yang diselesaikan ke dalam pengadaan, di samping skor.
Ketiga, baca setiap tawaran agen dengan tolok ukur angka publik. Zona penerapan yang jujur hari ini sempit, terukur dengan baik, dan ditinjau manusia.
Terakhir, ajukan satu pertanyaan kepada setiap vendor AI kuartal ini: tunjukkan skor Anda pada benchmark independen berbasis tugas untuk pekerjaan seperti milik saya, dan biaya Anda per tugas yang diselesaikan. Jika mereka tidak bisa menjawab, Anda telah mempelajari sesuatu yang lebih berharga daripada demo.
Batas atas 12 persen bukan alasan untuk menjauhi agen AI. Itu adalah alasan untuk membelinya dengan bukti, bukan antusiasme.
Kecerdasan buatan akan mendapatkan tempatnya melalui hasil yang terukur, bukan tontonan panggung. Pada akhirnya, matematika biaya per tugas yang diselesaikan, dihitung dengan jujur, menentukan di mana teknologi ini benar-benar berada.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, catatan riset dan analisis industri - https://semianalysis.com
Berpikirlah secara matematis. Rekayasa dengan cerdas. Pimpin secara strategis. Bangun dengan bertanggung jawab. Skala secara global. Ciptakan nilai bisnis nyata melalui kecerdasan buatan.
