Seorang pasien membutuhkan diagnosis yang andal dan jalur yang jelas menuju pengobatan. Bagi para pemimpin layanan kesehatan, riset AI medis terbaru dari Microsoft mengangkat pertanyaan praktis: bagaimana seharusnya sebuah organisasi mengevaluasi sistem yang mengumpulkan bukti dan mengambil keputusan melalui beberapa langkah?
Pandangan saya, MAI-DxO layak mendapat perhatian bukan hanya karena akurasinya, tetapi juga karena proses pengambilan keputusannya. Para CEO dan CTO sebaiknya mempelajari proses itu sambil menjaga batas yang tegas antara kinerja riset dan nilai klinis yang terbukti.
Studi tersebut, Sequential diagnosis with language models, terbit di Science pada 22 Oktober 2026. MAI-DxO yang dipadukan dengan GPT-5 mencapai akurasi diagnostik 83,2% pada 304 kasus NEJM yang sulit. Dokter umum yang menggunakan sumber referensi mencapai 36,1%, dibandingkan 22,3% tanpa sumber tersebut. Pada 325 kasus admisi dari unit gawat darurat, sistem mencapai 80,3%, dibandingkan 46,8% untuk dokter. Ini adalah hasil dari evaluasi terkontrol atas rekam kasus. [1, 2]
Persentase dokter tersebut menggambarkan kinerja pada tugas-tugas studi. Angka itu tidak boleh dipresentasikan sebagai akurasi umum dokter dalam praktik sehari-hari. Skor benchmark keseluruhan juga membiarkan satu pertanyaan penting tak terjawab: kesalahan mana yang bisa menimbulkan bahaya paling besar?
MAI-DxO mengoordinasikan panel virtual yang mengusulkan diagnosis, menantang asumsi, dan memilih pertanyaan atau pemeriksaan. Penilaiannya berubah seiring datangnya informasi. Benchmark ini mengukur jalan menuju diagnosis, termasuk estimasi biaya pemeriksaan. Microsoft juga mengevaluasi konfigurasi dengan batasan biaya yang lebih ketat. [2]
Bagi pemimpin perusahaan, pelajaran desain yang berguna adalah memisahkan pengusulan jawaban dari peninjauan buktinya. Peninjau harus mampu mengidentifikasi apa yang kurang, menantang penjelasan utama, dan meminta informasi tambahan sebelum tindakan penting dilanjutkan.
Beberapa peran AI masih bisa mengulangi kesalahan yang sama. Karena itu, kesepakatan antaragen harus diuji terhadap bukti eksternal. Menambahkan debat menciptakan komponen lain untuk dievaluasi; itu bukan verifikasi independen.
Saya akan membandingkan sistem pada tiga dimensi. Bandingkan skor jawaban akhir dengan kualitas keseluruhan proses pengambilan keputusan. Bandingkan estimasi biaya tugas dengan total biaya penyediaan layanan. Bandingkan kinerja pada rekam historis dengan hasil yang diamati selama penggunaan prospektif. Setiap perbandingan menjawab pertanyaan investasi yang berbeda.
Misalnya, rekomendasi yang murah bisa menciptakan pekerjaan peninjauan yang besar. Jawaban yang benar bisa datang terlambat untuk membantu. Sistem yang bekerja baik pada rekam lengkap bisa kesulitan ketika informasi penting tidak tersedia. Para pemimpin membutuhkan evaluasi yang membuat perbedaan ini terlihat.
SDBench menggunakan model gatekeeper untuk menyediakan informasi yang diminta dan model judge untuk menilai diagnosis. Gatekeeper dapat menghasilkan temuan yang konsisten dengan kasus ketika hasil yang diminta tidak ada dalam rekam. Mekanisme ini memungkinkan evaluasi interaktif, tetapi juga memperkenalkan asumsi yang perlu diteliti. [3]
Ini penting karena lingkungan evaluasi memengaruhi hasil yang diukur. Rumah sakit harus memastikan bagaimana perilaku sistem dengan informasi yang tidak lengkap, kesaksian yang saling bertentangan, dan keterlambatan operasional. Akurasi diagnostik saja tidak bisa membuktikan keselamatan pasien, kualitas pengobatan, atau efektivitas tim klinis.
Microsoft telah mengumumkan studi prospektif dengan Beth Israel Deaconess Medical Center, di mana pasien akan berinteraksi dengan sistem dan kinerjanya akan dibandingkan dengan penilaian independen dokter. Ini adalah validasi yang direncanakan, bukan bukti hasil pasien yang lebih baik yang sudah tercapai. [2]
CEO sebaiknya mendefinisikan manfaat yang dituju sebelum mendanai penerapan. Dalam uji coba layanan kesehatan, itu bisa berarti pengenalan yang lebih cepat atas kondisi tertentu atau dukungan yang lebih baik untuk meninjau kasus-kasus sulit. Tetapkan pemilik klinis, sepakati ukuran hasil, dan tetapkan kondisi untuk menghentikan uji coba. Hindari mengambil keputusan kepegawaian dari perbandingan benchmark.
CTO sebaiknya membangun evaluasi berdasarkan alur kerja yang dituju. Bandingkan proses yang ada, AI yang bekerja sendiri dalam lingkungan terkontrol, dan klinisi yang didukung AI. Gunakan kasus yang representatif untuk layanan yang diusulkan. Periksa diagnosis serius yang terlewat, pemeriksaan yang tidak perlu, waktu hingga keputusan, dan beban peninjauan rekomendasi. Laporkan hasil untuk kelompok pasien yang relevan, bukan hanya rata-rata keseluruhan.
Mulailah dengan evaluasi retrospektif menggunakan data yang tata kelolanya baik. Jika bukti mendukung kelanjutan, pertimbangkan studi prospektif yang diawasi dengan kepemimpinan klinis dan persetujuan yang diperlukan. Pastikan kewenangan untuk memesan pemeriksaan atau mengubah pengobatan ditetapkan secara eksplisit. Tentukan kapan sistem harus menyerahkan keputusan dan bagaimana klinisi dapat menimpanya.
Tuntut bukti yang dapat dilacak untuk rekomendasi, akses terkontrol ke informasi pasien, dan catatan model serta versi alur kerja yang digunakan. Ulangi evaluasi yang relevan ketika salah satunya berubah. Uji coba yang berhasil membutuhkan proses operasional yang mampu mendeteksi penurunan dan mendukung penarikan.
Para pemimpin keuangan sebaiknya membedakan estimasi biaya pemeriksaan dari penghematan yang terealisasi. Sertakan integrasi, peninjauan klinis, pemantauan, dan evaluasi berkelanjutan dalam analisis bisnis. Setiap penghematan harus dinilai bersama konsekuensi dari diagnosis yang terlewat dan pemeriksaan yang sebenarnya bisa dihindari.
Disiplin evaluasi yang sama berguna ketika mempertimbangkan AI untuk klaim asuransi, pengecualian pengadaan, atau investigasi insiden. Aplikasi-aplikasi tersebut membutuhkan buktinya sendiri. Benchmark medis tidak bisa memvalidasi alur kerja keuangan atau operasional.
MAI-DxO memberi alasan untuk meneliti bagaimana AI meminta bukti, merevisi posisinya, dan memutuskan kapan berhenti. Nilai perusahaan akan bergantung pada apakah perilaku tersebut memperbaiki layanan yang terdefinisi dalam kondisi operasional nyata.
Jika Anda menyetujui uji coba AI medis, bukti apa yang Anda syaratkan sebelum mengizinkan rekomendasinya memengaruhi perawatan pasien?
Berpikirlah matematis. Rekayasa dengan cerdas. Pimpin secara strategis. Bangun secara bertanggung jawab. Skalakan secara global. Ciptakan nilai bisnis nyata melalui kecerdasan buatan.
[1] Nori, H. et al. (2026). Sequential diagnosis with language models. Science. https://doi.org/10.1126/science.aeh7930
[2] Microsoft AI (22 Oktober 2026). Building Medical Superintelligence. https://microsoft.ai/news/building-medical-superintelligence/
[3] Microsoft. Dokumentasi SDBench. https://microsoft.github.io/sdbench/
