रुग्णाला विश्वासार्ह निदान आणि उपचारांचा स्पष्ट मार्ग हवा असतो. आरोग्यसेवा नेत्यांसाठी, वैद्यकीय AI बद्दलचे Microsoft चे नवीनतम संशोधन एक व्यावहारिक प्रश्न उपस्थित करते: अनेक टप्प्यांत पुरावे जमवून निर्णय घेणाऱ्या प्रणालीचे मूल्यमापन संस्था कशी करावी?
माझ्या मते, MAI-DxO केवळ अचूकतेसाठी नाही, तर निर्णय-प्रक्रियेसाठीही लक्ष देण्यासारखी आहे. संशोधनातील कामगिरी आणि सिद्ध झालेल्या क्लिनिकल मूल्यामधील स्पष्ट सीमा कायम ठेवून CEO आणि CTO नी ही प्रक्रिया अभ्यासली पाहिजे.
Sequential diagnosis with language models हा अभ्यास २२ ऑक्टोबर २०२६ रोजी Science मध्ये प्रकाशित झाला. GPT-5 सोबत जोडलेल्या MAI-DxO ने ३०४ कठीण NEJM केसमध्ये ८३.२% निदान अचूकता मिळवली. संदर्भ साहित्य वापरणाऱ्या जनरलिस्ट डॉक्टरांनी ३६.१% तर ते न वापरतांना २२.३% अचूकता मिळवली. आपत्कालीन विभागातून दाखल झालेल्या ३२५ केसमध्ये प्रणालीने ८०.३% मिळवली, तर डॉक्टरांनी ४६.८% मिळवले. हे केस नोंदींवरील नियंत्रित मूल्यमापनांचे निकाल आहेत. [१, २]
डॉक्टरांची ही टक्केवारी संशोधनाच्या कामांतील त्यांच्या कामगिरीचे वर्णन करते. ती दैनंदिन व्यवहारात डॉक्टरांची सामान्य अचूकता म्हणून कधीही मांडू नये. एकूण बेंचमार्क स्कोअर एक महत्त्वाचा प्रश्न सोडत नाही: कोणत्या चुका सर्वाधिक इजा करू शकतात?
MAI-DxO निदान सुचवणारे, गृहितांना आव्हान देणारे आणि प्रश्न किंवा तपासण्या निवडणारे आभासी पॅनेल समन्वयित करते. माहिती आल्याबरोबर त्याचे अंदाज बदलतात. बेंचमार्क अंदाजित तपासणी-खर्चांसह निदानापर्यंतच्या मार्गाचे मोजमाप करते. Microsoft ने अधिक कडक खर्च-निर्बंध असलेल्या आवृत्त्यांचेही मूल्यमापन केले आहे. [२]
उद्योजक नेत्यांसाठी उपयुक्त असलेला रचना-धडा म्हणजे उत्तर सुचवणे आणि त्याच्या पुराव्याचे परीक्षण करणे यांच्यातील फरक. परीक्षकाने काय चुकत आहे हे ओळखता आले पाहिजे, प्रमुख स्पष्टीकरणाला आव्हान देता आले पाहिजे आणि महत्त्वाची पावले पुढे जाण्यापूर्वी अधिक माहिती मागितली गेली पाहिजे.
अनेक AI भूमिका अजूनही तीच चूक पुन्हा करू शकतात. त्यामुळे एजंट्समधील एकमताची चाचणी बाह्य पुराव्यावरुन घेणे आवश्यक आहे. वादविवाद जोडणे म्हणजे मूल्यमापनाचा आणखी एक घटक तयार करणे; ती स्वतंत्र पडताळणी नाही.
मी तीन निकषांवर प्रणालींची तुलना करेन. अंतिम उत्तर-स्कोअरची तुलना संपूर्ण निर्णय-प्रक्रियेच्या गुणवत्तेशी करा. अंदाजित कार्य-खर्चांची तुलना सेवा पुरविण्याच्या एकूण खर्चाशी करा. ऐतिहासिक नोंदींवरील कामगिरीची तुलना प्रस्पेक्टिव्ह वापरातील निरीक्षित परिणामांशी करा. प्रत्येक तुलना वेगळ्या गुंतवणूक-प्रश्नाचे उत्तर देते.
उदाहरणार्थ, स्वस्त शिफारशींमुळे मोठे परीक्षण-कार्य तयार होऊ शकते. बरोबर उत्तर मदत करण्यासाठी खूप उशिराने येऊ शकते. संपूर्ण नोंदींवर छान काम करणारी प्रणाली महत्त्वाची माहिती उपलब्ध नसतांना अडचणीत येऊ शकते. नेत्यांना अशी मूल्यमापन-पद्धती हवी जी हे फरक उघड करेल.
SDBench विनंती केलेली माहिती देण्यासाठी गेटकीपर मॉडेल आणि निदानांचे मूल्यमापन करण्यासाठी जज मॉडेल वापरते. विनंती केलेला निकाल नोंदीत नसतांना गेटकीपर केसशी सुसंगत निष्कर्ष तयार करू शकते. या यंत्रणा संवादी मूल्यमापन शक्य करतात, पण लक्ष देणे आवश्यक असलेली गृहितकेही आणतात. [३]
याचे महत्त्व असे की मूल्यमापन-वातावरण मोजलेल्या निकालावर परिणाम करते. अपूर्ण माहिती, विसंगत विधाने आणि कार्यान्वयन विलंब यांच्या प्रसंगी प्रणाली कशी वागते हे रुग्णालयाने ठरवले पाहिजे. केवळ निदान अचूकता रुग्ण-सुरक्षा, उपचार-गुणवत्ता किंवा क्लिनिकल टीमची प्रभाविता सिद्ध करू शकत नाही.
Microsoft ने Beth Israel Deaconess Medical Center सोबत प्रस्पेक्टिव्ह अभ्यासाची घोषणा केली आहे, जिथे रुग्ण प्रणालीशी संवाद साधतील आणि कामगिरीची तुलना डॉक्टरांच्या स्वतंत्र मूल्यमापनाशी केली जाईल. ही नियोजित पडताळणी आहे, आधीच साध्य झालेल्या रुग्ण-सुधारणांचा पुरावा नाही. [२]
अंमलबजावणीला निधी देण्यापूर्वी CEO नी अपेक्षित फायदा निश्चित केला पाहिजे. आरोग्यसेवा पायलटमध्ये तो एखाद्या विशिष्ट आजाराचा लवकर शोध किंवा कठीण केस-परीक्षणासाठी चांगली साथ असू शकतो. क्लिनिकल मालकाचे नाव द्या, परिणाम-निकषांवर सहमती घ्या आणि पायलट थांबविण्याच्या परिस्थिती निश्चित करा. बेंचमार्क तुलनेवरून कर्मचारी-निर्णय घेऊ नका.
CTO नी अपेक्षित कार्यप्रवाहाभोवती मूल्यमापन तयार केले पाहिजे. विद्यमान प्रक्रिया, नियंत्रित वातावरणात एकटी काम करणारी AI आणि AI-सहाय्य प्राप्त क्लिनिशियन यांची तुलना करा. प्रस्तावित सेवेचे प्रतिनिधित्व करणाऱ्या केस वापरा. चुकलेली गंभीर निदाने, अनावश्यक तपासण्या, निर्णयासाठी लागणारा वेळ आणि शिफारसींचे परीक्षण-भार यांचे परीक्षण करा. एकूण सरासरीबरोबरच संबंधित रुग्ण-गटांचे निकालही नोंदवा.
योग्य शासन असलेल्या डेटासह रेट्रोस्पेक्टिव्ह मूल्यमापनाने सुरुवात करा. पुरावा पुढे जाण्यास साथ देत असल्यास, क्लिनिकल नेतृत्व आणि आवश्यक मान्यतेसह देखरेखीत प्रस्पेक्टिव्ह अभ्यास विचारात घ्या. तपासण्या मागविण्याचे किंवा उपचार बदलण्याचे अधिकार स्पष्टपणे ठरवून ठेवा. प्रणालीने कधी माघार घ्यायला हवी आणि क्लिनिशियन तिला कशी रद्द करू शकतो हे निश्चित करा.
शिफारसींसाठी शोधता येण्यासारखे पुरावे, रुग्ण-माहितीमध्ये नियंत्रित प्रवेश आणि वापरलेल्या मॉडेल व कार्यप्रवाह-आवृत्त्यांची नोंद मागा. यातले काहीही बदलल्यास संबंधित मूल्यमापने पुन्हा करा. यशस्वी पायलटला अवनती शोधू शकणारी आणि माघार घेण्यास साथ देणारी कार्यपद्धती हवी.
वित्तीय नेत्यांनी अंदाजित तपासणी-खर्च आणि प्रत्यक्ष बचत यात फरक केला पाहिजे. व्यावसायिक विश्लेषणात इंटिग्रेशन, क्लिनिकल परीक्षण, मॉनिटरिंग आणि सततचे मूल्यमापन समाविष्ट करा. कोणतीही बचत चुकलेल्या निदानांच्या आणि टाळता येण्याजोग्या तपासण्यांच्या परिणामांसह मूल्यमापित केली पाहिजे.
विमा दावे, खरेदी-अपवाद किंवा घटना-चौकशीसाठी AI विचारात घेतानाही हेच मूल्यमापन-शिस्त उपयुक्त आहे. त्या उपयोजनांना स्वतःचे पुरावे हवेत. वैद्यकीय बेंचमार्क आर्थिक किंवा कार्यान्वयन कार्यप्रवाहाला मान्य करू शकत नाही.
AI पुरावे कसे मागते, स्वतःची स्थिती कशी सुधारते आणि कधी थांबायचे ते कसे ठरवते हे तपासण्याचे कारण MAI-DxO देते. उद्योजक मूल्य हे या वर्तनांनी वास्तविक कार्यान्वयन-परिस्थितीत ठराविक सेवा सुधारतात की नाही यावर अवलंबून असते.
आपण वैद्यकीय AI पायलट मान्य करणारे असाल, तर त्याच्या शिफारसींना रुग्ण-सेवेवर परिणाम करण्याची परवानगी देण्यापूर्वी आपण कोणते पुरावे मागाल?
गणिती विचार करा. बुद्धिमानीने अभिकल्पना करा. धोरणात्मक नेतृत्व करा. जबाबदारीने निर्माण करा. जागतिक स्तरावर वाढा. कृत्रिम बुद्धिमत्तेद्वारे खरे व्यावसायिक मूल्य निर्माण करा.
[१] Nori, H. et al. (2026). Sequential diagnosis with language models. Science. https://doi.org/10.1126/science.aeh7930
[२] Microsoft AI (२२ ऑक्टोबर २०२६). Building Medical Superintelligence. https://microsoft.ai/news/building-medical-superintelligence/
[३] Microsoft. SDBench दस्तऐवजीकरण. https://microsoft.github.io/sdbench/
