तीन साल तक, किसी AI कंपनी से अपनी वेबसाइट पर ट्रेनिंग न करने को कहने का मतलब था उसके क्रॉलर का नाम जानना। OpenAI के लिए GPTBot, Anthropic के लिए ClaudeBot, Google के लिए Google-Extended, Microsoft के लिए एक meta tag। हर विक्रेता का अपना स्विच, अपना सिंटैक्स और अपना दस्तावेज़ था, और AI ट्रेनिंग से बाहर रहना चाहने वाले हर वेबसाइट ऑपरेटर को ये सब खोजकर संभालना पड़ता था। शुक्रवार को, चार सबसे बड़ी AI कंपनियों ने इसके बजाय एक ही पंक्ति पढ़ने पर सहमति व्यक्त की।
OpenAI, Google, Microsoft और Anthropic ने घोषणा की कि वे robots.txt में एक साझा सिग्नल का सम्मान करेंगे — वह छोटी टेक्स्ट फ़ाइल जो 1994 से यह तय करती आई है कि मशीनें वेबसाइटों के साथ कैसा व्यवहार करें। एक प्रकाशक एक नियम लिख सकेगा जो एक साथ सभी भाग लेने वाले AI प्रदाताओं तक पहुँचे, यह बताते हुए कि उसकी सामग्री जेनरेटिव मॉडल की ट्रेनिंग के लिए इस्तेमाल हो सकती है या नहीं। OpenAI कहता है कि वह आने वाले महीनों में इस सिग्नल को लागू करेगा। Google 2027 में समर्थन की योजना बना रहा है। Microsoft ने सबसे विस्तृत समय-सीमा प्रकाशित की है; नए नियंत्रण फरवरी से प्रभावी होंगे।
तकनीक जानबूझकर साधारण है, और यही इसकी खूबी है। यह प्रस्ताव robots.txt में कोई नया directive नहीं जोड़ता। एक साइट __usage_ai-training नामक policy token के तहत एक सामान्य नियम-समूह लिखती है, वही Allow और Disallow पंक्तियाँ इस्तेमाल करते हुए जो हमेशा से चली आ रही हैं। कोई wildcard समूह उस token से कभी मेल नहीं खा सकता, और जिस फ़ाइल में token नहीं है वह कोई प्राथमिकता व्यक्त नहीं करती — आज वेब पर मौजूद हर robots.txt फ़ाइल ऐसी ही है। किसी की मौजूदा सेटिंग रातोंरात अपना अर्थ नहीं बदलेगी।
यह विचार Internet Engineering Task Force के AI Preferences वर्किंग ग्रुप से निकला है, और विशिष्ट मसौदा Anthropic के इंजीनियर Kevin Kelley ने पेश किया। यह एक व्यक्तिगत Internet Draft है, अपनाया हुआ मानक नहीं, और अगर वर्किंग ग्रुप इसे आगे नहीं बढ़ाता तो मई 2027 में समाप्त हो जाएगा। Anthropic कहता है कि अपनी सेवाओं में समर्थन लागू करने में समय लगेगा। यह प्रतिस्पर्धियों के बीच एक स्वैच्छिक समझौता है, कोई नियम नहीं, और प्रतिष्ठा के अलावा इसमें कोई दंड नहीं है।
छिपे नियम पढ़ने पर ही समझौता सरल दिखना बंद करता है। हर कंपनी वही पंक्ति पढ़ेगी और अलग-अलग काम करेगी। Google साझा opt-out को Google-Extended ब्लॉक की तरह मानेगा, जिससे सामग्री भविष्य के Gemini ट्रेनिंग और Gemini Apps के grounding से हट जाएगी, लेकिन Google Search अछूता रहेगा। Microsoft फैसले को दो भागों में बाँट रहा है: एक ट्रेनिंग की प्राथमिकता, दूसरी grounding की — यानी Copilot और Bing के AI Mode के जवाबों में आपके पेज शामिल हो सकते हैं या नहीं। Microsoft उन NoArchive और NoCache टैगों को भी समाप्त कर रहा है जिन पर आज कई साइटें निर्भर हैं; ऑपरेटरों के पास अपनी पसंद दोबारा दर्ज करने के लिए मार्च 2027 तक का समय है। जो साइटें यह समय चूक गईं, वे grounding की अनुमति पर default हो जाएँगी।
यह आखिरी बात किसी भी बोर्ड के ध्यान की है। ट्रेनिंग से बाहर होना, जवाबों से बाहर होना नहीं है। एक कंपनी अपनी सामग्री को मॉडल के weights से बाहर रखते हुए भी AI उत्पादों को उसे उद्धृत करने दे सकती है, या इसका उल्टा भी कर सकती है, और हर विक्रेता वह रेखा अलग जगह खींचता है। Microsoft साफ चेतावनी देता है: grounding सीमित करने से AI-जनित जवाबों में ब्रांड की दृश्यता घटेगी, हालाँकि सामान्य खोज परिणामों में नहीं। यह अब वेब टीम का तकनीकी रखरखाव नहीं है। यह एक वितरण रणनीति का सवाल है कि आपके शब्द आपके लिए कहाँ सबसे मेहनत से काम करें।
शुक्रवार को जो बदला, उसकी एक ईमानदार सीमा भी है। यह सिग्नल सबके लिए स्वैच्छिक है, यहाँ तक कि घोषणा करने वाली कंपनियों के लिए भी। यह भुगतान, लाइसेंसिंग या श्रेय के बारे में कुछ नहीं कहता, और आज के मॉडलों में पहले से समाई सामग्री के लिए कुछ नहीं करता। जिस प्रकाशक को मुआवजा चाहिए उसे अब भी अनुबंध चाहिए; जिसे विलोपन चाहिए उसे अब भी वकील चाहिए। साझा पंक्ति जो देती है वह है सहमति की मशीनरी — इतनी सस्ती कि कोई भी वेबसाइट इस्तेमाल कर सके, और इतनी एकसमान कि उद्योग यह न कह सके कि इसका सम्मान करना बहुत जटिल था।
गहरा बदलाव पहचानने लायक है। ट्रेनिंग डेटा उस चीज से बदल रहा है जो उद्योग ले लेता था, उस चीज में जो उसे माँगनी होगी, और माँग उसी तरह मानकीकृत हो रही है जिस तरह वेब चीजें मानकीकृत करता है: एक token, एक शब्दावली, एक वर्किंग ग्रुप, एक समय-सीमा। जब सहमति का फ़ाइल प्रारूप हो जाता है, तो बातचीत का आधार बन जाता है। लाइसेंसिंग वार्ता, नियामक मसौदे और एंटरप्राइज डेटा सौदे इस सिग्नल का उल्लेख उसी तरह करेंगे जिस तरह निजता चर्चाएँ cookie banners का करती हैं — वह क्षण जब एक अस्पष्ट सिद्धांत एक परिचालन नियंत्रण बन गया।
लीडरशिप टीमों के लिए कदम छोटा पर वास्तविक है। सोच-समझकर तय करें कि आपकी सामग्री मॉडल को ट्रेन करे, जवाबों को सूचित करे, दोनों करे या कोई नहीं, और उस फैसले को एक जगह, एक बार लिखें, बजाय इसके कि कोई default आपके लिए जवाब दे। 2026 और 2027 के दौरान हर प्रदाता साझा पंक्ति की व्याख्या कैसे करता है, इस पर नजर रखने के लिए किसी को नियुक्त करें, क्योंकि कुछ समय के लिए वही शब्द Google और Microsoft में अलग अर्थ रखेंगे। जो कंपनियाँ इसे सेटिंग पेज नहीं बल्कि रणनीतिक चुनाव मानेंगी, वही होंगी जिनकी सामग्री उनकी अपनी शर्तों पर काम करेगी।
गणितीय सोचें। समझदारी से इंजीनियर करें। रणनीतिक रूप से नेतृत्व करें। जिम्मेदारी से बनाएँ। वैश्विक रूप से बढ़ें। आर्टिफिशियल इंटेलिजेंस के माध्यम से वास्तविक व्यावसायिक मूल्य बनाएँ।
