Sa loob ng tatlong taon, ang pagsabi sa isang kumpanya ng AI na huwag sanayin sa iyong website ay nangangahulugang alam mo ang pangalan ng crawler nito. GPTBot ng OpenAI, ClaudeBot ng Anthropic, Google-Extended ng Google, isang meta tag ng Microsoft. Bawat vendor ay may sariling switch, sariling syntax, at sariling dokumentasyon, at sinumang operator ng website na gustong lumabas sa pagsasanay ng AI ay kailangang hanapin ang lahat ng ito nang paisa-isa. Biyernes, sumang-ayon ang apat na pinakamalaking kumpanya ng AI na basahin ang isang linya sa halip.
Ang OpenAI, Google, Microsoft at Anthropic ay bawat isa ay nag-anunsyo na igagalang nila ang isang nakabahaging signal sa loob ng robots.txt, ang maliit na text file na mula 1994 ay nagpapasya kung paano itinuturing ng mga makina ang mga website. Ang isang publisher ay makakapagsulat ng isang tuntunin na nakikipag-usap sa lahat ng kalahok na provider ng AI nang sabay-sabay, na nagsasabi kung maaaring gamitin ang nilalaman nito sa pagsasanay ng mga generative model. Sinasabi ng OpenAI na ipapatupad nito ang signal sa mga darating na buwan. Plano ng Google ang suporta sa 2027. Inilathala ng Microsoft ang pinakadetalyadong timeline, na may mga bagong kontrol na epektibo simula Pebrero.
Ang mekanismo ay sadyang boring, at iyon ang punto. Ang panukala ay walang idinaragdag na bagong directive sa robots.txt. Ang isang site ay nagsusulat ng ordinaryong grupo ng tuntunin sa ilalim ng isang policy token, __usage_ai-training, gamit ang parehong mga linya ng Allow at Disallow na laging ginagamit. Ang isang wildcard group ay hindi kailanman maaaring tumugma sa token na iyon, at ang isang file na walang token ay walang ipinahahayag na kagustuhan, na siyang kalagayan ng bawat robots.txt na nai-publish sa web ngayon. Ang umiiral na configuration ng kahit sino ay hindi magbabago ng kahulugan sa loob ng isang gabi.
Ang ideya ay nagmula sa AI Preferences working group ng Internet Engineering Task Force, at ang tiyak na draft ay isinumite ng engineer ng Anthropic na si Kevin Kelley. Ito ay isang indibidwal na Internet Draft, hindi isang napagkasunduang pamantayan, at mag-e-expire ito sa Mayo 2027 maliban kung itutulak ito ng working group. Sinasabi ng Anthropic na ang pagpapatupad ng suporta sa lahat ng serbisyo nito ay aabutin ng panahon. Ito ay isang kusang-loob na kasunduan sa pagitan ng mga kalaban, hindi isang regulasyon, at walang nakapaloob dito maliban sa reputasyon.
Ang fine print ang lugar kung saan humihinto ang kasunduan sa pagiging simple. Bawat kumpanya ay babasa ng parehong linya at gagawa ng iba't ibang bagay dito. Plano ng Google na ituring ang nakabahaging training opt-out na parang Google-Extended block, na nag-aalis ng nilalaman mula sa hinaharap na pagsasanay ng Gemini at mula sa grounding sa loob ng Gemini Apps, ngunit hindi nito hinahawakan ang Google Search. Hinahati ng Microsoft ang desisyon sa dalawa: kagustuhan para sa pagsasanay at kagustuhan para sa grounding, ibig sabihin kung maaaring pakainin ng iyong mga pahina ang mga sagot na binubuo ng Copilot at Bing AI Mode. Aalisin din ng Microsoft ang mga NoArchive at NoCache tag na maraming site ang umaasa ngayon, binibigyan ang mga operator hanggang Marso 2027 upang muling ideklara ang kanilang mga kagustuhan. Ang mga site na makaliligtaan ng mga deadline na iyon ay papayagan ang grounding bilang default.
Ang huling detalye na iyon ay nararapat sa pansin ng board. Ang paglabas sa pagsasanay ay hindi kapareho ng paglabas sa mga sagot. Ang isang kumpanya ay maaaring panatilihin ang nilalaman nito sa labas ng mga timbang ng modelo habang hinahayaan ang mga produkto ng AI na banggitin ito, o kabaligtaran, at bawat vendor ay gumuguhit ng linya sa ibang lugar. Malinaw na nagbababala ang Microsoft: ang paghihigpit sa grounding ay maglilimita ng visibility ng brand sa mga sagot na binuo ng AI, bagaman hindi sa ordinaryong mga resulta ng paghahanap. Ang desisyong ito ay hindi na teknikal na pagpapanatili para sa web team. Ito ay tanong ng distribution strategy tungkol sa kung saan dapat pinaka-magtrabaho ang iyong mga salita para sa iyo.
Mayroon ding tapat na hangganan sa kung ano ang nagbago noong Biyernes. Ang signal ay kusang-loob para sa lahat, kabilang ang mga kumpanyang nag-anunsyo nito. Wala itong sinasabi tungkol sa bayad, lisensya o attribution, at wala itong ginagawa para sa nilalamang nakapasok na sa mga modelo ngayon. Ang publisher na gustong makakuha ng kompensasyon ay kailangan pa rin ng kontrata; ang gustong magpabura ay kailangan pa rin ng abogado. Ang iniaalok ng nakabahaging linya ay makina ng pahintulot, sapat na mura para magamit ng anumang website at sapat na uniporme upang hindi maaring sabihin ng industriya na ang pagsunod ay masyadong mahirap.
Ang mas malalim na pagbabago ay nararapat banggitin. Ang data ng pagsasanay ay lumilipat mula sa isang bagay na kinuha ng industriya patungo sa isang bagay na dapat nilang hilingin, at ang paghingi ay ginagawang pamantayan sa paraang ginagawa ng web ang mga bagay: isang token, isang talasalitaan, isang working group, isang expiry date. Kapag ang pahintulot ay may file format, ang negosasyon ay may panimulang posisyon. Asahan na ang mga usapan sa lisensya, mga draft ng regulator, at mga deal ng enterprise data ay magre-reference sa signal na ito gaya ng pagre-reference ng mga debate sa privacy sa mga cookie banner: bilang ang sandali kung kailan ang malabong prinsipyo ay naging operational na kontrol.
Para sa mga leadership team, ang aksyon ay maliit ngunit totoo. Magpasya nang may layunin kung ang iyong nilalaman ay nagsasanay ng mga modelo, nagpapakain ng mga sagot, pareho o wala, at isulat ang desisyong iyon nang isang beses, sa isang lugar, sa halip na hayaang ang default ang sumagot para sa iyo. Magtalaga ng isang tao na susubaybayan kung paano binabasa ng bawat provider ang nakabahaging linya sa buong 2026 at 2027, dahil ang parehong mga salita ay magkakaroon ng iba't ibang kahulugan sa Google at Microsoft pansamantala. Ang mga kumpanyang ituturing ito bilang isang estratehikong pagpili sa halip na isang settings page ang siyang magiging mga kumpanya na ang nilalaman ay nagtatrabaho sa kanilang sariling mga termino.
Mag-isip nang matematikal. Mag-engineer nang matalino. Mamuno nang may estratehiya. Bumuo nang may responsibilidad. Lumago nang pandaigdigan. Lumikha ng tunay na halagang pangnegosyo sa pamamagitan ng artificial intelligence.
