เป็นเวลาสามปีแล้ว การบอกบริษัท AI ว่าอย่าฝึกด้วยเว็บไซต์ของคุณหมายถึงการรู้จักชื่อ crawler ของมัน GPTBot ของ OpenAI, ClaudeBot ของ Anthropic, Google-Extended ของ Google และเมตาแท็กของ Microsoft ผู้ขายแต่ละรายมีสวิตช์ ไวยากรณ์ และเอกสารของตัวเอง และผู้ดำเนินการเว็บไซต์คนใดที่ต้องการออกจากการฝึก AI ต้องไล่หาพวกมันทีละตัว เมื่อวันศุกร์ บริษัท AI ทั้งสี่แห่งที่ใหญ่ที่สุดตกลงที่จะอ่านบรรทัดเดียวแทน
OpenAI, Google, Microsoft และ Anthropic ต่างประกาศว่าจะเคารพสัญญาณร่วมใน robots.txt ไฟล์ข้อความเล็กๆ ที่ตั้งแต่ปี 1994 ได้ตัดสินว่าเครื่องจักรปฏิบัติต่อเว็บไซต์อย่างไร ผู้เผยแพร่จะสามารถเขียนกฎเดียวที่คุยกับผู้ให้บริการ AI ที่เข้าร่วมทั้งหมดพร้อมกัน โดยระบุว่าเนื้อหาของตนสามารถใช้ฝึกโมเดลเจเนอเรทีฟได้หรือไม่ OpenAI บอกว่าจะนำสัญญาณไปใช้ในอีกไม่กี่เดือนข้างหน้า Google วางแผนสนับสนุนในปี 2027 Microsoft เผยแพร่ไทม์ไลน์ที่ละเอียดที่สุด โดยตัวควบคุมใหม่จะมีผลตั้งแต่เดือนกุมภาพันธ์
กลไกนั้นตั้งใจให้น่าเบื่อ และนั่นคือประเด็น ข้อเสนอไม่ได้เพิ่มคำสั่งใหม่ใดๆ ใน robots.txt เว็บไซต์เขียนกลุ่มกฎธรรมดาภายใต้โทเคนนโยบาย __usage_ai-training โดยใช้บรรทัด Allow และ Disallow เดิมที่ใช้มาตลอด กลุ่มไวลด์การ์ดไม่สามารถจับคู่โทเคนนั้นได้เลย และไฟล์ที่ไม่มีโทเคนไม่แสดงความชอบใดๆ ซึ่งเป็นสถานะของ robots.txt ทุกไฟล์ที่เผยแพร่บนเว็บวันนี้ การกำหนดค่าที่มีอยู่ของใครก็ตามจะไม่เปลี่ยนความหมายในชั่วข้ามคืน
แนวคิดนี้มาจากกลุ่มทำงาน AI Preferences ของ Internet Engineering Task Force โดยร่างเฉพาะเสนอโดยวิศวกรของ Anthropic ชื่อ Kevin Kelley นี่คือ Internet Draft ของบุคคล ไม่ใช่มาตรฐานที่ตกลงกัน และจะหมดอายุในเดือนพฤษภาคม 2027 เว้นแต่กลุ่มทำงานจะผลักดันต่อไป Anthropic บอกว่าการนำการสนับสนุนไปใช้ในบริการทั้งหมดจะใช้เวลา นี่คือสัญญาสมัครใจระหว่างคู่แข่ง ไม่ใช่กฎระเบียบ และไม่มีอะไรในนั้นนอกจากชื่อเสียง
ตัวอักษรตัวเล็กคือจุดที่ข้อตกลงหยุดดูเรียบง่าย แต่ละบริษัทจะอ่านบรรทัดเดียวกันและทำสิ่งที่แตกต่างกัน Google วางแผนที่จะถือว่าการออกจากการฝึกแบบร่วมเหมือนการบล็อก Google-Extended ซึ่งลบเนื้อหาออกจากการฝึก Gemini ในอนาคตและจาก grounding ภายใน Gemini Apps แต่ไม่แตะต้อง Google Search Microsoft แบ่งการตัดสินใจออกเป็นสองส่วน: ความชอบหนึ่งสำหรับการฝึกและอีกหนึ่งสำหรับ grounding หมายความว่าหน้าเว็บของคุณสามารถป้อนคำตอบที่ Copilot และ AI Mode ของ Bing สร้างขึ้นได้หรือไม่ Microsoft ยังเลิกใช้แท็ก NoArchive และ NoCache ที่เว็บไซต์จำนวนมากพึ่งพาอยู่ในปัจจุบัน โดยให้เวลาผู้ดำเนินการถึงเดือนมีนาคม 2027 เพื่อประกาศความชอบใหม่ เว็บไซต์ที่พลาดเส้นตายเหล่านั้นจะอนุญาต grounding โดยค่าเริ่มต้น
รายละเอียดสุดท้ายนั้นสมควรได้รับความสนใจจากคณะกรรมการ การออกจากการฝึกไม่เหมือนกับการออกจากคำตอบ บริษัทสามารถเก็บเนื้อหาไว้นอกน้ำหนักของโมเดลในขณะที่อนุญาตให้ผลิตภัณฑ์ AI อ้างอิง หรือในทางกลับกัน และผู้ขายแต่ละรายลากเส้นนั้นในที่ต่างกัน Microsoft เตือนอย่างชัดเจน: การจำกัด grounding จะจำกัดการมองเห็นแบรนด์ในคำตอบที่สร้างโดย AI แม้ว่าจะไม่ใช่ในผลการค้นหาปกติ การตัดสินใจนี้ไม่ใช่การบำรุงรักษาทางเทคนิคของทีมเว็บอีกต่อไป มันคือคำถามเชิงกลยุทธ์ด้านการกระจายตัวว่าคำพูดของคุณควรทำงานหนักที่สุดที่ไหนเพื่อคุณ
สิ่งที่เปลี่ยนไปในวันศุกร์ก็มีขอบเขตที่ซื่อสัตย์เช่นกัน สัญญาณนั้นสมัครใจสำหรับทุกคน รวมถึงบริษัทที่ประกาศมัน มันไม่พูดอะไรเกี่ยวกับการชำระเงิน การอนุญาต หรือการให้เครดิต และไม่ทำอะไรกับเนื้อหาที่ถูกดูดเข้าไปในโมเดลของวันนี้แล้ว ผู้เผยแพร่ที่ต้องการค่าชดเชยยังต้องการสัญญา ผู้ที่ต้องการลบยังต้องการทนาย สิ่งที่บรรทัดร่วมนำเสนอคือกลไกความยินยอม ราคาถูกพอที่เว็บไซต์ใดก็ใช้ได้ และเป็นเอกภาพพอที่อุตสาหกรรมไม่สามารถอ้างได้ว่าการปฏิบัติตามนั้นยากเกินไป
การเปลี่ยนแปลงที่ลึกกว่าสมควรได้รับการตั้งชื่อ ข้อมูลการฝึกกำลังเปลี่ยนจากสิ่งที่อุตสาหกรรมเอาไปเป็นสิ่งที่ต้องขอ และการขอกำลังถูกทำให้เป็นมาตรฐานในลักษณะเดียวกับที่เว็บทำให้สิ่งต่างๆ เป็นมาตรฐาน: โทเคน คำศัพท์ กลุ่มทำงาน วันหมดอายุ เมื่อความยินยอมมีรูปแบบไฟล์ การเจรจาจึงมีตำแหน่งเริ่มต้น คาดว่าการเจรจาใบอนุญาต ร่างของผู้ควบคุม และข้อตกลงข้อมูลองค์กรจะอ้างอิงสัญญาณนี้เหมือนที่การถกเถียงเรื่องความเป็นส่วนตัวอ้างอิงแบนเนอร์คุกกี้: เป็นช่วงเวลาที่หลักการที่คลุมเครือกลายเป็นการควบคุมเชิงปฏิบัติการ
สำหรับทีมผู้นำ การกระทำนั้นเล็กแต่จริง ตัดสินใจอย่างมีเจตนาว่าเนื้อหาของคุณฝึกโมเดล ป้อนคำตอบ ทั้งสองอย่าง หรือไม่มีเลย และเขียนการตัดสินใจนั้นครั้งเดียวในที่เดียว แทนที่จะปล่อยให้ค่าเริ่มต้นตอบแทนคุณ แต่งตั้งใครสักคนเพื่อติดตามว่าผู้ให้บริการแต่ละรายตีความบรรทัดร่วมอย่างไรตลอดปี 2026 และ 2027 เพราะคำเดียวกันจะมีความหมายต่างกันที่ Google และ Microsoft ชั่วระยะหนึ่ง บริษัทที่มองสิ่งนี้เป็นทางเลือกเชิงกลยุทธ์มากกว่าหน้าการตั้งค่าจะเป็นบริษัทที่เนื้อหาของพวกเขาทำงานตามเงื่อนไขของพวกเขาเอง
คิดอย่างคณิตศาสตร์ ออกแบบอย่างชาญฉลาด นำอย่างมีกลยุทธ์ สร้างอย่างรับผิดชอบ ขยายสู่ระดับโลก สร้างมูลค่าธุรกิจที่แท้จริงผ่านปัญญาประดิษฐ์
