Selama tiga tahun, meminta perusahaan AI untuk tidak melatih dengan situs web Anda berarti mengetahui nama crawler-nya. GPTBot untuk OpenAI, ClaudeBot untuk Anthropic, Google-Extended untuk Google, sebuah meta tag untuk Microsoft. Setiap vendor punya sakelar sendiri, sintaks sendiri dan dokumentasi sendiri, dan setiap operator situs web yang ingin keluar dari pelatihan AI harus menemukan dan merawat semuanya. Hari Jumat, empat perusahaan AI terbesar sepakat untuk membaca satu baris saja.
OpenAI, Google, Microsoft dan Anthropic masing-masing mengumumkan akan menghormati sinyal bersama di robots.txt, berkas teks kecil yang sejak 1994 mengatur bagaimana mesin memperlakukan situs web. Seorang penerbit akan bisa menulis satu aturan, yang ditujukan ke semua penyedia AI yang berpartisipasi sekaligus, menyatakan apakah kontennya boleh dipakai untuk melatih model generatif. OpenAI mengatakan akan mengimplementasikan sinyal itu dalam beberapa bulan ke depan. Google merencanakan dukungan pada 2027. Microsoft menerbitkan jadwal paling rinci, dengan kontrol baru berlaku mulai Februari.
Mekanismenya sengaja dibuat membosankan, dan itulah intinya. Proposal ini tidak menambahkan direktif baru ke robots.txt. Sebuah situs menulis grup aturan biasa di bawah token kebijakan, __usage_ai-training, memakai baris Allow dan Disallow yang sama seperti biasa. Grup wildcard tidak akan pernah cocok dengan token itu, dan berkas tanpa token tidak menyatakan preferensi apa pun — begitulah semua robots.txt yang terbit hari ini. Konfigurasi siapa pun yang sudah ada tidak berubah makna dalam semalam.
Idenya lahir di kelompok kerja AI Preferences milik Internet Engineering Task Force, dan draf spesifiknya diajukan oleh insinyur Anthropic, Kevin Kelley. Ini adalah Internet Draft individual, bukan standar yang diadopsi, dan kedaluwarsa pada Mei 2027 kecuali kelompok kerja membawanya lebih jauh. Anthropic mengatakan implementasi dukungan di seluruh layanannya akan memakan waktu. Ini adalah pakta sukarela di antara para pesaing, bukan regulasi, dan tidak ada hukuman di dalamnya selain reputasi.
Di bagian cetakan kecilnya, kesepakatan ini berhenti terlihat sederhana. Setiap perusahaan akan membaca baris yang sama dan melakukan hal berbeda dengannya. Google berencana memperlakukan opt-out bersama sebagai blokir Google-Extended, yang mengeluarkan konten dari pelatihan Gemini masa depan dan dari grounding di dalam Gemini Apps, tetapi membiarkan Google Search tak tersentuh. Microsoft membelah keputusan menjadi dua: satu preferensi untuk pelatihan, satu untuk grounding, yaitu apakah halaman Anda boleh memberi masukan bagi jawaban yang dihasilkan Copilot dan AI Mode di Bing. Microsoft juga menghentikan tag NoArchive dan NoCache yang diandalkan banyak situs hari ini, memberi operator waktu sampai Maret 2027 untuk menyatakan ulang pilihan mereka. Situs yang melewatkan tenggat itu akan secara default mengizinkan grounding.
Detail terakhir itu layak mendapat perhatian dewan direksi. Keluar dari pelatihan bukan berarti keluar dari jawaban. Sebuah perusahaan bisa menjaga kontennya di luar bobot model sambil tetap membiarkan produk AI mengutipnya, atau sebaliknya, dan setiap vendor menggambar garis itu di tempat berbeda. Microsoft memperingatkan dengan blak-blakan: membatasi grounding akan membatasi visibilitas merek dalam jawaban yang dihasilkan AI, meski tidak dalam hasil pencarian biasa. Keputusan ini bukan lagi pekerjaan rumah teknis untuk tim web. Ini pertanyaan strategi distribusi tentang di mana kata-kata Anda bekerja paling keras untuk Anda.
Ada pula batas jujur dari apa yang berubah hari Jumat. Sinyal ini sukarela untuk semua orang, termasuk perusahaan yang mengumumkannya. Ia tidak mengatakan apa pun tentang pembayaran, lisensi atau atribusi, dan tidak berbuat apa-apa untuk konten yang sudah terserap ke dalam model hari ini. Penerbit yang ingin kompensasi tetap butuh kontrak; yang ingin penghapusan tetap butuh pengacara. Yang ditawarkan baris bersama ini adalah mesin persetujuan, cukup murah untuk dipakai situs mana pun dan cukup seragam sehingga industri tidak bisa mengklaim bahwa menghormatinya terlalu rumit.
Pergeseran yang lebih dalam layak disebut namanya. Data pelatihan bergerak dari sesuatu yang diambil industri menjadi sesuatu yang harus dimintanya, dan permintaan itu distandardisasi sebagaimana web menstandardisasi berbagai hal: sebuah token, sebuah kosakata, sebuah kelompok kerja, sebuah tenggat. Begitu persetujuan punya format berkas, negosiasi punya titik awal. Perkirakan pembicaraan lisensi, rancangan regulator dan kesepakatan data perusahaan akan merujuk sinyal ini seperti diskusi privasi merujuk banner cookie: sebagai momen ketika prinsip yang samar menjadi kontrol operasional.
Bagi tim kepemimpinan, aksinya kecil tapi nyata. Putuskan dengan sengaja apakah konten Anda melatih model, memberi informasi pada jawaban, keduanya atau tidak sama sekali, dan tulis keputusan itu sekali, di satu tempat, alih-alih membiarkan nilai default menjawab untuk Anda. Tugaskan seseorang untuk memantau bagaimana setiap penyedia menafsirkan baris bersama itu sepanjang 2026 dan 2027, karena kata-kata yang sama akan berarti berbeda di Google dan Microsoft untuk sementara waktu. Perusahaan yang memperlakukan ini sebagai pilihan strategis dan bukan halaman pengaturan akan menjadi perusahaan yang kontennya bekerja dengan syarat-syaratnya sendiri.
Berpikirlah secara matematis. Rekayasa dengan cerdas. Pimpin secara strategis. Bangun dengan bertanggung jawab. Skala secara global. Ciptakan nilai bisnis nyata melalui kecerdasan buatan.
