Pembuat Robots.txt — Kendalikan Crawler Pencarian dan AI

Apa Itu Pembuat Robots.txt?

Pembuat Robots.txt (Robots.txt जनरेटर) membuat file teks kecil yang memberi tahu web crawler bagian mana dari situs Anda yang boleh dikunjungi. Setiap website serius memilikinya di https://yourdomain.com/robots.txt. Mesin pencari seperti Google dan Bing membacanya sebelum merayapi; begitu juga crawler yang mengumpulkan konten untuk model AI dan mesin pencari AI. robots.txt yang baik menjauhkan bot dari area admin, keranjang, dan halaman hasil pencarian yang tak ada habisnya, mengarahkan mereka ke sitemap Anda, dan — semakin sering — menyatakan apakah perusahaan AI boleh memakai konten Anda.

Sintaks file ini sederhana, tetapi kesalahan bisa mahal: satu garis miring yang salah dapat memblokir seluruh situs Anda dari Google. Pembuat gratis ini menyusun file yang benar dari pilihan yang jelas. Mulai dari preset, daftar path yang ingin dijauhkan dari crawler, tambahkan sitemap Anda, dan tentukan per bot crawler AI mana yang diblokir — termasuk perbedaan antara crawler pelatihan, crawler pencarian AI, dan agen yang dipicu pengguna. Lalu salin atau unduh hasilnya dan unggah ke situs Anda.

Fitur Utama

• Lima preset — izinkan semua, blokir pelatihan AI, blokir semua AI, WordPress, blokir semuanya.
• 14 crawler AI dengan pemilik dan tujuan, diberi kode warna sebagai pelatihan, pencarian AI, atau user agent.
• Path Disallow dan Allow untuk semua bot, satu per baris.
• Baris Sitemap dengan URL lengkap Anda.
• Crawl-delay opsional untuk crawler yang mendukungnya.
• Output sesuai standar mengikuti RFC 9309.
• Salin atau unduh sebagai robots.txt.

Cara Membuat robots.txt — Langkah demi Langkah

1. Pilih preset yang sesuai dengan tujuan Anda.
2. Masukkan URL sitemap Anda, misalnya https://example.com/sitemap.xml.
3. Edit daftar Disallow — satu path per baris, seperti /admin/ atau /checkout/.
4. Tambahkan pengecualian Allow jika folder yang dilarang berisi sesuatu yang dibutuhkan crawler.
5. Centang crawler AI yang ingin Anda blokir.
6. Unduh robots.txt dan unggah ke folder root situs Anda (public_html di sebagian besar hosting).
7. Periksa dengan membuka yourdomain.com/robots.txt dan mengujinya di Google Search Console.

Contoh Output

Dengan pengaturan default, pembuat menghasilkan:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search?

Sitemap: https://example.com/sitemap.xml

Ini mengizinkan setiap crawler mengunjungi seluruh situs kecuali area admin, keranjang, dan URL hasil pencarian internal, serta memberi tahu mereka lokasi sitemap. Memilih “blokir crawler pelatihan AI” menambahkan grup seperti User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot … diikuti Disallow: / di atas aturan umum.

Penjelasan Crawler AI

Perusahaan menambah dan mengganti nama crawler dari waktu ke waktu, jadi periksa dokumentasi mereka sesekali. Memblokir bot pencarian AI dapat menghentikan situs Anda dikutip dalam jawaban AI, yang mungkin mengurangi trafik rujukan; banyak penerbit memblokir crawler pelatihan tetapi mengizinkan bot pencarian.

Sintaks robots.txt Singkatnya

• User-agent: crawler mana yang dikenai aturan berikutnya; * berarti semua.
• Disallow: awalan path yang tidak boleh diambil crawler; nilai kosong mengizinkan semuanya.
• Allow: pengecualian di dalam area yang dilarang.
• Sitemap: URL absolut sitemap XML (boleh muncul di mana saja).
• Wildcard: * cocok dengan karakter apa pun dan $ menandai akhir URL — /*.pdf$ cocok dengan semua file PDF.
• Kecocokan paling spesifik menang — Google menerapkan aturan terpanjang yang cocok, sehingga Allow: /wp-admin/admin-ajax.php menimpa Disallow: /wp-admin/.

Yang Bisa dan Tidak Bisa Dilakukan robots.txt

robots.txt adalah permintaan publik. Google, Bing, dan perusahaan AI terkemuka mengikutinya, tetapi tak ada yang memaksa crawler menaatinya, dan siapa pun bisa membaca file ini — jadi mencantumkan folder rahasia di sana justru bisa memberi tahu keberadaannya. File ini juga mengontrol crawling, bukan pengindeksan: URL yang diblokir masih bisa muncul di Google jika halaman lain menautkannya. Untuk menjauhkan halaman dari hasil, izinkan crawling dan tambahkan meta tag noindex (Pembuat Meta Tag kami bisa membuatnya). Untuk melindungi konten privat, wajibkan login. Pakai robots.txt untuk hal yang memang menjadi keunggulannya: mengarahkan crawler yang patuh menjauhi URL bernilai rendah atau duplikat.

robots.txt untuk WordPress

Situs WordPress biasanya memblokir /wp-admin/ sambil mengizinkan /wp-admin/admin-ajax.php, yang dipakai tema dan plugin, dan sering memblokir URL pencarian internal seperti /?s=. Preset WordPress mengatur semua ini untuk Anda. Jangan blokir /wp-content/ atau /wp-includes/ — keduanya berisi CSS, JavaScript, dan gambar yang dibutuhkan Google untuk merender halaman Anda dengan benar. Unggah file ke root situs Anda, atau tempel ke plugin SEO yang mengelola robots.txt.

Memilih Strategi Crawler AI

Tidak ada satu jawaban yang benar — tergantung bagaimana Anda menghasilkan uang dari konten Anda.

• Izinkan semuanya — visibilitas maksimum. Halaman Anda bisa dipakai untuk pelatihan dan dikutip dalam jawaban AI. Cocok untuk tools, halaman produk, dan brand yang menginginkan jangkauan.
• Blokir pelatihan, izinkan pencarian AI — jalan tengah yang populer. Model tidak dilatih dengan konten Anda oleh crawler yang menghormati robots.txt, tetapi asisten tetap bisa menemukan, mengutip, dan menautkan Anda, yang dapat mendatangkan pengunjung.
• Blokir semua crawler AI — kontrol maksimum, umum untuk konten berbayar, arsip berita, dan riset orisinal. Anda mungkin kehilangan kutipan dan trafik rujukan dari pencarian AI.

Apa pun pilihan Anda, robots.txt hanya memengaruhi crawling mendatang oleh bot yang menaatinya; tidak menghapus konten yang sudah dikumpulkan. Tinjau keputusan ini setiap beberapa bulan seiring munculnya crawler baru.

robots.txt, Sitemap, dan llms.txt

robots.txt menyatakan ke mana crawler boleh pergi; sitemap XML mencantumkan halaman yang ingin ditemukan. Beberapa situs kini juga memublikasikan file llms.txt — konvensi informal yang diusulkan untuk memberi tools AI ringkasan Markdown singkat dari halaman paling berguna di situs. Ini bukan standar resmi dan tidak semua perusahaan AI membacanya, tetapi tidak ada salahnya ditambahkan di samping robots.txt dan sitemap yang benar.

Kegunaan Umum

• Menyiapkan website atau blog baru.
• Memilih keluar dari pelatihan model AI sambil tetap terlihat di pencarian.
• Menjauhkan crawler dari keranjang, checkout, admin, dan URL filter.
• Memblokir situs staging sepenuhnya.
• Menambahkan referensi sitemap agar lebih cepat ditemukan.
• Mengurangi beban server dari crawler yang agresif.
• Mencegah crawler membuang waktu di URL filter dan urutan tanpa akhir di toko online.

Kesalahan Umum yang Perlu Dihindari

• “Disallow: /” di bawah User-agent: * pada situs live — memblokir semuanya, termasuk Google.
• Memblokir CSS dan JavaScript — Google bisa salah menilai kesesuaian untuk seluler.
• Memakai robots.txt untuk menyembunyikan halaman privat — file ini publik; gunakan autentikasi.
• Menggabungkan blokir robots.txt dengan noindex — crawler tidak bisa melihat noindex jika tidak bisa merayapi halamannya.
• Mengunggah ke folder yang salah — harus berada di root domain.
• Lupa garis miring di akhir — Disallow: /admin juga memblokir /administrator.

Pemecahan Masalah

• Google melaporkan “diblokir oleh robots.txt” untuk halaman yang ingin Anda indeks — hapus atau persempit baris Disallow yang cocok.
• Perubahan tidak terdeteksi — Google menyimpan robots.txt di cache hingga sekitar sehari; minta crawl ulang di Search Console.
• 404 untuk /robots.txt — file berada di tempat yang salah atau salah nama (harus huruf kecil robots.txt).
• Bot AI tetap berkunjung — periksa nama user-agent persisnya di log server Anda; beberapa layanan memakai beberapa crawler.

Glosarium Singkat

• Crawler / bot / spider: perangkat lunak yang mengambil halaman web secara otomatis.
• User-agent: nama yang dipakai crawler untuk mengidentifikasi dirinya.
• Crawling vs pengindeksan: mengambil halaman vs mendaftarkannya di hasil pencarian.
• Sitemap: daftar XML URL sebuah situs untuk mesin pencari.
• RFC 9309: standar 2022 untuk Robots Exclusion Protocol.
• Noindex: meta tag yang meminta mesin pencari tidak mendaftarkan halaman.
• Crawler pelatihan: bot yang mengumpulkan konten untuk melatih model AI.
• Crawler pencarian AI: bot yang mengambil halaman untuk mengutipnya dalam jawaban buatan AI.

Mengapa Memakai Pembuat Robots.txt Ini?

Menghasilkan file yang benar dalam hitungan detik, menjelaskan setiap opsi, menyertakan kontrol crawler AI terbaru dengan label jelas, dan mengingatkan Anda tentang keterbatasan robots.txt — gratis dan tanpa daftar.

Pembuat Robots.txt — Fakta Penting

Pertanyaan yang Sering Diajukan

Jelajahi Tools Prompt Minds Lainnya

Pembuat Robots.txt bekerja dengan baik bersama tools gratis kami yang lain. Setiap tool Prompt Minds berjalan sepenuhnya di browser Anda — tanpa daftar, tanpa unggahan, tanpa watermark. Jelajahi semua tools gratis.