robots.txt
/ˈroʊbɒts dɒt tɛkst/
🇬🇧Bahasa InggrisTeknologi InformasiSEOWeb DevelopmentNetral
Ringkasan Makna
Sebuah berkas teks standar yang digunakan oleh situs web untuk memberikan instruksi kepada perayap mesin pencari (web crawlers) tentang halaman mana yang boleh atau tidak boleh diakses.
Penjelasan & Konteks Penggunaan
Berkas robots.txt adalah bagian dari Robots Exclusion Protocol (REP). Berkas ini diletakkan di direktori root sebuah situs web. Fungsinya adalah untuk mengelola lalu lintas perayap (bot) agar tidak membebani server dengan merayapi halaman yang tidak perlu, seperti halaman admin, direktori privat, atau hasil pencarian internal, sehingga membantu efisiensi pengindeksan mesin pencari.
Contoh Penggunaan dalam Kalimat
“You should update your robots.txt file to prevent search engines from indexing your staging environment.”
→Anda harus memperbarui berkas robots.txt Anda untuk mencegah mesin pencari mengindeks lingkungan staging Anda.
“The robots.txt file is essential for controlling how Googlebot interacts with your website.”
→Berkas robots.txt sangat penting untuk mengontrol bagaimana Googlebot berinteraksi dengan situs web Anda.
Asal-usul & Konteks Budaya
Diperkenalkan pada tahun 1994 oleh Martijn Koster saat ia bekerja di Nexor. Istilah ini berasal dari 'robot' (istilah teknis untuk perayap web) dan ekstensi berkas '.txt'.