robots.txt
/ˈroʊbɒts dɒt tɛkst/
🇬🇧Bahasa InggrisTeknologiPemrogramanSEOInternetNetral
Ringkasan Makna
Sebuah berkas teks standar yang digunakan oleh situs web untuk memberikan instruksi kepada perayap mesin pencari tentang halaman mana yang boleh atau tidak boleh diakses.
Penjelasan & Konteks Penggunaan
Robots.txt adalah bagian dari Robots Exclusion Protocol (REP). Berkas ini diletakkan di direktori akar (root) sebuah situs web. Fungsinya adalah untuk mengarahkan bot atau perayap (seperti Googlebot) agar tidak memproses bagian tertentu dari situs, seperti direktori administratif atau halaman duplikat, guna menghemat bandwidth dan menjaga privasi data.
Contoh Penggunaan dalam Kalimat
“You should update your robots.txt file to prevent search engines from indexing your staging environment.”
→Anda harus memperbarui berkas robots.txt Anda untuk mencegah mesin pencari mengindeks lingkungan staging Anda.
“The crawler ignored the instructions because of a syntax error in the robots.txt file.”
→Perayap mengabaikan instruksi tersebut karena terdapat kesalahan sintaksis pada berkas robots.txt.
Asal-usul & Konteks Budaya
Diperkenalkan pertama kali pada tahun 1994 oleh Martijn Koster saat ia bekerja di Nexor. Nama ini berasal dari istilah 'robot' yang merujuk pada program otomatis perayap web.