Jika kamu menggunakan platform Blogger, salah satu pengaturan penting yang sering dilupakan adalah file robots.txt. File ini berfungsi untuk memberi tahu mesin pencari halaman mana yang boleh diindeks dan mana yang tidak.
Salah setting robots.txt bisa menyebabkan artikel kamu tidak muncul di Google, atau bahkan mencegah Google AdSense menampilkan iklan. Untuk itu, kamu perlu tahu cara setting robots.txt yang benar dan aman.
🤖 Apa Itu Robots.txt?
robots.txt
adalah file konfigurasi kecil yang memberi instruksi kepada crawler (bot) mesin pencari seperti Googlebot. Fungsinya antara lain:
- Menentukan halaman mana yang boleh diindeks
- Mencegah pengindeksan duplikat atau halaman sensitif
- Mengoptimalkan performa crawling situs
📌 Contoh Robots.txt yang Aman untuk Blogger
Kamu bisa menyalin dan menempel pengaturan berikut di pengaturan Blogger kamu.
User-agent: * Disallow: /search Allow: / Sitemap: https://tipstechpraktis.blogspot.com/sitemap.xml
Penjelasan:
User-agent: *
→ Berlaku untuk semua mesin pencariDisallow: /search
→ Mencegah Google mengindeks halaman pencarian internal (yang tidak penting)Allow: /
→ Mengizinkan semua halaman utama untuk diindeksSitemap:
→ Memberi tahu Google di mana sitemap kamu berada
🔧 Cara Mengatur Robots.txt di Blogger
- Masuk ke dashboard Blogger kamu
- Pilih menu Setelan (Settings)
- Scroll ke bagian Crawlers dan Pengindeksan
- Aktifkan opsi Aktifkan konten robots.txt kustom
- Klik Edit dan tempel kode robots.txt di atas
- Simpan perubahan
✅ Keuntungan Setting Robots.txt dengan Benar
- Blog lebih cepat diindeks oleh Google
- Konten yang penting lebih mudah ditemukan
- Halaman duplikat seperti label atau pencarian tidak mengganggu SEO
- Aman untuk monetisasi iklan AdSense
🚫 Hindari Ini!
- Jangan gunakan
Disallow: /
karena bisa membuat seluruh blog kamu tidak terindeks - Jangan blokir
/adsbygoogle.js
atau script iklan lainnya (bisa memblokir iklan)
Kesimpulan
Setting robots.txt mungkin terdengar teknis, tapi sebenarnya sangat penting untuk kesehatan SEO blog kamu. Dengan konfigurasi yang tepat, kamu bisa menjaga blog tetap optimal untuk pengunjung, mesin pencari, dan juga AdSense.