File robots.txt penting untuk SEO karena membantu mesin pencari memahami halaman mana yang harus diindeks dan mana yang harus diabaikan. Dalam panduan ini, saya akan menunjukkan cara menambahkan file robots.txt khusus ke situs web Blogger Anda menggunakan Plus UI v3.2.
Robots.txt adalah file penting yang digunakan untuk mengatur akses crawler mesin pencari seperti Google terhadap halaman blog. Dengan pengaturan yang tepat, kamu bisa meningkatkan kualitas indeks dan menghindari duplikat konten yang tidak perlu.
Di Blogger, pengaturan custom robots.txt sangat berguna terutama untuk blog yang menggunakan template seperti Plus UI 3.2. Pengaturan ini membantu Google fokus pada halaman artikel utama saja.
Langkah 1: Buka Dashboard Blogger
1. Pergi ke Blogger dan masuk ke akun Anda.
2. Pilih blog tempat Anda menginstal Plus UI 3.2.
Custom robots.txt di Blogger
Tutorial ini untuk pengguna template Blogger Plus UI 3.1 – 3.2 dan versi terbaru serta cara pemasangannya.
Langkah 2: Aktifkan robots.txt Kustom
1. Di menu sebelah kiri, klik Setelan.
2. Gulir ke bawah ke bagian Perayapan dan Pengindeksan.
3. Temukan opsi robots.txt kustom lalu aktifkan.
Langkah 3: Tambahkan Kode robots.txt Kustom
1. Klik tombol Edit di samping robots.txt kustom.
2. Salin dan tempel kode yang akan digunakan.
Jika opsi robots.txt kustom di Pengaturan Blog dinonaktifkan, Blogger akan menggunakan robots.txt default.
Namun, robots.txt default biasanya memblokir halaman seperti /search dan /search/label/ yang sebenarnya mungkin diperlukan untuk SEO tertentu.
Untuk memperbaikinya, kita bisa menggunakan robots.txt khusus agar bot mesin pencari lebih terarah dalam merayapi halaman penting blog.
- Buka dashboard Blogger dan masuk ke blog yang ingin diatur.
- Aktifkan fitur robots.txt kustom di menu Setelan → Perayapan dan Pengindeksan.
- Tambahkan kode robots.txt yang sudah disiapkan lalu simpan perubahan.
# untuk semua bot
User-agent: *
# Block halaman search dan parameter duplikat
Disallow: /search
Disallow: /*?q=
Disallow: /*?updated-max=
Disallow: /*?max-results=
Disallow: /search*updated-max=*
Disallow: /search*max-results=*
Disallow: /search*q=*
# Allow semua artikel utama
Allow: /
# Sitemap (penting untuk SEO)
# sitemaps
Sitemap: https://www.domainkamu.com/sitemap.xml
Sitemap: https://www.domainkamu.com/sitemap-pages.xmlUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkamu.com/sitemap.xmlMengapa Menggunakan robots.txt Khusus di Plus UI 3.2?
- Mencegah masalah konten duplikat.
- Memblokir pengindeksan halaman yang tidak perlu (misalnya halaman pencarian).
- Membantu meningkatkan SEO dengan memandu bot mesin pencari dengan tepat.
Manfaat Custom Robots.txt di Blogger
- Membantu pengindeksan SEO yang lebih baik.
- Mencegah masalah konten duplikat.
- Memblokir halaman yang tidak perlu dari mesin pencari.
Kesimpulan
Dengan menerapkan custom robots.txt yang benar, blog kamu akan lebih cepat terindeks Google, lebih rapi secara SEO, dan memiliki peluang lebih besar untuk muncul di hasil pencarian teratas.
Menambahkan robots.txt khusus ke Plus UI 3.2 sangatlah mudah dan meningkatkan SEO situs web Anda. Ikuti langkah-langkah ini dengan cermat, dan selalu pastikan halaman penting tetap terindeks dengan benar.
FAQ - Custom Robots.txt Blogger
Apa itu robots.txt di Blogger?
Robots.txt adalah file yang digunakan untuk mengatur akses crawler mesin pencari seperti Google agar hanya mengindeks halaman penting di blog.
Apakah custom robots.txt penting untuk SEO?
Ya, sangat penting karena membantu menghindari konten duplikat, mempercepat indexing Google, dan meningkatkan kualitas SEO blog.
Di mana tempat mengaktifkan robots.txt kustom di Blogger?
Masuk ke dashboard Blogger → Setelan → Perayapan dan Pengindeksan → aktifkan opsi robots.txt kustom.
Apakah aman menggunakan robots.txt custom?
Aman digunakan selama tidak memblokir halaman artikel utama dan sitemap tetap diizinkan untuk Google.