Custom robots.txt
File robots.txt penting untuk SEO karena membantu mesin pencari memahami halaman mana yang harus diindeks dan mana yang harus diabaikan. Dalam panduan ini, saya akan menunjukkan cara menambahkan file robots.txt khusus ke situs web Blogger Anda menggunakan Plus ui v3.2
Langkah 1: Buka Dashboard Blogger
1. Pergike Blogger dan masuk ke akun Anda.
2. Pilih blog tempat Anda menginstalnyaPlus UI 3.2.
Langkah 2: Aktifkan robots.txt Kustom
1. Di menu sebelah kiri, klik Setelan.
2. Gulir ke bawah ke Perayapan dan Pengindeksan.
3. Temukan opsi robots.txt Kustom dan aktifkan.
Langkah 3: Tambahkan Kode robots.txt Kustom
1. Klik tombol Edit di samping robots.txt Kustom.
2. Salin dan tempel kode berikut:
Robots.txt Kustom
Jika opsi robots.txt
kustom di Pengaturan Blog dinonaktifkan, Blogger akan menampilkan robots.txt
default. Namun, robots.txt
default melarang bot untuk merayapi semua halaman dari dan di bawah segmen /search
yang mencakup halaman blog (yaitu /search
) dan juga halaman label (yaitu /search/label/Produk
), yang mungkin tidak Anda inginkan.
Untuk memperbaikinya, kita bisa menggunakan robots.txt
dengan aturan khusus yang memungkinkan bot merayapi halaman-halaman ini juga. Anda bisa menggunakan robots.txt
khusus berikut jika Anda tidak tahu cara kerjanya, atau silakan tulis sendiri atau modifikasi.
# all user agents
User-agent: *
# exclude pagination and query pages
Disallow: /search*updated-max=*
Disallow: /search*max-results=*
Disallow: /search*q=*
# include everything else
Allow: /
# sitemaps
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Kode Kustom
Bagian ini akan memandu Anda untuk menambahkan kode kustom ke dalam tema. Kami menyarankan Anda menambahkan kode kustom seperti yang dijelaskan di bawah ini untuk pengelolaan yang lebih baik.
Peringatan
Karena Anda menambahkan kode khusus, kami tidak bertanggung jawab atas masalah apa pun yang ditimbulkannya.
Meta tag kustom
Meta tag kustom dapat ditambahkan melalui Editor HTML Blogger.
- Buka Editor HTML Blogger.
- Temukan baris kode berikut dan tambahkan meta tag kustom Anda di bawahnya.
<b:comment><!--[ Tambahkan meta tag tambahan (di bawah) ]--></b:comment>
Custom code
Bagian ini akan memandu Anda untuk menambahkan kode khusus ke dalam tema. Kami menyarankan Anda menambahkan kode khusus seperti yang dijelaskan di bawah ini untuk pengelolaan yang lebih baik.
Peringatan
Karena Anda menambahkan kode khusus, kami tidak bertanggung jawab atas masalah apa pun yang ditimbulkannya.
Mengapa Menggunakan robots.txt Khusus di Plus UI 3.2?
- Mencegah masalah konten duplikat.
- Memblokir pengindeksan halaman yang tidak perlu (misalnya, halaman pencarian).
- Membantu meningkatkan SEO dengan memandu bot mesin pencari dengan tepat.
Meta tag kustom
Meta tag kustom dapat ditambahkan melalui Editor HTML Blogger.
- Buka Editor HTML Blogger.
- Temukan baris kode berikut dan tambahkan meta tag kustom Anda di bawahnya.
<b:comment><!--[ Tambahkan meta tag tambahan (di bawah) ]--></b:comment>
Mengapa Menggunakan robots.txt Kustom di Plus UI 3.2?
- Membantu pengindeksan SEO yang lebih baik.
- Mencegah masalah konten duplikat.
- Memblokir halaman yang tidak perlu dari mesin pencari.
Kesimpulan
Menambahkan robots.txt khusus ke Plus UI 3.2 sangatlah mudah dan meningkatkan SEO situs web Anda. Ikuti langkah-langkah ini dengan cermat, dan selalu periksa apakah mesin pencari mengindeks halaman-halaman penting Anda dengan benar.