Setting Robot TXT di Blogger

Salah satu pengaturan di blogger ada istilah robot txt apakah pengaturan ini sangat penting? apa pengaruhnya ke blog kamu? apakah blog kamu lebih cepat terindex oleh google?

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex.

Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan pengaturan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat tetapi butuh waktu yang sangat lama untuk google bisa mengindex blog kamu. Lalu, Bagaimana cara untuk mengatur robot txt? berikut ini adalah:

Setting Robot TXT di Blogger

Pertama, buka Blogger > Lalu klik Setelan > Pilih Crawler dan pengindeksan > Lalu Aktifkan robots.txt kustom > Tambahkan kode dibawah ini pada robots.txt kustom.

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama	Keterangan
User-agent	Nama robot mesin pencari (web crawler software).
Disallow	Direktori atau halaman yang tidak diizinkan dirayapi oleh user-agent.
Allow	Direktori atau halaman yang diizkinkan dirayapi oleh user-agent.
Sitemap	Lokasi sitemap. Ganti dengan alamat blog kamu.

Ganti yang sudah ditandai dengan halaman blog kamu, Kemudian Simpan.

Mencegah Perayapan Pada Halaman Tertentu

Menggunakan Robot.txt di atas sebenarnya sudah cukup, tetapi apabila kamu tetap ingin melakukan customasi pada Robot.txt, maka modifikasi Robot.txt dibawah bisa kamu pakai.

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/contact.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Ganti yang sudah ditandai dengan settingan kamu.