Cara Mengatur Robots.txt di Blog

Postingan ABP dimalam minggun ini yaitu mengenai Bagaimana Cara Mengatur Robots.txt di Blog. Istilah robot.txt mungkin sebagian kita sudah sering mendengar. Namun ABP akan menjelaskan kembali Apa itu robots.txt? Apakah perlu diatur / disetting? atau bagaimana kalau saya biarkan saja?

Defenisi Robots.txt

Robots.txt merupakan perintah bagi robot mesing pencari atau search engine untuk menelusuri halaman pada blog kita atau bisa juga dikatakan sebagai filter blog kita dari mesin pencari.

Jadi ada sebuah pertanyaan, apakah setiap blog mempunyai robots.txt?

Jawabannya tentu saja ada, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ansritonga.blogspot.com/feeds/posts/default?orderby=UPDATED

Untuk melihat robots.txt default, silahkan ketik dibrowser http://ansritonga.blogspot.com/robots.txt

* kalimat berwarna merah ganti dengan nama blog Anda

Mungkin Anda belum mengerti apa arti dari kode-kode di atas?
Oke, ABP akan jelaskan !

User-agent: Mediapartners-Google yaitu Robot Google Adsense merayapi blog

Disallow:  maksudnya yang tidak diperbolehkan tidak ada

User-agent: * yaitu semua robot Search Engine / mesin pencari

Disallow: /search
Yaitu tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Yaitu sitemap atau alamat feed blog kita.

Pertanyaan selanjutnya, kenapa label tidak dimasukan ke pencarian?
Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/seo, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.

Selanjunya bagaimana cara mencegah robot pada halaman tertentu?
Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.html

Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Bagiamana menambah atau mengedit robots.txt?
Untuk menambahkan atau editing robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

Kemudian bagaimana jika saya tidak pernah utak atik robots.txt?
Jawabannya No problem / tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.

Oke, cukup sekian dulu ya Cara Mengatur Robots.txt di Blog, semoga dapat membantu Anda dan dapat dimengerti. Terima kasih !

Author : Ans Blog Project

Terimakasih atas kunjungannya brother yang baru saja membaca artikel berjudul Cara Mengatur Robots.txt di Blog.

Share Artikel

Facebook

Twitter

Google+

Artikel Terkait