Info Blog, cara setting Robot txt di blog

Info Blog, setting Robot txt dan Tag Header Robot Khusus pada dasarnya diperlukan untuk memberikan bantuan dalam konteks perayapan dan indexing blog oleh mesin pencari semacam Google search engine. Selain itu, setting ini berfungsi pula untuk sarana optimasi SEO pada sebuah blog karena membantu menentukan hal-hal mana saja yang boleh serta tidak boleh dirayapi dan diindeks oleh mesin pencari tersebut. Dengan memberikan bantuan kepada mesin pencari, diharapkan membuka jalan yang lebar untuk dapat menempati peringkat tertentu dalam daftar halaman pencarian blog (SERP).

Blogger dalam hal ini telah menetapkan default kombinasi script perayapan sebuah blog seperti di bawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://infoblog667.blogspot.com/sitemap.xml

Arti daripada rangkaian script di atas adalah seperti di bawah ini :

• User-agent: Mediapartners-Google (user agent milik Google) yang menandakan bahwa sebuah blog tersebut merupakan partner dari Google.
• Disallow artinya yang tidak diperbolehkan ada.
• User-agent: * artinya diperuntukkan bagi semua robot search engine atau mesin pencari.
• Disallow: /search artinya robot mesin pencari dilarang merayapi folder search dan seterusnya, semacam xxx/search/label dan xxx/search/search?update ....
• Allow: / artinya mengijinkan robot mesin pencari untuk merayapi semua halaman kecuali apa yang tertulis pada Disallow di atas.
• Sitemap: http://infoblog667.blogspot.com/sitemap.xml artinya sitemap atau alamat feed sebuah blog.

Cara setting pertama yang dapat anda pergunakan adalah dengan mempergunakan kombinasi berikut ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Arti dari setting tersebut di atas adalah semua artikel dan halaman (statis) yang ada di dalam blog anda akan dirayapi dan diindeks oleh robot mesin pencari karena pada script Disallow dikosongkan. Perayapan oleh mesin pencari ini termasuk semua proses update halaman yang kita lakukan, termasuk penulisan artikel-artikel baru.

Untuk mengatasi masalah paginasi akibat kita tidak mempergunakan /search, maka anda dapat mempergunakan rangkaian script berikut ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Selanjutnya, setting yang ketiga ini dimaksudkan untuk mencegah terjadinya duplikat konten atau judul blog akibat dari akses dengan mempergunakan perangkat mobile.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Setting yang terakhir tersebut di atas, sepertinya akan sangat membantu sebuah blog terutama untuk menyikapi berlakunya algoritma Google MobileGeddon yang menitikberatkan peringkat blog pada kemampuan aksesnya oleh perangkat mobile semacam smartphone.

Selanjutnya sebagai bagian akhir dari artikel ini, anda dapat melakukan setting Tag Header Robot Khusus seperti gambar di bawah ini.

Demikianlah uraian kami, semoga bermanfaat.