Cara mengaktifkan Custom robots.txt yang baik

Thanks telah berkunjung, silahkan baca dan praktek :D
Cara mengaktifkan Custom robots.txt yang baik. Mungkin sobat semua sudah tidak asing lagi dengan yang namanya Custom robots.txt, dengan mensetting Custom robots.txt maka hal tersebut bertujuan agar blog kita mudah dikenal oleh Robot search engine, kalau mudah dikenal maka mudah di-crawl alias dirayapi, yang nantinya akan membantu blog kita ter-index di search engine dengan baik.


Warning:
Pengaturan Custom robots.txt yang baik dan benar akan membantu blog sobat terindex dengan baik pula, namun salah dalam penyetingan akan berakibat fatal alias buruk untuk blog sobat. So let's try this Custom robots.txt out!

Cara setting Custom robots.txt yang baik dan benar:

1. Login ke blogger

2. Pilih menu setting => Search preferences

3. lihat ke menu Crawlers and indexing, klik edit pada Custom robots.txt

4. Isi pada kotak kosong dengan text berikut (jangan lupa centang yes pada Enable custom robots.txt content?):

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.vitrotea1982.blogspot.com/feeds/posts/default?orderby=UPDATED

NB:

Ganti  http://www.vitrotea1982.blogspot.com dengan alamat blog/web sobat

5. Klik Save Changes, selesai.

Sekarang Custom robots.txt blog sobat telah aktif. Semoga bermanfaat

Sumber : http://www.muhbalak.com