Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman di search engine (Google,yahoo,Bing) yang tidak kita inginkan , karena mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt .
Meskipun Google / Mesin pencari (Search Engine ) lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian.
dalam hal ini menurut saya robot.txt sangatlah bermanfaat sekali untuk web / blog yang kita miliki agar teroptimasi lebih sempurna di mesin pencari (Search Engine ) dan saya menyarankan untuk membaca custom robot.txt Blogspot yang baik dan benar ada optimasinya lebih sempurna.
sekian dahulu untuk Pengertian dari fungsi robot.txt bagi Blog dalam Search Engine semoga bermafaat bagi web / situs anda
rewrite : here
Anda baru saja membaca artikel yang berkategori SEO Tips /
Tips Blog /
Tutorial Blog
dengan judul Pengertian dari fungsi robot.txt bagi Blog dalam Search Engine. Anda bisa bookmark halaman ini dengan URL http://afeefgoblogs.blogspot.com/2012/11/pengertian-dari-fungsi-robottxt-bagi.html. Terima kasih!
Ditulis oleh:
Unknown - Jumat, 09 November 2012
Wah terimakasih sinfonya gan, bermanfaat,, ijin borkmark ya??
BalasHapusSalam kenal gan..!!!
waduh harus pake cepet2 pake robot text nih , soal nya saya eggak pake hehe
BalasHapusbermanfaat banget..........
BalasHapusnice info gan....
BalasHapusmakasih infonya, gan :)
BalasHapusinformasi bermanfaat, trima kasih
BalasHapusSungguh informasi seperti ini sangat diperlukan oleh blogger, terima kasih Gan, telah berbagi. Salam sukses.
BalasHapus