(Semua robot terhormat akan menghormati petunjuk dalam file robots.txt, meskipun beberapa mungkin menafsirkan secara berbeda Namun, robots.txt yang tidak dilaksanakan, Dan beberapa spammer lainnya dapat mengabaikannya. Untuk alasan ini, disarankan melindungi informasi sandi rahasia.) Anda perlu file robots.txt hanya jika situs Anda berisi konten yang Anda tidak ingin mesin pencari untuk mengindeks.
Jika anda ingin search engine segala sesuatu indeks dalam situs Anda, Anda tidak perlu file robots.txt.
Meskipun Google tidak akan menjelajah atau mengindeks konten halaman diblokir oleh robots.txt, kita mungkin masih indeks URL jika kita menemukan mereka disitus lainnya. Sebagai hasilnya, URL dari halaman dan, berpotensi, informasi publik lainnya seperti jangkar teks dalam link ke situs, atau judul dari Open Directory Project ( www.dmoz.org ), dapat muncul dalam hasil pencarian Google.
Untuk menggunakan file robots.txt, Anda harus memiliki akses ke akar domain Anda (jika Anda tidak yakin, hubungi hoster web Anda). Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses dengan menggunakan tag meta robot.
Untuk sepenuhnya mencegah isi suatu halaman dari yang tercantum dalam indeks web Google bahkan jika situs lain link ke sana, menggunakan tag meta noindex atau x-robot-tag. Selama Googlebot mengambil halaman, ia akan melihat meta tag noindex dan mencegah dari halaman yang muncul di indeks web. Header x-robot-tag HTTP adalah sangat berguna jika Anda ingin membatasi pengindeksan file non-HTML seperti grafis atau jenis lain dari dokumen.
Semoga artikel "Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool" dapat bermanfaat
Sumber: https://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
Postingan
0 komentar:
Posting Komentar