Gunakan metode yang lebih aman untuk konten sensitif dan Anda tidak boleh merasa nyaman menggunakan robots.txt untuk memblokir materi sensitif atau rahasia. Satu alasan adalah mesin pencari masih dapat memberi referensi URL yang Anda blok (hanya menunjukkan URL, tidak ada judul atau snippet) jika ternyata ada tautan ke URL itu di Internet (seperti catatan pengacu). Tidak hanya itu, mesin penelusuran yang tidak patuh atau jahat yang tidak mengakui Robots Exclusion Standard dapat menentang instruksi dari robots.txt Anda. Terakhir, pengguna yang ingin tahu dapat memeriksa direktori atau subdirektori pada robots.txt Anda dan menebak URL dari konten yang Anda tidak inginkan untuk terlihat. Mengenksipsi konten atau melindunginya dengan kata sandi dengan .htaccess merupakan alternatif yang lebih aman.
Dan Hindari juga hal-hal dibawah ini:
� Membiarkan laman yang disukai hasil penelusuran untuk dijalari (pengguna tidak suka meninggalkan satu laman hasil penelusuran dan masuk ke laman hasil penelusuran lainnya tidak menambah nilai yang signifikan)
� Membiarkan laman yang dihasilkan secara oto dengan konten yang sama atau berbeda sedikit untuk dijalari: "Apakah 100,000 laman yang seperti duplikat harus ada dalam indeks mesin penelusuran?"
� Membiarkan terbentuknya URL sebagai hasil dari layanan proxy untuk dijalari
Semoga bermanfaat buat robot-robot situs sekalian...dan para webmaster..
Postingan
0 komentar:
Posting Komentar