Tutorial Blogger : Solusi URL Dicekal oleh Robots.txt

Apa itu file Robots.txt?

Suatu kali saya mencemaskan performance blog saya karena telah 5 bulan, saya tidak bisa menghapus URL yang dicekal oleh robots.txt Google. Dari waktu ke waktu jumlah URL yang dicekal pun meningkat, terakhir naik drastis dari 102 langsung ke 182 URL. Pagerank blog yang sudah mendapat PR2 dari mesin pencari Google pun drop ke PR 0.

• Robots.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Kadang Google dan mesin pencari lain tidak bisa merayapi seluruh artikel. Hal ini sangat memperlambat munculnya artikel di mesin pencari disebabkan masalah pada file Robots.txt.  Anda mendapati file ini di:

• http://NAMABLOGANDA.blogspot.com/robots.txt

Secara default dalam file robots.txt blog blogspot terdapat baris 'Disallow: /search' seperti terlihat ini :

---

User-agent: Mediapartners-Google 
Disallow: 
User-agent: * 
Disallow: /search
Allow: / 
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated

---

Adanya “Disallow: /search” menjadikan robot Googlebots memblokir semua url yang datang dengan label

'search.' Inilah penyebab masalah meningkatnya jumlah URL yang dicekal oleh Google. Sebab semua label yang Anda buat beserta URL terkait akan dicekal dan diabaikan oleh mesin pencari Google.

Untuk memperbaiki URL yang Dicekal tersebut Anda perlu menghapus “/search”

Memperbaiki URL yang di cekal oleh Robot.txt

Berikut ini tutorial untuk memperbaiki URL yang di cekal oleh Robot.txt.
1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus (lihat gambar di bawah ini).

5. Masukan kode dibawah ini :

• User-agent: Mediapartners-Google
  Disallow:
  User-agent: *
  Disallow:
  Allow: /
  Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated

catatan:
Ganti URL “http://website-download.blogspot.com” dengan URL blog blogspot. Anda"

Kemudian untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus

• Disallow: /search

maka gunakan konfigurasi seperti dibawah ini untuk memblok halaman paginasi :

---

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

---

Ganti example.com dengan URL blog blogspot  Anda (misalnya http://website-download.blogspot.com)  Setelah mengubahnya pastikan semua sesuai seperti apa yang kita inginkan dengan mengunjungi :

• www.example.com/robots.txt.

misalnya sebagai contoh saja:

• http://website-download.blogspot.com/robots.txt

Untuk memulihkan situs Anda dan melihat hasilnya, tunggu  4-5 hari sesuai jadwal crawler Googlebots.

PERHATIAN :
Anda harus sangat hati-hati melakukan tutorial ini. Karena konsekuensi salah pengaturan file robots.txt dapat menyebabkan blog Anda hilang dari mesin pencarian Google. Contoh kesalahan yang mungkin terjadi, misalnya Anda mengisi “disallow:”  dengan hanya garis miring saja :

• Disallow: /

Maka hal ini sama saja Anda tidak memperbolehkan robot (Googlebots) menelusuri keseluruhan isi blog Anda. Blog Anda pun akan lenyap dari Halaman Hasil Pencarian Mesin Pencari (SERPs) Google.   Artinya, siapapun tidak akan menemukan blog Anda di Google.  Wah …! Nangis ala Bombay!!!

Makanya Jika Anda masih ragu-ragu dan belum yakin benar, abaikan saja keberadaan URL dicekal sampai Anda merasa yakin dan tahu resikonya. Untuk itu perkaya referensi Anda tentang file robots.txt via browsing Google, masuk forum atau blog lain yang membahas isu ini.

Sekali lagi!!! Gunakan dengan hati-hati fitur Blogger ini. Jika salah menggunakan fitur ini maka blog Anda bisa diacuhkan oleh Google.

----------------------------

Catatan tambahan:
Kita dapat mengetahui URL yang dicekal melalui Webmaster tools. Google yang akan mengirimkan pesan bila tterjadi kerusakan serius di blog kita. Jika Anda mendapat pesan peringatan segera perbaiki blog anda.
Saya menyarankan anda 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.


follow@websitedesign

---

Anda telah membaca artikel : Tutorial Blogger : Solusi URL Dicekal oleh Robots.txt
THANK YOU for your continued liking 'n sharing. If you haven't liked this post yet, you may do that by hitting the buttons just BELOW.
Please drop your comment and questions below ……

Posted in: Tips Blogger,Tutorial Blog