Cara Mengkustomisasi Robot.txt di Blogger

Apakah kamu salah satu blogger di jaman modern ini tapi minim pengetahuan tentang teknikal blog? Ingin meningkatkan rangking blog dan pembaca tetapi tidak tahu caranya *sedihh kalii* dan mungkin juga ada teman yang menyarankan editing pada Robot.txt untuk menaikan pengunjung. Atau mungkin malah kamu tidak ingin search engine menjelajahi situsmu? Atau bisa jadi kamu punya kemampuan teknis tapi tidak mau mengambil resiko untuk mengotak-atik blog? Jika iya maka kamu berada di tempat yang tepat, pada tutorial ini saya akan meng-share bagaimana caranya mengkustomisasi file Robot.txt di blog dalam step by step yang mudah dan minim resiko :)

Tetapi sebelum mulai macam-macam pada Robot.txt kita akan melakukan review singkat tapi signifikan terlebih dahulu:

Apa itu Robot.txt?
Setiap blog baru yang “lahir” ada sebuah file Robot.txt yang auto-generated atau dibuat secara otomatis oleh blogger. Tujuan dari file ini adalah untuk menginformasikan pada setiap robot yang datang (spiders, crawlers, dsb. yang dikirim oleh Google, Yahoo). Robot ini bertugas menginformasikan tentang blog kamu, strukturnya, dan boleh tidaknya meng-crawl disitu. Bagi kebanyakan blogger pasti ingin halaman tertentu dari situs di crawl dan dijelajahi oleh robot dari search engine, dan ada juga yang tidak ingin beberapa bagian dari pagesnya di index seperti label page, demo page, dan halaman lain yang tidak relevan.

Bagaimana mereka melihat file Robot.txt?
Yeah, Robot.txt adalah hal pertama yang mereka lihat saat tiba di sebuah situs. Robot.txt bisa diibaratkan seperti seorang waitress di sebuah restoran yang menunjukan tempat duduk pada pelanggan yang datang dan melarang untuk memasuki private area. Yah seperti itulah Robot.txt, semua spider yang datang hanya akan meng-index yang diijinkan oleh Robot.txt dan menjauhi yang dilarang Robot.txt.

Dimana lokasi dari Robot.txt?
Kamu bisa dengan mudah melihat Robot.txt di browser dengan menambahkan /robots.txt pada alamat blogmu misal: http://alamatblogkamu.blogspot.com/robots.txt atau bisa juga dengan sign in ke blog dan pilih Settings > Search engine Preference > Crawlers and indexing dan pilih Edit lalu Custom robots.txt.

Seperti apakah wujud dari Robot.txt?
Jika kamu belum menyetuhnya maka seharusnya akan terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blogkamu.blogspot.com/feeds/posts/default?orderby=UPDATED

Jangan khawatir jika yang terlihat tidak berwarna dan memiliki page break seperti diatas, saya sengaja memberinya warna agar lebih cantik dan mudah dipahami :p

Apa arti dari kode-kode di atas?

User-agent:Media partners-Google:
Robot Google Adsense yang merayapi blog. Bertugas untuk melihat iklan apa yang relevan untuk ditampilkan ke blog. Jika kamu tidak mengijinkannya maka iklan Google Adsense pun tidak akan muncul.

User-agent: *
Semua robot Search Engine / mesin pencari *yah sejujurnya gue juga bingung maksudnya* #LOL.

Disallow: /search
Page tertentu tidak diperbolehkan untuk dirayapi dan di index, dan tidak akan muncul di search result. Semisal http://blogmu.blogspot.com/search/label/mylabel tidak akan di crawl dan di index.

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap:
sitemap atau alamat feed blog kita. Jika diijinkan maka spider akan menjelajahi feed kita dan tentu saja meng index jika ada post baru.
by the way, secara default sang robot hanya akan meng-index 25 post. jadi kalau mau menambah jumlah file yang diindex harus diotak-atik terlebih dahulu, caranya? Replace aja sitemap link dengan link berikut:

Sitemap: http://myblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Dan jika kamu punya lebih dari 500 posting dalam 1 blog maka bisa digunakan 2 sitemap link seperti ini:

Sitemap: http://myblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://myblog.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Mencegah post/page agar tidak terindex dan terjelajahi

Caranya mudah sekali, tinggal ketikan saja satu baris kode berikut maka pages atau post tertentu tidak akan terindex:

men-disallow Post Tertentu

Disallow: /yyyy/mm/post-url.html

Kode /yyyy/mm mengisyaratkan tahun dan bulan post tersebut di publikasikan month dan /post-url.html adalah post yang kamu ingin agar tidak terindex. Untuk membuat agar page tidak terindex maka simpelnya tinggal copas aja alamat URL-nya lalu hapus alamat blognya.

men-disallow Page Tertentu
Sedang untuk mendisallow page tertentu metodenya sama dengan diatas. Tinggal copas URL dan hapus alamat blognya, jadi kira-kira akan terlihat dengan format seperti ini:

Disallow: /p/page-url.html

Menambahkan kustom Robot.txt ke Blogger
Sekarang ini adalah cara yang tepat bagaimana memasang file kustom Robot.txt ke Blogger:

1. Sign in ke akun blogger kamu lalu pilih salah satu blog.
2. Masuk ke Settings » Search Preferences  » Crawlers and indexing.

3. Pilih 'Edit' lalu Custom robots.txt dan check 'Yes' pada check box.
4. Paste kodemu atau buat perubahan sesuai kebutuhan kamu.

5. Setelah selesai, tekanm tombol Save Changes.
6. dan congratulations, kamu sudah selesai!

Lalu bagaimana melihat perubahan Robots.txt-nya? Seperti yang sudah saya tulis diatas, simple aja tinggal tulis alamat blog di address bar dan tambahkan /robots.txt diujungnya seperti ini kira-kira:

http://kelincex.blogspot.com/robots.txt

Saat kamu lihat, maka kamu akan melihat serangkaian perubahan yang telah kamu buat.

Final Words:

Gimana sahabat blogger yang super, sudah ngerti kan tentang mengedit Robot.txt? Sangat mudah kan, jika masih belum paham dalam sekali lihat maka baca ulang lagi tutorialnya dan jika perlu tambah referensi. Belajar itu menyenangkan selama gratis dan sesuai passion, benar kan?

Agak beresiko, tapi kecil kok. Anyway dalam SEO sedikit perubahan kecil pada Robot.txt itu perlu lohh ;)

Tips & Warnings

Gunakan dengan hati-hati karena jika salah bisa berakibat situs diabaikan oleh search engine, lah katanya minim resiko? Seminim-minimnya resiko tapi jika bermain SEO pasti ada konsekuensi dari search engine. Jangan takut mengambil resiko, bukankah yang namanya usaha itu HIGH RISK = HIGH RETURN dan LOW RISK = LOW RETURN?