Optimalisasi SEO Blog dengan Custom Robots.txt Part 1

Optimalisasi  SEO Blog dengan Custom Robots.txt Part 1 - Hai…hai…udah lama nih ngak update artikel,ya mohon dimaklumi aja yak tugas kuliah ane di dunia nyata makin hari-makin numpuk..hehe(reader:alasan doank tuh adminnya..!!wah),tapi walaupun udah lama ngak nepost artikel baru tapi ane masih inget kok,postingan artikel ane yang terakhir tentang alsan mengapa blog gak di index google kan??igetlah pastinya….kan abis ngeliat bentar barusan#uppssssJ.

Nah sekarang ane bakal ngeshare artikel yang nantinya ada hubungannya dengan artikel sebelumya(baca artikel sebelumya disini)yaitu tentang pengguanaan robot txt blog dan header tags untuk Optimalisasi SEO blog yang katanya sih efeknya sangat banyak broo di hasil pencarian Mbah google.anda semua percaya ngak..??percaya ngak percaya,pokoknya harus percaya titik ga pake koma..hahaha.tapi sebelum membahas lebih dalem tentang robot txt blogger dan header tags,alangkah baiknya kalau kita memahami apa itu dan fungsinya dari itu… ribet..!!J.oke yang pertama tentang pengenalan apa robot txt blogger.apa itu..??

Untuk sekedar pemberitahuan artikel ini terbagi menjadi dua bagian :

1. Artikel pertama yaitu artikel yang saat ini anda baca yang membahas tantang definisi,fungsi,serta manfaat dari robot txt blog.
2. Cara Pemasangan robot txt pada blog anda bisa membacanya sendiri.(coming soon)

Robot txt adalah The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol lahJ.Dan apa fungsi dari robot txt blog..??fungsinya tidak lain dan tidak bukan adalah untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo dll) saat mengcrawl blog kita. Sebelum mereka menjelajahi semua halaman blog kita, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau tidak di dalam blog kita.

Sekarang apa manfaatnya memasang robot txt di blog..??pemasangan robot txt di blog mempunyai banyak sekali manfaatnya untuk SEO blog,berikut adalah beberapa garis besar manfaat dari pemsangan robot txt di blog :

1. Mencegah dublicate content

Salah satu manfaat  yang sangat mengagumkan dari pemasangan robot txt adalah mencegah terjadinya dublicate content,dublicate content memang sangat sering terjadi Ini di sebabkan hal ini dikarenakan widget archive blog ikut terindex oleh mesin pencari. Sehingga terdapat 2 link atau url namun merujuk hanya kepada satau halaman atau konten.nah dengan adanya robot txt blog kita bisa membatasi pengindexan mesin pencari untuk mencegah dublicate content.

2. Menjaga privasi file atau data

Dengan adanya pembatasan pengindex.an oleh robot txt terhadapa mesin pencari,maka di hasil pencarian tidak akan muncul data atau file apa yang di anggap privasi oleh anda.ini juga sangat membantu sekali khususnya yang sedang mengelolah website yang cukup popular,untuk memprivasi data-data penting bisa menggunakan robot txt ini.

3. membantu optimalisasi SEO blog

Manfaat yang selanjutnya adalah kemampuan dari Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa dimanfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar halaman tersebut cepat di index oleh mesin pencari.selain itu dengan melakukan pembatasan-pembatasan terhadap content-content dan data-data yang tidak perlu di index oleh mesin pencari,dapat mempercepat proses sepider bot untuk mengcrawl sehingga proses indexing dilakukan pada halaman yang perlu-perlu saja dan juga mempercepat waktu spider bot untuk melakukan crawl di blog kita. 

Pengenalan Fungsi Perintah Script Robots.txt :

user-agent: *
Disallow:

Perintah tersebut mengacu dan memerintahkan untuk semua crawler melakukan index dan crawl blog kita.baik itu milik mesin pencari atau yang lainnya,boleh melakukan index dan crawl di blog kita.

Nah jika anda menginginkan melarang crawler tidak ingin mengakses blog anda,maka akan menambahkan perintah dengan sedikit memodifikasi perintah sebelumnya yaitu dengan menambahkan kode slash(/).

user-agent: *
Disallow: /

Namun apabila sobat ingin melarang robot untuk melakukan index pada direktori tertentu  kita tambahkan kode lagi pada kode sebelumnya yaitu menambahkan nama direktori setelah tanda slash(/).contoh misalnya anda tidak menginginkan robot untuk tidak mengindex halaman statis blog anda maka perintahnya seperti ini :

user-agent: *
Disallow: /p  (sesuai dengan nama direktori halaman statis Blogger)
Allow: /

Allow: / ditambahkan dengan maksud untuk mengizinkan crawl untuk mengindex root directory, direktori lain, dan halaman lainnya.arti dari perintah robot txt di atas adalah crawl boleh mengindeks seluruh blog kecuali halaman statis blog.dan sebenarnya Allow: / tidak ditambahkan tidak akan jadi masalah.

Jiaka anda menginginkan robot crawl tertentu milik mesin pencari tidak boleh mengindex sedangkan yang lainnya boleh maka perintahnya seperti ini.misalnya anda melarang robot mesin pencari google tidak mengindex halaman anda,maka anda cukup menambahkan nama user agentnya pada baris lain seperti ini:

user-agent: *
Disallow:
user-agent: Googlebot
Disallow: /p(nama user agentnya disini)
Allow: /

Maka nantinya halaman yang anda maksud untuk tidak di index maka tidak akan di index oleh mesin pencari google.

Nah itulah tadi Optimlasasi SEO blog dengan costum robot txt,semoga bisa bermanfaat.dan anda bisa menambahkan komentar bila anda masih kurang mengerti dengan artikel di atas.

Share this post