Cara Optimalisasi SEO Blog dengan Custom Robots.txt

Cara Optimalisasi SEO Blog dengan Custom Robots.txt

Salam Blogger, Share lagi yaa kali Bloggingpasuruan akan memberikan tutorial Cara Optimalisasi SEO Blog dengan Custom Robots.txt . Namun sebelumnya alangkah baiknya kalau kita memahami apa itu robot txt dan fungsinya, yang pertama tentang pengenalan apa robot txt blogger itu..?

Artikel ini terbagi menjadi dua bagian :

Artikel pertama yaitu artikel yang saat ini anda baca yang membahas tantang definisi,fungsi,serta manfaat dari robot txt blog.

Cara Pemasangan robot txt pada blog anda bisa membacanya dibawah ini

Robot txt adalah Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol.

Apa fungsi dari robot txt blog..? fungsinya adalah untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo dll) saat mengcrawl blog kita. Sebelum mereka menjelajahi semua halaman blog kita, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau tidak di dalam blog kita.

Lalu apa manfaatnya memasang robot txt di blog..? pemasangan robot txt di blog mempunyai kaitan yang banyak sekali untuk SEO,berikut adalah beberapa garis besar manfaat dari pemasangan robot txt di blog :

1. Mencegah duplicate content

Salah satu manfaat  yang sangat mengagumkan dari pemasangan robot txt adalah mencegah terjadinya dublicate content,dublicate content memang sangat sering terjadi Ini di sebabkan hal ini dikarenakan widget archive blog ikut terindex oleh mesin pencari. Sehingga terdapat 2 link atau url namun merujuk hanya kepada satau halaman atau konten.nah dengan adanya robot txt blog kita bisa membatasi pengindexan mesin pencari untuk mencegah dublicate content.

2. Menjaga privasi file atau data

Dengan adanya pembatasan pengindex.an oleh robot txt terhadapa mesin pencari,maka di hasil pencarian tidak akan muncul data atau file apa yang di anggap privasi oleh anda.ini juga sangat membantu sekali khususnya yang sedang mengelolah website yang cukup popular,untuk memprivasi data-data penting bisa menggunakan robot txt ini.

3. membantu optimalisasi SEO blog

Manfaat yang selanjutnya adalah kemampuan dari Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa dimanfaatkan untuk mengarahkan spider bot 
pada halaman penting seperti halaman konten agar halaman tersebut cepat di index oleh mesin pencari.selain itu dengan melakukan pembatasan-pembatasan terhadap content-content dan data-data yang tidak perlu di index oleh mesin pencari,dapat mempercepat proses sepider bot untuk mengcrawl sehingga proses indexing dilakukan pada halaman yang perlu-perlu saja dan juga mempercepat waktu spider bot untuk melakukan crawl di blog kita. 

Pengenalan Fungsi Perintah Script Robots.txt :
  

user-agent: *
    Disallow:

Perintah seperti di atas mengacu dan memerintahkan untuk semua crawler melakukan index dan crawl blog Sobat, baik itu milik mesin pencari atau yang lainnya, boleh melakukan index dan crawl di blog Sobat.

Jika anda menginginkan melarang crawler tidak ingin mengakses blog Sobat ,maka akan menambahkan perintah dengan sedikit memodifikasi perintah sebelumnya yaitu dengan menambahkan kode slash ( / ).

user-agent: *
    Disallow: /

Namun jika sobat ingin melarang robot untuk melakukan index pada direktori tertentu  kita tambahkan kode lagi pada kode sebelumnya yaitu menambahkan nama direktori setelah tanda slash ( / ) .contoh misalnya anda tidak menginginkan robot untuk tidak mengindex halaman statis blog anda maka perintahnya seperti ini :

user-agent: *
    Disallow: /p  (sesuai dengan nama direktori halaman statis Blogger)
    Allow: /

Allow: / ditambahkan dengan maksud untuk mengizinkan crawl untuk mengindex root directory, direktori lain, dan halaman lainnya.arti dari perintah robot txt di atas adalah crawl boleh mengindeks seluruh blog kecuali halaman statis blog.dan sebenarnya Allow: / tidak ditambahkan tidak akan jadi masalah.

Jika Sobat Blogger menginginkan robot crawl tertentu milik mesin pencari tidak boleh mengindex sedangkan yang lainnya boleh maka perintahnya seperti ini. Misalnya anda melarang robot mesin pencari google tidak mengindex halaman anda,maka anda cukup menambahkan nama user agentnya pada baris lain seperti ini:

user-agent: *
    Disallow:
    user-agent: Googlebot
    Disallow: /p(nama user agentnya disini)
    Allow: /

Maka nantinya halaman yang anda maksud untuk tidak di index maka tidak akan di index oleh mesin pencari google.

Untuk mengoptimalkan SEO Blog dengan Robot txt berikut ini cara pemasangan robot txt pada Blog

1. Silahkan masuk akun Blogger Sobat

2. Kemudian klik menu Setting >> Prefensi penelusuran, pada robots.txt khusus segera aktifkan dengan cara  klik edit dan pilih yes

3. Kemudian langkah selanjutnya adalah menambahkan perintah robot txt blognya,caranya tambahkan perintah robot txt dibawah ini :

User-agent: Mediapartners-Google
Allow:/
User-agent: Googlebot
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search?*
User-agent: Twitterbot
Allow:/
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Allow: /
Sitemap: http://namablog-anda.blogspot.com/feeds/post/default?orderby=UPDATED
Catatan : Yang berwarna merah silahkan ganti dengan alamat blog anda.

4. Dan kemudian klik simpan perubahan.dan robot txt blog anda sudah aktif

Dan untuk melengkapi custom robot txt blog anda alangkah baiknya kalau kita juga melakukan setting tag headernya juga,caranya hampir sama dengan mensetting robot txt tadi yaitu klik edit dan pilih yes pada Tag tajuk robot khusus dan centang seperti gambar dibawah ini :

Cara Optimalisasi SEO Blog dengan Custom Robots.txt

5. Selesai

Saya akan sangat senang sekali jika Sobat Blogger berkenan memberikan komentar dan saran tambahan informasi atau pertanyaan tentang tutorial Cara Optimalisasi SEO Blogger dengan Custom Robots.txt. Terima kasih dan semoga bermanfaat…

Share this with short URL: Get Short URLloading short url

Nama saya Usman Kurniawan dari Pasuruan - jawa timur dan bukan seorang Blogger Pro, Namun saya akan serius belajar jika menyukai sesuatu hal, termasuk dunia blogging.

Previous
Next Post »

8 comments

Write comments
October 25, 2014 at 8:35 PM delete

Mkasih infony gan. Kunjung balik k blog ane riedzz.blogspot.com

Reply
avatar
Pak Mat
AUTHOR
January 12, 2015 at 7:38 PM delete

terima kasih gan. infonya mantap dan jelas bagi blogger baru seperti saya.

pak mat,
ada-tak-ada.blogspot.com

Reply
avatar
zulius akbar
AUTHOR
January 16, 2015 at 6:42 PM delete

mantep pak infonya... kunjungi balik

Free Download software full, crack, Serial Number, Patch, Premium Account
cyber-show.blogspot.com

Reply
avatar
El Baihaki
AUTHOR
April 9, 2015 at 9:57 AM delete

Keren mas, saya coba terapkan diblog saya ya. Terima kasih ilmunya. :)


Android Gadget

Reply
avatar
Rumah Apk
AUTHOR
May 16, 2015 at 11:56 PM delete

tanks gan infonya
kumbal balik ya !

www.rumah-apk.com

Reply
avatar
May 24, 2015 at 12:58 AM delete

Robot.txt memang besar sekali pengaruhnya gan dalam optimasi seo

Salam kenal gan
http://seo-belajarseo.blogspot.in/2015/02/bagaimana-cara-setting-robottxt-blogger.html

Reply
avatar
November 12, 2015 at 6:16 AM delete

matur nuwun sanget.. ilmunya sangat bermanfaat buat olshop kami : http://www.bajuibuhamilmenyusui.com/

Reply
avatar