Cara Optimalisasi SEO Blog dengan Custom Robots.txt

Salam Blogger, Share lagi yaa kali Bloggingpasuruan akan memberikan tutorial Cara Optimalisasi SEO Blog dengan Custom Robots.txt . Namun sebelumnya alangkah baiknya kalau kita memahami apa itu robot txt dan fungsinya, yang pertama tentang pengenalan apa robot txt blogger itu..?

Artikel ini terbagi menjadi dua bagian :

√ Artikel pertama yaitu artikel yang saat ini anda baca yang membahas tantang definisi,fungsi,serta manfaat dari robot txt blog.

√ Cara Pemasangan robot txt pada blog anda bisa membacanya dibawah ini

Robot txt adalah Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol.

Apa fungsi dari robot txt blog..? fungsinya adalah untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo dll) saat mengcrawl blog kita. Sebelum mereka menjelajahi semua halaman blog kita, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau tidak di dalam blog kita.

Lalu apa manfaatnya memasang robot txt di blog..? pemasangan robot txt di blog mempunyai kaitan yang banyak sekali untuk SEO,berikut adalah beberapa garis besar manfaat dari pemasangan robot txt di blog :

1. Mencegah duplicate content

Salah satu manfaat  yang sangat mengagumkan dari pemasangan robot txt adalah mencegah terjadinya dublicate content,dublicate content memang sangat sering terjadi Ini di sebabkan hal ini dikarenakan widget archive blog ikut terindex oleh mesin pencari. Sehingga terdapat 2 link atau url namun merujuk hanya kepada satau halaman atau konten.nah dengan adanya robot txt blog kita bisa membatasi pengindexan mesin pencari untuk mencegah dublicate content.

2. Menjaga privasi file atau data

Dengan adanya pembatasan pengindex.an oleh robot txt terhadapa mesin pencari,maka di hasil pencarian tidak akan muncul data atau file apa yang di anggap privasi oleh anda.ini juga sangat membantu sekali khususnya yang sedang mengelolah website yang cukup popular,untuk memprivasi data-data penting bisa menggunakan robot txt ini.

3. membantu optimalisasi SEO blog

Manfaat yang selanjutnya adalah kemampuan dari Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa dimanfaatkan untuk mengarahkan spider bot 
pada halaman penting seperti halaman konten agar halaman tersebut cepat di index oleh mesin pencari.selain itu dengan melakukan pembatasan-pembatasan terhadap content-content dan data-data yang tidak perlu di index oleh mesin pencari,dapat mempercepat proses sepider bot untuk mengcrawl sehingga proses indexing dilakukan pada halaman yang perlu-perlu saja dan juga mempercepat waktu spider bot untuk melakukan crawl di blog kita. 

Pengenalan Fungsi Perintah Script Robots.txt :

  

user-agent: *

    Disallow:

Perintah seperti di atas mengacu dan memerintahkan untuk semua crawler melakukan index dan crawl blog Sobat, baik itu milik mesin pencari atau yang lainnya, boleh melakukan index dan crawl di blog Sobat.

Jika anda menginginkan melarang crawler tidak ingin mengakses blog Sobat ,maka akan menambahkan perintah dengan sedikit memodifikasi perintah sebelumnya yaitu dengan menambahkan kode slash ( / ).

user-agent: *

    Disallow: /

Namun jika sobat ingin melarang robot untuk melakukan index pada direktori tertentu  kita tambahkan kode lagi pada kode sebelumnya yaitu menambahkan nama direktori setelah tanda slash ( / ) .contoh misalnya anda tidak menginginkan robot untuk tidak mengindex halaman statis blog anda maka perintahnya seperti ini :

user-agent: *

    Disallow: /p  (sesuai dengan nama direktori halaman statis Blogger)

    Allow: /

Allow: / ditambahkan dengan maksud untuk mengizinkan crawl untuk mengindex root directory, direktori lain, dan halaman lainnya.arti dari perintah robot txt di atas adalah crawl boleh mengindeks seluruh blog kecuali halaman statis blog.dan sebenarnya Allow: / tidak ditambahkan tidak akan jadi masalah.

Jika Sobat Blogger menginginkan robot crawl tertentu milik mesin pencari tidak boleh mengindex sedangkan yang lainnya boleh maka perintahnya seperti ini. Misalnya anda melarang robot mesin pencari google tidak mengindex halaman anda,maka anda cukup menambahkan nama user agentnya pada baris lain seperti ini:

user-agent: *

    Disallow:

    user-agent: Googlebot

    Disallow: /p(nama user agentnya disini)

    Allow: /

Maka nantinya halaman yang anda maksud untuk tidak di index maka tidak akan di index oleh mesin pencari google.

Untuk mengoptimalkan SEO Blog dengan Robot txt berikut ini cara pemasangan robot txt pada Blog

1. Silahkan masuk akun Blogger Sobat

2. Kemudian klik menu Setting >> Prefensi penelusuran, pada robots.txt khusus segera aktifkan dengan cara  klik edit dan pilih yes

3. Kemudian langkah selanjutnya adalah menambahkan perintah robot txt blognya,caranya tambahkan perintah robot txt dibawah ini :

User-agent: Mediapartners-Google

Allow:/

User-agent: Googlebot

Disallow: /?m=1

Disallow: /?m=0

Disallow: /*?m=1

Disallow: /*?m=0

User-agent: *

Disallow: /search?*

User-agent: Twitterbot

Allow:/

User-agent: *

Disallow: /search

Disallow: /p/*

Disallow: /view/*

Allow: /

Sitemap: http://namablog-anda.blogspot.com/feeds/post/default?orderby=UPDATED

Catatan : Yang berwarna merah silahkan ganti dengan alamat blog anda.

4. Dan kemudian klik simpan perubahan.dan robot txt blog anda sudah aktif

Dan untuk melengkapi custom robot txt blog anda alangkah baiknya kalau kita juga melakukan setting tag headernya juga,caranya hampir sama dengan mensetting robot txt tadi yaitu klik edit dan pilih yes pada Tag tajuk robot khusus dan centang seperti gambar dibawah ini :

5. Selesai

Saya akan sangat senang sekali jika Sobat Blogger berkenan memberikan komentar dan saran tambahan informasi atau pertanyaan tentang tutorial Cara Optimalisasi SEO Blogger dengan Custom Robots.txt. Terima kasih dan semoga bermanfaat…

Facebook

Twitter

Pinterest

More

Less

Tumblr

Mix

E-Mail

GMail

LinkedIn

Reddit

XING

WhatsApp

Hacker News

VK

Telegram

OK

Messenger

Line

Copy Link