Cara Menambahkan Kustom Robots.txt di blogger

Apakah anda salah satu blogger baru tanpa banyak pengetahuan teknis secara rinci, mencari cara meningkatkan peringkat blog anda tetapi tidak tahu bagaimana dan teman blogger anda mengatakan kepada Anda bahwa anda bisa meningkatkan pengunjung blog anda dengan mengedit file robot.txt?.

Atau mungkin anda tidak ingin mesin pencari merangkak melalui halaman anda?, Atau anda memiliki latar belakang teknis tetapi tidak ingin mengambil risiko membuat perubahan tanpa perkataan ahli tentang topik tersebut?.

Nah dalam kasus lain, ini adalah tempat yang tepat bagi anda untuk berkreasi tanpa takut mengambil resiko. Dalam tutorial ini, anda akan mengetahui cara menambahkan file Robots.txt Kustom di blogger dalam beberapa langkah yang sangat mudah.

Namun sebelum kita memulai untuk menambahkan Robots.txt, mari kita menyimak gambaran singkat tentang arti pentingnya: 

Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak sesuai dari fitur ini dapat mengakibatkan blog anda diabaikan oleh mesin pencari.

Apa itu Robots.txt?

Setiap blog/post yang anda buat di situs anda, file Robots.txt terkait secara auto yang dihasilkan oleh Blogger. Tujuan dari file ini adalah untuk menginformasikan robot masuk (spider, crawler dll yang dikirim oleh mesin pencari seperti Google, Yahoo) tentang blog anda, struktur dan untuk memberikan perintah/izin apakah bisa atau tidak bisa menjelajah halaman pada blog anda. Anda sebagai seorang blogger ingin halaman tertentu dari situs anda akan diindeks dan dijelajahi oleh mesin pencari, sementara yang lain anda mungkin memilih untuk tidak diindeks, seperti halaman label, halaman demo atau halaman lain yang tidak relevan.

Bagaimana Pandangan terhadap Robots.txt?

Nah, Robots.txt adalah hal pertama laba-laba ini segera merangkak setelah mereka membuka situs anda. Robots.txt anda seperti seorang pramugari, yang mengarahkan anda ke tempat duduk dan tetap memeriksa bahwa anda tidak memasuki wilayah pribadi. Oleh karena itu, semua laba-laba yang akan masuk hanya file indeks yang diizinkan oleh file Robots.txt..

Dimana Letak Robots.txt?

Anda dapat dengan mudah melihat Robots.txt file anda baik pada browser dengan menambahkan robots.txt setelah alamat blog seperti http://blogku.blogspot.com/robots.txt atau masuk ke blog anda dan pilih Settings > Prefensi Penelusuran > Perayap dan pengindeksan dan pilih Edit di samping Kustom robots.txt.

Robots.txt on blogger

Bagaimana Tampak Robots.txt?

Jika anda belum pernah menyentuh file robots.txt, itu harusnya terlihat seperti ini:

User-agent: Mediapartners-Google 
Disallow: 
User-agent: * 
Disallow: /search 
Allow: / 
Sitemap: http://blogkuataublogmu.blogspot.com/feeds/posts/default?orderby=UPDATED

Disini saya warnakannya dan menempatkan jeda baris sehingga anda dapat dengan mudah memahami apa maksud dari kode-kode diatas. 

User-agent: Mediapartners-Google: Mediapartners-Google adalah robot Google AdSense yang sering akan menjelajah situs anda mencari iklan yang relevan untuk melayani blog atau situs. Jika Anda melarang pilihan ini, mereka tidak akan dapat melihat iklan pada posting/halaman yang anda tentukan. Demikian pula, jika anda tidak menggunakan iklan Google AdSense di situs anda, cukup menghapus kedua saluran tersebut. 

User-agent: * Bagi anda yang sudah pengalaman pada pemrograman walau sedikit pasti sudah bisa menebak sifat simbolik karakter '*' (wildcard). Bagi yang lain, itu menetapkan bahwa bagian ini adalah untuk kalian semua yang masuk laba-laba, robot, dan crawler. 

Disallow: / search : Keyword Disallow, menentukan bahwa 'tidak' melakukan apapun untuk blog anda. Tambahkan / search disebelahnya, dan itu berarti anda menyuruh robot untuk tidak merangkak pada halaman pencarian atau hasil / search situs anda. Oleh karena itu, hasil halaman seperti http://blogku.blogspot.com/search/label/ltutorials akan dijelajahi dan diindeks. 

Allow: / : Keyword allow menspesifikasikan 'untuk melakukan' apapun untuk blog Anda. . ditambahkan '/' berarti bahwa robot dapat merangkak pada homepage 

Sitemap: Keyword Sitemap memasuki sitemap blog kita; kode yang diberikan di sini memberitahukan robot untuk mengindeks setiap posting baru. Dengan menentukan link, kita mengoptimalkan untuk merangkak efisien untuk tamu yang masuk, di mana robot yang masuk akan menemukan jalan ke seluruh posting link blog, tidak ada posting blog yang diposting yang dipastikan akan ditinggalkan dari perspektif SEO. 

Namun defaultnya, robot akan mengindeks hanya 25 posting, jadi jika anda ingin meningkatkan jumlah file indeks, Gantikan link sitemap dengan yang satu ini:

Sitemap: http://blogku.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Dan jika anda memiliki lebih dari 100 tulisan yang dipublikasikan, maka anda dapat menggunakan dua peta situs ini seperti di bawah ini:

Sitemap: http://blogku.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://blogku.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Bagaimana mencegah post/halaman agar tidak diindeks dan dirayap?

Dalam kasus ini, di sini maksudnya adalah bagaimana untuk menghentikan laba-laba untuk tidak merangkak dan mengindeks halaman tertentu atau posting: 

Keyword larangan untuk post yang khusus:

Disallow: /yyyy/mm/url-post.html

/yyyy/mm bagian yang menentukan tahun dan bulan penerbitan post dan /url-post.html adalah post yang ingin agar tidak diindeks. Untuk mencegah posting dari pengindeksan/dirayap, copy URL dari posting anda yang ingin dikecualikan dari pengindeksan dan hapus alamat blog dari awal. Maksudnya misalnya url post ini: https://blogku.blogspot.com/2016/08/blablablabla-blablabla.html, hasilnya akan seperti ini: disallow: /2016/08/blablablabla-blablabla.html

Larangan untuk Halaman khusus, untuk melarang halaman tertentu, anda dapat menggunakan metode yang sama seperti di atas. Namun dengan format yang berbeda, sehingga akan terlihat seperti ini.

Disallow: p/url-page.html

Menambahkan Kustom robots.txt di Blogger

Sekarang mari kita lihat bagaimana agar anda dapat menambahkan Kustom file Robots.txt di Blogger:

1. Masuk ke anda blogger account dan klik pada blog Anda.
2. Buka Setelan > Preferensi penulusuran > Perayap dan pengindeksan.

Robots.txt on blogger

3. Pilih 'Edit' di bagian sebelah Kustom robots.txt dan centang 'Ya'.
4. Paste kode anda atau ubah sesuai kebutuhan anda.

Edit File Robots.txt on blogger

5. Jika sudah selesai, tekan tombol Simpan Perubahan.
6. Dan selesai!

Bagaimana untuk melihat apakah perubahan yang dilakukan untuk Robots.txt?

Seperti dijelaskan di atas, cukup ketik alamat blog anda pada url bar browser anda dan tambahkan 'robots.txt' pada akhir urlnya, coba perhatikan contoh di bawah ini:

http://duniatutorials.blogspot.com /robots.txt

Disana anda akan melihat kode yang anda gunakan dalam kustom file robots.txt. Lihat gambar di bawah:

Robots.txt yang sudah dimasukkan

Jadi, Apakah anda sudah selesai menambahkan Kustom Robots.txt di Blogger? Itu mudah, setelah anda tahu apa maksud kode. Jika Anda tidak bisa mendapatkannya untuk pertama kalinya, tinggal berselancar lagi dan cari tutorial dan tak lama, Anda akan bisa menyesuaikan file robots.txt-nya. 

Dalam kasus apapun, dari SEO dan peringkat situs penting untuk membuat sedikit perubahan ke file robots.txt anda, jadi jangan malas. Belajar adalah hal yang menyenangkan, asalkan yang gratis, bukan begitu?