Cara setting custom robots header tags di blog blogspot - Mengelola Blog

Cara setting custom robots header tags di blog blogspot

Dalam upaya untuk meningkatkan SEO serta visibilitas blog di Search Engine, tentu kita harus mengetahui langkah-langkah yang diperlukan agar jumlah kunjungan organik dari Search Engine bisa meningkat.

Saat ini, setiap blog berplatform Blogger sudah dimungkinkan untuk dikustomisasi dan dimodifikasi lebih jauh agar ramah terhadap mesin telusur sehingga bisa memiliki peringkat yang lebih baik.

Salah satu langkah yang cukup baik untuk dilakukan adalah dengan menerapkan pengaturan search preferences (preferensi penelusuran) yang ada didalam menu setting dashboard blog blogspot Anda.

Oleh karena itu, pada artikel kali ini saya akan mencoba untuk menjelaskan tentang custom robots header tags dan apa yang sebaiknya dilakukan saat mengatur settingan pada custom robots header tags tersebut.

Pemahaman ini saya rasa perlu untuk diketahui mengingat kesalahan pengaturan pada fitur crawler dan indexing (termasuk pengaturan custom robot header tags ini) dapat menyebabkan blog Anda "diabaikan" atau hilang dari indeks mesin pencari.

Hal ini pernah saya alami akibat salah mengatur pada menu search preference yaitu pada bagian robot. txt ketika kompetisi SEO beberapa waktu yang lalu (silahkan baca pada artikel Belajar dari kompetisi SEO khususnya yang saya lakukan pada tangal 12 mei 2016 )

Catatan
Bagi yang belum mengerti disarankan untuk mencari tau dan mendalaminya terlebih dahulu sebelum mengutak-atik bagian ini atau tetap biarkan seperti standar blogger. Karena apabila salah pengaturan maka blog dan atau artikel Anda akan lama terindeksnya atau bahkan tidak terindeks sama sekali.

cara mengatur custom robots header tags
Cara mengatur custom robots header tags


Sekilas tentang tag meta robot dan header http x-robots-tags


Seperti dijelaskan didalam halaman panduan google webmaster, setelah robot crawler melalui file robot.txt untuk menentukan cara situs dirayapi,  ada dua lokasi berikutnya dimana robot bisa mengikuti instruksi tentang bagaimana situs / blog  akan di indeks.

Lokasi pertama ada didalam template bagian <head> (menggunakan tag meta robot) dan yang kedua berada didalam header HTTP (menggunakan x-robots-tag).

Berikut kutipan yang saya ambil dari laman Panduan Google webmaster tentang tag meta dan x-robot-tag

Untuk penggunaan tag meta robot
Tag meta robot memungkinkan Anda menggunakan pendekatan khusus laman yang terperinci untuk mengontrol cara tiap laman diindeks dan ditampilkan kepada pengguna dalam hasil penelusuran. - Google

Sedangkan untuk  penggunaan Header HTTP X-Robots-Tags
X-Robots-Tags dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap perintah yang dapat digunakan dalam tag meta robot juga dapat ditentukan sebagai X-Robots-Tag. - Google

Sepengetahuan saya (mohon koreksinya kalau salah),  file http header di blog Blogspot tidak bisa dan dibatasi oleh Google (blogger.com) untuk dimodifikasi / diedit  meskipun modifikasi ini dilakukan oleh user (pemilik blog).

Oleh karena hal tersebut diatas (menurut saya pribadi), serta untuk membantu  setiap pengelola blog blogspot agar blognya semakin ramah dan SEO fiendly terhadap mesin pencari, maka muncul-lah pengaturan Custom Robots Header Tags.


Apa yang diatur dalam Custom Robots Header Tags.


Seperti bisa kita lihat pada dashboard Blogspot pada menu setting >>  search preferences >> crawler & indexing >> custom robots header tags , maka kita akan melihat 3 kategori halaman yang bisa diatur cara mengindeksnya yaitu :
  1. Home page (halaman beranda)
  2. Archive dan Search pages (halaman arsip dan halaman pencarian blog)
  3. Posts dan Pages (halaman posting dan halaman Statis)

Adapun perintah valid yang digunakan untuk mengatur robot crawler dalam mengindeks yang dilakukan melalui tag meta dan HTTP Header adalah sebagai berikut
  • all ; Tidak ada batasan untuk pengindeksan atau penyajian. Catatan: perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.
  • noindex ; Jangan tampilkan laman ini dalam hasil penelusuran dan jangan tampilkan tautan "dalam cache" di hasil penelusuran.
  • nofollow ; Jangan ikuti tautan di laman ini
  • none ; Setara dengan noindex, nofollow
  • noarchive ; Jangan tampilkan tautan "dalam cache" di hasil penelusuran.
  • nosnippet ; Jangan tampilkan cuplikan dalam hasil penelusuran untuk laman ini
  • noodp ; Jangan gunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada laman ini.
  • notranslate ; Jangan menawarkan terjemahan dari laman ini dalam hasil penelusuran.
  • noimageindex ; Jangan lakukan pengindeksan gambar di laman ini.
  • unavailable_after: [RFC-850 date/time] ; Jangan tampilkan laman ini dalam hasil penelusuran setelah tanggal/waktu yang telah ditentukan. Tanggal/waktu harus ditentukan dalam format RFC 850.


Jika kita terapkan instruksi diatas kedalam kategori halaman maka kita bisa melihat contohnya sebagai berikut:

Homepage : all, noodp

Ini berarti pada halaman homepage, robot diberikan kebebasan untuk mengindeks dan menyajikan apapun yang ada dihalaman homepage ini (all), namun robot dilarang menggunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada halaman homepage ini (noodp).

Untuk pengaturan pada tipe halaman yang lainnya saya yakin Anda sudah bisa menyimpulkannya sendiri.


Pengaturan Custom Robots Header Tags


Untuk memulai pengaturan Custom Robots Header Tags silahkan ikuti caranya seperti pada gambar di bawah berikut ini.

Masuk ke pengaturan search preferences
Masuk ke pengaturan search preferences
Pengaturan custom robots header tags
Setting dan pengaturan custom robots header tags
  1. Pilih menu SETTING
  2. Pilih menu SEARCH PREFERENCES
  3. Pada custom robots header tags klik EDIT
  4. Pada pilihan Enable custom robots header tags pilih yes
  5. Berikan tanda centang sesuai dengan gambar berarsir merah
  6. Klik SAVE CHANGES untuk menyimpan perubahan.


Bagaimana memastikan perubahan yang sudah dilakukan ?


Untuk memastikan perubahan yang terjadi maka kita perlu memeriksanya, disini saya menggunakan web tools gratisan yaitu di webconfs.com. Berikut adalah gambar data X-Robot-Tags yang ada di halaman Home Page blog ini

Pengecekan header response cek
Hasil pengaturan custom robot header tags 

Terlihat bahwa hasil pengaturan X-Robot-Tags yang ditampilkan sudah sesuai dengan settingan yang dilakukan pada langkah no 5 diatas pada halaman homepage mengelolablog.com.


Kesimpulan

Pengaturan custom robots header tags di blog blogspot ini menurut saya bertujuan untuk mempermudah robot crawl (googlebot dan lainnya) untuk langsung menuju pada konten yang memang di buka untuk publik serta bermanfaat bagi pengunjung.

Kemudahan robot dalam merayapi dan mengindeks halaman situs/blog mempermudah blog kita cepat tampil dalam indeks mesin pencari sehingga akan mempercepat proses kita dalam mengetahui sejauh mana artikel dan blog berada dalam ranking indeks search engine.

Demikianlah artikel Cara mengatur custom robots header tags di blog blogspot ini bisa saya sampaikan, semoga bermanfaat.

10 comments:

  1. saya cek di webconfs, kok belum ada X-robot-tag ya?

    ReplyDelete
    Replies
    1. Punya agan yang baizuri(dot)com itu ada gan , ni hasilnya saya copas dari webconf :

      HTTP/1.0 200 OK =>
      X-Robots-Tag => all,noodp
      Content-Type => text/html; charset=UTF-8
      Expires => Mon, 19 Jun 2017 16:19:25 GMT
      Date => Mon, 19 Jun 2017 16:19:25 GMT
      Cache-Control => private, max-age=0
      Last-Modified => Mon, 19 Jun 2017 16:09:53 GMT
      X-Content-Type-Options => nosniff
      X-XSS-Protection => 1; mode=block
      Server => GSE
      Accept-Ranges => none
      Vary => Accept-Encoding

      Delete
  2. gan setingan tag tajuknya masih berlaku gk buat tahun 2017?

    ReplyDelete
    Replies
    1. Masih gan. Settingan diatas masih saya pakai di blog ini

      Delete
  3. Jadi apakah setingan diatas seo gan

    ReplyDelete
    Replies
    1. Kalau di template yg saya pake hasil seonya dàri setting robot header txt diatas cukup bagus gan.

      Delete