Cara setting custom robots header tags di blog blogspot - Mengelola Blog

Cara setting custom robots header tags di blog blogspot

Dalam upaya untuk meningkatkan SEO serta visibilitas blog di Search Engine, tentu kita harus mengetahui langkah-langkah yang diperlukan agar jumlah kunjungan organik dari Search Engine bisa meningkat.

Saat ini, setiap blog berplatform Blogger sudah dimungkinkan untuk dikustomisasi dan dimodifikasi lebih jauh agar ramah terhadap mesin telusur sehingga bisa memiliki peringkat yang lebih baik.

Salah satu langkah yang cukup baik untuk dilakukan adalah dengan menerapkan pengaturan search preferences (preferensi penelusuran) yang ada didalam menu setting dashboard blog blogspot Anda.

Oleh karena itu, pada artikel kali ini saya akan mencoba untuk menjelaskan tentang custom robots header tags dan apa yang sebaiknya dilakukan saat mengatur settingan pada custom robots header tags tersebut.

Pemahaman ini saya rasa perlu untuk diketahui mengingat kesalahan pengaturan pada fitur crawler dan indexing (termasuk pengaturan custom robot header tags ini) dapat menyebabkan blog Anda "diabaikan" atau hilang dari indeks mesin pencari.

Hal ini pernah saya alami akibat salah mengatur pada menu search preference yaitu pada bagian robot. txt ketika kompetisi SEO beberapa waktu yang lalu (silahkan baca pada artikel Belajar dari kompetisi SEO khususnya yang saya lakukan pada tangal 12 mei 2016 )

Catatan
Bagi yang belum mengerti disarankan untuk mencari tau dan mendalaminya terlebih dahulu sebelum mengutak-atik bagian ini atau tetap biarkan seperti standar blogger. Karena apabila salah pengaturan maka blog dan atau artikel Anda akan lama terindeksnya atau bahkan tidak terindeks sama sekali.

cara mengatur custom robots header tags
Cara mengatur custom robots header tags


Sekilas tentang tag meta robot dan header http x-robots-tags


Seperti dijelaskan didalam halaman panduan google webmaster, setelah robot crawler melalui file robot.txt untuk menentukan cara situs dirayapi,  ada dua lokasi berikutnya dimana robot bisa mengikuti instruksi tentang bagaimana situs / blog  akan di indeks.

Lokasi pertama ada didalam template bagian <head> (menggunakan tag meta robot) dan yang kedua berada didalam header HTTP (menggunakan x-robots-tag).

Berikut kutipan yang saya ambil dari laman Panduan Google webmaster tentang tag meta dan x-robot-tag

Untuk penggunaan tag meta robot
Tag meta robot memungkinkan Anda menggunakan pendekatan khusus laman yang terperinci untuk mengontrol cara tiap laman diindeks dan ditampilkan kepada pengguna dalam hasil penelusuran. - Google

Sedangkan untuk  penggunaan Header HTTP X-Robots-Tags
X-Robots-Tags dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap perintah yang dapat digunakan dalam tag meta robot juga dapat ditentukan sebagai X-Robots-Tag. - Google

Sepengetahuan saya (mohon koreksinya kalau salah),  file http header di blog Blogspot tidak bisa dan dibatasi oleh Google (blogger.com) untuk dimodifikasi / diedit  meskipun modifikasi ini dilakukan oleh user (pemilik blog).

Oleh karena hal tersebut diatas (menurut saya pribadi), serta untuk membantu  setiap pengelola blog blogspot agar blognya semakin ramah dan SEO fiendly terhadap mesin pencari, maka muncul-lah pengaturan Custom Robots Header Tags.


Apa yang diatur dalam Custom Robots Header Tags.


Seperti bisa kita lihat pada dashboard Blogspot pada menu setting >>  search preferences >> crawler & indexing >> custom robots header tags , maka kita akan melihat 3 kategori halaman yang bisa diatur cara mengindeksnya yaitu :
  1. Home page (halaman beranda)
  2. Archive dan Search pages (halaman arsip dan halaman pencarian blog)
  3. Posts dan Pages (halaman posting dan halaman Statis)

Adapun perintah valid yang digunakan untuk mengatur robot crawler dalam mengindeks yang dilakukan melalui tag meta dan HTTP Header adalah sebagai berikut
  • all ; Tidak ada batasan untuk pengindeksan atau penyajian. Catatan: perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.
  • noindex ; Jangan tampilkan laman ini dalam hasil penelusuran dan jangan tampilkan tautan "dalam cache" di hasil penelusuran.
  • nofollow ; Jangan ikuti tautan di laman ini
  • none ; Setara dengan noindex, nofollow
  • noarchive ; Jangan tampilkan tautan "dalam cache" di hasil penelusuran.
  • nosnippet ; Jangan tampilkan cuplikan dalam hasil penelusuran untuk laman ini
  • noodp ; Jangan gunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada laman ini.
  • notranslate ; Jangan menawarkan terjemahan dari laman ini dalam hasil penelusuran.
  • noimageindex ; Jangan lakukan pengindeksan gambar di laman ini.
  • unavailable_after: [RFC-850 date/time] ; Jangan tampilkan laman ini dalam hasil penelusuran setelah tanggal/waktu yang telah ditentukan. Tanggal/waktu harus ditentukan dalam format RFC 850.


Jika kita terapkan instruksi diatas kedalam kategori halaman maka kita bisa melihat contohnya sebagai berikut:

Homepage : all, noodp

Ini berarti pada halaman homepage, robot diberikan kebebasan untuk mengindeks dan menyajikan apapun yang ada dihalaman homepage ini (all), namun robot dilarang menggunakan metadata dari proyek Direktori Terbuka untuk judul atau cuplikan yang ditampilkan pada halaman homepage ini (noodp).

Untuk pengaturan pada tipe halaman yang lainnya saya yakin Anda sudah bisa menyimpulkannya sendiri.


Pengaturan Custom Robots Header Tags


Untuk memulai pengaturan Custom Robots Header Tags silahkan ikuti caranya seperti pada gambar di bawah berikut ini.

Masuk ke pengaturan search preferences
Masuk ke pengaturan search preferences
Pengaturan custom robots header tags
Setting dan pengaturan custom robots header tags
  1. Pilih menu SETTING
  2. Pilih menu SEARCH PREFERENCES
  3. Pada custom robots header tags klik EDIT
  4. Pada pilihan Enable custom robots header tags pilih yes
  5. Berikan tanda centang sesuai dengan gambar berarsir merah
  6. Klik SAVE CHANGES untuk menyimpan perubahan.


Bagaimana memastikan perubahan yang sudah dilakukan ?


Untuk memastikan perubahan yang terjadi maka kita perlu memeriksanya, disini saya menggunakan web tools gratisan yaitu di webconfs.com. Berikut adalah gambar data X-Robot-Tags yang ada di halaman Home Page blog ini

Pengecekan header response cek
Hasil pengaturan custom robot header tags 

Terlihat bahwa hasil pengaturan X-Robot-Tags yang ditampilkan sudah sesuai dengan settingan yang dilakukan pada langkah no 5 diatas pada halaman homepage mengelolablog.com.


Kesimpulan

Pengaturan custom robots header tags di blog blogspot ini menurut saya bertujuan untuk mempermudah robot crawl (googlebot dan lainnya) untuk langsung menuju pada konten yang memang di buka untuk publik serta bermanfaat bagi pengunjung.

Kemudahan robot dalam merayapi dan mengindeks halaman situs/blog mempermudah blog kita cepat tampil dalam indeks mesin pencari sehingga akan mempercepat proses kita dalam mengetahui sejauh mana artikel dan blog berada dalam ranking indeks search engine.

Demikianlah artikel Cara mengatur custom robots header tags di blog blogspot ini bisa saya sampaikan, semoga bermanfaat.
Daftar isi [ Lihat ]
SHARE
20 komentar
  1. gan setingan tag tajuknya masih berlaku gk buat tahun 2017?

    BalasHapus
    Balasan
    1. Masih gan. Settingan diatas masih saya pakai di blog ini

      Hapus
  2. Jadi apakah setingan diatas seo gan

    BalasHapus
    Balasan
    1. Kalau di template yg saya pake hasil seonya dàri setting robot header txt diatas cukup bagus gan.

      Hapus
  3. Ijin comot ah mas😊
    Biar ceper keindex

    BalasHapus
  4. blog saya yang masrahman dot com itu nggak bisa diindex google .. sebelumnya tag nya gak ada yang dicentang, saya coba settingan ini. dan robots.txt nya aku coba pake mastimon

    BalasHapus
    Balasan
    1. Tadi sempet saya cek dengan cara site:masrahmandotcom terlihat sudah terindeks di google mas.

      Hapus
    2. itu emang udah ada 3 page, yang postingan baru nya nggak ada yang terindeks

      Hapus
    3. Saya juga sama mas. Banyak artikel baru yg belum ke indeks, bahkan yg lama2 juga ada yg ilang dari indeks.

      Kalo saya tau berita2nya sih google memang lagi perbaikan di indeksnya.. jadi menurut saya wajar aja belum ke indeks. Jadi saat ini saya juga nunggu aja sih.. kalo dalam dua bulan kedepan belum ke indeks yg coba indeks manual lagi.

      Yg penting update konten baru aja di lanjutin.. indeks bakalan nyusul kalo menurut saya :)

      Hapus
  5. Apakah ini masih oke buat ditahun 2023 ini gann??

    BalasHapus
    Balasan
    1. Masih, blog ini masih pakai setting yang sama seperti diatas dan indeksnya masih normal.

      Hapus
    2. Itu kalo arsip diindex aman untuk seo ngga si gann??

      Hapus
    3. Kalo ngga salah saya, bakal jadi duplikat konten. Duplikat konten kan emang ga bagus buat SEO.

      Hapus
  6. Bang kalo yang tag arsip dan penelusuran, noarchive ikut dicentang oke ngga??

    BalasHapus
    Balasan
    1. Ngga, setau saya itu bisa bikin duplicate content

      Hapus
    2. Mau nanya lagi bang,, kalo artikel yang permalink ?m=1 perlu di index??

      Hapus
    3. Kalau saya ngga salah, m=1 (mobile) otomatis di indeks sama google. Dulu ada prioritas mobile indeksing dari google, jadi yg terbit pake ?m=1 itu langsung dapet diprioritas untuk di indeks.

      Hapus
    4. Thanks bang,, ngga diindex ngga masalah berarti.

      Hapus