6 Web Crawler dan User-Agent paling populer saat ini - Mengelola Blog

6 Web Crawler dan User-Agent paling populer saat ini

Tujuan awal artikel 6 Web Crawler dan User Agent paling populer saat ini adalah sebagai catatan pribadi saja agar mudah buat saya untuk mencarinya suatu saat nanti.

Alasannya simple, karena sebelumnya saya belum tau nama-nama web crawler dan user-agent tiap-tiap search engine yang paling populer dan ingin mencatatkannya di blog ini.

Cuma ingin tau aja ?

Ya enggalah, nama-nama web crawler dan user-agent ini biasanya digunakan untuk membantu saat mengatasi traffik dan kunjungan yang abnormal di statistik blog, ataupun untuk membatasi halaman mana yang tidak ingin saya tampilkan di laman pencarian masing-masing search engine.

Apa sih Web Crawler ?


Secara umum web crawler (spider web atau bot internet) adalah program yang menjelajahi web secara otomatis untuk mengindeks dan melihat semua jenis data yang ada di setiap halaman blog kita seperti konten, tautan pada laman, tautan rusak, peta situs, dan validasi kode HTML.

Artinya ketika kita berbicara tentang web crawler dan user agent ini pasti urusannya akan ketemu sama Search Engine (mesin pencari), cara indeks, dan siapa yang mengindeks seluruh blog kita di dalam dunia internet.

Seperti contohnya ketika kita ingin blog kita terindeks di dalam mesin pencari Google, maka kita wajib membuka akses kepada web crawler dan user-agent nya Google search engine untuk dapat merayapi seluruh laman dan konten di blog kita.

Begitu pula seperti saat kita menginginkan blog kita terindeks di laman pencarian Bing, Yahoo, dan lainnya.

Untuk detail sistem kerja yang terperinci, nama-nama teknikalnya, serta waktu perayapan dari web crawler dan user-agent ini jujur saja saya tidak terlalu paham, jadi silahkan bagi pembaca yang lebih paham dan ingin menambahkannya sebagai catatan dan update silahkan masukkan di kolom komentar.

6 WEB CRAWLER PALING POPULER


Berikut adalah daftar 6 nama web crawler dan user-agent paling populer saat ini.

1. GoogleBot


User-agent: Googlebot

GoogleBot merupakan web crawler paling populer saat ini karena ia digunakan oleh mesin pencari Google untuk mengindeks konten web di seluruh dunia.

Tipe GoogleBot ini ada banyak macamnya, ada GoogleBot (desktop dan seluler), GoogleBot berita, GoogleBot Gambar, GoogleBot Video, dan banyak lagi versi Bot yang lainnya.

Untuk jenis dan tipe GoogleBot yang lebih lengkapnya, kamu bisa kunjungi halaman bantuan search console tentang GoogleBot.


2. Bingbot


User-agent: Bingbot

Dibuat oleh Microsoft, khususnya untuk melayani dan memasok informasi ke mesin pencari Bing mereka. Bingbot ini merupakan versi pengganti dari Bot yang dulu digunakan oleh MSN.

Untuk detail tipe dan macamnya Bingbot yang digunakan silahkan kunjungi halaman bantuan Bing webmaster dari bingbot ini


3. Slurp


User-agent: Slurp

Slurp merupakan web crawler yang digunakan oleh Yahoo. Meskipun Yahoo juga didukung oleh Bingbot, namun Slurp masih tetap melayani mesin pencari Yahoo, utamanya untuk melayani pengguna Yahoo pada perangkat mobile.

Silahkan baca halaman help yahoo untuk Slurp


4. DuckDuckBot


User- agent: DuckDuckBot

DuckDuckBot adalah web crawler untuk mesin pencari bernama DuckDuckGo . Sebuah mesin pencari saat ini cukup populer karena dikenal karena tidak melacak pengguna serta privasinya .


5. Baiduspider


User- agent: Baiduspider

Baiduspider adalah nama resmi dari mesin pencari Baidu dan hingga saat ini masih menjadi mesin pencari paling top diseluruh daratan China.


6. YandexBot


User-Agent: YandexBot

YandexBot adalah web crawler yang digunakan oleh mesin pencari Yandex , mesin pencari nomor satu dinegara Rusia. Untuk detailnya silahkan baca halaman support Yandex search engine.


Note :

Untuk referensi laman DuckDuckbot dan Baiduspider terkait kelengkapan nama user-agent yang digunakan, saya belum menemukan laman yang mewakilinya.

Demikianlah artikel 6 Web Crawler dan User Agent paling populer saat ini bisa saya sampaikan, semoga bisa bermanfaat.
Daftar isi [ Lihat ]
SHARE
4 komentar
  1. Saya baru dua yang sering saya gunakan punyanya google dan yahoo. Walau sebenarnya saya sendiri kurang paham.

    BalasHapus
    Balasan
    1. 2 juga cukup mas, soalnya mayoritas pengunjung dari indonesia juga banyakan pakai itu yahoo bing n google. Lainnya sedikit.

      Beda kalau target pembacanya global ya macam blog berbahasa inggris.

      Hapus
  2. Web Crawler cukup penting dalam mengoptimasi blog ya mas, dengan memahami cara kerjanya diharapkan blog kita semakin baik posinya di SE.

    BalasHapus
    Balasan
    1. Betul mas maman, penting agar blog kita dikenali oleh crawler lainnya, meskipun umumnya yg di maksimalkan hanya googlebot, yahoo n bing

      Hapus