728x90 AdSpace

HEADLINE NEWS

12 September 2010

Apa itu Web Crawler, Web Spider, Web Robot, WebBot? hal ini perlu diketahui oleh sobat blogger semua. hal ini juga sama dengan membuat related post/artikel yang berhubungan di sidebar, yang bertujuan untuk memudahkan pengunjung membuka/membaca artikel yang ada di blog kita. dengan mengetahui hal ini sobat semua tahu bagaimana google mengindeks blog kita juga artikel/posting yang ada di blog kita.  lalu bagaimakah metode ini bekerja? apa tujuan dari web crawl? dan Apa itu Web Crawler, Web Spider, Web Robot, WebBot? secara terperinci? mari kita simak penuturannya.
Web crawler adalah suatu program atau script otomatis yang relatif simple, yang menggunakan metode tertentu untuk melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Sebutan/julukan lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.
Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait  atau berhubungan langsung dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan dan sesuai dengan yang dicari.
Ketika web crawl search engine mengunjungi halaman web, ia “membaca” teks yang terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta tag yang banyak berisi keyword. Berdasar kaninformasi yang dikumpulkan web crawl, search engine akan menentukan situs dan mengindex informasinya. Website tersebut kemudian dimasukkan ke dalam database search engine dan dilakukan proses penentuan ranking setiap halamannya.
Search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yaitu, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini (keyword populer). Peneliti pasar dapat menggunakan web crawl untuk menentukan dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang melakukan pencarian informasi di Internet.
Web crawl beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine, mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan apakah sudah berlangsung perubahan  yang signifikan. Jika suatu situs mengalami trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu terselesaikan dan dilakukan pembenahan serta perbaikan.

----Semoga Bermanfaat----
Asrizal Wahdan Wilsa

Memulai Blogging sejak tahun 2009 hingga sekarang. Aktif di bidang musik yang dinaungi salah satu label musik di Kota Bandung. Saat ini fokus melanjutkan kuliah ke jenjang S2 di Universitas Negeri Semarang (UNNES). Website: Sharing Media - Info Tips dan Trik Terbaru

  • Blogger Comments
  • Facebook Comments

7 komentar:

  1. klo google masuk ke mana neeh mas ?

    BalasHapus
  2. pusing kalo yang bginian g mudeng sama sekali :o:

    BalasHapus
  3. wahaha... info yang bagus :k:

    BalasHapus
  4. jadi sedikit tahu sob cara kerja SE untuk meng-index, makasih atas infonya. Salam

    BalasHapus
  5. makasih atas infonya.. sekarang saya sudah tau kegunaan web crawler

    BalasHapus
  6. newbie asing dengan istilah crawler dan semacamnya, masih harus belajar seo lagi, biar bisa paham, btw, thank sudah berbagi

    BalasHapus

Berkomentarlah dengan bijak, relevan dengan artikel, komentar spam dan promosi akan kami hapus, terimakasih.

Kami akan menjawab komentar anda secepat mungkin, opsi lain silakan berkomentar di halaman facebook/melalui twitter kami.

Item Reviewed: Apa itu Web Crawler, Web Spider, Web Robot, WebBot? Description: Rating: 5 Reviewed By: Asrizal Wahdan Wilsa
Scroll to Top