Spiders

Spiders，指自動抓取網頁內容的機器人Robots，是搜尋引擎用來訪問Internet上網頁的自動程式。spiders根據html的語法和格式，對讀取的頁面進行代碼過濾，收入相關的文字內容。目前搜尋引擎無法象人那樣去讀相應的圖片、Flash、影片裡面的內容。圖片中的文字對Spider來說毫無意義。對於javascript裡面的內容，現在已經有部分網站開始收錄。

網際網路上的蜘蛛

這裡列出世界各大搜尋引擎蜘蛛名字,方便大家查看網站日誌時查找:

google蜘蛛： googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

altavista蜘蛛：scooter

lycos蜘蛛： lycos_spider_(t-rex)

alltheweb蜘蛛： fast-webcrawler/

inktomi蜘蛛： slurp