索引蜘蛛

索引蜘蛛

索引蜘蛛又稱作蜘蛛協定

隨著搜尋經濟的崛起，人們開始愈加關注全球各大搜尋引擎的性能、技術和日流量。作為企業，會根據搜尋引擎的知名度以及日流量來選擇是否要投放廣告等；作為普通網民，會根據搜尋引擎的性能和技術來選擇自己喜歡的引擎查找資料；作為學者，會把有代表性的搜尋引擎作為研究對象
目錄1概述
2體驗
3技術
4網路蜘蛛
5基本原理
6網路策略
7抓取方法
8名稱列表
9網站關係
10進入網站
11內容提取
12連結指向
13更新周期
14結論

概述

而作為一個網站的經營者，其更關心的或許是如何通過網路載體讓更多的網民知蜘蛛協定
道自己的網站，進而獲得更高的流量和知名度。這其中，搜尋引擎已經成了一個重要的且是免費的宣傳途徑。一方面，搜尋引擎會主動出擊，尋找網路上的各種網頁數據，並在後台按相關條件進行索引；另一方面，各大網站為了能讓自己的內容更多的通過搜尋引擎向網民展示，都開始對網站結構進行重大調整，其中包括扁平化結構設計、動態（網頁）轉靜態（網頁）、Sitemap等。
這些看來不經意的舉動都讓我們切身感受到搜尋引擎對我們網路使用方式的改變起到了重要作用。並且，正因為搜尋引擎的興起以及社會各界對其重視程度日漸高漲，還由此創造了一個全新的職位——SEO。實際上，搜尋引擎經濟的崛起，又一次向人們證明了網路所蘊藏的巨大商機。網路離開了搜尋將只剩下空洞雜亂的數據，以及大量等待去費力挖掘的金礦。