風車Web通用採集程式

採集規則設定簡單易懂,程式具有2種運行方式,前台運行或後台定時運行。 斷點續采,目標網站有更新,採集程式才進行採集,僅採集更新的部分。 本程式採用了多執行緒異步採集,採集效率高,占用伺服器資源較低。

採用asp.net開發,運行於IIS下。
可根據入庫設定,自動掛接到現有的網站系統,與現有系統實現無縫集成,補充或替換現有系統的採集程式。
採集的調度,即計畫任務,可為每個採集規則設定時間定時重複採集,多個採集任務可同時運行,到了設定時間採集程式在Web伺服器後台自動執行,真正實現了無須人工干預的自動更新。
可自動歸類,對採集的信息實現自動分類,當目標分類不存在時可自動創建該分類,也可將目標分類與當前網站內容分類進行合併。
採集規則設定簡單易懂,程式具有2種運行方式,前台運行或後台定時運行。
可實現多級網頁深度的採集,比如內容分頁、部分信息在另外的頁面、小說連載等類型的有主從表關聯的信息採集。
斷點續采,目標網站有更新,採集程式才進行採集,僅採集更新的部分。
自動下載相關的外部檔案到本地伺服器或替換為遠程路徑,比如圖片、FLASH、下載檔案等。
本程式採用了多執行緒異步採集,採集效率高,占用伺服器資源較低。

相關詞條

熱門詞條

聯絡我們