軟件特色
(1)本軟件采用北大天網MD5指紋排重算法,對于相似相同的網頁信息,不再重復保存。
(2)采集信息含義:[[HT]]表示網頁標題,[[HA]]表示文章標題,[[HC]]表示10個權重關鍵字,[[UR]]表示網頁中的圖片鏈接,[[TXT]]之后為正文。
(3)蜘蛛性能:本軟件開啟300個線程來保證采集效率。通過采集100萬精華文章來執行壓力測試,以普通網民的聯網計算機為參考標準,單臺計算機可以在一天內遍歷200萬網頁、采集20萬精華文章,100萬精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于:正式版允許將采集的精華文章數據自動保存為ACCESS數據庫。購買正式版請聯系QQ(970093569)。
操作方法
(1)使用前,必須確保你的計算機可以連通網絡,且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe,以安裝操作系統system32支持庫。
(3)運行spider.exe,輸入網址入口,先點"人工添加"按鈕,再點"啟動"按鈕,將開始執行采集。
注意事項
(1)抓取深度:填寫0表示不限制抓取深度;填寫3表示抓到第3層。
(2)通用蜘蛛模式與分類蜘蛛模式的區別:假定網址入口為“http://youxi.baidu.com/”,若選擇通用蜘蛛模式,將遍歷“baidu.com”里面的每一個網頁;若選擇分類蜘蛛模式,則只遍歷“youxi.baidu.com”里面的每一個網頁。
(3) 按鈕“從MDB導入”:網址入口從TASK.MDB中批量導入。
(4)本軟件采集的原則是不越站,例如給的入口是“http://youxi.baidu.com/”,就只在百度站點內部抓取。
(5)本軟件采集過程中,偶爾會彈出一個或數個“錯誤對話框”,請不予理會,倘若關閉“錯誤對話框”,采集軟件就會掛掉。
(6)使用者如何選擇采集題材:例如你若想采集 “股票類”文章,只需把那些“股票類”站點作為網址入口即可。
您的評論需要經過審核才能顯示
有用
有用
有用