火車采集器(LocoySpider)是一個供各大主流文章系統,論壇系統等使用的多線程內容采集發布程序。使用火車采集器,你可以瞬間建立一個擁有龐大內容的網站?;疖嚥杉飨到y支持遠程圖片下載,圖片批量水印,Flash下載,下載文件地址探測,自制作發表的cms模塊參數,自定義發表的內容等有關采集器。火車采集器對于數據的采集其可以分為兩部分,一是采集數據,二是發布數據。
火車采集器功能:
火車采集器(LocoySpider)是一款功能強大且易于上手的專業采集軟件,強大的內容采集和數據導入功能能將您采集的任何網頁數據發布到遠程服務器,自定義用戶cms系統模塊,不管你的網站是什么系統,都有可能使用上火車采集器,系統自帶的模塊文件支持:風訊文章,動易文章,動網論壇,PHPWIND論壇,Discuz論壇,phpcms文章,phparticle文章,LeadBBS論壇,魔力論壇,Dedecms文章,Xydw文章,驚云文章等的模塊文件。更多cms模塊請自己參照制作修改,也可到官方網站與大家交流制作。 同時您也可以使用系統的數據導出功能,利用系統內置標簽,將采集到的數據對應表的字段導出到本地任何一款Access,MySql,MS SqlServer內。
LocoySpider采用Visual C編寫,可獨立在Windows2008下運行(windows2003 自帶.net1.1框架。最新版的火車采集器是2008版,需要升級到.net2.0框架才能使用),如您在Windows2000、Xp等環境下使用,請先到微軟官方下載一個.net framework2.0或更高環境組件?;疖嚥杉鱒2009 SP2 04月29日
數據抓取原理
火車采集器如何去抓取數據,取決于您的規則。您要獲取一個欄目的網頁里的所有內容,需要先將這個網頁的網址采下來,這就是采網址。程序按您的規則抓取列表頁面,從中分析出網址,然后再去抓取獲得網址的網頁里的內容。再根據您的采集規則,對下載到的網頁分析,將標題內容等信息分離開來并保存下來。如果您選擇了下載圖片等網絡資源,程序會對采集到的數據進行分析,找出圖片,資源等的下載地址并下載到本地。
數據發布原理
在我們將數據采集下來后數據默認是保存在本地的,我們可以使用以下幾種方式對數據進行處理。
1、不做任何處理。因為數據本身是保存在數據庫的(access、db3、mysql、sqlserver),您如果只是查看數據,直接用相關軟件打開查看即可。
2、Web發布到網站。程序會模仿瀏覽器向您的網站發送數據,可以實現您手工發布的效果。
3、直接入數據庫。您只需寫幾個SQL語句,程序會將數據按您的SQL語句導入到數據庫中。
4、保存為本地文件。程序會讀取數據庫里的數據,按一定格式保存為本地sql或是文本文件。
工作流程
火車采集器采集數據是分成兩個步驟的,一是采集數據,二是發布數據。這兩個過程是可以分開的。
1、采集數據,這個包括采集網址,采集內容。這個過程是獲得數據的過程。我們做規則,在采的過程中也算是對內容做了處理。
2、發布內容就是將數據發布到自己的論壇,CMS的過程,也是實現數據為已有的過程。可以用WEB在線發布,數據庫入庫或存為本地文件。
具體的使用其實是很靈活的,可以根據實際來決定。比如我可以采集時先采集不發布,有時間了再發布,或是同時采集發布,或是先做發布配置,也可以在采集完了再添加發布配置??傊?,具體過程由您而定,火車采集器的強大功能之一也就是體現在靈活中。
火車采集器(LocoySpider)更新日志
1、調整列表頁排重的方式,現在僅會在同級列表頁之間進行排重。
2、增加對于任務運行完畢之后的運行統計的預警功能(Email郵件預警)【旗艦版功能】
3、新增支持對于一些請求返回碼不為200時,仍然進行采集的配置。
4、新增支持將下載地址保存為html文件的功能。
5、二次代理服務,增加導入的時候配置代理類型,同時修復對于用戶名密碼的顯示錯誤問題。
6、發布配置頁面,默認僅顯示當前選擇配置,加快任務加載時間。
7、修復命令行控制,closeapp參數無法自動關閉程序的問題。
8、修復在未選擇圖片水印時,無法進行圖片剪裁的問題。
9、優化開始界面加載方式,解決初始化界面卡頓的問題。
10、修復在配置多行連接符包含“|”導致的無法探測圖片下載的問題。
11、修復Excel導出數據時,列的順序與字段順序不一致的問題。
12、修復Excel導出數據時,一些包含數字的字段的導出數據錯誤問題。
13、修復任務批量編輯時,Json采集表達式未能復制的問題。
您的評論需要經過審核才能顯示
有用
有用
有用