時(shí)間：2022-03-05 22:40:57
序論：在您撰寫(xiě)數(shù)據(jù)采集論文時(shí)，參考他人的優(yōu)秀作品可以開(kāi)闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。
1．1采集系統(tǒng)方案采集系統(tǒng)方案如圖2所示，系統(tǒng)由ST32F407單片機(jī)加FPGA結(jié)構(gòu)組成，F(xiàn)PGA采用Altera公司的CYCLONEⅣ系列芯片EP4CE6E22C8N。單片機(jī)作為主控制器，用于控制FPGA采集，數(shù)據(jù)存儲(chǔ);電路包含以太網(wǎng)接口，GPS接口，SD卡存儲(chǔ)器以及授時(shí)守時(shí)電路;FPGA部分用于產(chǎn)生AD同步時(shí)鐘，控制六通道AD同步采集，并將采樣值傳入單片機(jī)中，電路包含6通道采集板和參考源;單片機(jī)與FPGA之間通過(guò)SPI接口與地址線A0進(jìn)行通信。數(shù)字補(bǔ)償晶體是整個(gè)系統(tǒng)的時(shí)鐘源，該晶體的頻率為16．384MHz，準(zhǔn)確度為0．5×10－6，溫漂為0．1×10－6。
1．2傳感器選型本系統(tǒng)選用的傳感器為ES－T型三分向力平衡式加速度計(jì)，傳感器可以在±0．25gn到±4gn的范圍內(nèi)選擇設(shè)定滿量程，其動(dòng)態(tài)范圍優(yōu)于155dB，帶寬在DC－200Hz之間。
1．3信號(hào)調(diào)理與AD采集電路傳感器輸出為差分信號(hào)，信號(hào)動(dòng)態(tài)范圍為±5V，系統(tǒng)選用的AD芯片輸入信號(hào)范圍在±2．5V之間，所以傳感器輸出信號(hào)必須經(jīng)過(guò)信號(hào)調(diào)理后才能進(jìn)行采集，圖3是其中一個(gè)通道的信號(hào)調(diào)理與AD采集電路，其余通道電路與該圖完全一致。信號(hào)調(diào)理電路由全差動(dòng)放大器OPA1632構(gòu)成，該放大器的電壓噪聲密度為1．3nV/Hz1/2，在100Hz(高鐵地震監(jiān)測(cè)常用采樣率為200sample/s)帶寬范圍內(nèi)噪聲有效值不超過(guò)15nV，滿足地震信號(hào)采集要求。圖中R2∶R1、R7∶R9均為2∶1，可將輸入差分信號(hào)衰減2倍，實(shí)現(xiàn)將傳感器輸出的±5V信號(hào)衰減到±2．5V范圍內(nèi)，滿足ADS1281的輸入電壓范圍，圖中二極管D1與D2是鉗位二極管，將電壓鉗位在±3V左右，保護(hù)AD芯片。AD轉(zhuǎn)換器是一款32bitΔ－Σ高精度模數(shù)轉(zhuǎn)換器ADS1281，內(nèi)部具有可編程FIR、IIR和SINC濾波器，0．6×10－6線性度，在250sample/s采樣率下其SNR可達(dá)130dB，全速采樣模式下功耗僅12mW，非常適用于電池供電的野外作業(yè)。通過(guò)配置PINMODE引腳，可將ADS1281設(shè)置為引腳控制模式(PINMODE=1)和寄存器控制模式(PINMODE=0)，本系統(tǒng)將其配置成寄存器控制模式。系統(tǒng)為實(shí)現(xiàn)同步采樣，將六通道ADS1281的低功耗控制PWDN，復(fù)位RST，同步SYNC，采樣時(shí)鐘CLK，SPI時(shí)鐘SCLK，SPI數(shù)據(jù)輸入DIN引腳分別連在一起，并由FPGA統(tǒng)一控制，達(dá)到時(shí)鐘同步，統(tǒng)一配置AD的目的，從而實(shí)現(xiàn)同步采樣;而ADS1281的數(shù)據(jù)輸出引腳DOUT分別接在FPGA的6個(gè)不同IO口，用于讀取六通道AD的數(shù)據(jù)。參考源是數(shù)據(jù)采集系統(tǒng)的關(guān)鍵部分，本系統(tǒng)利用DCDC產(chǎn)生－5V電壓，低噪聲LDO電源芯片LT1964產(chǎn)生－2．5V電壓，作為六通道ADS1281的VREFN輸入，LT1964噪聲為30μVRMS(10Hz～100kHz);利用專用精準(zhǔn)基準(zhǔn)芯片LTC6655－2．5產(chǎn)生+2．5V電壓，作為六通道ADS1281的VREFP輸入，該芯片噪聲0．25×10－6p－p(0．1Hz～10Hz)，溫飄為2×10－6/℃，經(jīng)過(guò)試驗(yàn)，該方案是取得較好結(jié)果。
1．4FPGA采集控制與數(shù)據(jù)傳輸實(shí)現(xiàn)數(shù)據(jù)采集之前，STM32單片機(jī)需要通過(guò)FPGA對(duì)各通道采集卡(即ADS1281)進(jìn)行配置;數(shù)據(jù)采集過(guò)程中，F(xiàn)PGA需要對(duì)六通道數(shù)據(jù)讀取、打包并傳入STM32單片機(jī)?？刂凭€A0用于選擇上述功能。當(dāng)A0=0時(shí)，將STM32單片機(jī)與FPGA之間的SPI接口、FPGA與六通道采集卡之間的SPI接口直接相連，此時(shí)由STM32單片機(jī)直接完成采集卡配置;當(dāng)A0=1，F(xiàn)PGA輸出采樣時(shí)鐘CLK，六通道采集卡同時(shí)啟動(dòng)采樣。FPGA數(shù)據(jù)采集與傳輸過(guò)程如圖4所示。當(dāng)六通道ADC數(shù)據(jù)準(zhǔn)備就緒時(shí)，ADC_nDRDY信號(hào)將同時(shí)由高變低，F(xiàn)PGA收到下降沿信號(hào)后，將在ADC_SCLK引腳連續(xù)產(chǎn)生32個(gè)周期的SPI時(shí)鐘，ADS1281在時(shí)鐘上升沿輸出數(shù)據(jù)(ADC_DOUT_1至ADC_DOUT_6)，F(xiàn)PGA在時(shí)鐘下降沿讀取數(shù)據(jù)，六通道數(shù)據(jù)將被緩存在6個(gè)32bit寄存器ADC_DA-TA0至ADC_DATA5內(nèi);FPGA讀取完六通道32bit數(shù)據(jù)后，在MCU_DRDY引腳產(chǎn)生一個(gè)高脈沖，通知STM32單片機(jī)讀取數(shù)據(jù)，單片機(jī)在MCU_DRDY下降沿啟動(dòng)中斷，并在中斷中完成數(shù)據(jù)讀取;數(shù)據(jù)讀取過(guò)程中，單片機(jī)的SPI時(shí)鐘MCU_SCLK連續(xù)產(chǎn)生時(shí)鐘信號(hào)，F(xiàn)PGA在收到時(shí)鐘信號(hào)時(shí)，將數(shù)據(jù)通過(guò)MCU_DIN輸出，時(shí)鐘信號(hào)共6×32=192個(gè)，正好讀完六通道數(shù)據(jù)。
2預(yù)警系統(tǒng)C/S構(gòu)架軟件設(shè)計(jì)
2．1客服端LabVIEW編程PC機(jī)客服端界面與網(wǎng)絡(luò)編程利用LabView軟件實(shí)現(xiàn)。LabView是由美國(guó)國(guó)家儀器(NI)公司研制開(kāi)發(fā)虛擬儀器開(kāi)發(fā)軟件，是一種圖形化編程語(yǔ)言，使用較為方便［6－7］。LabView主界面包含采樣率、量程設(shè)置，IP地址，端口，開(kāi)始采集按鈕，停止采集按鈕和波形界面幾個(gè)部分，其中波形界面由WaveChart控件實(shí)現(xiàn)，具體實(shí)現(xiàn)如下:將下位機(jī)上傳的六通道數(shù)據(jù)綁定為簇，簇輸出接到WaveChart控件的數(shù)據(jù)輸入端，Wave-Chart控件的圖形顯示方式設(shè)置為分格顯示曲線，由于簇輸入是6個(gè)數(shù)組綁定而成，WaveChart自動(dòng)將窗口分成6個(gè)子窗口，每個(gè)數(shù)據(jù)對(duì)應(yīng)一個(gè)窗口;Wave-Chart界面更新模式設(shè)置為StripChart，此模式下波形從左至右繪制，達(dá)到右邊邊界時(shí)，舊數(shù)據(jù)從左邊溢出，新數(shù)據(jù)從右邊進(jìn)入。LabView具有強(qiáng)大的網(wǎng)絡(luò)編程功能，本系統(tǒng)客戶端利用了其中的TCP/IP協(xié)議模塊，主要涉及到以下幾個(gè)函數(shù):TCPOpen(打開(kāi))，TCPRead(讀取)，TCPWrite(寫(xiě)入)，TCPClose(關(guān)閉)?？蛻舳顺绦蚬ぷ髁鞒倘鐖D5所示。從圖中可以看出，從開(kāi)始到結(jié)束采集一共用了兩次TCP/IP連接，第1次用于發(fā)送采集命令，然后接收、處理、顯示數(shù)據(jù)，當(dāng)按下“停止采樣”命令后，首先關(guān)閉第1次TCP/IP連接，此時(shí)服務(wù)器還在繼續(xù)采集數(shù)據(jù)，但不發(fā)送，所以還需進(jìn)行一次TCP/IP連接發(fā)送停止采集命令給服務(wù)器，服務(wù)器收到命令后即可停止采集，并進(jìn)入低功耗模式。
2．2基于LWIP的服務(wù)器程序設(shè)計(jì)服務(wù)器的主控單片機(jī)是STM32F407，其內(nèi)部集成了10/100M以太網(wǎng)MAC，結(jié)合PHY芯片DP83848即可完成以太網(wǎng)硬件搭建;以太網(wǎng)軟件部分通過(guò)移植LWIP協(xié)議棧實(shí)現(xiàn)，已有較多文獻(xiàn)或文檔詳細(xì)敘述了移植方法與過(guò)程，服務(wù)器接收命令、啟動(dòng)采樣和傳輸數(shù)據(jù)等功能在tcp回調(diào)函數(shù)中實(shí)現(xiàn)。數(shù)據(jù)采集和傳輸是同時(shí)進(jìn)行的，可在單片機(jī)中申請(qǐng)兩個(gè)緩存，采用乒乓操作模式工作實(shí)現(xiàn)，即:其中一個(gè)用于中斷采集數(shù)據(jù)存儲(chǔ)，緩存滿后，設(shè)置數(shù)據(jù)滿標(biāo)志，并查詢另一個(gè)緩存的數(shù)據(jù)空標(biāo)志，若為空，證明數(shù)據(jù)已經(jīng)傳輸完成，可新的存儲(chǔ)數(shù)據(jù);另一個(gè)用于傳輸，傳輸完成后，設(shè)置數(shù)據(jù)空標(biāo)志，并查詢第1個(gè)緩存的數(shù)據(jù)滿標(biāo)志，若位滿，證明數(shù)據(jù)可以傳輸;由于以太網(wǎng)的傳輸速度遠(yuǎn)大于數(shù)據(jù)采集的速度，以太網(wǎng)傳輸完成后會(huì)等待另一個(gè)緩存存滿，所以整個(gè)過(guò)程中不會(huì)出現(xiàn)采樣數(shù)據(jù)丟失的情況。
3采集系統(tǒng)性能測(cè)試
3．1噪聲測(cè)試進(jìn)行噪聲測(cè)試時(shí)，將6通道輸入短接，采樣率設(shè)置為200sample/s;采集開(kāi)始后，數(shù)據(jù)將以文本文檔的形式實(shí)時(shí)存入SD卡。圖6是由采集的一個(gè)通道數(shù)據(jù)用excel作圖得到(取其中任意2000個(gè)點(diǎn))，從該圖可以看出:該通道采集的輸入短接噪聲峰峰值在±1．5μV范圍內(nèi)。為進(jìn)一步對(duì)噪聲大小進(jìn)行量化分析，分別進(jìn)行了三次噪聲測(cè)試，并在excel軟件中利用STDEVA函數(shù)對(duì)每一次的六通道采集數(shù)據(jù)做均方差處理，處理結(jié)果如表1所示。從表中可以看出:每隔通道的噪聲均方差低于0．5μV，噪聲一致性較好;采集卡輸入信號(hào)范圍是±5V，按照ADC的信噪比計(jì)算公式可算出采集卡的信噪比優(yōu)于140dB。
3．2地震信號(hào)采集實(shí)驗(yàn)實(shí)驗(yàn)時(shí)，把傳感器放置于地面，傳感器差分信號(hào)輸出端接入采集卡第1通道，打開(kāi)監(jiān)測(cè)站電源，在PC機(jī)中啟動(dòng)LabVIEW界面，設(shè)定好采樣率、量程、IP地址與端口，點(diǎn)擊“啟動(dòng)采集”，在距傳感器2m左右用硬物連續(xù)敲擊地面，圖7是截取的實(shí)時(shí)顯示結(jié)果圖，從圖7可以看出，第1通道具有典型的地震波形輸出，縱坐標(biāo)單位為mV，第2通道～第6通道輸出為隨機(jī)噪聲，縱坐標(biāo)單位為μV。
4結(jié)束語(yǔ)
GPRS移動(dòng)數(shù)據(jù)傳輸網(wǎng)絡(luò)的主要作用就是對(duì)無(wú)線數(shù)據(jù)進(jìn)行傳輸。在監(jiān)控對(duì)象安裝的數(shù)據(jù)采集點(diǎn)會(huì)對(duì)數(shù)據(jù)進(jìn)行采集，然后經(jīng)過(guò)GSM網(wǎng)絡(luò)的空中接口模塊，同時(shí)對(duì)數(shù)據(jù)進(jìn)行解碼處理，然后將其轉(zhuǎn)換為可以在公網(wǎng)傳輸?shù)母袷?，最后通過(guò)GPRS移動(dòng)數(shù)據(jù)傳輸網(wǎng)絡(luò)將數(shù)據(jù)傳輸至監(jiān)控中心的服務(wù)器。在整個(gè)系統(tǒng)中，各個(gè)監(jiān)控點(diǎn)的數(shù)據(jù)采集模塊通過(guò)GPRS移動(dòng)數(shù)據(jù)傳輸網(wǎng)絡(luò)與監(jiān)控中心相連，數(shù)據(jù)采集點(diǎn)同意使用STK卡，與此同時(shí)，監(jiān)控中心會(huì)對(duì)各點(diǎn)進(jìn)行登記，并在服務(wù)器中保存相關(guān)資料。各個(gè)監(jiān)控點(diǎn)的數(shù)據(jù)采集模塊中裝有數(shù)據(jù)采集軟件，該軟件24h在線，對(duì)電網(wǎng)中的信息數(shù)據(jù)進(jìn)行24h不間斷的采集工作。關(guān)于信息的傳輸，使用的是JW0D2系列的GPRS無(wú)限透明數(shù)據(jù)傳輸終端。該終端基于移動(dòng)網(wǎng)絡(luò)，抗干擾能力較強(qiáng)，同時(shí)性能較高。此外，該傳輸終端還提供標(biāo)準(zhǔn)的RS232接口，以便實(shí)現(xiàn)與計(jì)算機(jī)的連接。在傳輸過(guò)程中，速率可以達(dá)到172kbps，能滿足監(jiān)控中心與各個(gè)監(jiān)控點(diǎn)的數(shù)據(jù)采集與處理工作。由于電網(wǎng)數(shù)據(jù)傳輸?shù)奶厥庑暂^強(qiáng)，因此本系統(tǒng)使用了安全保障，以保證系統(tǒng)運(yùn)行的穩(wěn)定性和可靠性。在網(wǎng)絡(luò)安全方面，經(jīng)過(guò)對(duì)信源加密、信道加密、登錄防護(hù)、接入防護(hù)、訪問(wèn)防護(hù)等，能有效增強(qiáng)網(wǎng)絡(luò)安全，加強(qiáng)安全防護(hù)。在硬件方面，使用VPN將公網(wǎng)接入到GPRS網(wǎng)中，成本低廉，不用租用專線。此外，使用VPN還可以增強(qiáng)安全性，客戶端在鏈接應(yīng)用服務(wù)器之前，要經(jīng)過(guò)服務(wù)器的認(rèn)證，而且整個(gè)數(shù)據(jù)傳輸過(guò)程均會(huì)加密，如此一來(lái)，安全性就得到了保障。另外，系統(tǒng)還對(duì)用戶的SIM卡手機(jī)繼續(xù)鑒別授權(quán)，在網(wǎng)絡(luò)側(cè)對(duì)SIM卡號(hào)和APN進(jìn)行綁定處理，只有擁有權(quán)限的相關(guān)用戶才能對(duì)專用APN進(jìn)行訪問(wèn)，沒(méi)經(jīng)過(guò)授權(quán)的SIM卡將無(wú)法對(duì)APN網(wǎng)絡(luò)進(jìn)行訪問(wèn)。
2特點(diǎn)與優(yōu)勢(shì)
傳輸模塊的特點(diǎn)主要有：①傳輸模塊采用了工業(yè)級(jí)的GPRS模塊，該模塊性能較為穩(wěn)定，而且其工作溫度范圍較大。另外，用了嵌入式的CPU作為處理器，功耗低、性能高，還能高速處理協(xié)議和大量的數(shù)據(jù)。②由于該模塊的工作方式為multi-tasking，因此實(shí)時(shí)性較好。③其AT指令的預(yù)設(shè)簡(jiǎn)單方便。該模塊的通信距離較遠(yuǎn)，而且具有覆蓋面積廣的特點(diǎn)，能使終端實(shí)時(shí)在線，能將無(wú)線電無(wú)法到達(dá)的區(qū)域采用GPRS通信的方式進(jìn)行傳輸，真正實(shí)現(xiàn)了高效傳輸。此外，該系統(tǒng)還有組網(wǎng)靈活、擴(kuò)展容易、維護(hù)簡(jiǎn)單、性價(jià)比高的特點(diǎn)。
與短消息服務(wù)相比，GPRS服務(wù)的實(shí)施性很強(qiáng)，而且系統(tǒng)不會(huì)出現(xiàn)延時(shí)的情況，可以對(duì)所有數(shù)據(jù)進(jìn)行采集。此外，由于GPRS具有雙向功能，還可以對(duì)采集設(shè)備進(jìn)行反向控制，因此進(jìn)一步提高了系統(tǒng)的便捷性。本系統(tǒng)的擴(kuò)展性良好，是大面積覆蓋的GPRS網(wǎng)絡(luò)，所以該系統(tǒng)不存在盲區(qū)，而且由于該系統(tǒng)的輸出容量較大，數(shù)據(jù)采集點(diǎn)較多，監(jiān)控中心要與每一個(gè)監(jiān)控點(diǎn)相連，因此需要系統(tǒng)能滿足傳輸需求。該系統(tǒng)的傳輸容量較大，能滿足突發(fā)性數(shù)據(jù)的傳輸要求，因此該系統(tǒng)的優(yōu)點(diǎn)明顯。
3結(jié)束語(yǔ)
對(duì)管內(nèi)車(chē)站客票發(fā)售的運(yùn)行數(shù)據(jù)進(jìn)行采集統(tǒng)計(jì)分析的首要的條件就是要能聯(lián)到地區(qū)客票中心的數(shù)據(jù)庫(kù)，能從地區(qū)客票中心的數(shù)據(jù)庫(kù)里取到相應(yīng)的數(shù)據(jù)，PowerBuilder存取數(shù)據(jù)庫(kù)的方式有如下兩種：a、通過(guò)使用標(biāo)準(zhǔn)的數(shù)據(jù)接口ODBC(開(kāi)放數(shù)據(jù)庫(kù)連接)；b、通過(guò)使用一個(gè)由Sybase公司提供的專用的直接與數(shù)據(jù)庫(kù)相連的接口。本文選擇a方式,但連接地區(qū)中心的數(shù)據(jù)庫(kù)同時(shí)也給全地區(qū)的數(shù)據(jù)安全帶來(lái)了極大的風(fēng)險(xiǎn)，因?yàn)榈貐^(qū)中心數(shù)據(jù)庫(kù)存放著整個(gè)地區(qū)中心的席位庫(kù)、售票存根、計(jì)劃調(diào)度命令，以及各種用于客運(yùn)統(tǒng)計(jì)、財(cái)務(wù)統(tǒng)計(jì)和營(yíng)銷(xiāo)分析的所有數(shù)據(jù)，PowerBuilder作為前端數(shù)據(jù)庫(kù)開(kāi)發(fā)工具，提供了當(dāng)前流行的大型數(shù)據(jù)庫(kù)的連接接口同時(shí)，還提供一個(gè)直觀的圖形界面和可擴(kuò)展的面向?qū)ο蟮木幊陶Z(yǔ)言PowerScript，用戶通過(guò)PowerBuilder很松的就可以修改數(shù)據(jù)庫(kù)的內(nèi)容，這無(wú)疑會(huì)給整個(gè)地區(qū)客票中心的數(shù)據(jù)安全帶來(lái)嚴(yán)重的隱患，是絕對(duì)不允許的，所以在取得杭州電算站的同意下，另外開(kāi)辟一臺(tái)服務(wù)器作為金華車(chē)務(wù)段的數(shù)據(jù)庫(kù)服務(wù)器，這樣就隔離了對(duì)地區(qū)中心數(shù)據(jù)庫(kù)的破壞，編寫(xiě)工作流腳本每天按時(shí)自動(dòng)從杭州地區(qū)客票中心的數(shù)據(jù)庫(kù)服務(wù)器上將車(chē)務(wù)段每天的售票存根和基礎(chǔ)數(shù)據(jù)導(dǎo)出，再導(dǎo)入到地區(qū)中心車(chē)務(wù)段的數(shù)據(jù)庫(kù)服務(wù)器，保持車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器和地區(qū)中心的數(shù)據(jù)庫(kù)同步，通過(guò)鐵路專用網(wǎng)，在車(chē)務(wù)段就可以利用一臺(tái)PC機(jī)利用PowerBuilder通過(guò)ODBC接口輕松的連接到地區(qū)客票中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器，這樣就既不影響杭州地區(qū)客票中心數(shù)據(jù)庫(kù)的數(shù)據(jù)安全，車(chē)務(wù)段還可以利用這些數(shù)據(jù)進(jìn)行二次開(kāi)發(fā)。通過(guò)PowerBuilder與地區(qū)客票中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器連接的方法如圖1所示。
2系統(tǒng)設(shè)計(jì)
2.1設(shè)計(jì)原則客票數(shù)據(jù)采集和分析系統(tǒng)是在實(shí)現(xiàn)業(yè)務(wù)需求的前提下，確保軟件開(kāi)發(fā)滿足高質(zhì)量軟件系統(tǒng)的要求，因此，應(yīng)該遵循以下設(shè)計(jì)原則。
2.1.1直觀、使用方便用戶界面友好、使用簡(jiǎn)單、操作方便、數(shù)據(jù)正確完整、分析功能強(qiáng)大。
2.1.2安全可靠考慮到了運(yùn)輸生產(chǎn)數(shù)據(jù)的敏感性，在代碼編制過(guò)程中把信息安全放在了第一位，系統(tǒng)中對(duì)各個(gè)用戶權(quán)限進(jìn)行嚴(yán)格分級(jí)，并對(duì)所涉及的數(shù)據(jù)庫(kù)的連接進(jìn)行加密。確?？推毕到y(tǒng)核心數(shù)據(jù)不泄密，確保客票系統(tǒng)運(yùn)行效率不降低，確保客票系統(tǒng)基礎(chǔ)數(shù)據(jù)不被盜取。
2.1.3可維護(hù)性本系統(tǒng)通過(guò)ODBC連接到地區(qū)中心數(shù)據(jù)庫(kù)，并采用Datawindow技術(shù)來(lái)處理多報(bào)表。
2.1.4可擴(kuò)展性確?？推毕到y(tǒng)在數(shù)據(jù)量增長(zhǎng)、用戶增長(zhǎng)以及業(yè)務(wù)增長(zhǎng)時(shí)具有良好的可擴(kuò)展性。
2.2系統(tǒng)構(gòu)成
2.2.1硬件環(huán)境①服務(wù)器端：IBMSERVERX3850服務(wù)器一臺(tái)，位于杭州地區(qū)客票中心機(jī)房，用于存放售票存根和基礎(chǔ)數(shù)據(jù)。②客戶端：可聯(lián)入網(wǎng)絡(luò)的個(gè)人電腦一臺(tái)、打印機(jī)一臺(tái)。
2.2.2軟件環(huán)境①服務(wù)器端：操作系統(tǒng)采用Unix，數(shù)據(jù)庫(kù)服務(wù)器采用Syabsel2.3.5數(shù)據(jù)庫(kù)。②客戶端：操作系統(tǒng)為WINDOWSXP、WIN7，瀏覽器為IE6.0及以上。
2.3關(guān)鍵技術(shù)與實(shí)現(xiàn)方法
2.3.1PowerBuilder連接到地區(qū)中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器存放在地區(qū)中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器是復(fù)制地區(qū)客票中心數(shù)據(jù)庫(kù)服務(wù)器的基礎(chǔ)數(shù)據(jù)庫(kù)和運(yùn)行數(shù)據(jù)庫(kù)，用的都是Sybase數(shù)據(jù)庫(kù)管理系統(tǒng)，在車(chē)務(wù)段可以利用一臺(tái)安裝有PowerBuilder并連入客票網(wǎng)的PC機(jī)通過(guò)正確配置PowerBuilder的DBprofile，可以連接位于地區(qū)客票中心的車(chē)務(wù)段服務(wù)器的Sybase數(shù)據(jù)庫(kù)，最后的配置文件內(nèi)容為。
2.3.2利用數(shù)據(jù)管道實(shí)現(xiàn)數(shù)據(jù)庫(kù)之間的同步PB提供強(qiáng)大的數(shù)據(jù)管道技術(shù)，數(shù)據(jù)管道技術(shù)是實(shí)現(xiàn)兩個(gè)數(shù)據(jù)庫(kù)之間、數(shù)據(jù)庫(kù)內(nèi)部數(shù)據(jù)傳輸?shù)囊环N常用方法，數(shù)據(jù)管道技術(shù)的調(diào)用主要有以下5個(gè)步驟：①創(chuàng)建應(yīng)用程序所需對(duì)象；②執(zhí)行數(shù)據(jù)管道初始化操作；③啟動(dòng)數(shù)據(jù)管道；④處理程式運(yùn)行中移動(dòng)數(shù)據(jù)的錯(cuò)誤行；⑤執(zhí)行數(shù)據(jù)移動(dòng)完畢后的收尾操作。數(shù)據(jù)庫(kù)管道可以在PowerBuilder提供的pipeline畫(huà)板中創(chuàng)建并定義，需創(chuàng)建一個(gè)繼承PB管道系統(tǒng)對(duì)象的用戶對(duì)象，再通過(guò)這個(gè)對(duì)象來(lái)管理管道操作，編輯支撐對(duì)象的PipeMeter事件腳本，實(shí)現(xiàn)語(yǔ)句為：St_read.text=string（RowsRead）St_write.text=String(RowsWritten)St_wrong.text=String(RowsInError)保存用戶對(duì)象，創(chuàng)建支撐用戶對(duì)象命名為u_pipe，通過(guò)定義的u_pipe，可以實(shí)現(xiàn)地區(qū)客票中數(shù)據(jù)庫(kù)中的數(shù)據(jù)通過(guò)穩(wěn)定的數(shù)據(jù)管道安全、快速的傳送到客票數(shù)據(jù)采集和分析系統(tǒng)的數(shù)據(jù)庫(kù)中。
2.3.3利用DataWindow技術(shù)實(shí)現(xiàn)嵌套數(shù)據(jù)報(bào)表DataWindow技術(shù)是PowerBuilder最具特色最關(guān)鍵的一項(xiàng)技術(shù)，其FreeForm風(fēng)格基本可以代替PB中所給的其他錄入控件，達(dá)到以假亂真的地步。在數(shù)據(jù)窗口上顯示數(shù)據(jù)步驟:①利用數(shù)據(jù)窗口繪圖器繪制一個(gè)數(shù)據(jù)窗口對(duì)象(DataWindowObject)。②利用窗口繪圖器繪制一個(gè)窗口對(duì)象(WindowObject)，并且在窗口上放置一個(gè)數(shù)據(jù)窗口控件(DataWindowControl)。③指定數(shù)據(jù)窗口對(duì)象(DataWindowObject)給窗口上的數(shù)據(jù)窗口控件(DataWindowControl)。④將所要連接數(shù)據(jù)庫(kù)的信息指定給交易對(duì)象(TransactionObject)。⑤利用Connect指令連接數(shù)據(jù)庫(kù)和交易對(duì)象。⑥利用SetTransObject()函數(shù)連接數(shù)據(jù)窗口和交易對(duì)象。⑦利用Retrieve()從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)PB數(shù)據(jù)窗口還具有嵌套報(bào)表的功能。所謂嵌套報(bào)表就是以一個(gè)報(bào)表為主體框架，根據(jù)需要在其中附加一個(gè)或多個(gè)報(bào)表，形成一個(gè)整體報(bào)表。其中主體框架的報(bào)表為主報(bào)表，附加的報(bào)表為輔報(bào)表。嵌套報(bào)表的功能體現(xiàn)在客票數(shù)據(jù)采集和分析系統(tǒng)中就是用戶可以根據(jù)不同的篩選條件，可以任意組合，根據(jù)用戶的不同要求展現(xiàn)不同的報(bào)表。
3功能模塊分析
客票數(shù)據(jù)采集和分析系統(tǒng)主要有3大模塊，分別是：數(shù)據(jù)采集模塊、數(shù)據(jù)轉(zhuǎn)換挖掘及定制模塊、用戶服務(wù)處理模塊。下面就這3大模塊分別進(jìn)行分析說(shuō)明。
3.1數(shù)據(jù)采集模塊數(shù)據(jù)采集模塊主要功能就是按用戶不同的要求從地區(qū)客票中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器中采集自己需要的數(shù)據(jù)并保存在本地?cái)?shù)據(jù)庫(kù)中，以供各種分析和統(tǒng)計(jì)，比如異地票的統(tǒng)計(jì)，按照路局要求異地票手續(xù)費(fèi)收費(fèi)標(biāo)準(zhǔn)：除動(dòng)車(chē)組列車(chē)的返程票、聯(lián)程票、低于30元的異地票、學(xué)生票以及管內(nèi)動(dòng)車(chē)組列車(chē)異地票免收5元手續(xù)費(fèi)外，其余異地票均收5元異地手續(xù)費(fèi)，用Select語(yǔ)句對(duì)數(shù)據(jù)庫(kù)中sale_record表中的存根進(jìn)行篩選，然后用Insert將采集到的數(shù)據(jù)存入到cen-ter庫(kù)中的study_ydtj表中作為統(tǒng)計(jì)分析最基礎(chǔ)的數(shù)據(jù)，當(dāng)然這部分的工作都是通過(guò)運(yùn)行PowerBuilder腳本在后成的。由于該模塊具有數(shù)據(jù)傳輸量大、不可干擾性、準(zhǔn)確性要求高和無(wú)人工干預(yù)等特點(diǎn)，因此，把這個(gè)模塊設(shè)計(jì)為運(yùn)行于數(shù)據(jù)庫(kù)服務(wù)器中的一個(gè)后臺(tái)進(jìn)程，該進(jìn)程通過(guò)中間件把客票數(shù)據(jù)采集和分析系統(tǒng)的數(shù)據(jù)庫(kù)連接到地區(qū)中心Sybase數(shù)據(jù)庫(kù)，然后利用數(shù)據(jù)管道技術(shù)定時(shí)批量的傳輸數(shù)據(jù)到客票數(shù)據(jù)采集和分析系統(tǒng)數(shù)據(jù)庫(kù)中。為了防止數(shù)據(jù)傳輸過(guò)程中出現(xiàn)差錯(cuò)，該模塊另一個(gè)功能是實(shí)時(shí)檢查數(shù)據(jù)連接狀態(tài)和數(shù)據(jù)管道的完整性，一旦發(fā)現(xiàn)錯(cuò)誤，立即自動(dòng)重啟數(shù)據(jù)連接，并重建數(shù)據(jù)管道，有效的防止數(shù)據(jù)傳輸過(guò)程中差錯(cuò)的發(fā)生。
3.2數(shù)據(jù)轉(zhuǎn)換、挖掘及定制模塊數(shù)據(jù)轉(zhuǎn)換、挖掘及定制模塊主要功能是對(duì)傳輸?shù)娇推睌?shù)據(jù)采集和分析系統(tǒng)數(shù)據(jù)庫(kù)中的運(yùn)輸數(shù)據(jù)進(jìn)行轉(zhuǎn)換、挖掘及定制等操作，分別進(jìn)行說(shuō)明：①數(shù)據(jù)轉(zhuǎn)換：將從地區(qū)客票中心的車(chē)務(wù)段數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)庫(kù)獲取的數(shù)據(jù)按照不同業(yè)務(wù)要求，轉(zhuǎn)換成多種數(shù)據(jù)格式，滿足不同的業(yè)務(wù)要求，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。②數(shù)據(jù)挖掘：通過(guò)對(duì)每個(gè)數(shù)據(jù)的定性和定量分析，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)叫做數(shù)據(jù)挖掘技術(shù)?？推辈杉头治鱿到y(tǒng)存在著海量的歷史數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)不僅能對(duì)歷史數(shù)據(jù)進(jìn)行查詢和遍歷，并且能夠找出歷史數(shù)據(jù)之間的潛在聯(lián)系，分析客流，指明營(yíng)銷(xiāo)方向，幫助制定營(yíng)銷(xiāo)策略，給鐵路決策層在運(yùn)輸生產(chǎn)決策中提供必要的建議。③數(shù)據(jù)定制：可以按照特定用戶的特殊要求，把數(shù)據(jù)庫(kù)中的相關(guān)數(shù)據(jù)進(jìn)行抽取、分類(lèi)和匯總，并存入特定數(shù)據(jù)表中，根據(jù)需要以Excel電子表格的形式提供給用戶。
3.3用戶服務(wù)處理模塊用戶服務(wù)處理模塊主要用于資料分發(fā)，客票數(shù)據(jù)采集和分析系統(tǒng)給不同需求的用戶提供齊全的客票信息和數(shù)據(jù)分類(lèi)對(duì)比電子表格，用戶服務(wù)處理模塊將這些信息定時(shí)分發(fā)給需要的人，比如：站長(zhǎng)、客運(yùn)值班員等。
4結(jié)束語(yǔ)
硬件系統(tǒng)為:監(jiān)控層、數(shù)據(jù)采集層、現(xiàn)場(chǎng)層〔2〕。
1．1監(jiān)控層監(jiān)控層采用總線形網(wǎng)絡(luò)結(jié)構(gòu)，在總線上掛接的設(shè)備主要有:數(shù)據(jù)采集I/O服務(wù)器、IH數(shù)據(jù)庫(kù)服務(wù)器、關(guān)系型數(shù)據(jù)庫(kù)服務(wù)器、APP服務(wù)器、Web服務(wù)器、調(diào)度操作站、工程師站等。1)數(shù)據(jù)采集I/O服務(wù)器，分為電力、動(dòng)力、水三個(gè)系統(tǒng)，采用冗余配置，服務(wù)器安裝IFIX5．1組態(tài)軟件，在IFIX5．1的SCU中配置IGS、PFC、IEC驅(qū)動(dòng)同數(shù)據(jù)采集站通訊，具體通訊方式如下，采集西門(mén)子PLC系統(tǒng)數(shù)據(jù)的，則以工業(yè)太網(wǎng)為橋梁，IFIX通過(guò)IGS驅(qū)動(dòng)與其實(shí)現(xiàn)實(shí)時(shí)通訊;采用RTU采集系統(tǒng)數(shù)據(jù)的，IFIX通過(guò)PFC驅(qū)動(dòng)與其實(shí)現(xiàn)實(shí)時(shí)通訊;采集申瑞765G綜保管理機(jī)系統(tǒng)數(shù)據(jù)的，IFIX通過(guò)IEC驅(qū)動(dòng)與其實(shí)現(xiàn)實(shí)時(shí)通訊。2)GPRS服務(wù)器，能控?zé)o線遠(yuǎn)傳站通過(guò)柜內(nèi)S7－200、SINAUTMD720－3GPRS調(diào)制解調(diào)器、天線和GPRS通信管理軟件SINAUTMICROSC構(gòu)成GPRS網(wǎng)絡(luò)，最后通過(guò)OPC驅(qū)動(dòng)與能控中心GPRS服務(wù)器實(shí)現(xiàn)通訊連接。3)IH數(shù)據(jù)庫(kù)服務(wù)器，IH數(shù)據(jù)庫(kù)服務(wù)器上安裝GE公司的ProficyiHistorian實(shí)時(shí)數(shù)據(jù)庫(kù)軟件，IH通過(guò)配置Collector采集器軟件從數(shù)據(jù)采集I/O服務(wù)器抓取數(shù)據(jù)，采集的數(shù)據(jù)周期以秒、分為單位刷新。4)關(guān)系型數(shù)據(jù)庫(kù)服務(wù)器，安裝有DB2和Oracle兩種關(guān)系型數(shù)據(jù)庫(kù)軟件，完成數(shù)據(jù)的長(zhǎng)期歸檔以及數(shù)據(jù)的壓縮和數(shù)據(jù)的備份。5)APP服務(wù)器和Web服務(wù)器，APP服務(wù)器運(yùn)行基礎(chǔ)能源管理模塊，Web服務(wù)器用于Web。6)調(diào)度操作站，通過(guò)調(diào)度操作站能控調(diào)度可以對(duì)能控系統(tǒng)的相關(guān)數(shù)據(jù)及設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，而且能夠通過(guò)B/S(客戶端/服務(wù)器)的方式訪問(wèn)APP服務(wù)器的基礎(chǔ)能源管理模塊，使用自己權(quán)限所分配的功能。
1．2數(shù)據(jù)采集層數(shù)據(jù)采集層有124個(gè)數(shù)據(jù)采集站，包括西門(mén)子S7－300PLC82套、通訊柜41套，力控RTU(Remo-teTermialUite，遠(yuǎn)程終端單元)46套，覆蓋工源廠區(qū)、東風(fēng)廠區(qū)、南芬露天礦及歪礦，地域分散。同監(jiān)控系統(tǒng)的通訊方式有有線方式和無(wú)線方式。其中有興安解凍庫(kù)、四水源等十個(gè)站點(diǎn)敷設(shè)電纜困難且條件惡劣，增加了建設(shè)和維護(hù)的成本，因此采用GPRS無(wú)線通信方式;有線方式采用環(huán)網(wǎng)加星形的網(wǎng)絡(luò)結(jié)構(gòu)，整個(gè)環(huán)網(wǎng)有7個(gè)主站，從EMS01到EMS07分別是能源中心、焦化儀表室、朱莊柜、六高爐主控室、4#轉(zhuǎn)爐機(jī)房、維檢中心、冷軋機(jī)房，環(huán)網(wǎng)將7個(gè)主站點(diǎn)連接起來(lái)，再由主站點(diǎn)以星形的結(jié)構(gòu)向外輻射用于連接所有的數(shù)據(jù)采集站。
1．3現(xiàn)場(chǎng)層1)本鋼現(xiàn)場(chǎng)層的設(shè)備現(xiàn)狀現(xiàn)場(chǎng)一次儀表有電磁流量計(jì)、超聲波流量計(jì)、差壓流量計(jì)、渦街流量計(jì)，提供4～20mA標(biāo)準(zhǔn)信號(hào)，PLC和DCS系統(tǒng)有西門(mén)子S7、施耐德、AB、ABB、浙大中控JP－300XP、Honeywellpks系統(tǒng)HoneywellHC900等系統(tǒng)，電力綜保系統(tǒng)有北京四方、上海申瑞、清華紫光等廠家，電度表有湖南威勝和黑龍江龍電兩種型號(hào)。信號(hào)類(lèi)型分為計(jì)量點(diǎn)和工藝點(diǎn)，計(jì)量點(diǎn)只對(duì)數(shù)據(jù)進(jìn)行采集;工藝點(diǎn)包括數(shù)據(jù)的采集和設(shè)備的控制。2)采集方案的確定針對(duì)現(xiàn)場(chǎng)設(shè)備的實(shí)際情況確定了如下的數(shù)據(jù)采集方案:(1)RTU采集方式，此種方式只對(duì)數(shù)據(jù)進(jìn)行采集。對(duì)于支持RS485協(xié)議的超聲波流量計(jì)，例如本溪新宇超聲波流量計(jì)，將該表通過(guò)串口通訊線接入到RTU的串口，通道協(xié)議選擇ModbusMaster，端口選擇Serial。采集原有西門(mén)子PLC系統(tǒng)數(shù)據(jù)的，將系統(tǒng)通過(guò)以太網(wǎng)方式接入RTU的網(wǎng)口，RTU配置軟件中通道協(xié)議選取西門(mén)子PLC，通訊口:TCPClient，IP地址為所通訊的PLC地址，端口號(hào)為102。原有系統(tǒng)為DCS，例如十一加的HoneywellHC900，將系統(tǒng)通過(guò)以太網(wǎng)方式接入RTU的網(wǎng)口，通道協(xié)議為ModbusTCP，通訊口:TCPClient，IP地址為所通訊的DCS地址，端口號(hào)為502。浙大中控的JP－300XP系統(tǒng)，如發(fā)電廠32號(hào)機(jī)和氧氣廠4#制氧機(jī)。將系統(tǒng)通過(guò)以太網(wǎng)方式接入RTU的網(wǎng)口，是通過(guò)OPC協(xié)議進(jìn)行數(shù)據(jù)采集，在原有系統(tǒng)中安裝OPCTunnellerServer，然后在另外一臺(tái)計(jì)算機(jī)上使用OPCTunneller驅(qū)動(dòng)進(jìn)行采集，在RTU中通道協(xié)議中選擇OpcTunnellerMaster。與電力綜保通訊，將系統(tǒng)通過(guò)以太網(wǎng)方式接入RTU的網(wǎng)口，通道協(xié)議選擇IEC104，需要說(shuō)明的是采用此種通信方式的只有清華紫光和北京四方，不包括上海申瑞，申瑞通過(guò)綜保管理機(jī)765G直接同電力服務(wù)器通信。智能電表的數(shù)據(jù)采集，威勝龍電兩種電表都有網(wǎng)口，同威勝的電能采集器通訊，采集器通過(guò)以太網(wǎng)方式接入RTU的網(wǎng)口，通道協(xié)議選擇威勝WFET2000s，IP地址為電能采集器端設(shè)置的IP，端口號(hào)為9001。(2)I/O采集方式，數(shù)據(jù)的采集和設(shè)備的控制。計(jì)量點(diǎn)，新增的或原有的需接入能管中心的點(diǎn)通過(guò)儀表提供4～20mA標(biāo)準(zhǔn)信號(hào)接入到PLC柜或I/O柜的AI輸入模板。工藝點(diǎn)，例如燃?xì)鈴S五加、六加、九加等煤氣加壓站既有采集數(shù)據(jù)的要求，還有對(duì)現(xiàn)場(chǎng)閥門(mén)進(jìn)行控制要求的，系統(tǒng)則通過(guò)在原有西門(mén)子S7－300或400系統(tǒng)中加裝CP模板的方式進(jìn)行數(shù)據(jù)的采集和設(shè)備的控制。新增加的CP模塊規(guī)劃的IP地址同原有系統(tǒng)的IP地址不在同一個(gè)網(wǎng)段，為兩個(gè)獨(dú)立的網(wǎng)段，可以實(shí)現(xiàn)數(shù)據(jù)采集控制功能和對(duì)病毒隔離功能。
2系統(tǒng)功能
本鋼能管中心數(shù)據(jù)采集監(jiān)控系統(tǒng)從試運(yùn)行以來(lái)，實(shí)現(xiàn)了以下功能:1)數(shù)據(jù)采集設(shè)備控制對(duì)電力系統(tǒng)的電量、電流、電壓、功率、功率因數(shù)等，燃?xì)庀到y(tǒng)、熱電系統(tǒng)、氧氮?dú)逑到y(tǒng)的流量、壓力、溫度、柜位等，水系統(tǒng)的流量、壓力、水位等進(jìn)行采集，對(duì)電力系統(tǒng)的開(kāi)關(guān)、燃?xì)庀到y(tǒng)的加壓機(jī)、水系統(tǒng)的泵等重要能源設(shè)備進(jìn)行遠(yuǎn)方操作控制和實(shí)時(shí)調(diào)整。2)報(bào)警功能監(jiān)控中心匯聚大量的數(shù)據(jù)，系統(tǒng)根據(jù)故障程度和重要性，設(shè)置了重故障、輕故障和事件三種報(bào)警類(lèi)型，提示調(diào)度員進(jìn)行相應(yīng)的操作。3)操作記錄對(duì)重要設(shè)備的操作進(jìn)行記錄，當(dāng)故障發(fā)生后可以為事故的原因分析提供依據(jù)。4)數(shù)據(jù)處理包括流量累計(jì)、計(jì)算煤氣熱值、多個(gè)數(shù)據(jù)之和或差等，例如混合煤氣的和。5)數(shù)據(jù)歸檔對(duì)于短時(shí)歸檔數(shù)據(jù)，提供過(guò)程曲線顯示;長(zhǎng)時(shí)歸檔數(shù)據(jù)，可按信號(hào)內(nèi)容、起/訖時(shí)間、時(shí)間粒度(分鐘/小時(shí)/天/月)、數(shù)值類(lèi)型(Min/Max/Ave/Sum)進(jìn)行歷史數(shù)據(jù)查詢，并可進(jìn)行曲線顯示。6)Web用戶可通過(guò)IE瀏覽器來(lái)訪問(wèn)Web服務(wù)器，獲取現(xiàn)場(chǎng)設(shè)備的狀態(tài)和運(yùn)行參數(shù)，在Web畫(huà)面上不能進(jìn)行參數(shù)設(shè)定等操作。內(nèi)容包括各系統(tǒng)的工藝畫(huà)面，重要的報(bào)警畫(huà)面。
3結(jié)論
基于表層化方式的DeepWeb數(shù)據(jù)采集方法將DeepWeb數(shù)據(jù)采集問(wèn)題建模為一個(gè)優(yōu)化問(wèn)題:已知一個(gè)DeepWeb數(shù)據(jù)庫(kù)DB,對(duì)DB的采集可以表示為尋找一個(gè)查詢集合Q={q1,q2,...,qn},在給定的約束條件C滿足的條件下,查詢集合Q從DB獲取的DeepWeb數(shù)據(jù)最多,即查詢集合Q對(duì)DeepWeb數(shù)據(jù)庫(kù)資源的覆蓋率達(dá)到最大。其中,C表示許向Web數(shù)據(jù)庫(kù)提交查詢請(qǐng)求的次數(shù)?；诒韺踊绞降腄eepWeb數(shù)據(jù)采集問(wèn)題的目標(biāo)就是針對(duì)一個(gè)給定的DeepWeb數(shù)據(jù)庫(kù),尋找一組查詢集合,使用該查詢集合能夠?qū)eepWeb數(shù)據(jù)庫(kù)資源的覆蓋率達(dá)到最大?；诒韺踊姆椒ǖ闹饕枷胧峭ㄟ^(guò)向DeepWeb數(shù)據(jù)的查詢接口提交查詢把數(shù)據(jù)從Web數(shù)據(jù)庫(kù)中挖掘出來(lái)。這方法能夠充分利用搜索引擎爬蟲(chóng),將DeepWeb數(shù)據(jù)的采集轉(zhuǎn)換為SurfaceWeb數(shù)據(jù)采集的方式,不需要做很大的改變就可以無(wú)縫的將DeepWeb數(shù)據(jù)集成到現(xiàn)有的搜索引擎中?；诒韺踊绞降腄eepWeb數(shù)據(jù)采集方法的關(guān)鍵是為查詢接口生成合適的查詢,其目標(biāo)是為DeepWeb數(shù)據(jù)的查詢接口生成有效的查詢實(shí)例,構(gòu)造表單查詢,以便將Web數(shù)據(jù)庫(kù)中的內(nèi)容發(fā)現(xiàn)出來(lái)。一個(gè)查詢接口可能包含多個(gè)輸入項(xiàng),如果每個(gè)輸入項(xiàng)有100個(gè)有效的取值,那么對(duì)于一個(gè)有3個(gè)輸入項(xiàng)的查詢接口,組合生成的查詢數(shù)量是1,000,000。因此,在迚行DeepWeb數(shù)據(jù)采集時(shí),為每個(gè)查詢接口生成所有可能的查詢是不實(shí)際的。而且,對(duì)于查詢接口中的一些文本輸入項(xiàng),其對(duì)應(yīng)的有效的取值進(jìn)不止100個(gè),如圖書(shū)查詢接口的書(shū)名,作者等。基于表層化方法的DeepWeb數(shù)據(jù)采集的目標(biāo)是以最小的查詢數(shù)量達(dá)到最大的DeepWeb數(shù)據(jù)覆蓋率。因此,如何為查詢接口生成有效的查詢是實(shí)現(xiàn)DeepWeb數(shù)據(jù)覆蓋率最大化的重要環(huán)節(jié)。目前,針對(duì)這一問(wèn)題的研究主要有基于詞頻的方法[11],基于集合覆蓋的方法[12,13],基于強(qiáng)化學(xué)習(xí)(ReinforcementLearning,RL)的方法[14-16],面向領(lǐng)域的方法(HiWE[17]、DeepBot[18,19]),基于屬性值圖的方法[20],基于查詢模板的方法[21],基于本體的方法[22-24]等。通過(guò)對(duì)查詢接口的分析發(fā)現(xiàn),查詢接口根據(jù)輸入項(xiàng)素的個(gè)數(shù)可分為:簡(jiǎn)單查詢接口(SimpleQueryInterface)和復(fù)雜查詢接口(ComplexQueryInterface)。簡(jiǎn)單查詢接口包含一個(gè)輸入項(xiàng),即為簡(jiǎn)單的關(guān)鍵字查詢接口,使用方式與搜索引擎接口一樣;復(fù)雜查詢接口則包含兩個(gè)或多個(gè)輸入項(xiàng)。因此,本文根據(jù)查詢構(gòu)造方法支持的接口類(lèi)型將已有工作分為兩類(lèi):簡(jiǎn)單查詢接口查詢構(gòu)造方法,復(fù)雜查詢接口查詢構(gòu)造方法。
1.1簡(jiǎn)單查詢接口查詢構(gòu)造方法簡(jiǎn)單查詢接口只有一個(gè)輸入項(xiàng),因此,對(duì)簡(jiǎn)單查詢接口迚行查詢構(gòu)造時(shí)并不需要考慮表單輸入項(xiàng)乊間的關(guān)系,只需要為該輸入項(xiàng)生成候選查詢關(guān)鍵字集合?；谠~頻的方法[11],基于集合覆蓋的方法[12,13],基于強(qiáng)化學(xué)習(xí)(ReinforcementLearning,RL)的方法[14-16]屬于此類(lèi)的研究。基于詞頻的方法[11]基于一個(gè)假設(shè):在實(shí)際數(shù)據(jù)庫(kù)或文檔集合中的高頻詞比隨機(jī)選擇的詞具有更高的資源覆蓋能力,而且高頻詞作為查詢能夠獲取更多的查詢結(jié)果。因此,該方法對(duì)簡(jiǎn)單搜索接口所在頁(yè)面和查詢返回的結(jié)果迚行抽樣,然后在每一輪查詢結(jié)果中選擇高頻詞構(gòu)造查詢迚行資源采集。但是該方法有個(gè)明顯的不足:在每次查詢時(shí),高頻詞無(wú)法確保獲取更多的新頁(yè)面。為此,Wang等人[12,13]將DeepWeb數(shù)據(jù)庫(kù)采集問(wèn)題建模為集合覆蓋問(wèn)題,利用目標(biāo)數(shù)據(jù)庫(kù)采樣方法迚行DeepWeb數(shù)據(jù)爬取:首先從目標(biāo)數(shù)據(jù)庫(kù)中獲取部分樣本,引入文檔權(quán)重和查詢權(quán)重,基于文檔權(quán)重和查詢權(quán)重利用貪心選擇策略選擇能夠覆蓋樣本數(shù)據(jù)庫(kù)的文檔重復(fù)率低的查詢?cè)~集合,使用該查詢?cè)~集合采集目標(biāo)數(shù)據(jù)庫(kù)。該方法將原始數(shù)據(jù)庫(kù)的查詢選擇轉(zhuǎn)換為對(duì)樣本數(shù)據(jù)庫(kù)的查詢選擇問(wèn)題。但是該方法無(wú)法保證樣本數(shù)據(jù)與目標(biāo)數(shù)據(jù)庫(kù)是同分布的,因此覆蓋樣本數(shù)據(jù)庫(kù)的查詢?cè)~集合可能不適用于整個(gè)目標(biāo)數(shù)據(jù)庫(kù)。為此,Jiang和Wu等人提出了基于強(qiáng)化學(xué)習(xí)(RL)的DeepWeb數(shù)據(jù)采集框架[14-16],該方法與以往方法的有很大的不同:乊前的方法大多是基于統(tǒng)計(jì)信息選擇查詢,如詞頻,文檔頻率,詞頻-逆文檔頻率:而該方法不僅利用統(tǒng)計(jì)信息,還利用語(yǔ)言特征(詞性、詞的長(zhǎng)度、語(yǔ))以及HTML本身的特征(關(guān)鍵詞的標(biāo)簽、屬性信息、位置信息等)[14]。RL方法許爬蟲(chóng)根據(jù)從已執(zhí)行的查詢中獲取經(jīng)驗(yàn),自動(dòng)學(xué)習(xí)查詢選擇策略,從而為每一輪查詢選擇收益最大的查詢關(guān)鍵詞迚行資源采集。該方法充分利用查詢關(guān)鍵詞的不同特征和爬蟲(chóng)的爬取經(jīng)驗(yàn),自動(dòng)的確定當(dāng)前最優(yōu)的查詢選擇,減少了爬蟲(chóng)的采集負(fù)載和大量空結(jié)果集的出現(xiàn)。但是該方法學(xué)習(xí)過(guò)程相對(duì)復(fù)雜,并且僅能應(yīng)用于GET提交方法的表單,無(wú)法應(yīng)用于POST類(lèi)型的提交表單。
1.2復(fù)雜查詢接口查詢構(gòu)造方法不同于簡(jiǎn)單查詢接口,復(fù)雜查詢接口包含兩個(gè)或多個(gè)輸入項(xiàng),對(duì)于表單中的選擇輸入項(xiàng)(如select,radio,checkbox)其輸入值是確定的,但是文本輸入項(xiàng)(如text)的值則是無(wú)法確定的,文本輸入項(xiàng)可能只接受數(shù)值類(lèi)型的輸入值(如商品價(jià)栺)也可能只接受區(qū)間類(lèi)型的輸入值(如日期),而且表單不同的輸入項(xiàng)乊間可能存在關(guān)聯(lián)關(guān)系。值得注意的是,復(fù)雜查詢接口并不一定為所有的輸入項(xiàng)都準(zhǔn)備輸入值才能獲得查詢結(jié)果,因此,對(duì)復(fù)雜查詢接口迚行查詢構(gòu)造時(shí),首先需要確定輸入項(xiàng)的值域或約束,然后選擇迚行查詢構(gòu)造的輸入項(xiàng)并為其準(zhǔn)備輸入值,生成表單查詢實(shí)例。HiWE[17],DeepBot[18,19],基于屬性值圖的方法[20],基于查詢模板的方法[21],基于本體的方法[22-24]等則屬于此類(lèi)工作。HiWE[17]是一面向特定領(lǐng)域(仸務(wù))的采集方法,該方法需要人工提供領(lǐng)域?qū)傩约皩傩匀≈导?并且通過(guò)查詢接口屬性集合與領(lǐng)域?qū)傩约系南嗨菩詣`斷,自動(dòng)選擇領(lǐng)域相關(guān)的查詢接口;接著利用人工提供的屬性取值填充表單,生成表單查詢;然后迚行DeepWeb數(shù)據(jù)的采集,并根據(jù)采集經(jīng)驗(yàn)利用表單選擇輸入項(xiàng)素的取值更新屬性取值。但是該方法沒(méi)有考慮自動(dòng)為文本輸入項(xiàng)產(chǎn)生新的查詢?cè)~,只能依賴人工提供的知識(shí)。不同于HiWE,Wu[20]提出一基于屬性值圖的查詢構(gòu)造方法。該方法將基于查詢的DeepWeb數(shù)據(jù)采集建模為圖的遍歷問(wèn)題:定義基于屬性值的圖模型,將一個(gè)結(jié)構(gòu)化的Web數(shù)據(jù)庫(kù)看作是一個(gè)單一關(guān)系的數(shù)據(jù)表,每個(gè)屬性值為圖中的一個(gè)結(jié)點(diǎn),邊為兩個(gè)不同的屬性取值在一個(gè)數(shù)據(jù)實(shí)例中的共現(xiàn)關(guān)系。該工作得出結(jié)論認(rèn)為結(jié)構(gòu)化的數(shù)據(jù)庫(kù)屬性值圖中結(jié)點(diǎn)的度分布與冪律分布(powerlaw)相似,并以此為依據(jù)采用貪心選擇策略選擇度大的結(jié)點(diǎn)生成表單查詢。但是該方法需要將每一次的查詢結(jié)果更新到已有的屬性值圖中,然后選擇下一個(gè)新的待提交的查詢?cè)~,這方法更新屬性值圖的代價(jià)較高。DeepBot[18,19]是一個(gè)基于瀏覽器內(nèi)核開(kāi)發(fā)的DeepWeb數(shù)據(jù)采集的框架,它與HiWE類(lèi)似,都采用面向特定領(lǐng)域的方式。DeepBot接受一組領(lǐng)域定義集合作為輸入,自動(dòng)識(shí)別與該集合相關(guān)的表單;然后利用領(lǐng)域定義集合為匹配的表單素賦值,生成表單查詢。其中,領(lǐng)域定義集合用于定義采集仸務(wù)。該方法通過(guò)領(lǐng)域定義與表單乊間的相似度計(jì)算自動(dòng)選擇匹配的表單,許表單素和領(lǐng)域定義乊間存在不完全匹配的情況。DeepBot采用瀏覽器內(nèi)核解決網(wǎng)頁(yè)客戶端瀏覽器腳本解析問(wèn)題,但是該方法完全依賴人工提供的領(lǐng)域定義集合,不能自動(dòng)產(chǎn)生新的查詢?cè)~。為此,Madhavan[21]提出了一基于查詢模板的DeepWeb數(shù)據(jù)自動(dòng)采集方法,該方法自動(dòng)刞斷查詢接口中輸入素接受的數(shù)據(jù)類(lèi)型,選擇查詢接口中的輸入項(xiàng)的一個(gè)子集作為約束項(xiàng)構(gòu)造查詢模板。在約束項(xiàng)乊間利用笛卡爾積的形式產(chǎn)生不同的查詢請(qǐng)求。約束項(xiàng)的取值有兩方式確定:對(duì)于選擇輸入項(xiàng),則利用查詢接口提供的取值集合;對(duì)于文本輸入項(xiàng),首先利用表單所在頁(yè)面的信息構(gòu)造刜始候選詞,然后從查詢結(jié)果文檔中提取額外的關(guān)鍵詞更新候選詞列表,重復(fù)該步驟直到不能提取新的關(guān)鍵詞為止或是達(dá)到停止條件,最后將這些查詢?cè)~作為該文本輸入項(xiàng)的取值集合。該方法通過(guò)表單查詢返回結(jié)果驗(yàn)證查詢模板的有效性,并且采用自底向上的有效模板的增量式算法構(gòu)造查詢模板。雖然該方法能夠自動(dòng)實(shí)現(xiàn)DeepWeb數(shù)據(jù)查詢請(qǐng)求的生成,但是對(duì)于包含多個(gè)輸入項(xiàng)的查詢接口來(lái)說(shuō),其對(duì)應(yīng)文本輸入項(xiàng)取值集合的確定,查詢模板有效性的驗(yàn)證過(guò)程復(fù)雜,導(dǎo)致DeepWeb數(shù)據(jù)采集的效率較低?；诒倔w的查詢構(gòu)造方法[22-24]與上述方法不同,該方法通過(guò)本體直接定義查詢接口中每個(gè)素的類(lèi)型和取值以及素乊間的依賴關(guān)系,將本體作為輸入直接生成表單查詢。[22]是一針對(duì)語(yǔ)義網(wǎng)環(huán)境的DeepWeb數(shù)據(jù)查詢方法。[23]是一基于本體的屬性自動(dòng)抽取和查詢轉(zhuǎn)換方法,該方法將WordNet作為本體,利用本體在DeepWeb數(shù)據(jù)中加入語(yǔ)義層實(shí)現(xiàn)表單查詢的生成。[24]是一基于面向?qū)嶓wDeepWeb數(shù)據(jù)查詢的方法,該方法將Freebase作為本體知識(shí),利用本體和查詢?nèi)罩?querylogs)產(chǎn)生實(shí)體查詢,用于DeepWeb數(shù)據(jù)的采集。但是基于本體的方法與HiWE和DeepBot類(lèi)似都依賴外部的人工指定的輸入信息,自適應(yīng)性差。
2DeepWeb數(shù)據(jù)采集查詢構(gòu)造方法分析
仸何一查詢構(gòu)造方法的一個(gè)非常重要的特征是其自動(dòng)化程度,這是指在查詢構(gòu)造過(guò)程中需要用戶完成的工作量。除此乊外,由于DeepWeb數(shù)據(jù)面向的領(lǐng)域廣泛,類(lèi)型多樣,因此,查詢構(gòu)造方法最需要具備擴(kuò)展性,如:在DeepWeb數(shù)據(jù)源的類(lèi)型或領(lǐng)域發(fā)生變化時(shí),該方法仍然能夠正常工作。本節(jié)從支持的查詢接口提交方法,查詢?cè)~提供方式,自動(dòng)化程度,擴(kuò)展性角度對(duì)比分析目前已有的查詢構(gòu)造方法。表1是目前已有的查詢構(gòu)造方法定性比較的結(jié)果,在自動(dòng)化程度一列,“AUTO”表示完全自動(dòng)、“SEMI”表示半自動(dòng)、“NO”表示人工完成。在擴(kuò)展性方面,劃分為三個(gè)層次,分別用“好”、“中”、“差”表示使用相關(guān)方法或工具的可擴(kuò)展程度?；诒韺踊椒ǖ腄eepWeb數(shù)據(jù)采集的目標(biāo)是以最小的查詢數(shù)量達(dá)到最大的DeepWeb數(shù)據(jù)覆蓋率,因此,構(gòu)造的表單查詢的好壞直接影響目標(biāo)的實(shí)現(xiàn)。雖然已有的查詢構(gòu)造方法能夠表明確實(shí)可以使大量的DeepWeb數(shù)據(jù)內(nèi)容對(duì)用戶可見(jiàn),但它也存在一些局限性,如表2所示。從表1可以看出,這些查詢構(gòu)造方法只能處理提交方法是GET類(lèi)型的DeepWeb數(shù)據(jù)庫(kù),不能應(yīng)用于使用POST方法的DeepWeb數(shù)據(jù)庫(kù)。除此乊外,從表2可以看出,已有的查詢構(gòu)造方法都存在不同程度的局限性。通過(guò)對(duì)相關(guān)工作的分析可以看出,目前,缺少一能夠同時(shí)處理GET和POST提交方法,具備自動(dòng),可擴(kuò)展應(yīng)用到不同領(lǐng)域的表單查詢構(gòu)造方法。因此,DeepWeb數(shù)據(jù)采集的查詢構(gòu)造方法仍然需要做迚一步的研究。表層化的方法通過(guò)向DeepWeb數(shù)據(jù)的查詢接口提交查詢把數(shù)據(jù)從DeepWeb數(shù)據(jù)庫(kù)中挖掘出來(lái),得到的DeepWeb數(shù)據(jù)可以用于構(gòu)造以數(shù)據(jù)分析和挖掘?yàn)槟康牡母鲬?yīng)用或是數(shù)據(jù)集成應(yīng)用。利用該方法迚行DeepWeb數(shù)據(jù)采集有以下優(yōu)點(diǎn):(1)該方法能夠無(wú)縫的集成搜索引擎爬蟲(chóng),不需要對(duì)搜索引擎爬蟲(chóng)做改動(dòng)就可以實(shí)現(xiàn)DeepWeb數(shù)據(jù)的采集;(2)基于表層化方法的DeepWeb數(shù)據(jù)采集系統(tǒng)可以將對(duì)應(yīng)的DeepWeb數(shù)據(jù)庫(kù)的數(shù)據(jù)保存到本地,這樣可以根據(jù)需求對(duì)得到的DeepWeb數(shù)據(jù)迚行預(yù)處理,如:連接來(lái)自不同DeepWeb數(shù)據(jù)庫(kù)的數(shù)據(jù),初除重復(fù)內(nèi)容等;可以為DeepWeb數(shù)據(jù)預(yù)先創(chuàng)建索引,以便快速響應(yīng)用戶查詢請(qǐng)求;(4)該方法可以使從DeepWeb數(shù)據(jù)庫(kù)得到的內(nèi)容和從SurfaceWeb得到的內(nèi)容以相同方式采集。雖然基于表層化處理方式的DeepWeb數(shù)據(jù)采集方法確實(shí)可以使大量的DeepWeb數(shù)據(jù)內(nèi)容對(duì)搜索引擎用戶可見(jiàn),但它也存在嚴(yán)重的局限性。(1)有很大一部分DeepWeb數(shù)據(jù)庫(kù)的內(nèi)容無(wú)法通過(guò)現(xiàn)有的DeepWeb數(shù)據(jù)采集技術(shù)爬取到,原因在于,目前的表層化處理方法只能處理查詢接口的提交方法是GET類(lèi)型的DeepWeb數(shù)據(jù)庫(kù),不能應(yīng)用于使用POST方法的DeepWeb數(shù)據(jù)庫(kù);(2)該方法對(duì)保持采集的DeepWeb數(shù)據(jù)庫(kù)的數(shù)據(jù)的時(shí)新性(datafreshness)非常困難,因?yàn)镈eepWeb數(shù)據(jù)庫(kù)的內(nèi)容是動(dòng)態(tài),多變的,搜索引擎爬蟲(chóng)可能無(wú)法跟上快速變化的DeepWeb數(shù)據(jù)。表層化的方法面臨的最大的挑戰(zhàn)是如何為DeepWeb數(shù)據(jù)庫(kù)的查詢接口選擇合適的查詢,這涉及到兩個(gè)主要問(wèn)題:第一,需要為查詢接口中的各表單輸入項(xiàng)找出合適的輸入值,對(duì)于表單中的選擇輸入項(xiàng)(如下拉、單選、多選等),它們的輸入值是已知的,可以直接利用查詢接口中提供的取值即可,但是對(duì)于表單中的文本輸入項(xiàng),則需要為其預(yù)測(cè)合適的輸入值;第二,必須控制向查詢接口提交查詢請(qǐng)求的數(shù)量,以免對(duì)DeepWeb數(shù)據(jù)庫(kù)的提供商(DeepWeb數(shù)據(jù)所在站點(diǎn))帶來(lái)不合理的負(fù)載。通過(guò)對(duì)表層化方式的DeepWeb數(shù)據(jù)采集方法分析,我們發(fā)現(xiàn)現(xiàn)有的表層化方法在解決DeepWeb數(shù)據(jù)采集的難題時(shí),也存在不同程度的局限性,這導(dǎo)致現(xiàn)有的DeepWeb數(shù)據(jù)采集方法難滿足大數(shù)據(jù)的規(guī)模性,多樣性和高速性的特點(diǎn),因此如何克服現(xiàn)有DeepWeb數(shù)據(jù)采集方法的局限性,在現(xiàn)有方法的基礎(chǔ)上做出迚一步改迚是未來(lái)需要研究的問(wèn)題。
3研究展望
CC2530射頻模塊通過(guò)外引24個(gè)引腳，包括普通IO引腳P00-P24和電源、復(fù)位引腳，實(shí)現(xiàn)與電路的連接。電路包括復(fù)位電路、開(kāi)關(guān)電路、傳感器接口電路、按鍵指示電路、通信調(diào)試電路、電源供電電路。主要電路功能介紹如下：按鍵指示電路：節(jié)點(diǎn)包括Led和蜂鳴器指示電路，用于本節(jié)點(diǎn)的指示功能；支持按鍵功能，進(jìn)行節(jié)點(diǎn)工作模式的轉(zhuǎn)換。開(kāi)關(guān)電路：由三極管電路組成，用于實(shí)現(xiàn)傳感器供電的通斷。通信調(diào)試電路：由串口電路和JTAG調(diào)試接口組成；串口負(fù)責(zé)與PC上位機(jī)軟件的連接，方便修改節(jié)點(diǎn)的參數(shù)；JTAG接口方便上位機(jī)集成環(huán)境IAR等調(diào)試用。電源供電電路：基本供電由外部USB接口電源5V通過(guò)AMS1117轉(zhuǎn)3.3V以及直接電池3.3V供電組成；傳感器可由內(nèi)部3.3V供電，而大于3.3V則由外部電源直接提供。傳感器接口電路：包括?；肺锪鬈?chē)輛常見(jiàn)的幾種信號(hào)（0-5V、4-20mA、開(kāi)關(guān)量、數(shù)字量）采集電路，可同時(shí)接四種類(lèi)型的傳感器。其中數(shù)字量主要是DS18B20、DHT11溫濕度傳感器的輸出信號(hào)；0-5V主要是氣體泄露檢測(cè)、光敏、真空度傳感器的輸出信號(hào)；4-20mA主要是壓力、液位傳感器的輸出信號(hào)；開(kāi)關(guān)量主要是紅外、門(mén)開(kāi)關(guān)、傾斜傳感器的輸出信號(hào)；信號(hào)接入后進(jìn)行了信號(hào)隔離和二極管鉗位保護(hù)電路。
2節(jié)點(diǎn)軟件
2.1節(jié)點(diǎn)軟件架構(gòu)軟件設(shè)計(jì)部分主要是基于TI公司的Z-stack協(xié)議棧進(jìn)行應(yīng)用程序的開(kāi)發(fā)。Z-stack協(xié)議棧是一款穩(wěn)定性強(qiáng)的Zigbee開(kāi)發(fā)協(xié)議棧，是對(duì)Zigbee標(biāo)準(zhǔn)的具體實(shí)現(xiàn)。協(xié)議棧APL（應(yīng)用層）包含了主要的API函數(shù)接口，方便進(jìn)行應(yīng)用開(kāi)發(fā)，從而實(shí)現(xiàn)對(duì)CC2530芯片硬件資源的控制功能。具體軟件框架設(shè)計(jì)如圖4所示。應(yīng)用層軟件主要包括節(jié)點(diǎn)間數(shù)據(jù)的接收/發(fā)送、節(jié)點(diǎn)內(nèi)應(yīng)用層與底層的交互。應(yīng)用層的數(shù)據(jù)經(jīng)過(guò)應(yīng)用層數(shù)據(jù)幀格式進(jìn)行封裝傳給底層繼續(xù)封裝并發(fā)送出去；接收數(shù)據(jù)則由底層先進(jìn)行解釋，再由應(yīng)用層進(jìn)行解釋，然后進(jìn)行數(shù)據(jù)的計(jì)算、更新參數(shù)等步驟。應(yīng)用層還可通過(guò)API控制接口對(duì)底層進(jìn)行控制與信號(hào)、參數(shù)獲取。
2.2數(shù)據(jù)幀格式Zigbee采集節(jié)點(diǎn)和主節(jié)點(diǎn)模塊的數(shù)據(jù)傳輸格式采用字符串形式進(jìn)行數(shù)據(jù)的發(fā)送/接收。由于是采用字符進(jìn)行數(shù)據(jù)傳輸，所以可以利用上位機(jī)現(xiàn)有的字符串處理函數(shù)，很容易校驗(yàn)數(shù)據(jù)正確性，并從數(shù)據(jù)幀中提取有效信息，避免因幀長(zhǎng)度判斷引起的錯(cuò)誤。另外，基于Zigbee傳輸速率較低、傳感器數(shù)據(jù)量小、刷新速度慢的需求等特點(diǎn)盡量減小和限制了協(xié)議中各數(shù)據(jù)域的占位寬度，保證傳輸效率。具體數(shù)據(jù)格式如表1所示。幀頭：本協(xié)議節(jié)點(diǎn)間的應(yīng)用層交互主要有命令幀和數(shù)據(jù)幀。幀頭是辨別命令幀和數(shù)據(jù)幀而設(shè)立的。幀頭包括：Set、Get、Ack、Data4種。Set指的是主節(jié)點(diǎn)對(duì)采集節(jié)點(diǎn)進(jìn)行參數(shù)設(shè)定，為命令幀，是主節(jié)點(diǎn)需要對(duì)子節(jié)點(diǎn)進(jìn)行參數(shù)配置的時(shí)候發(fā)送的，子節(jié)點(diǎn)收到此類(lèi)型幀后，發(fā)回Ack幀，說(shuō)明參數(shù)設(shè)置成功與否；Get指的是其他節(jié)點(diǎn)需要獲取本節(jié)點(diǎn)信息，為命令幀，本節(jié)點(diǎn)收到此類(lèi)型幀后，發(fā)送數(shù)據(jù)幀；Ack指的是節(jié)點(diǎn)間通信應(yīng)答狀態(tài)幀，SUCC為成功、FAIL為失??；Data指的是數(shù)據(jù)幀，攜帶節(jié)點(diǎn)參數(shù)、傳感器采集數(shù)據(jù)。如表2所示。目的地址：目的地址指的是Zigbee網(wǎng)絡(luò)中的設(shè)備唯一標(biāo)識(shí)的網(wǎng)絡(luò)ID。為十六進(jìn)制0X0000-0XFFFF之間值。其中有幾個(gè)地址值有特殊的含義，0XFFFF表示廣播地址；0XFFFE表示所有接收功能打開(kāi)的設(shè)備；0XFFFC表示所有路由設(shè)備；其余地址為單一設(shè)備的網(wǎng)絡(luò)地址。網(wǎng)絡(luò)地址的獲得過(guò)程是：主節(jié)點(diǎn)設(shè)備啟動(dòng)成功后，自設(shè)定為Zigbee網(wǎng)絡(luò)的主網(wǎng)絡(luò)ID0X0000，子節(jié)點(diǎn)設(shè)備在申請(qǐng)加入成功后獲得一個(gè)網(wǎng)絡(luò)身份標(biāo)志ID。幀類(lèi)型：在幀頭為Set、Get、Data時(shí)，此幀位置都有意義，分別代表設(shè)置、獲取、攜帶相應(yīng)類(lèi)型的節(jié)點(diǎn)信息。這些類(lèi)型包括，傳感器數(shù)據(jù)(Sensor)、節(jié)點(diǎn)網(wǎng)絡(luò)地址(NAdr)、節(jié)點(diǎn)網(wǎng)絡(luò)類(lèi)型(NType)、采集周期(Cycle)、產(chǎn)品信息(Info)、發(fā)送方式(SWay)、功率模式(PMode)、信道選擇(Channel)、AD參考電壓(ADMode)、默認(rèn)發(fā)送地址(DSAdr)。信道數(shù)據(jù)：DataChannel796F800\r\n(第11（0x0B）無(wú)線信號(hào)通道)載荷：載荷是整個(gè)通信幀中最重要的部分，包括了通信的主要內(nèi)容。載荷的具體內(nèi)容需要根據(jù)幀類(lèi)型來(lái)確定。描述如下：（1）幀類(lèi)型為傳感器數(shù)據(jù)：此時(shí)載荷部分包括傳感器類(lèi)型、傳感器ID、傳感器值。傳感器類(lèi)型包括?；肺锪鬈?chē)輛常見(jiàn)信號(hào)：1.溫度、2.門(mén)開(kāi)關(guān)、3.真空度、4.液位、5.壓力、6.電壓、7.濕度、8.氣體、9.紅外10.光敏、11.傾斜。傳感器ID從0開(kāi)始分配，表示同種類(lèi)傳感器的使用編號(hào)。（2）幀類(lèi)型為非傳感器數(shù)據(jù)：此時(shí)載荷部分?jǐn)y帶網(wǎng)絡(luò)地址、采集周期、發(fā)送地址等值。結(jié)尾符：本協(xié)議結(jié)尾符為字符“\r\n”，加上字符串結(jié)束符‘\0’,固定為3個(gè)字節(jié)。結(jié)尾符是一幀數(shù)據(jù)的界定符，上位機(jī)軟件可以根據(jù)此結(jié)尾符很快能判定幀的長(zhǎng)度，避免一些數(shù)據(jù)長(zhǎng)度判讀錯(cuò)誤的發(fā)生。
2.3軟件處理流程Z-stack協(xié)議?；谳喸儥C(jī)制，事件是最小處理單元，每個(gè)事件都有相應(yīng)的處理函數(shù)，當(dāng)事件管理數(shù)據(jù)結(jié)構(gòu)相應(yīng)的位置位時(shí)，協(xié)議棧通過(guò)輪詢機(jī)制就能發(fā)現(xiàn)并跳入相對(duì)應(yīng)處理函數(shù)進(jìn)行處理步驟，處理完再返回輪詢大循環(huán)。這里主要設(shè)置了3個(gè)事件，分別是串口事件、無(wú)線事件和采集事件。串口事件主要處理與上位機(jī)的通信；包括根據(jù)上位機(jī)命令修改本節(jié)點(diǎn)參數(shù)、接收發(fā)送數(shù)據(jù)等；無(wú)線事件主要處理數(shù)據(jù)的無(wú)線發(fā)送和接收；采集事件主要處理傳感器的數(shù)據(jù)讀入、封裝、發(fā)送或者接收、解析、轉(zhuǎn)發(fā)等。處理流程圖如圖5所示。
2.4上位機(jī)配置軟件Zigbee設(shè)備邏輯類(lèi)型包括3種，分別是主節(jié)點(diǎn)、路由節(jié)點(diǎn)、終端節(jié)點(diǎn)。對(duì)于不同設(shè)備類(lèi)型的具體處理流程，本設(shè)計(jì)編寫(xiě)了統(tǒng)一的參數(shù)配置服務(wù)函數(shù)，可通過(guò)上位機(jī)軟件方便進(jìn)行配置。比如，終端節(jié)點(diǎn)配置成具有傳感器數(shù)據(jù)的采集功能，可選擇無(wú)線和串口兩種發(fā)送方式，而對(duì)于路由器或者協(xié)調(diào)器，基于功耗考慮，則配置成不具有傳感器數(shù)據(jù)采集功能。通過(guò)設(shè)計(jì)節(jié)點(diǎn)上位機(jī)配置軟件ZigConfig來(lái)實(shí)現(xiàn)參數(shù)的配置，簡(jiǎn)單的界面操作就能通過(guò)串口以上述數(shù)據(jù)格式下載到節(jié)點(diǎn)，并燒寫(xiě)到CC2530的flash中永久保存起來(lái)，節(jié)點(diǎn)下一次啟動(dòng)將以新的參數(shù)啟動(dòng)。上位機(jī)配置軟件介紹如下：（1）配置軟件由QtCreator開(kāi)發(fā)。QtCreator是Qt被Nokia收購(gòu)后推出的一款新的輕量級(jí)跨平臺(tái)集成開(kāi)發(fā)環(huán)境（IDE）。支持的系統(tǒng)包括Linux（32位及64位）、MacOSX以及Windows。開(kāi)發(fā)人員能利用該應(yīng)用程序框架更快速及輕易地完成開(kāi)發(fā)任務(wù)。（2）該配置軟件完成節(jié)點(diǎn)的設(shè)備類(lèi)型、接口采集邏輯、入網(wǎng)參數(shù)等的配置?？芍苯油ㄟ^(guò)串口線與待配置節(jié)點(diǎn)連接，也可以通過(guò)一個(gè)中間節(jié)點(diǎn)對(duì)待配置節(jié)點(diǎn)進(jìn)行無(wú)線配置，中間節(jié)點(diǎn)通過(guò)串口線與上位機(jī)連接。操作界面如圖6所示。（3）如圖7，圖8所示，通過(guò)上位機(jī)配置軟件S1（實(shí)物圖如圖6所示）可方便地對(duì)待配置節(jié)點(diǎn)S2進(jìn)行參數(shù)配置。對(duì)于待配置設(shè)備，如果是終端設(shè)備，配置前需先按下配置按鍵，指示燈亮后，裝置即進(jìn)入配置模式；而如果是路由設(shè)備或協(xié)調(diào)器設(shè)備則無(wú)需此步驟。（4）有線配置如圖6所示：上位機(jī)通過(guò)串口線連接待配置設(shè)備，然后配置軟件上收到待配置節(jié)點(diǎn)S2發(fā)送過(guò)來(lái)的設(shè)備信息，并顯示在界面上，然后點(diǎn)擊配置按鈕，即發(fā)送配置幀到節(jié)點(diǎn)S2，點(diǎn)擊讀取配置按鈕，則將節(jié)點(diǎn)S2各項(xiàng)參數(shù)顯示在界面上，如果節(jié)點(diǎn)S2是數(shù)據(jù)透?jìng)髂K，則可以直接接收數(shù)據(jù)或填寫(xiě)目標(biāo)地址發(fā)送數(shù)據(jù)。配置完后再按一下按鍵，指示燈不亮，表示配置完成。可以配置設(shè)備類(lèi)型為Zigbee終端設(shè)備、路由設(shè)備、協(xié)調(diào)器設(shè)備和點(diǎn)對(duì)點(diǎn)透?jìng)髟O(shè)備；可以配置入網(wǎng)參數(shù)，比如PANID值、信道、網(wǎng)絡(luò)模型、網(wǎng)絡(luò)層次等；可以配置傳感器發(fā)送周期，使各傳感器通道數(shù)據(jù)可以同一周期發(fā)送，也可以不相同周期發(fā)送等。（5）無(wú)線配置如圖8所示，采用一個(gè)節(jié)點(diǎn)作為數(shù)據(jù)中轉(zhuǎn)與上位機(jī)有線連接，通過(guò)這個(gè)節(jié)點(diǎn)無(wú)線發(fā)送指令到待配置節(jié)點(diǎn)進(jìn)行配置，配置過(guò)程中的操作步驟與有線時(shí)類(lèi)似。
3節(jié)點(diǎn)測(cè)試
3.1信號(hào)強(qiáng)度RSSI(ReceivedSignalStrengthIndication)是接收端的信號(hào)強(qiáng)度指示，可用來(lái)判定鏈接質(zhì)量。實(shí)際應(yīng)用中，普遍采用簡(jiǎn)化后的Shadowing模型，即如下公式計(jì)算RSSI值。其中Pr（d）為接收端接收信號(hào)強(qiáng)度，Pr（d0）為參考處接收端接收信號(hào)強(qiáng)度，d為接收端與發(fā)送端實(shí)際距離，d0為接收端與發(fā)送端參考距離，n為路徑損耗指數(shù)，通常取2~4。取d0=1m，實(shí)測(cè)得Pr（d0）的值代入，并取n=3代入公式（1）得新的計(jì)算公式。實(shí)際測(cè)試中取兩個(gè)節(jié)點(diǎn)，分別設(shè)為協(xié)調(diào)器節(jié)點(diǎn)和終端節(jié)點(diǎn)。將協(xié)調(diào)器節(jié)點(diǎn)固定，令終端節(jié)點(diǎn)遠(yuǎn)離，終端節(jié)點(diǎn)加入?yún)f(xié)調(diào)器節(jié)點(diǎn)網(wǎng)絡(luò)后，每隔1s發(fā)送一次數(shù)據(jù)到協(xié)調(diào)器節(jié)點(diǎn)。協(xié)調(diào)器接收到數(shù)據(jù)包后，從TI協(xié)議棧Z-Stack的數(shù)據(jù)結(jié)構(gòu)afIncom-ingMSGPacket_t中提取RSSI值記錄下來(lái)。100M范圍每隔5M記錄一次RSSI值，每次記錄100個(gè)值，然后取100個(gè)中的隨機(jī)值和平均值分別作為本次終值繪制曲線。
3.1.1空曠環(huán)境下測(cè)得Pr（d0）=-28dbm，按照公式(2)與實(shí)際數(shù)據(jù)，繪制對(duì)比曲線。從圖9和圖10對(duì)比曲線可以看出，隨著兩節(jié)點(diǎn)間距離增大，RSSI值會(huì)逐漸衰減，符合一般規(guī)律。0-20m范圍內(nèi)，RSSI衰減較快，之后較為平緩。40m后信號(hào)質(zhì)量普遍較理論值平緩，可能是受硬件條件影響，誤差增大。圖9由于每次記錄取的隨機(jī)值，存在較大誤差，圖10每次記錄取100個(gè)數(shù)據(jù)的平均值，曲線較為平緩。誤差因素包括硬件設(shè)計(jì)、周邊環(huán)境影響等。
3.1.2?；肺锪鬈?chē)輛環(huán)境下采用深圳市中集集團(tuán)液化氣罐(空罐)?；肺锪鬈?chē)輛進(jìn)行實(shí)地測(cè)試，測(cè)試車(chē)輛長(zhǎng)度14m，寬度2.5m。將協(xié)調(diào)器節(jié)點(diǎn)放置在車(chē)駕駛座，終端節(jié)點(diǎn)自由放置于車(chē)廂體內(nèi)部，加入網(wǎng)絡(luò)并發(fā)送數(shù)據(jù)到協(xié)調(diào)器節(jié)點(diǎn)。測(cè)得Pr（d0）=-44dbm，根據(jù)公式（2）和實(shí)際數(shù)據(jù)的結(jié)果曲線如下：由圖11和圖12可以看出，在車(chē)輛環(huán)境下，節(jié)點(diǎn)信號(hào)普遍較空曠環(huán)境下差，這主要是因?yàn)榻邮展?jié)點(diǎn)被放進(jìn)車(chē)輛箱體內(nèi)部，信號(hào)一定程度上受到廂體衰減。大于40m距離后信號(hào)變得不穩(wěn)定，通信斷續(xù)和重連情況發(fā)生頻繁，此時(shí)RSSI值普遍>82dbm，80m后多次測(cè)試接收端均接收不到數(shù)據(jù)。
3．2數(shù)據(jù)傳輸將協(xié)調(diào)器節(jié)點(diǎn)放置在車(chē)駕駛座，終端節(jié)點(diǎn)自由放置于車(chē)輛廂體內(nèi)部，加入網(wǎng)絡(luò)并發(fā)送數(shù)據(jù)到協(xié)調(diào)器節(jié)點(diǎn)。在協(xié)調(diào)器端統(tǒng)計(jì)接收數(shù)據(jù)包個(gè)數(shù)，并計(jì)算丟包情況和最大穩(wěn)定通信距離(即數(shù)據(jù)通信情況良好，極少發(fā)生重連情況)，結(jié)果如下。由表3可以看出，主節(jié)點(diǎn)在車(chē)駕駛室情況下，車(chē)正前方和側(cè)面信號(hào)要好于車(chē)后方信號(hào)，節(jié)點(diǎn)丟包率較低，通信距離>=25M，滿足一般危化品物流車(chē)輛要求。另外，通信的最大穩(wěn)定傳輸RSSI值是極少斷網(wǎng)重連情況發(fā)生下的統(tǒng)計(jì)值，所以普遍低于信號(hào)強(qiáng)度曲線中的極限值。隨著距離增大，節(jié)點(diǎn)間的網(wǎng)絡(luò)傳輸也會(huì)變得不穩(wěn)定，常常發(fā)生斷網(wǎng)重連，甚至無(wú)法重連狀況。實(shí)際數(shù)據(jù)包傳輸受節(jié)點(diǎn)間不同阻擋物、不同車(chē)型、車(chē)體電磁干擾、程序執(zhí)行等因素影響。
3．3功耗通過(guò)萬(wàn)用表、示波器和在程序中設(shè)計(jì)測(cè)試模塊的結(jié)合進(jìn)行功耗測(cè)試，測(cè)試結(jié)果如下。從表4的測(cè)試結(jié)果可以看出，節(jié)點(diǎn)滿足低功耗要求，休眠情況下，節(jié)點(diǎn)功耗低至0.33uA。
4結(jié)語(yǔ)
NI-PCI6221是一款低價(jià)位多功能M系列數(shù)據(jù)采集板卡,具有單端16路/差分8路模擬輸入,分辨率高達(dá)16bit,采樣速率為250KS/s,輸入最小電壓范圍為±200mV,最大電壓范圍為±10V,板上自帶4095字節(jié)內(nèi)存.
2系統(tǒng)軟件設(shè)計(jì)
2.1系統(tǒng)功能設(shè)計(jì)軟件設(shè)計(jì)是整個(gè)系統(tǒng)設(shè)計(jì)的核心,軟件設(shè)計(jì)部分采用層次化和模塊化思想,將整個(gè)系統(tǒng)劃分分若干模塊,模塊化的程序結(jié)構(gòu)不但使整個(gè)系統(tǒng)清晰明了,而且方便進(jìn)行程序維護(hù).基于LabVIEW的數(shù)據(jù)采集系統(tǒng)軟件結(jié)構(gòu)如圖2所示.該系統(tǒng)軟件部分包含了系統(tǒng)啟動(dòng)、用戶登錄、系統(tǒng)菜單、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)回放6個(gè)功能模塊.
2.2系統(tǒng)界面設(shè)計(jì)本文針對(duì)6個(gè)功能模塊分別開(kāi)發(fā)了相應(yīng)的界面.
2.2.1系統(tǒng)啟動(dòng)界面系統(tǒng)啟動(dòng)界面如圖3所示.它包含了簡(jiǎn)單個(gè)人信息,綠色橫條是系統(tǒng)啟動(dòng)條,顯示啟動(dòng)進(jìn)度,系統(tǒng)100%加載成功后,單擊進(jìn)入登錄界面按鈕可以跳轉(zhuǎn)到用戶登錄界面,單擊退出啟動(dòng)界面按鈕則直接退出系統(tǒng).
2.2.2用戶登錄界面用戶登錄界面如圖4所示.它要求輸入用戶名和密碼,功能是進(jìn)行身份認(rèn)證,認(rèn)證通過(guò)后顯示登錄成功,一旦登錄成功會(huì)自動(dòng)進(jìn)入到系統(tǒng)菜單界面,如果不能通過(guò)認(rèn)證,只能通過(guò)退出按鈕來(lái)退出系統(tǒng).
2.2.3系統(tǒng)菜單界面系統(tǒng)菜單界面如圖5所示.它由一列按鈕構(gòu)成,菜單程序運(yùn)行后按鈕被激活,分別單擊數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)回放按鈕可跳轉(zhuǎn)到對(duì)應(yīng)界面,單擊退出按鈕返回到菜單按鈕被激活前狀態(tài).
2.2.4數(shù)據(jù)采集界面數(shù)據(jù)采集界面如圖6所示.它模擬實(shí)現(xiàn)了兩路信號(hào)的采集,一路是電壓信號(hào),一路是溫度信號(hào).信號(hào)選擇開(kāi)關(guān)用于進(jìn)行信號(hào)選擇,通過(guò)信號(hào)選擇開(kāi)關(guān)既可以采集單路信號(hào)數(shù)據(jù),也可以同時(shí)采集雙路信號(hào)數(shù)據(jù).針對(duì)溫度信號(hào)設(shè)計(jì)了溫度表盤(pán),可精確顯示溫度值,另外還設(shè)定了溫度下限和上限值,將溫度限定在一個(gè)范圍內(nèi),一旦超出這個(gè)范圍,報(bào)警指示燈就會(huì)亮起來(lái).數(shù)據(jù)采集界面包含了一些基本參數(shù)設(shè)置,此外還有返回和暫停兩個(gè)按鈕,單擊暫停按鈕,系統(tǒng)暫停連續(xù)采集數(shù)據(jù),暫停中狀態(tài)表現(xiàn)為數(shù)據(jù)信息停留在某一刻,單擊返回按鈕,可返回至系統(tǒng)菜單界面.李琳芳等院基于LabVIEW的數(shù)據(jù)采集與處理系統(tǒng)設(shè)計(jì)
2.2.5數(shù)據(jù)處理界面數(shù)據(jù)處理界面如圖7所示.它包含了電壓和溫度兩路信號(hào),對(duì)電壓信號(hào)分別進(jìn)行了濾波、頻譜分析、峰值壓縮,對(duì)溫度信號(hào)進(jìn)行了均值壓縮.此外還有溫度表盤(pán)、一列選擇開(kāi)關(guān)、系統(tǒng)參數(shù)配置信息、暫停和返回按鈕.濾波處理是信號(hào)處理中常用的一種手段,對(duì)于濾波處理,觀察圖7,可發(fā)現(xiàn)濾波后的電壓信號(hào)清晰平滑,便于觀察.頻譜分析主要是求出信號(hào)的頻域描述,有助于更全面地認(rèn)知信號(hào)信息,進(jìn)行信號(hào)特征提取.根據(jù)奈奎斯特準(zhǔn)則,信號(hào)帶寬小于采樣頻率的1/2,便能防止出現(xiàn)頻譜混疊現(xiàn)象,恢復(fù)出原始信號(hào),本文設(shè)置采樣頻率為1000Hz.觀察圖7發(fā)現(xiàn)電壓幅度譜主要集中在0~50Hz,這是因?yàn)樵趯?shí)際工程中,為了恢復(fù)出高保真信號(hào),要求信號(hào)帶寬小于采樣頻率的1/10,加之軟件仿真環(huán)境理想,因此信號(hào)幅度譜主要處于50Hz頻段內(nèi).壓縮采樣是利用算法在保留信號(hào)信息的同時(shí)進(jìn)行壓縮處理,壓縮處理可縮減數(shù)據(jù)體積,有利于傳輸.本文對(duì)電壓信號(hào)進(jìn)行了峰值壓縮,對(duì)溫度信號(hào)進(jìn)行了均值壓縮,設(shè)置壓縮因子均為10,即對(duì)于電壓信號(hào),每10個(gè)采樣值中標(biāo)記出最大值,對(duì)于溫度信號(hào),每10個(gè)采樣值中標(biāo)記出平均值.電壓信號(hào)峰值壓縮后方便獲取峰值信息,溫度信號(hào)均值壓縮后方便獲取平均溫度.
2.2.6數(shù)據(jù)回放界面數(shù)據(jù)回放界面如圖8所示.可以讀取之前存儲(chǔ)的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)再現(xiàn).通過(guò)文件路徑找到之前數(shù)據(jù)所在位置,并通過(guò)選擇開(kāi)關(guān)按鈕選擇回放的信號(hào),接著運(yùn)行系統(tǒng)回放程序,便可觀察回放的數(shù)據(jù).數(shù)據(jù)回放界面包含了電壓和溫度兩路信號(hào)的回放,回放的數(shù)據(jù)結(jié)果以波形和表格數(shù)值兩種形式呈現(xiàn).觀察圖8發(fā)現(xiàn)在電壓和溫度波形始端有段空白區(qū)域,這是由于之前存儲(chǔ)的文件中包含一些非數(shù)值的說(shuō)明信息,是不能夠被讀取的.
3小結(jié)
