摘要:針對當(dāng)前海量的工程數(shù)據(jù)信息,如何對這些數(shù)據(jù)進(jìn)行存儲,是當(dāng)前思考的重點。論文提出利用Hadoop在存儲和計算方面的優(yōu)勢,構(gòu)建一個可用于對多個工程數(shù)據(jù)信息進(jìn)行海量存儲和管理的平臺。利用Hadoop對存儲平臺進(jìn)行搭建,并重點對系統(tǒng)功能、內(nèi)部模塊運(yùn)行邏輯,以及客戶端與服務(wù)器端數(shù)據(jù)同步等問題進(jìn)行詳細(xì)的設(shè)計,同時創(chuàng)新地提出對MapReduce并行參數(shù)進(jìn)行優(yōu)化,引入PSO蟻群算法,從而大大提高了存儲平臺作業(yè)的效率,為海量數(shù)據(jù)的處理提供了新的借鑒,可促進(jìn)工程數(shù)據(jù)的共享與后續(xù)的深入分析。
注:因版權(quán)方要求,不能公開全文,如需全文,請咨詢雜志社