時(shí)間：2023-05-17 16:11:14
序論：在您撰寫大數(shù)據(jù)開發(fā)的過程時(shí)，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。
信息技術(shù)作為時(shí)代不斷發(fā)展的象征，不管是在我國行業(yè)的發(fā)展中，還是在人們的日常生活，都起到了重要作用。同時(shí)，在信息技術(shù)不斷發(fā)展的過程中，大數(shù)據(jù)時(shí)代的應(yīng)用范圍也在不斷的擴(kuò)大，其來源渠道也非常多，數(shù)量也在不斷增加。在這種情況下，大數(shù)據(jù)時(shí)代的大數(shù)據(jù)信息管理就顯的尤為重要。由于大數(shù)據(jù)的數(shù)量不斷增加，現(xiàn)有的管理形式已經(jīng)無法滿足大數(shù)據(jù)時(shí)代的發(fā)展，并且在利用計(jì)算機(jī)對(duì)大數(shù)據(jù)進(jìn)行全面分析和處理的過程中，也受到了嚴(yán)重的影響，因此，要想有效的對(duì)大數(shù)據(jù)進(jìn)行充分利用，就要對(duì)大數(shù)據(jù)管理形式給予高度重視，采取有效的措施，不斷加強(qiáng)大數(shù)據(jù)的管理形式，最終實(shí)現(xiàn)有效、便捷、安全等管理性能，這也為對(duì)我國信息技術(shù)提供了重要的發(fā)展方向。
1 大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理發(fā)展歷程
近幾年，在大數(shù)據(jù)管理不斷發(fā)展的過程中，也取得了一定的成績。但是，大數(shù)據(jù)管理也經(jīng)歷了一個(gè)漫長的過程，主要經(jīng)歷的人工、文件、數(shù)據(jù)庫等管理階段。同時(shí)，隨著大數(shù)據(jù)時(shí)代的大數(shù)據(jù)不斷增加，所管理的范圍和環(huán)境也在不斷的變化。并且，在大數(shù)據(jù)管理不斷發(fā)展的過程中，一些管理問題逐漸的暴露出來，為大數(shù)據(jù)管理的發(fā)展帶來了新的挑戰(zhàn)和機(jī)遇，下面就大數(shù)據(jù)管理的發(fā)展歷程，管理中存在的不足進(jìn)行簡要的分析和闡述。
1.1 大數(shù)據(jù)時(shí)代的大數(shù)據(jù)人工管理形式
在20世紀(jì)50年代，計(jì)算機(jī)技術(shù)的形成主要是針對(duì)科學(xué)計(jì)算等形式。同時(shí)，根據(jù)當(dāng)時(shí)的發(fā)展技術(shù)來說，并沒有磁盤、U盤等一些先進(jìn)設(shè)備，將其計(jì)算的結(jié)果進(jìn)行去全面的保存和整理，僅僅只是依靠紙帶、卡片等形式，對(duì)大數(shù)據(jù)的進(jìn)行有效的記錄。大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的人員管理形式，不僅僅對(duì)大數(shù)據(jù)的記錄存在著一定程度上的誤差，并且在保存的過程中，也會(huì)經(jīng)常發(fā)生丟失的現(xiàn)象，對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式的發(fā)展，是沒有任何的幫助。但是，依照當(dāng)時(shí)的技術(shù)水平來看，也只能的依靠人工管理的形式了。
1.2 大數(shù)據(jù)時(shí)代的大數(shù)據(jù)的文件管理形式
在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的人員管理形式，不斷發(fā)展和改革的過程中，計(jì)算機(jī)的軟件和硬件都得到了有效的提高，磁盤、磁鼓等儲(chǔ)存軟件，得到了全面的普及和發(fā)展。同時(shí)，在在不斷發(fā)展的過程中，計(jì)算機(jī)將大數(shù)據(jù)的組成形式，叫做大數(shù)據(jù)文件，并且在大數(shù)據(jù)文件上就可以直接的取名字，直接的進(jìn)行查看，這對(duì)大數(shù)據(jù)的管理，無疑不是一個(gè)新的發(fā)展的起點(diǎn)。在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)文件管理的過程中，由于大數(shù)據(jù)長期的保存在外面的，這樣在對(duì)的大數(shù)據(jù)處理、分析、查找、刪除、修改等操作的過程中，提供了極大程度上的便利，其對(duì)其操作的程序，也具有特點(diǎn)的要求。但是，在文件管理的過程中，由于共享性能較大，數(shù)據(jù)與數(shù)據(jù)之間缺乏一定的獨(dú)立性，對(duì)其管理和維護(hù)的費(fèi)用和時(shí)間較大，這樣往往工作效率提高，不能被廣泛的使用。
1.3 大數(shù)據(jù)時(shí)代的大數(shù)據(jù)庫管理形式
數(shù)據(jù)庫管理形式是大數(shù)據(jù)管理不斷發(fā)展的重要成果，也是到目前為止最后的一個(gè)階段。在計(jì)算機(jī)技術(shù)不斷發(fā)展的過程中，計(jì)算機(jī)內(nèi)部的容量得到了很大程度的提高，并且大數(shù)據(jù)的管理和維護(hù)成本也相應(yīng)的有所下降。同時(shí)，在大數(shù)據(jù)管理形式不斷發(fā)展的過程中，對(duì)其系統(tǒng)管理內(nèi)存不足等現(xiàn)象，進(jìn)行了全面的提高，有效的實(shí)現(xiàn)了資源共享，也在最大程度上保證了大數(shù)據(jù)的安全、穩(wěn)定等性能。另外，在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)庫管理的過程中，不在近幾年只是固定在某一個(gè)計(jì)算技術(shù)應(yīng)用體系，而是面向整個(gè)管理體系，以此在最大程度上提高了大數(shù)據(jù)共享的性能，使大數(shù)據(jù)與大數(shù)據(jù)形成一個(gè)獨(dú)立的個(gè)體，對(duì)其大數(shù)據(jù)進(jìn)行了全面、有效的、統(tǒng)一的管理，為我國信息技術(shù)的發(fā)展提供了重要方向。
2 大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理策略
2.1 對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理框架進(jìn)行創(chuàng)新
在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式不斷發(fā)展過程中，給企業(yè)發(fā)展帶來沖擊非常巨大。因此，企業(yè)要根據(jù)我國信息技術(shù)不斷發(fā)展的形式，對(duì)大數(shù)據(jù)管理框架進(jìn)行全面的設(shè)計(jì)和創(chuàng)新，如圖1所示。在大數(shù)據(jù)的處理的過程中，主要是圍繞著數(shù)據(jù)資產(chǎn)進(jìn)行管理的，同時(shí)對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理制度，進(jìn)行全面的規(guī)劃行、設(shè)計(jì)、創(chuàng)新，這樣對(duì)其它信息技術(shù)管理領(lǐng)域，提供了便利的條件。其實(shí)，大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理最主要的目的，就是將大數(shù)據(jù)的價(jià)值進(jìn)行充分的展現(xiàn)。另外，在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理框架不斷創(chuàng)新的過程中，有效的實(shí)現(xiàn)了大數(shù)據(jù)共享等性能，不斷擴(kuò)大了大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的內(nèi)容，對(duì)我國現(xiàn)代化信息技術(shù)的發(fā)展，起到了重要的作用和意義。
2.2 開發(fā)與內(nèi)容的管理形式
在不斷提高大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式的過程中，可以從兩個(gè)方面進(jìn)行，一是大數(shù)據(jù)開發(fā)管理，二是內(nèi)容管理。其中大數(shù)據(jù)開發(fā)管理注重于大數(shù)據(jù)管理的定義，和管理解決策略，對(duì)其大數(shù)據(jù)的存在價(jià)值，進(jìn)行有效的開發(fā)。換句話說，其實(shí)也就是在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的過程中，對(duì)其管理形式的開發(fā)，對(duì)大數(shù)據(jù)的功能和價(jià)值，進(jìn)行充分的理解。
大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理中的內(nèi)容管理是指：企業(yè)對(duì)大數(shù)據(jù)進(jìn)行不斷的獲取、使用、存儲(chǔ)、維護(hù)等工作活動(dòng)。因此，傳統(tǒng)的大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式，已經(jīng)無法滿足對(duì)這個(gè)時(shí)展需求。因此，在時(shí)代快速發(fā)發(fā)展的推動(dòng)下，要對(duì)開發(fā)管理和內(nèi)容管理，進(jìn)行全面的創(chuàng)新和設(shè)計(jì)，對(duì)需要專門設(shè)定的管理形式，要給予高度的重視，可以利用的集合型的保存形式，進(jìn)行全面的保存。
其實(shí)，大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理主要是為企業(yè)提供重要的發(fā)展方向，為企業(yè)提供重要的價(jià)值信息。大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理在數(shù)據(jù)應(yīng)用和開發(fā)的過程中，起到了重要的銜接作用，也為我國信息技術(shù)的發(fā)展，打下了堅(jiān)實(shí)的基礎(chǔ)。
2.3 對(duì)大數(shù)據(jù)架構(gòu)進(jìn)行全面的管理
在大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的過程中，數(shù)據(jù)框架管理起到了重要的作用，并且與大數(shù)據(jù)開發(fā)的過程中，有很多相似的地方。在傳統(tǒng)的大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理的過程中，對(duì)其數(shù)據(jù)的開發(fā)、處理、保存等形式，都受到了一定程度上的限制。因此，在對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)架構(gòu)管理的過程中，對(duì)其操作形式，進(jìn)行了全面的管理創(chuàng)新，避免受到范圍的限制。另外，隨著大數(shù)據(jù)不斷的增加，大數(shù)據(jù)構(gòu)架管理可以根據(jù)大數(shù)據(jù)的用途，質(zhì)量良好的應(yīng)用形態(tài)。例如：社交網(wǎng)絡(luò)等形式。
與此同時(shí)，在最近幾年的發(fā)展中，大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式，也面臨著新的挑戰(zhàn)基機(jī)遇。以此，只有對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式，對(duì)個(gè)人信息、隱私等進(jìn)行全面的管理，避免個(gè)人信息、隱私等發(fā)生泄露、不對(duì)稱等現(xiàn)象的發(fā)生，這樣不僅僅企業(yè)在發(fā)展的過程中，提供了最大程度上的安全保障，也為大數(shù)據(jù)時(shí)代的發(fā)展，帶來了新的發(fā)展篇章。
3 結(jié)語
綜上所述，大數(shù)據(jù)時(shí)代是信息技術(shù)時(shí)代不斷發(fā)展的產(chǎn)物，不管對(duì)我國經(jīng)濟(jì)的發(fā)展，還是人們?cè)谌粘９ぷ?、生活的過程中，都起到了重要的作用和意義。因此，本文對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理發(fā)展的歷程進(jìn)行了簡要的分析，并對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式，提出了一些可參考性的建議，只有對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理形式，進(jìn)行不斷的創(chuàng)新，對(duì)大數(shù)據(jù)時(shí)代的大數(shù)據(jù)管理框架，進(jìn)行不斷的構(gòu)建，也只有這樣的才能在最大程度上促進(jìn)了我國信息技術(shù)的發(fā)展，也為我國各行各業(yè)的發(fā)展，提供了重要的發(fā)展方向，對(duì)我國經(jīng)濟(jì)的發(fā)展，也起到了推動(dòng)性的作用。
關(guān)鍵詞：大數(shù)據(jù)；軟件工程；群體軟件；關(guān)鍵技術(shù)
一、大數(shù)據(jù)時(shí)代軟件服務(wù)工程與群體軟件工程
所謂軟件服務(wù)工程，就是將服務(wù)作為主要目標(biāo)，在應(yīng)用時(shí)需要根據(jù)變化不斷通過虛擬的手段與分布式手段進(jìn)行應(yīng)用，而這種應(yīng)用方法不僅能夠使得軟件更加虛擬化，同時(shí)也能強(qiáng)化其操作性，與此同時(shí)，更能有效解決動(dòng)態(tài)變化與分布變化情況[1]。軟件工程在發(fā)展過程中能夠在大數(shù)據(jù)領(lǐng)域、云計(jì)算中得到更加廣泛應(yīng)用。在網(wǎng)絡(luò)化、服務(wù)化等大環(huán)境影響下，軟件工程可以得到更好的開放空間。工程師利用數(shù)據(jù)信息交互、學(xué)術(shù)交流等多種方式開展合作，對(duì)軟件進(jìn)行開發(fā)，建設(shè)更加具有性價(jià)比的軟件系統(tǒng)。在軟件開發(fā)中，目前十分成功的就是開源軟件，開源軟件的合作模式與結(jié)構(gòu)都是當(dāng)前學(xué)術(shù)界最看重的，然而當(dāng)前常規(guī)研究方式卻未能實(shí)現(xiàn)較大突破。很多學(xué)者開始嘗試?yán)镁W(wǎng)絡(luò)分析方法對(duì)數(shù)據(jù)進(jìn)行有效分析，在一些規(guī)模較大的開發(fā)項(xiàng)目的開發(fā)人員中，外圍開發(fā)者占據(jù)絕對(duì)優(yōu)勢(shì)，并且模塊化特征更加明顯。和群體軟件工程相比，開源軟件有較弱的發(fā)展態(tài)勢(shì)，而群體軟件工程主要是倡導(dǎo)利用眾包形式進(jìn)行開發(fā)。
二、大數(shù)據(jù)時(shí)代眾包軟件服務(wù)工程
（一）創(chuàng)新發(fā)展態(tài)勢(shì)
眾包軟件服務(wù)工程作為國際各國都密切重視的一種流式數(shù)據(jù)處理與集密數(shù)據(jù)處理方式，特別是在服務(wù)中對(duì)產(chǎn)生的各項(xiàng)數(shù)據(jù)尤為重視，如何才能將這些密集型數(shù)據(jù)的存儲(chǔ)設(shè)施、平臺(tái)、價(jià)值分析等作為服務(wù)對(duì)象，是當(dāng)前大數(shù)據(jù)軟件工程在研究過程中的難點(diǎn)與重點(diǎn)部分。從最開始的服務(wù)消費(fèi)，到后來的眾包服務(wù)開方，隨后再到軟件平臺(tái)管理，運(yùn)營方都由在線流式數(shù)據(jù)和離線密集型數(shù)據(jù)組成。當(dāng)前開發(fā)者版本級(jí)別達(dá)到GB級(jí)別，眾多用戶數(shù)據(jù)能夠達(dá)到PB級(jí)別，在線溝通數(shù)據(jù)更是能達(dá)到TB級(jí)別，利用直接推送功能可以左右軟件服務(wù)時(shí)間，對(duì)軟件產(chǎn)生關(guān)鍵性作用與影響[2]。
（二）軟件生產(chǎn)開發(fā)、運(yùn)營與管理
密集型數(shù)據(jù)，因?yàn)樗麄儽旧砉逃械膭?dòng)態(tài)分布形式、動(dòng)態(tài)交互、復(fù)雜演化、動(dòng)態(tài)分配、價(jià)值隱藏等，都能夠體現(xiàn)大數(shù)據(jù)的最原始行駛情況。從本質(zhì)角度來看，這些數(shù)據(jù)僅僅是用于描述內(nèi)容模量，但是沒有具體含義，并且缺乏語義化作用。想要對(duì)其進(jìn)行創(chuàng)新，必須打破原有的研究方法與思維，將密集數(shù)據(jù)作為主要材質(zhì)課題，并且將其看作是研究的主體，在主體領(lǐng)域，大數(shù)據(jù)所在流域與主體專家需要制造，傳播大量的數(shù)據(jù)。他們不僅是大數(shù)據(jù)的群體用戶，還是最主要的消費(fèi)者，同時(shí)也擔(dān)任著運(yùn)營和管理的作用，能夠?qū)⑷后w智慧匯到一起，逐漸形成系統(tǒng)化的領(lǐng)域和主體知識(shí)。將這些知識(shí)作為核心與基礎(chǔ)，對(duì)研究密集型數(shù)據(jù)相對(duì)應(yīng)的信息學(xué)過程與生命周期進(jìn)行研究，并且及時(shí)推送相應(yīng)的服務(wù)期限，研究數(shù)據(jù)內(nèi)容的相關(guān)語義和標(biāo)志，最終賦予其相應(yīng)的矢量。組織主體部分構(gòu)建價(jià)值服務(wù)機(jī)制與知識(shí)體系，在研究和互通過程中，利用操作式管理方式將關(guān)鍵技術(shù)應(yīng)用在密集型數(shù)據(jù)上，這些都能展示出眾包軟件工程發(fā)展內(nèi)容。
三、大數(shù)據(jù)背景下關(guān)于信息處理技術(shù)發(fā)展情況
與傳統(tǒng)數(shù)據(jù)形式相對(duì)比可知，在大數(shù)據(jù)時(shí)代下能夠?qū)崿F(xiàn)各項(xiàng)數(shù)據(jù)相互聯(lián)系，并且這些相互關(guān)聯(lián)的結(jié)構(gòu)，能夠利用當(dāng)前所有的框架，對(duì)數(shù)據(jù)進(jìn)行及時(shí)且有效的處理。將硬件作為基礎(chǔ)，通過該基礎(chǔ)搭建的網(wǎng)絡(luò)存在相應(yīng)局限性，并且制約了網(wǎng)絡(luò)的性能和發(fā)展，因此需不斷探索與創(chuàng)新網(wǎng)絡(luò)架構(gòu)技術(shù)，以此實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的提高。在日后發(fā)展過程中，計(jì)算機(jī)網(wǎng)絡(luò)必須為其提供開放式的結(jié)構(gòu)與傳輸功能，將計(jì)算機(jī)網(wǎng)絡(luò)信息處理與軟件基礎(chǔ)、硬件基礎(chǔ)分開使用，隨后對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行定義。相關(guān)網(wǎng)絡(luò)軟件使得我國網(wǎng)絡(luò)技術(shù)朝著更高水平發(fā)展，隨著大數(shù)據(jù)時(shí)代的不斷深入，計(jì)算機(jī)能夠?qū)崿F(xiàn)網(wǎng)絡(luò)、硬件、軟件融為一體，并且產(chǎn)生出新的網(wǎng)絡(luò)結(jié)構(gòu)，能夠?yàn)榇髷?shù)據(jù)時(shí)展提供重要理論與實(shí)踐意義。這種形式不僅能夠突破傳統(tǒng)計(jì)算機(jī)在處理信息時(shí)因?yàn)榫W(wǎng)絡(luò)所帶來的限制，同時(shí)也能使計(jì)算機(jī)處理技術(shù)開發(fā)與應(yīng)用形式打破單一情況，逐漸朝著多元化方向不斷發(fā)展。
四、結(jié)語
綜上所述，隨著我國大數(shù)據(jù)時(shí)代的到來，社會(huì)各領(lǐng)域都將受到大數(shù)據(jù)思想和創(chuàng)新技術(shù)的影響。大數(shù)據(jù)對(duì)人們的生活方式產(chǎn)生深刻影響，因此將大數(shù)據(jù)作為當(dāng)前一種最新興的網(wǎng)絡(luò)技術(shù)。
參考文獻(xiàn)：
關(guān)鍵詞：大數(shù)據(jù)；軟件工程；軟件服務(wù)工程；第四范式
自上個(gè)世紀(jì)90年代初，信息高速公路在美國提出以來，歷經(jīng)近30年的發(fā)展演進(jìn)，信息技術(shù)發(fā)展突飛猛進(jìn)，信息化領(lǐng)域的新技術(shù)、新詞語層出不窮，諸如IT技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、區(qū)塊鏈技術(shù)、人工智能等。并且對(duì)人們的生產(chǎn)、生活方式產(chǎn)生了深刻的影響，認(rèn)為現(xiàn)在進(jìn)入了大數(shù)據(jù)時(shí)代、萬物互聯(lián)時(shí)代、智能化時(shí)代等。筆者認(rèn)為，一直以來，其中除了硬件的發(fā)展，還有兩個(gè)關(guān)鍵因素同樣值得關(guān)注，一是數(shù)據(jù)，其是基礎(chǔ)和目的；二是軟件，其是方法和工具。唯如此，才能實(shí)現(xiàn)在軟件生命周期即設(shè)計(jì)、開發(fā)、運(yùn)行、優(yōu)化，實(shí)現(xiàn)與大數(shù)據(jù)生命周期即獲取、清洗、集成、分析、呈現(xiàn)等的互動(dòng)。[1]換言之，現(xiàn)在來說，就是大數(shù)據(jù)和軟件工程，二者助推了信息技術(shù)的發(fā)展，同時(shí)也是信息化的產(chǎn)物，在大數(shù)據(jù)時(shí)代背景下，研究軟件工程技術(shù)的應(yīng)用，對(duì)于經(jīng)濟(jì)社會(huì)的發(fā)展有著十分重要的意義。
1大數(shù)據(jù)和軟件工程簡述
1.1大數(shù)據(jù)簡述
沃爾瑪?shù)摹捌【婆c尿布”是眾所周知的大數(shù)據(jù)經(jīng)典案例，大數(shù)據(jù)已經(jīng)是當(dāng)今信息社會(huì)炙手可熱、耳熟能詳?shù)脑~匯，而且已形成共識(shí)，即人類已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。上個(gè)世紀(jì)80年代初，《第三次浪潮》一書風(fēng)行全世界。該書作者美國社會(huì)思想家阿爾文托夫勒就在文中將人類社會(huì)發(fā)展劃分為三次浪潮，即以“農(nóng)業(yè)文明”為主導(dǎo)的第一次浪潮，以“工業(yè)文明”為主導(dǎo)的第二次浪潮，以“信息化”為主導(dǎo)第三次浪潮。[2]其中首次提出了“大數(shù)據(jù)”（BigData）一詞，并且，以“第三次浪潮的華彩樂章”這樣的用詞對(duì)其進(jìn)行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個(gè)前沿》報(bào)告，公認(rèn)此報(bào)告宣告了大數(shù)據(jù)時(shí)代的到來。由于大數(shù)據(jù)概念的提出源于不斷的發(fā)展實(shí)踐，其本身并沒有嚴(yán)格、權(quán)威的定義。通常認(rèn)為，大數(shù)據(jù)的大即大數(shù)據(jù)集的規(guī)模一般應(yīng)達(dá)到10TB左右，現(xiàn)在已經(jīng)達(dá)到了PB級(jí)的數(shù)據(jù)量。維基百科稱“大數(shù)據(jù)”是這樣一個(gè)術(shù)語，即其是用以描述用傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件無法完好處理的龐大的或者復(fù)雜的數(shù)據(jù)集。但“大數(shù)據(jù)”這一概念并不僅僅指數(shù)據(jù)規(guī)模的龐大，還包括對(duì)這些數(shù)據(jù)對(duì)象的處理以及應(yīng)用活動(dòng)。IBM提出大數(shù)據(jù)通常具有“5V”特征：Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類別多樣）、Velocity（處理速度快）、Veracity（數(shù)據(jù)真實(shí)性高）、Volume（數(shù)據(jù)價(jià)值高）。[4]大數(shù)據(jù)技術(shù)分類并分平行關(guān)系，而是呈縱向、層級(jí)狀結(jié)構(gòu)，詳見圖1所示。
1.2軟件工程簡述
軟件工程本身并沒有嚴(yán)格、權(quán)威的定義。并且，也是直到20世紀(jì)60年代初才出現(xiàn)了“軟件”一詞，于此之前，更多的是程序的概念，后來人們認(rèn)識(shí)到與程序相關(guān)的文檔也有著相當(dāng)重要的作用，才有了“軟件”一詞的出現(xiàn)。軟件發(fā)展至今天，已經(jīng)遠(yuǎn)遠(yuǎn)不是程序個(gè)體或者程序員合作的方式能夠完成的，即使能夠完成，也會(huì)是效率低下、程序運(yùn)行可靠性差，或者說根本就無法完成。于是，在1968年召開的大西洋公約學(xué)術(shù)會(huì)議上提出了軟件工程的概念,簡單理解，就是以工程的方法來進(jìn)行軟件系統(tǒng)設(shè)計(jì)、開發(fā)、運(yùn)行、維護(hù)、優(yōu)化等技術(shù)的總和，進(jìn)一步言之，就是用“計(jì)算機(jī)科學(xué)、數(shù)學(xué)管理科學(xué)等原理，以工程化方法制作軟件的工程”，屬于一門交叉學(xué)科。[5]通常認(rèn)為其包含有四個(gè)要素：（1）軟件工程目標(biāo)；（2）軟件工程范型；（3）軟件工程過程；（4）軟件工程原則。
2大數(shù)據(jù)與軟件工程的結(jié)合方式
宏觀上講，軟件工程是比大數(shù)據(jù)更為寬泛的概念，大數(shù)據(jù)的技術(shù)與應(yīng)用被軟件工程所涵攝。如圖1所示意，雖然大數(shù)據(jù)的各項(xiàng)技術(shù)與應(yīng)用屬于垂直領(lǐng)域，而軟件工程牽涉的是橫向領(lǐng)域，更加關(guān)注軟件產(chǎn)品及軟件系統(tǒng)工程上的實(shí)現(xiàn)及其管理。但是，大數(shù)據(jù)無論是其產(chǎn)品還是其系統(tǒng)的完成與落地，都離不開軟件工程方法論的支持。換言之，軟件工程的方法與技術(shù)貫穿于大數(shù)據(jù)的開發(fā)與應(yīng)用，大數(shù)據(jù)也只是在軟件工程發(fā)展過程中出現(xiàn)的概念。軟件工程開發(fā)具有綜合性，其應(yīng)用滲透于各個(gè)學(xué)科和領(lǐng)域，大數(shù)據(jù)的技術(shù)與應(yīng)用當(dāng)然是軟件工程所關(guān)注和研究的對(duì)象，或者說大數(shù)據(jù)技術(shù)的每一環(huán)節(jié)都離不開軟件工程的支持。大數(shù)據(jù)應(yīng)用的基礎(chǔ)是要依賴數(shù)據(jù)鏈條的完整性，采用相應(yīng)的算法于海量的數(shù)據(jù)中進(jìn)行規(guī)律分析，算法要依據(jù)相應(yīng)的實(shí)際環(huán)境進(jìn)行相應(yīng)的升級(jí)，遵循開發(fā)的基本原理，充分調(diào)整數(shù)據(jù)分布，從而在研究過程中將大數(shù)據(jù)技術(shù)與軟件工程方法結(jié)合起來。并在開放的環(huán)境中通過網(wǎng)絡(luò)與通信技術(shù)實(shí)現(xiàn)數(shù)據(jù)的共享，在此過程中，軟件技術(shù)和水平亦能得到進(jìn)一步的提高。在二者相互作用滲透的過程，軟件效率得到提高，軟件效益得以提升，從而實(shí)現(xiàn)客戶需求的最大化。在軟件開發(fā)過程中，還需要有必備的硬件和軟件的支撐，來支持相應(yīng)的數(shù)據(jù)流，隨著數(shù)據(jù)流的增長，對(duì)于硬件和軟件就會(huì)有更高的要求。工程技術(shù)人員在對(duì)數(shù)據(jù)流進(jìn)行分析研究的同時(shí)，專家學(xué)者還會(huì)對(duì)在線服務(wù)進(jìn)行研究。但是，數(shù)據(jù)流是重點(diǎn)，包括對(duì)數(shù)據(jù)流的使用方法的研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件的研究。另外，從軟件工程開發(fā)角度看，無論是在服務(wù)端還是在用戶端，軟件的運(yùn)行當(dāng)然會(huì)產(chǎn)生大量的數(shù)據(jù)流，都將產(chǎn)生大量的數(shù)據(jù)信息，這些數(shù)據(jù)流對(duì)于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開發(fā)中，對(duì)于海量數(shù)據(jù)產(chǎn)生的環(huán)境下，更有必要做好數(shù)據(jù)流的管理，要高度重視數(shù)據(jù)流的分析研究，并且對(duì)于原始數(shù)據(jù)進(jìn)行深入的研究也應(yīng)該引起重視，以期延長軟件的使用周期。[6]
3大數(shù)據(jù)時(shí)代的軟件服務(wù)工程
軟件服務(wù)工程即所謂的面向服務(wù)的軟件工程，強(qiáng)調(diào)的是其相對(duì)于傳統(tǒng)軟件工程的擴(kuò)展。近些年來得到了很快的發(fā)展，已經(jīng)成為當(dāng)今時(shí)代的主流社會(huì)需求之一，服務(wù)功能已經(jīng)是軟件開發(fā)的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務(wù)（Service）+工程（Engineering）”三個(gè)方面的交叉融合，或者軟件工程與服務(wù)工程兩者的融合等。其內(nèi)涵可以理解為研究面向服務(wù)的軟件工程原則、軟件工程方法以及軟件工程技術(shù)，同時(shí)利用相應(yīng)的軟件服務(wù)設(shè)施和平臺(tái)，開發(fā)較高水平的軟件服務(wù)系統(tǒng)。[7]軟件開發(fā)者根據(jù)需求變化，在社會(huì)實(shí)際實(shí)用中，以面向服務(wù)作為主要建設(shè)目標(biāo)。在開發(fā)的初期就要首先搭建好軟件的框架，充分利用編程語言、構(gòu)思好編程思路，確保開發(fā)軟件能夠提供可靠的服務(wù)應(yīng)用，保障軟件運(yùn)行時(shí)的穩(wěn)定與可靠。在實(shí)際的服務(wù)過程中，要求開發(fā)者運(yùn)用分布式應(yīng)用程序，以虛擬操作的方式提供用戶相應(yīng)的服務(wù)。在應(yīng)用中，融合大數(shù)據(jù)技術(shù)，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)進(jìn)行編程，達(dá)到軟件互操作的效果，并提高對(duì)數(shù)據(jù)的主動(dòng)協(xié)調(diào)。軟件工程開發(fā)工程師可以對(duì)數(shù)據(jù)信息共享，實(shí)現(xiàn)各種學(xué)習(xí)交流，對(duì)軟件進(jìn)行協(xié)同開發(fā)，并結(jié)合用戶的反饋，對(duì)軟件系統(tǒng)進(jìn)行優(yōu)化處理，提高軟件的性價(jià)比。近年來，開源軟件是較為成功的軟件習(xí)作模式，但是，其采用常規(guī)的研究方法，應(yīng)用價(jià)值還不是很高。與開源軟件相比，群體軟件工程屬于一種分布式軟件開發(fā)模型，能夠依靠網(wǎng)絡(luò)進(jìn)行任務(wù)分配，并能實(shí)現(xiàn)創(chuàng)造性的查詢，通過眾包形式的開發(fā)，解決開發(fā)過程中的難題。并且，在整個(gè)開發(fā)過程中，眾包開發(fā)可以貫穿其全過程。所謂眾包，一如其字面含義，是一種分布式的生產(chǎn)開發(fā)模式和問題解決方案。通過該種方式，開源軟件和商業(yè)軟件均可通過網(wǎng)絡(luò)進(jìn)行任務(wù)和責(zé)任分配。[8]隨著我國計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展進(jìn)步，軟件工程技術(shù)也取得了長足發(fā)展，軟件服務(wù)工程也支持得到拓展和延伸。在大數(shù)據(jù)時(shí)代背景下，我們應(yīng)當(dāng)加快大數(shù)據(jù)技術(shù)和軟件工程技術(shù)的融合與創(chuàng)新，提升對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程處理的能力，提高軟件的安全和效能，增強(qiáng)其穩(wěn)定性和可操作性，進(jìn)一步整合軟件工程系統(tǒng)的集成度。
4數(shù)據(jù)密集型科研第四范式
圖靈獎(jiǎng)獲得者、關(guān)系數(shù)據(jù)庫研究專家詹姆士格雷(JamesGray)曾經(jīng)從科學(xué)哲學(xué)的層面將人類科學(xué)研究模式總結(jié)劃分為最初的實(shí)驗(yàn)科學(xué)階段，之后的理論科學(xué)階段，到通過模擬的方法進(jìn)行的計(jì)算科學(xué)三個(gè)階段，相對(duì)應(yīng)地稱之為科學(xué)研究的第一范式、第二范式、第三范式。但是伴隨著模擬連同實(shí)驗(yàn)所產(chǎn)生的海量的數(shù)據(jù)，需要由軟件處理這些由各種儀器或者模擬實(shí)驗(yàn)產(chǎn)生的海量數(shù)據(jù)，并將處理得到的信息和知識(shí)存儲(chǔ)于計(jì)算機(jī)中。之后，科研人員只需要對(duì)這些存儲(chǔ)于計(jì)算機(jī)中的少量數(shù)據(jù)進(jìn)行分析研究，不再是直接通過儀器或者模擬進(jìn)行研究。因而基于數(shù)據(jù)密集型科學(xué)研究獨(dú)特的技術(shù)以及其顯著的不同于以往研究的特點(diǎn)，詹姆士格雷在2007于其科研報(bào)告中提出了將這種數(shù)據(jù)密集型的科學(xué)研究模式從計(jì)算機(jī)科學(xué)類型中單獨(dú)區(qū)分出來的思想，隨之產(chǎn)生了一種被稱之為第四范式的新的科研模式。該報(bào)告整理后題名“吉姆格雷論e-Science:一種科研模式的變革”，成為微軟于2009的年首次全面對(duì)數(shù)據(jù)密集型數(shù)據(jù)進(jìn)行描述的論文集《e-Science：科學(xué)研究的第四種范式》的開篇文章。[9]當(dāng)前，相當(dāng)多的計(jì)算機(jī)領(lǐng)域的專家學(xué)者對(duì)數(shù)據(jù)密集型科研第四范式予以了關(guān)注，并進(jìn)行了相應(yīng)的研究，探索出了相應(yīng)的方式方法，第四范式的研究被認(rèn)為是大數(shù)據(jù)時(shí)代背景下軟件工程技術(shù)研發(fā)的關(guān)鍵。信息化的發(fā)展與滲透，導(dǎo)致一切的事物都在隨之發(fā)生著變化。包括實(shí)驗(yàn)、理論分析和計(jì)算科學(xué)均在數(shù)據(jù)泛濫的影響下與之前大不相同，軟件工程技術(shù)既要適應(yīng)科研第四范式，又在其中扮演著更加重要的作用。傳統(tǒng)范式下的目的與探索之間不能夠很好地銜接，數(shù)據(jù)信息的應(yīng)用效率難以保障，難以滿足項(xiàng)目管理目標(biāo)的實(shí)現(xiàn)。數(shù)據(jù)密集型科研第四范式下的技術(shù)以及理論相關(guān)內(nèi)容，與大數(shù)據(jù)技術(shù)特別是其中的存儲(chǔ)技術(shù)有著緊密的關(guān)聯(lián)性，其待探索的空間和應(yīng)用價(jià)值相當(dāng)廣闊，其數(shù)據(jù)信息研發(fā)急需相應(yīng)的理論支撐，該范式下的軟件工程技術(shù)應(yīng)用模塊，亦能夠?qū)ζ渌妒较碌臄?shù)據(jù)信息進(jìn)行分析，對(duì)于更好地實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)與處理，提升處理效率，有著重要的研究價(jià)值。在第四范式模式下，對(duì)集成密集型數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行評(píng)估是首要的，需要摒棄以往的數(shù)據(jù)統(tǒng)計(jì)方法，構(gòu)建新的針對(duì)大數(shù)據(jù)進(jìn)行信息統(tǒng)計(jì)和分析的方法，這對(duì)軟件工程技術(shù)的發(fā)展起著重要的作用。在軟件工程技術(shù)的研究中，應(yīng)當(dāng)更新傳統(tǒng)理念，重視其對(duì)大數(shù)據(jù)的處理和分析能力，使軟件產(chǎn)業(yè)呈現(xiàn)全新的面貌，從而亦能促進(jìn)其對(duì)大數(shù)據(jù)的數(shù)據(jù)分析能力。在第四范式的基礎(chǔ)上，亦能夠更好地支持第三范式，甚至于第一范式。該范式研究在我國軟件工程開發(fā)中還處于初級(jí)階段，軟件工程開發(fā)人員需在強(qiáng)化已有數(shù)據(jù)模型研究基礎(chǔ)上，加速由第三范式向第四范式的轉(zhuǎn)變，盡快實(shí)現(xiàn)其應(yīng)用層面的服務(wù)價(jià)值。
1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)
大數(shù)據(jù)技術(shù)事實(shí)上是將人類日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來之后分類處理，設(shè)定不同類別的存儲(chǔ)空間，按照類別存儲(chǔ)。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個(gè)類別，諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對(duì)數(shù)據(jù)信息進(jìn)行分類整理，應(yīng)用相應(yīng)的計(jì)算機(jī)算法，將相似特性的數(shù)據(jù)劃分為一類，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢(shì)是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對(duì)該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。
大數(shù)據(jù)時(shí)代，社會(huì)各個(gè)領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展，人們對(duì)軟件工程的概念越來越熟悉。事實(shí)上，軟件工程的歷史始于20世紀(jì)的中期，其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運(yùn)行，其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計(jì)、軟件的技術(shù)維護(hù)等方面。因此，在軟件設(shè)計(jì)的過程中，要控制好技術(shù)開發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長，不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。
2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)
處于大數(shù)據(jù)時(shí)代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn)，還具有很強(qiáng)的實(shí)用性價(jià)值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對(duì)于傳統(tǒng)的技術(shù)要不斷摒棄，對(duì)軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的，對(duì)各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進(jìn)行處理，對(duì)工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問題是需要高度重視的，否則，就會(huì)對(duì)軟件工程技術(shù)造成不良影響，引起嚴(yán)重的后果。
2．1軟件服務(wù)工程
在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開發(fā)的基本原則，按照服務(wù)項(xiàng)目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對(duì)軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中，需要軟件開發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程，使得軟件具有互操作性，對(duì)于數(shù)據(jù)主動(dòng)協(xié)調(diào)，使其符合動(dòng)態(tài)場(chǎng)景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。
2．2軟件開源
軟件開源更為注重用戶對(duì)軟件技術(shù)的體驗(yàn)。在對(duì)軟件開源進(jìn)行研究的過程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價(jià)值不是很高。一些研究人員在研究軟件工程技術(shù)的時(shí)候，就是將軟件開源作為突破口，將開發(fā)項(xiàng)目劃分為多個(gè)模塊，將每個(gè)模塊分給指定的研究人員進(jìn)行開發(fā)。
2．3群體軟件工程
群體軟件工程是通過網(wǎng)絡(luò)的方式進(jìn)行軟件開發(fā)，具體的實(shí)施中采用工程眾包的形式，使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個(gè)分布式軟件開發(fā)模型，這個(gè)工程項(xiàng)目的運(yùn)行中，可以通過網(wǎng)絡(luò)實(shí)現(xiàn)，對(duì)各項(xiàng)任務(wù)進(jìn)行分配，也可以進(jìn)行創(chuàng)造性的查詢，通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時(shí)，在軟件工程開發(fā)過程中，軟件工程可以在任何階段通過眾包進(jìn)行開發(fā)[4]。
3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向
3．1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展
大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級(jí)和創(chuàng)新，尋求開發(fā)的研究途徑是非常必要的。計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計(jì)算機(jī)可以在開放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會(huì)有所提升。通過網(wǎng)絡(luò)運(yùn)行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。
3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域
軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個(gè)領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行，可以使用數(shù)據(jù)平臺(tái)對(duì)信息進(jìn)行收集并分析。比如，用戶在進(jìn)行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過對(duì)數(shù)據(jù)模型的分析，預(yù)測(cè)股票的變化趨勢(shì)。
4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)
在軟件開發(fā)過程中，必須有足夠的硬件和軟件基礎(chǔ)來支持?jǐn)?shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對(duì)硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時(shí)候，還對(duì)在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容，主要是對(duì)數(shù)據(jù)流的使用方法進(jìn)行研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開發(fā)的角度而言，軟件運(yùn)行中都會(huì)產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會(huì)有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對(duì)軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對(duì)原始數(shù)據(jù)進(jìn)行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對(duì)數(shù)據(jù)流的分析要高度重視[7]。
5密集型數(shù)據(jù)科研第四范式
第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲(chǔ)設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時(shí)間內(nèi)同時(shí)實(shí)現(xiàn)數(shù)據(jù)信息的存儲(chǔ)、數(shù)據(jù)信息的傳輸和有效識(shí)別。在探索第四范式理論和研究方法的過程中，首先需要對(duì)集成大數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行估計(jì)，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計(jì)方法，建立新的大數(shù)據(jù)信息統(tǒng)計(jì)方法和分析方法[8]。此外，有必要從多個(gè)方面研究大數(shù)據(jù)的處理，對(duì)大數(shù)據(jù)信息進(jìn)行管理并深入分析，討論大數(shù)據(jù)的價(jià)值以及存在的可變性，這對(duì)軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時(shí)候，必須更新傳統(tǒng)的軟件開發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。
在當(dāng)今大數(shù)據(jù)時(shí)代，軟件工程技術(shù)的研究已經(jīng)區(qū)域復(fù)雜。隨著數(shù)據(jù)的指數(shù)的不斷增長，軟件技術(shù)對(duì)硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此，在對(duì)軟件工程技術(shù)的研究中，就需要對(duì)大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行研究，基于此研究軟件工程技術(shù)，使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開發(fā)軟件技術(shù)的過程中，要從應(yīng)用領(lǐng)域的需求出發(fā)對(duì)大數(shù)據(jù)技術(shù)進(jìn)行分析，在大數(shù)據(jù)開發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開發(fā)理論，促進(jìn)軟件技術(shù)更好地發(fā)展。
參考文獻(xiàn)
關(guān)鍵詞：大數(shù)據(jù)技術(shù)；大數(shù)據(jù)管理模塊組成技術(shù)；技術(shù)分析；分支技術(shù)探析
自從我國各領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)產(chǎn)生應(yīng)用需求之后，已有多個(gè)企業(yè)并計(jì)算機(jī)技術(shù)開發(fā)應(yīng)用領(lǐng)域人員開始對(duì)多個(gè)情境下的大數(shù)據(jù)技術(shù)的需求、應(yīng)用以及發(fā)展做出了應(yīng)有的貢獻(xiàn)。在大數(shù)據(jù)技術(shù)日趨成熟之際，人們對(duì)大數(shù)據(jù)的認(rèn)知成熟度需要得到普遍提升，而計(jì)算機(jī)技術(shù)領(lǐng)域的專業(yè)人員也需要站在專業(yè)角度，對(duì)大數(shù)據(jù)技術(shù)的構(gòu)成進(jìn)行深入了解。這不僅對(duì)大數(shù)據(jù)技術(shù)的普及應(yīng)用和持續(xù)發(fā)展有益，更對(duì)各領(lǐng)域的個(gè)人發(fā)展、順應(yīng)時(shí)代潮流以及個(gè)人的專業(yè)素養(yǎng)提升有極大幫助意義。本文中筆者結(jié)合自身對(duì)于大數(shù)據(jù)相關(guān)技術(shù)的正確認(rèn)知，對(duì)大數(shù)據(jù)技術(shù)發(fā)展認(rèn)識(shí)基礎(chǔ)上的分支技術(shù)體系展開深入討論。
1基于分布式大數(shù)據(jù)管理模塊構(gòu)成的技術(shù)探究
我們?cè)谏钊胪诰虼髷?shù)據(jù)技術(shù)對(duì)其進(jìn)行了解之前，首先要了解它主要需要解決什么問題，以及能夠解決什么問題。一方面，在大數(shù)據(jù)技術(shù)出現(xiàn)之前，IT行業(yè)各類技術(shù)發(fā)展速度不是很快，系統(tǒng)化應(yīng)用過程中的各類軟件框架體系也足夠完善，普通的單個(gè)服務(wù)器為基礎(chǔ)平臺(tái)的數(shù)據(jù)庫之計(jì)算能力，也足夠支撐各類系統(tǒng)計(jì)算業(yè)務(wù)。但隨著各行業(yè)數(shù)據(jù)越來越多，單機(jī)計(jì)算能力上限已經(jīng)被多個(gè)行業(yè)的計(jì)算軟件“觸頂”。在這種情況下，大數(shù)據(jù)管理模塊技術(shù)開始被人們所關(guān)注，下面分析支持它進(jìn)行計(jì)算的細(xì)分技術(shù)。首先，在大量數(shù)據(jù)儲(chǔ)存方面，HDFS的分布式儲(chǔ)存可以解決數(shù)據(jù)儲(chǔ)存的困難。它可以讓多個(gè)主機(jī)對(duì)同一任務(wù)進(jìn)行同時(shí)計(jì)算。那么，它的實(shí)現(xiàn)需要周邊便衍生了許多與管理和緩存有關(guān)的技術(shù)。包括：“yarn”技術(shù)可以在程序開發(fā)中幫助人解決資源難資源調(diào)節(jié)難題；“flume”可以幫助解決傳輸數(shù)據(jù)的問題；“sqoop”可以轉(zhuǎn)換分布式儲(chǔ)存數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫之間的數(shù)據(jù)；“oozie”可以幫助業(yè)務(wù)程序資源調(diào)節(jié)計(jì)算任務(wù)；“kafka”則提供了訂閱機(jī)制的消息隊(duì)列；“zookeeper”可以有效地幫助用戶快速完成對(duì)主備服務(wù)的選擇；“hive”在HDFS的基礎(chǔ)上提供了數(shù)倉的功能?！癶base”基“hdf”來實(shí)現(xiàn)一個(gè)列式數(shù)據(jù)庫。然后從數(shù)據(jù)處理過程來看，對(duì)于數(shù)據(jù)庫計(jì)算技術(shù)方面的大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用，是在普通數(shù)據(jù)庫技術(shù)存在和被應(yīng)用基礎(chǔ)上對(duì)計(jì)算業(yè)務(wù)進(jìn)行邏輯處理的過程。對(duì)于單一的業(yè)務(wù)處理，可以通過編寫健壯的代碼進(jìn)行定時(shí)的任務(wù)進(jìn)行相應(yīng)數(shù)據(jù)的結(jié)算。若業(yè)務(wù)冗雜，需要定時(shí)獲取多種數(shù)據(jù)采集分析，則通過代碼實(shí)現(xiàn)各個(gè)JOB維護(hù)成本太高。在“Hadoop2.0”完美解決該問題，采用HQL自動(dòng)生成數(shù)據(jù)的mapreduce任務(wù)基礎(chǔ)上，多個(gè)領(lǐng)域的項(xiàng)目實(shí)踐過程中，就會(huì)出現(xiàn)多個(gè)reduce任務(wù)就會(huì)被批量刪除掉的情況。因此，Hadoop技術(shù)正在走在被淘汰的路上。那么，Hadoop現(xiàn)在是一個(gè)可以用硬件集群上進(jìn)行大規(guī)模數(shù)據(jù)處理的優(yōu)秀工具，但是若開發(fā)人員需要處理動(dòng)態(tài)數(shù)據(jù)集、點(diǎn)對(duì)點(diǎn)分析多進(jìn)程數(shù)據(jù)，那么Google已經(jīng)為我們展示了大大優(yōu)于MapReduce范型的技術(shù)選擇。因此毫無疑問，Percolator、Dremel和Pregel將成為大數(shù)據(jù)技術(shù)未來發(fā)展的主流技術(shù)。
2支撐大數(shù)據(jù)管理模塊組成的各類技術(shù)詳析
為了能夠更好地架構(gòu)大數(shù)據(jù)項(xiàng)目，技術(shù)人員、項(xiàng)目經(jīng)理、架構(gòu)師等大數(shù)據(jù)管理模塊開發(fā)流程中不同角色人員為了選擇合適的技術(shù)，必須了解大數(shù)據(jù)各種技術(shù)之間的關(guān)系，以便選擇合適的語言，實(shí)現(xiàn)相應(yīng)的功能。那么，筆者在下面對(duì)幾點(diǎn)中提到的大數(shù)據(jù)分支技術(shù)進(jìn)行詳細(xì)分析。
2.1HDFS技術(shù)
與普通編程語言應(yīng)用編寫系統(tǒng)相比，HDFS主要改革在數(shù)據(jù)儲(chǔ)存形式方面，HDFS即Hadoop是以流式的數(shù)據(jù)查找和提取模式對(duì)文件型數(shù)據(jù)進(jìn)行規(guī)?；瘍?chǔ)存，而且大數(shù)據(jù)管理模塊應(yīng)用中的數(shù)據(jù)通常是占用內(nèi)存過大的單元數(shù)據(jù)，HDFS運(yùn)行于多個(gè)主機(jī)集群中，屬于是管理網(wǎng)絡(luò)中跨多臺(tái)及其進(jìn)行數(shù)據(jù)儲(chǔ)存的文件系統(tǒng)支撐基礎(chǔ)。我們從HDFS技術(shù)應(yīng)用的過程來分析使用數(shù)據(jù)塊的益處：在程序運(yùn)行過程中，HDFS上的文件會(huì)被劃成64MB大的多個(gè)分塊，每一個(gè)數(shù)據(jù)塊都可以存儲(chǔ)不同的數(shù)據(jù)。文件型數(shù)據(jù)塊不需要儲(chǔ)存在同一個(gè)磁盤上，因此它們可以利用集群上的任意一個(gè)磁盤實(shí)現(xiàn)存儲(chǔ)。所以這從根本上大幅提升了大量數(shù)據(jù)管理的效率。而HDFS技術(shù)也可以提高系統(tǒng)中對(duì)數(shù)據(jù)儲(chǔ)存的容錯(cuò)力。在業(yè)務(wù)處理方面HDFS的優(yōu)點(diǎn)更為明顯：HDFS的應(yīng)用可以做到簡化儲(chǔ)存子系統(tǒng)的設(shè)計(jì)，將每個(gè)服務(wù)器的儲(chǔ)存子系統(tǒng)控制單元設(shè)置為“塊”，因此可實(shí)現(xiàn)簡化儲(chǔ)存管理，用一個(gè)單獨(dú)的系統(tǒng)就可以管理這些塊的元數(shù)據(jù)，這就大幅減輕了服務(wù)器的數(shù)據(jù)管理壓力。
2.2yarn技術(shù)
Hadoop集群管理員希望能根據(jù)不同的業(yè)務(wù)組或不同的用戶對(duì)集群yarn作業(yè)的資源進(jìn)行控制，也就是對(duì)yarn的資源池進(jìn)行劃分，達(dá)到資源管控、任務(wù)管控的效果。yarn技術(shù)管理分配資源細(xì)節(jié)如下：yarn默許提供了多種資源分配的策略，用于分配的資源可以是節(jié)點(diǎn)的數(shù)量、內(nèi)存的大小、CPU核數(shù)，它主要將MP1中JobTracker的資源管理和作業(yè)資源調(diào)節(jié)兩個(gè)功能分散，分別由ResourceManager和ApplicationMaster進(jìn)程來實(shí)現(xiàn)管理，以負(fù)責(zé)整個(gè)集群的資源管理和資源調(diào)度，并負(fù)責(zé)處理應(yīng)用程序提出的事件，比如調(diào)節(jié)任務(wù)及數(shù)據(jù)資源、監(jiān)視運(yùn)行任務(wù)情況和出錯(cuò)信息等，具體作用體現(xiàn)在“模塊提交作業(yè)”“初始化作業(yè)”“分配任務(wù)和運(yùn)行”“更新模塊運(yùn)行相關(guān)數(shù)據(jù)”等方面。而Flume可以通過運(yùn)行可靠的服務(wù)模塊，用于有效地收集和移動(dòng)日志數(shù)據(jù)，使用簡單的可擴(kuò)展數(shù)據(jù)模型，被允許收集日志數(shù)據(jù)，導(dǎo)進(jìn)到HDFS中并實(shí)現(xiàn)在線分析應(yīng)用程序。因此，HDFS是Hadoop應(yīng)用程序中主要的分布式儲(chǔ)存系統(tǒng)。
2.3sqoop技術(shù)
sqoop解決了分布式寄存數(shù)據(jù)與普通數(shù)據(jù)之間的轉(zhuǎn)換。它屬于可以將Hadoop和關(guān)系型數(shù)據(jù)庫之間實(shí)現(xiàn)數(shù)據(jù)導(dǎo)進(jìn)導(dǎo)出的工具型技術(shù)。它可以通過sqoop把數(shù)據(jù)從普通數(shù)據(jù)庫，包括Mysql數(shù)據(jù)庫和Oracle數(shù)據(jù)庫中導(dǎo)進(jìn)到HDFS中，反之亦可。sqoop通過Hadoop的MapReduce導(dǎo)進(jìn)導(dǎo)出數(shù)據(jù)庫中的數(shù)據(jù)，因此它提供了很高的并行優(yōu)勢(shì)以及良好的容錯(cuò)性。通過sqoop技術(shù)的應(yīng)用，開發(fā)大數(shù)據(jù)管理模塊的人員可以將數(shù)據(jù)從普通數(shù)據(jù)庫中導(dǎo)出，并導(dǎo)進(jìn)到HDFS中。導(dǎo)進(jìn)到HDFS的數(shù)據(jù)形式為數(shù)據(jù)庫表、查詢結(jié)果，以及從HDFS中導(dǎo)出的文件形式則是數(shù)據(jù)庫表或者集合類型的文件。在HDFS導(dǎo)進(jìn)數(shù)據(jù)的多個(gè)進(jìn)程可以并發(fā)運(yùn)行，這時(shí)的輸出的可以是多個(gè)文件輸出結(jié)果。這些文件可能是標(biāo)準(zhǔn)的文本文件，也可以是Avro或者SequeenceFiles的記錄文件?？偨Y(jié)來說，sqoop是可以在大數(shù)據(jù)系統(tǒng)運(yùn)行模塊中將db數(shù)據(jù)與hadoop之間交換數(shù)據(jù)，而將其應(yīng)用于系統(tǒng)開發(fā)過程中，則需要開發(fā)人員參照較為冗雜的使用文檔。在優(yōu)點(diǎn)顯著的同時(shí)，sqoop也有些許缺點(diǎn)。因?yàn)閔base技術(shù)顯然采用的是基于HDFS為核心的列式數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)的形式，是多種分布式、可以擴(kuò)展的大數(shù)據(jù)儲(chǔ)存方式，它能夠?yàn)楦鞣N大數(shù)據(jù)集上隨機(jī)和及時(shí)的閱讀、寫數(shù)據(jù)進(jìn)行訪問功能，并且能夠?qū)崿F(xiàn)分布式的列型數(shù)據(jù)儲(chǔ)存，能快速地索引查詢數(shù)據(jù)。較其他普通的數(shù)據(jù)庫處理技術(shù)而言，hbase對(duì)于寫入的時(shí)間更為隨意，因此hbase總會(huì)有很多超時(shí)的現(xiàn)象，這成為了許多開發(fā)者在程序開發(fā)后的運(yùn)行測(cè)試中的詬病。因此，此項(xiàng)技術(shù)目前仍然正在進(jìn)行持續(xù)的優(yōu)化。最后是接收數(shù)據(jù)的“Hive”技術(shù)應(yīng)用模塊，acheHive提供完整的HiveQL查詢功能之外，還是一個(gè)數(shù)據(jù)倉庫系統(tǒng)。而zookeeper可以實(shí)現(xiàn)類似“主從后臺(tái)事件列序”“分配事件”“協(xié)調(diào)負(fù)載”等多種功能。
2.4Oozie的應(yīng)用特點(diǎn)和優(yōu)點(diǎn)
Oozie是用于Hadoop平臺(tái)開源的技術(shù)，用工作流資源調(diào)節(jié)引擎，用來管理Hadoop作業(yè)，它是屬于Web應(yīng)用程序。因?yàn)镺ozie的工作流必須在一個(gè)有固定流程的無環(huán)結(jié)構(gòu)中，所以，使用Oozie時(shí)，若前一個(gè)任務(wù)執(zhí)行失敗，后一個(gè)任務(wù)將不會(huì)被資源調(diào)節(jié)。優(yōu)點(diǎn)是當(dāng)用戶需要執(zhí)行多個(gè)關(guān)聯(lián)的MR任務(wù)時(shí)，只需要將MR執(zhí)行順序?qū)懭雡orkflow.xml文件，然后使用Oozie提交本次任務(wù)，Oozie會(huì)托管此任務(wù)流。而Oozie對(duì)工作流的指定，與JbossjBPM提供的jPDL一樣，提供了類似的流程定義語言hP?DL，它可以利用XML文件格式來定義流程。對(duì)于工作流系統(tǒng)，一般會(huì)有很多不同功能的節(jié)點(diǎn)，比如分支，并發(fā)等等。Oozie的控制流節(jié)點(diǎn)和動(dòng)作節(jié)點(diǎn)可以讓開發(fā)者定義流程的開始與結(jié)束，并能夠以及控制流程和定位具體數(shù)據(jù)地址。
2.5Kafka的特點(diǎn)和應(yīng)用優(yōu)點(diǎn)
Kafka可以用于即時(shí)構(gòu)建數(shù)據(jù)流傳輸程序以及流式數(shù)據(jù)處理、應(yīng)用程序。它具有水平可擴(kuò)展性、容錯(cuò)性、速度極快的特點(diǎn)。此外，它的運(yùn)行過程具備三個(gè)特點(diǎn)：“消息”“持久化”“流處理”。客戶端服務(wù)器通過使用TCP協(xié)議進(jìn)行模塊間的數(shù)據(jù)交互，具體的數(shù)據(jù)流的寫入過程則有支持多種語言的特征，此外，它還支持主題和日志功能，一個(gè)主題可以有零個(gè)、一個(gè)或多個(gè)用戶寫入數(shù)據(jù)。對(duì)于每個(gè)主題，Kafka可以維護(hù)一個(gè)模塊日志，每一個(gè)分區(qū)都成為一個(gè)有序且不可變的記錄序列，不斷添加到結(jié)構(gòu)化的提交日志中，這使得Kafka技術(shù)應(yīng)用有“用戶在應(yīng)用程序過程別容易使用”的特點(diǎn)。
3大數(shù)據(jù)管理模塊技術(shù)成熟之上的應(yīng)用領(lǐng)域
嚴(yán)格意義上講，大數(shù)據(jù)技術(shù)是數(shù)據(jù)分析的前沿技術(shù)，那么，從大量、各類的數(shù)據(jù)中，及時(shí)獲取有價(jià)值的信息的技術(shù)應(yīng)用，就是大數(shù)據(jù)技術(shù)得到發(fā)展的緣由和最終意義，對(duì)于大數(shù)據(jù)技術(shù)在實(shí)際生產(chǎn)和生活中的應(yīng)用領(lǐng)域大致分為以下幾個(gè)方面：第一，移動(dòng)互聯(lián)網(wǎng)出現(xiàn)后，為了提升移動(dòng)設(shè)備用戶的用體驗(yàn)，在移動(dòng)設(shè)備的用戶點(diǎn)擊行為數(shù)據(jù)記錄過程中，應(yīng)用到了大數(shù)據(jù)技術(shù)。第二，在數(shù)據(jù)記錄、保存方面，大數(shù)據(jù)技術(shù)在音樂文件保存、視頻資料保存、監(jiān)控錄像數(shù)據(jù)保存方面對(duì)大數(shù)據(jù)技術(shù)進(jìn)行了應(yīng)用。第三，在交通方面，如百度、高德、Google等電子地圖為了人們出現(xiàn)更加便利，在應(yīng)用大數(shù)據(jù)技術(shù)過程中同樣利用大數(shù)據(jù)技術(shù)挖掘并提取、計(jì)算了大量有價(jià)值的信息。第四，隨著移動(dòng)設(shè)備的加入，人們的社交行為產(chǎn)生了大量的數(shù)據(jù)，這為人們生活環(huán)境安全性的鞏固促進(jìn)了大數(shù)據(jù)技術(shù)發(fā)展。第五，人們使用搜索引擎搜索數(shù)據(jù)期間，搜索引擎為向用戶提供更多有價(jià)值的信息，應(yīng)用了大數(shù)據(jù)技術(shù)。
4結(jié)束語
綜上所述，對(duì)于大數(shù)據(jù)技術(shù)的成熟的認(rèn)識(shí)，要從大數(shù)據(jù)技術(shù)應(yīng)用過程以及解決問題過程中應(yīng)用的不同技術(shù)展開分析，這不僅能讓我們?cè)诋?dāng)下社會(huì)跟上IT行業(yè)發(fā)展的步伐，更能減輕我們學(xué)習(xí)、實(shí)踐、應(yīng)用大數(shù)據(jù)技術(shù)過程中的恐懼心理和畏難情緒，助力我們的專業(yè)能力步步高升。
參考文獻(xiàn)：
[1]彭宇,龐景月,劉大同,等.大數(shù)據(jù):內(nèi)涵、技術(shù)體系與展望[J].電子測(cè)量與儀器學(xué)報(bào),2015,29(4):469-482.
關(guān)鍵詞：大數(shù)據(jù)：軟件工程技術(shù)：數(shù)據(jù)分析
1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)
大數(shù)據(jù)技術(shù)事實(shí)上是將人類日常生活中產(chǎn)生的各種數(shù)字信息，將這些信息收集起來之后分類處理，設(shè)定不同類別的存儲(chǔ)空間，按照類別存儲(chǔ)。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個(gè)類別，諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析，就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用，特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù)，對(duì)數(shù)據(jù)信息進(jìn)行分類整理，應(yīng)用相應(yīng)的計(jì)算機(jī)算法，將相似特性的數(shù)據(jù)劃分為一類，最終得到大量的數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中，所發(fā)揮的優(yōu)勢(shì)是有目共睹的，而且還不斷地引入新技術(shù)，在軟件工程技術(shù)中應(yīng)用，對(duì)該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。大數(shù)據(jù)時(shí)代，社會(huì)各個(gè)領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展，人們對(duì)軟件工程的概念越來越熟悉。事實(shí)上，軟件工程的歷史始于20世紀(jì)的中期，其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中，使得工程系統(tǒng)化運(yùn)行，其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計(jì)、軟件的技術(shù)維護(hù)等方面。因此，在軟件設(shè)計(jì)的過程中，要控制好技術(shù)開發(fā)成本，保證工程質(zhì)量，使其生命周期不斷延長，不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。
2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)
處于大數(shù)據(jù)時(shí)代環(huán)境中，軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域，需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn)，還具有很強(qiáng)的實(shí)用性價(jià)值。在軟件工程技術(shù)的研究中，要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù)，對(duì)于傳統(tǒng)的技術(shù)要不斷摒棄，對(duì)軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下，軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的，對(duì)各種數(shù)據(jù)信息系統(tǒng)化管理，根據(jù)需要進(jìn)行處理，對(duì)工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中，大數(shù)據(jù)的安全性問題是需要高度重視的，否則，就會(huì)對(duì)軟件工程技術(shù)造成不良影響，引起嚴(yán)重的后果。
2．1軟件服務(wù)工程
在軟件工程的研究范疇中，軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展，就是發(fā)揮服務(wù)的作用，使其成為軟件開發(fā)的基本原則，按照服務(wù)項(xiàng)目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所，服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整，同城是對(duì)軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中，需要軟件開發(fā)人員使用分布式應(yīng)用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中，結(jié)合使用大數(shù)據(jù)技術(shù)，可以對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程，使得軟件具有互操作性，對(duì)于數(shù)據(jù)主動(dòng)協(xié)調(diào)，使其符合動(dòng)態(tài)場(chǎng)景的變化節(jié)奏，軟件系統(tǒng)的集成度有所提高。
2．2軟件開源
軟件開源更為注重用戶對(duì)軟件技術(shù)的體驗(yàn)。在對(duì)軟件開源進(jìn)行研究的過程中，采用常規(guī)的方法，雖然獲得一定的成果，但是應(yīng)用價(jià)值不是很高。一些研究人員在研究軟件工程技術(shù)的時(shí)候，就是將軟件開源作為突破口，將開發(fā)項(xiàng)目劃分為多個(gè)模塊，將每個(gè)模塊分給指定的研究人員進(jìn)行開發(fā)。
2．3群體軟件工程
群體軟件工程是通過網(wǎng)絡(luò)的方式進(jìn)行軟件開發(fā)，具體的實(shí)施中采用工程眾包的形式，使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個(gè)分布式軟件開發(fā)模型，這個(gè)工程項(xiàng)目的運(yùn)行中，可以通過網(wǎng)絡(luò)實(shí)現(xiàn)，對(duì)各項(xiàng)任務(wù)進(jìn)行分配，也可以進(jìn)行創(chuàng)造性的查詢，通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時(shí)，在軟件工程開發(fā)過程中，軟件工程可以在任何階段通過眾包進(jìn)行開發(fā)[4]。
3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向
3．1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展
大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流，需要技術(shù)不斷地升級(jí)和創(chuàng)新，尋求開發(fā)的研究途徑是非常必要的。計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計(jì)算機(jī)可以在開放的環(huán)境中相互通信，共享數(shù)據(jù)資源，軟件等信息的有效利用能力也會(huì)有所提升。通過網(wǎng)絡(luò)運(yùn)行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。
3．2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域
軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個(gè)領(lǐng)域非常大的幫助，從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行，可以使用數(shù)據(jù)平臺(tái)對(duì)信息進(jìn)行收集并分析。比如，用戶在進(jìn)行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù)，可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型，通過對(duì)數(shù)據(jù)模型的分析，預(yù)測(cè)股票的變化趨勢(shì)。
4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)
在軟件開發(fā)過程中，必須有足夠的硬件和軟件基礎(chǔ)來支持?jǐn)?shù)據(jù)流，隨著數(shù)據(jù)流的量逐漸增多，對(duì)硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時(shí)候，還對(duì)在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容，主要是對(duì)數(shù)據(jù)流的使用方法進(jìn)行研究，對(duì)支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開發(fā)的角度而言，軟件運(yùn)行中都會(huì)產(chǎn)生大量的數(shù)據(jù)流，包括服務(wù)端、用戶端等，都會(huì)有很多的數(shù)據(jù)信息產(chǎn)生，這些數(shù)據(jù)流對(duì)軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中，要做好數(shù)據(jù)流的管理工作。有必要對(duì)原始數(shù)據(jù)進(jìn)行深入的研究，為提高軟件的使用壽命創(chuàng)造條件，對(duì)數(shù)據(jù)流的分析要高度重視[7]。
5密集型數(shù)據(jù)科研第四范式
第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法，探索第四種范式的理論基礎(chǔ)，以及大型數(shù)據(jù)存儲(chǔ)設(shè)備在發(fā)展中的重要性。軟件工程中，采用傳統(tǒng)的大數(shù)據(jù)研究方法，大數(shù)據(jù)的有效分析是不可能的，大數(shù)據(jù)的研究還沒有取得突破性的成果。因此，目前大多數(shù)軟件不能在短時(shí)間內(nèi)同時(shí)實(shí)現(xiàn)數(shù)據(jù)信息的存儲(chǔ)、數(shù)據(jù)信息的傳輸和有效識(shí)別。在探索第四范式理論和研究方法的過程中，首先需要對(duì)集成大數(shù)據(jù)的軟件服務(wù)價(jià)值進(jìn)行估計(jì)，拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計(jì)方法，建立新的大數(shù)據(jù)信息統(tǒng)計(jì)方法和分析方法[8]。此外，有必要從多個(gè)方面研究大數(shù)據(jù)的處理，對(duì)大數(shù)據(jù)信息進(jìn)行管理并深入分析，討論大數(shù)據(jù)的價(jià)值以及存在的可變性，這對(duì)軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時(shí)候，必須更新傳統(tǒng)的軟件開發(fā)理念，重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展，使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。
6結(jié)語
在當(dāng)今大數(shù)據(jù)時(shí)代，軟件工程技術(shù)的研究已經(jīng)區(qū)域復(fù)雜。隨著數(shù)據(jù)的指數(shù)的不斷增長，軟件技術(shù)對(duì)硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此，在對(duì)軟件工程技術(shù)的研究中，就需要對(duì)大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行研究，基于此研究軟件工程技術(shù)，使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開發(fā)軟件技術(shù)的過程中，要從應(yīng)用領(lǐng)域的需求出發(fā)對(duì)大數(shù)據(jù)技術(shù)進(jìn)行分析，在大數(shù)據(jù)開發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開發(fā)理論，促進(jìn)軟件技術(shù)更好地發(fā)展。
關(guān)鍵詞：能力本位；大數(shù)據(jù)專業(yè)；課程體系
高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲(chǔ)、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才[1-4]，以能力為本位的大數(shù)據(jù)專業(yè)課程教學(xué)始終貫穿于高職大數(shù)據(jù)專業(yè)教育的全過程，這也是促進(jìn)新常態(tài)下高職大數(shù)據(jù)專業(yè)教育教學(xué)發(fā)展的主要因素。但是，就目前的發(fā)展態(tài)勢(shì)來看，高職培養(yǎng)的大數(shù)據(jù)專業(yè)人才的數(shù)量和質(zhì)量遠(yuǎn)遠(yuǎn)未能達(dá)到市場(chǎng)和企業(yè)的需求，究其原因，主要是因?yàn)楦呗毚髷?shù)據(jù)專業(yè)課程尚未形成體系，未能在有限的教學(xué)課時(shí)內(nèi)有機(jī)整合交叉重復(fù)的課程內(nèi)容，從而未能突出體現(xiàn)學(xué)生綜合能力的培養(yǎng)[5-9]。因此，構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系勢(shì)在必行。
1高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的必要性
國務(wù)院于2015年8月印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》指出，“建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系……重點(diǎn)培養(yǎng)職業(yè)工程師等大數(shù)據(jù)專業(yè)人才”。為了在一定程度上滿足市場(chǎng)和企業(yè)對(duì)大數(shù)據(jù)技術(shù)相關(guān)人才的需求，截至2020年12月，全國共有289所高職院校開設(shè)了大數(shù)據(jù)專業(yè)。由于我國高職院校大數(shù)據(jù)專業(yè)開設(shè)的時(shí)間短、起步晚、底子薄，大數(shù)據(jù)技術(shù)專業(yè)人才總體上來說是短缺的[1-4]。此外，由于人才培養(yǎng)目標(biāo)和就業(yè)定位仍然不夠明確，尚未形成系統(tǒng)性的師資團(tuán)隊(duì)、高效的實(shí)踐教學(xué)平臺(tái)和標(biāo)準(zhǔn)化的課程體系，未能有效構(gòu)建和運(yùn)用交叉學(xué)科的知識(shí)體系和課程內(nèi)容。因此，不完善的課程體系和課程內(nèi)容導(dǎo)致教師只著重計(jì)算機(jī)領(lǐng)域知識(shí)的教學(xué)，缺乏適合學(xué)生學(xué)習(xí)系統(tǒng)性的大數(shù)據(jù)課程教學(xué)計(jì)劃，忽略了大數(shù)據(jù)專業(yè)學(xué)生技能的培養(yǎng)，不能適應(yīng)大數(shù)據(jù)時(shí)代市場(chǎng)和企業(yè)對(duì)大數(shù)據(jù)專業(yè)高技能型人才的需求。目前我國高職院校大數(shù)據(jù)專業(yè)教學(xué)和人才培養(yǎng)仍處于摸索階段，如何從培養(yǎng)學(xué)生深度的思維能力和解決廣度問題綜合能力的角度出發(fā)，構(gòu)建基于能力本位的大數(shù)據(jù)專業(yè)課程體系是擺在高職院校面前的一個(gè)重要課題[1-9]。
2基于能力本位高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的可行性分析
2.1面向計(jì)算思維能力的高職大數(shù)據(jù)專業(yè)課程體系。計(jì)算思維能力即在管理學(xué)和教育學(xué)基本理論的基礎(chǔ)上，充分、綜合運(yùn)用計(jì)算機(jī)專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對(duì)所需求解的問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納，從而求得最優(yōu)解的一種思維能力[5]。高職大數(shù)據(jù)專業(yè)教育的培養(yǎng)目標(biāo)本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲(chǔ)、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才。計(jì)算思維能力完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學(xué)的內(nèi)在本質(zhì)，即將高職大數(shù)據(jù)專業(yè)課程劃分為一種包括通識(shí)教育、大類教育、基本認(rèn)知等模塊課程在內(nèi)的螺旋遞推式的計(jì)算思維課程體系，通識(shí)教育課程包括數(shù)據(jù)科學(xué)數(shù)學(xué)基礎(chǔ)、人工智能導(dǎo)論、操作系統(tǒng)、統(tǒng)計(jì)學(xué)、管理學(xué)基礎(chǔ)、計(jì)算機(jī)組成原理、數(shù)據(jù)科學(xué)導(dǎo)論、大數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫原理、大數(shù)據(jù)編程算法等課程，充分、綜合運(yùn)用管理學(xué)領(lǐng)域、教育學(xué)領(lǐng)域、計(jì)算機(jī)專業(yè)領(lǐng)域的基本概念、基本理論、基本方法、基本手段和基本過程對(duì)所需求解的大數(shù)據(jù)分析、處理、應(yīng)用問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納。因此，通過構(gòu)建面向計(jì)算思維能力的高職大數(shù)據(jù)專業(yè)課程體系并在實(shí)際的教學(xué)活動(dòng)中加以實(shí)踐，促進(jìn)學(xué)生熟練掌握大數(shù)據(jù)的基本概念、基本理論、基本知識(shí)、基本方法、基本手段、基本過程和基本技能[6]，從而具備初步的項(xiàng)目開發(fā)經(jīng)驗(yàn)和能力。2.2面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系。高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲(chǔ)、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才，即高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是以能力為本位的?；诿嫦蛴?jì)算思維能力的高職大數(shù)據(jù)專業(yè)課程體系，面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系是指將大數(shù)據(jù)主干課程劃分為專業(yè)骨干、專業(yè)實(shí)踐等模塊課程，它們屬于應(yīng)用能力培養(yǎng)的范疇，專業(yè)骨干課程可開設(shè)的課程主要包括大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)采集、存儲(chǔ)與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù)，專業(yè)實(shí)踐課程可開設(shè)課程包括大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等。這是高職大數(shù)據(jù)專業(yè)基于能力本位的課程體系整體框架中的核心課程，也是后期以“專業(yè)拓展”“綜合拓展”等模塊課程為標(biāo)志的工程能力培養(yǎng)課程開設(shè)的前提[5-7]。面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系側(cè)重于大數(shù)據(jù)應(yīng)用框架的部署和理解，課程內(nèi)容完美地體現(xiàn)了培養(yǎng)學(xué)生的大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等方面的核心能力。2.3面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系。工程能力是指在計(jì)算思維能力和應(yīng)用能力的基礎(chǔ)上，學(xué)生通過團(tuán)隊(duì)協(xié)作解決實(shí)際工作中較為復(fù)雜綜合性的工程項(xiàng)目開發(fā)問題的能力。因此，面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系包含專業(yè)拓展、綜合拓展等模塊課程，它們屬于工程能力培養(yǎng)的范疇，即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學(xué)家等工程項(xiàng)目設(shè)計(jì)與開發(fā)人才[6]。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系通過項(xiàng)目小組團(tuán)隊(duì)協(xié)作的形式，以工程項(xiàng)目與企業(yè)真實(shí)案例為驅(qū)動(dòng)，促使學(xué)生搭建大數(shù)據(jù)工程項(xiàng)目設(shè)計(jì)與開發(fā)的框架，細(xì)化框架內(nèi)部細(xì)節(jié)，集思廣益，形成最終的工程項(xiàng)目解決方案，并充分運(yùn)用所學(xué)的專業(yè)骨干、專業(yè)實(shí)踐等模塊課程中的大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)采集、存儲(chǔ)與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù)、大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等課程的核心知識(shí)，實(shí)施大數(shù)據(jù)工程項(xiàng)目的大數(shù)據(jù)采集、存儲(chǔ)、傳輸、分析、處理、應(yīng)用、作業(yè)調(diào)度、工程維護(hù)、代碼調(diào)錯(cuò)等，從而完美地實(shí)現(xiàn)培養(yǎng)學(xué)生解決實(shí)際工程問題能力的目標(biāo)[7-9]。
3基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建途徑
3.1構(gòu)建支撐計(jì)算思維能力培養(yǎng)的立體化課程資源。面向計(jì)算思維能力的課程體系是高職大數(shù)據(jù)專業(yè)發(fā)展的一個(gè)基礎(chǔ)性課程體系，這是大數(shù)據(jù)專業(yè)能力向應(yīng)用能力與工程能力縱深發(fā)展的延伸性課程，目的在管理學(xué)和教育學(xué)基本理論的基礎(chǔ)上，充分、綜合運(yùn)用計(jì)算機(jī)專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對(duì)所需求解的問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納，使學(xué)生掌握大數(shù)據(jù)專業(yè)的通識(shí)教育、大類教育、基本認(rèn)知等模塊課程，從而為學(xué)生拓展應(yīng)用能力與工程能力打下基礎(chǔ)。因此，需要構(gòu)建支撐計(jì)算思維能力培養(yǎng)的立體化課程資源，其主要形式是利用移動(dòng)互聯(lián)網(wǎng)設(shè)置集課程資源、線上線下資源、實(shí)踐課程資源為一體的立體化課程體系教學(xué)資源模式[5]，并利用移動(dòng)互聯(lián)網(wǎng)構(gòu)建多樣化的線上線下網(wǎng)上教學(xué)環(huán)境、學(xué)生線上線下學(xué)習(xí)平臺(tái)。課程教學(xué)資源以線上線下和任務(wù)與項(xiàng)目驅(qū)動(dòng)的實(shí)踐課程形式為主，學(xué)生在教師的啟發(fā)和引導(dǎo)下自主學(xué)習(xí)，時(shí)時(shí)講解、時(shí)時(shí)操作。在此立體化課程資源支撐下，按照“計(jì)算思維形成→基本技能訓(xùn)練→計(jì)算思維能力培養(yǎng)”的要求，充分運(yùn)用混合式翻轉(zhuǎn)教學(xué)方式，對(duì)一些重點(diǎn)難點(diǎn)的課程內(nèi)容進(jìn)行反復(fù)教學(xué)，實(shí)施數(shù)據(jù)挖掘與人工智能結(jié)合的大數(shù)據(jù)專業(yè)基礎(chǔ)知識(shí)的實(shí)際操作，對(duì)學(xué)生進(jìn)行個(gè)別指導(dǎo)，加深學(xué)生對(duì)基本知識(shí)點(diǎn)的掌握和理解。3.2搭建支撐應(yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺(tái)。高職大數(shù)據(jù)專業(yè)實(shí)踐性、應(yīng)用性極強(qiáng)，面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系要求搭建適當(dāng)?shù)闹螒?yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺(tái)以強(qiáng)化學(xué)生的應(yīng)用能力。搭建支撐應(yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺(tái)，重點(diǎn)是學(xué)校應(yīng)根據(jù)大數(shù)據(jù)專業(yè)人才培養(yǎng)目標(biāo)和計(jì)算思維能力培養(yǎng)需求，從硬件環(huán)境、軟件環(huán)境、線上線下網(wǎng)絡(luò)教學(xué)平臺(tái)等方面入手，構(gòu)建集大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等于一體的核心能力培養(yǎng)平臺(tái)[5-6]，大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)課程采用線上線下模式、理實(shí)一體化的教學(xué)方式，主要用于大數(shù)據(jù)專業(yè)的“專業(yè)骨干”“專業(yè)實(shí)踐”等模塊課程的實(shí)訓(xùn)教學(xué)；軟件條件方面，利用搭建的實(shí)訓(xùn)環(huán)境，以學(xué)生分組協(xié)作形式，可以選擇并行分布式處理軟件Hadoop和Spark，實(shí)施大數(shù)據(jù)預(yù)處理、模型的建立模型、參數(shù)的選擇，為學(xué)生提供大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計(jì)、大數(shù)據(jù)核心平臺(tái)技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)方面的實(shí)訓(xùn)項(xiàng)目，使學(xué)生掌握基本方法和技巧，理解基本工作原理，從而可以較好地培養(yǎng)學(xué)生應(yīng)用能力。3.3設(shè)計(jì)支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學(xué)家等工程項(xiàng)目設(shè)計(jì)與開發(fā)人才，它是圍繞學(xué)生的工程項(xiàng)目開發(fā)能力而設(shè)置的。因此，學(xué)校應(yīng)結(jié)合大數(shù)據(jù)專業(yè)的人才培養(yǎng)總體目標(biāo)、計(jì)算思維能力培養(yǎng)目標(biāo)和應(yīng)用能力培養(yǎng)目標(biāo)，設(shè)計(jì)支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目[6-9]，在每個(gè)項(xiàng)目中設(shè)置相應(yīng)的實(shí)驗(yàn)，力求做到課程與崗位能力對(duì)接，檢驗(yàn)學(xué)生對(duì)實(shí)踐知識(shí)的掌握情況以及解決問題的思想、手段和方法，從而為工程項(xiàng)目開發(fā)打下堅(jiān)實(shí)的基礎(chǔ)。在綜合性工程項(xiàng)目類型方面，把支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目分為設(shè)計(jì)性實(shí)驗(yàn)和綜合性實(shí)驗(yàn)，合理規(guī)劃工程能力培養(yǎng)計(jì)劃、培養(yǎng)標(biāo)準(zhǔn)以便較好地適應(yīng)工程能力培養(yǎng)的新形勢(shì)，讓學(xué)生在“練中學(xué)、學(xué)中練”，考察學(xué)生的實(shí)際工程項(xiàng)目開發(fā)能力，力求工程項(xiàng)目開發(fā)能力與企業(yè)標(biāo)準(zhǔn)對(duì)接。3.4創(chuàng)新基于學(xué)生能力本位的教學(xué)模式和教學(xué)方法。面向計(jì)算思維能力、應(yīng)用能力、工程能力培養(yǎng)的高職大數(shù)據(jù)專業(yè)課程體系是一種螺旋遞推式的課程體系，它完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學(xué)的內(nèi)在本質(zhì)?；趯W(xué)生能力本位的教學(xué)模式和教學(xué)方法是實(shí)現(xiàn)高職大數(shù)據(jù)專業(yè)課程教育教學(xué)內(nèi)在本質(zhì)的重要條件。因此，高職院校要從大數(shù)據(jù)專業(yè)人才培養(yǎng)和學(xué)生實(shí)際需求出發(fā)，制作精美的教學(xué)視頻，充分利用微課、翻轉(zhuǎn)課堂、多媒體、遠(yuǎn)程協(xié)作、虛擬現(xiàn)實(shí)、系統(tǒng)仿真、探究式、啟發(fā)式、逆向式、互動(dòng)式等教學(xué)方式、方法和手段[1-4]，按照“思維培養(yǎng)—應(yīng)用細(xì)化—工程開發(fā)”的教學(xué)模式，圍繞大數(shù)據(jù)專業(yè)的課程教學(xué)內(nèi)容，充分利用網(wǎng)絡(luò)資源，隨時(shí)調(diào)整教學(xué)細(xì)節(jié)，合理安排課時(shí)，及時(shí)記錄教學(xué)過程中的反饋信息，使得師生之間的良好互動(dòng)和溝通達(dá)到一定的廣度和深度，為學(xué)生掌握大數(shù)據(jù)專業(yè)課程的精髓和將來適應(yīng)工作崗位打下堅(jiān)實(shí)基礎(chǔ)。3.5加強(qiáng)基于學(xué)生能力本位的師資隊(duì)伍建設(shè)。高質(zhì)量的專業(yè)教師隊(duì)伍是構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的良好保障，因此高職院校要圍繞學(xué)生的計(jì)算思維能力培養(yǎng)、應(yīng)用能力培養(yǎng)、工程能力培養(yǎng)[5-9]，加強(qiáng)基于學(xué)生能力本位的師資隊(duì)伍建設(shè)，讓教師在教學(xué)與科研中取長補(bǔ)短，豐富知識(shí)結(jié)構(gòu)，相互促進(jìn)，相互提高，從而為教師專業(yè)素質(zhì)和創(chuàng)新實(shí)踐能力提供保障，提升教師授課水平。
4結(jié)語
高職大數(shù)據(jù)專業(yè)課程體系的構(gòu)建為提升學(xué)生的計(jì)算思維能力、應(yīng)用能力、工程能力提供了科學(xué)的發(fā)展平臺(tái)，對(duì)高職專業(yè)人才培養(yǎng)和課程改革具有重要的意義，同時(shí)也能使學(xué)生成為有知識(shí)、有能力的社會(huì)主義事業(yè)建設(shè)者和接班人。大數(shù)據(jù)對(duì)當(dāng)今社會(huì)的重要意義以及大數(shù)據(jù)專業(yè)人才的不足決定了大數(shù)據(jù)專業(yè)人才培養(yǎng)任重道遠(yuǎn)，但是不足也是動(dòng)力，也給未來高職大數(shù)據(jù)專業(yè)預(yù)留了很大的發(fā)展空間。
參考文獻(xiàn):
[1]林宛楊.“職教20條”建設(shè)背景下大數(shù)據(jù)課程體系改革[J].電腦知識(shí)與技術(shù),2020,16(36):170-171,176.
[2]劉建華,胡文瑜,唐鄭熠,等.數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)課程體系探索[J].科教文匯,2021(2):115-116.
[3]周黎鳴,林英豪,李征,等.新工科背景下大數(shù)據(jù)專業(yè)課程建設(shè)[J].計(jì)算機(jī)時(shí)代,2021(1):102-105.
[4]馬曉磊,霍恩澤.面向“互聯(lián)網(wǎng)+產(chǎn)學(xué)交融”的交通大數(shù)據(jù)課程體系建設(shè)[J].高教學(xué)刊,2021(7):86-89.
[5]崔琳,吳孝銀,張志偉.面向?qū)W生計(jì)算思維培養(yǎng)的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)課程體系建設(shè)模式探究[J].無線互聯(lián)科技,2020(4):121-122.
[6]戴牡紅.面向工程能力培養(yǎng)的大數(shù)據(jù)教學(xué)研究[J].軟件工程,2021,24(1):47-50.
[7]袁利平,楊陽.基于能力本位的教師教育課程體系建構(gòu)[J].河北師范大學(xué)學(xué)報(bào)（教育科學(xué)版）,2020,22(5):85-92.
[8]王姝,蘇志東.基于能力本位的反向課程設(shè)計(jì)方法應(yīng)用研究[J].微型電腦應(yīng)用,2020,36(9):77-82.
