|
一、開發(fā)背景 大數(shù)據正在逐漸成為社會基礎設施,成為每一家組織機構的標配。“大數(shù)據”之“大”,更多的意義在于:人類可以“分析和利用”的數(shù)據在大量增加,通過這些數(shù)據的交換、整合和分析,人類可以發(fā)現(xiàn)新的知識,創(chuàng)造新的價值,并讓很多常態(tài)化的認知、判斷、思維定式、產品形態(tài)、服務模式,形成全新的面貌和演進方向。 大數(shù)據已經引起國際社會的高度重視,世界各國都在加快推進大數(shù)據戰(zhàn)略布局。大數(shù)據產業(yè)已上升至國家戰(zhàn)略高度,正日益滲透到經濟發(fā)展和社會生活的方方面面。2015年9月5日,國務院發(fā)布《促進大數(shù)據發(fā)展行動綱要》,文件指出“數(shù)據已經成為國家基礎性戰(zhàn)略資源”,并在啟動的十大工程之一“公共服務大數(shù)據工程”中明確提出要建設教育文化大數(shù)據。
教育大數(shù)據已經上升到國家戰(zhàn)略層面,引起社會各界的廣泛關注和高度重視。教育大數(shù)據將首先破解傳統(tǒng)教育面臨的六大難題(發(fā)展不均衡難題、方式單調化難題、信息隱形化難題、決策粗放化難題、擇校感性化難題、就業(yè)盲目化難題),助推教育的全方位變革與創(chuàng)新發(fā)展。
確立教育大數(shù)據在我國教育事業(yè)發(fā)展與改革中的戰(zhàn)略地位已是國家教育現(xiàn)代化建設的必然要求。教育大數(shù)據是重要的國家戰(zhàn)略資產、教育領域綜合改革的科學力量與發(fā)展智慧教育的基石。
 人類社會已經迎來“大數(shù)據時代”。培養(yǎng)大數(shù)據人才、利用高校大數(shù)據深化高校管理促進高校改革發(fā)展、使用大數(shù)據平臺提高高校科研水平和效率,既是高校面臨的重要任務,也是高校發(fā)展的戰(zhàn)略機遇。 二、大數(shù)據定義
大數(shù)據(Bigdata)是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據庫軟件工具能力范圍的數(shù)據集合,需要使用新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應這種海量、高增長率和多樣化的信息資產。大數(shù)據能夠幫助我們洞見隱藏在巨量、雜亂的大數(shù)據背后的知識、真相和行為,通過挖掘數(shù)據的潛在價值,透析過去,預測未來。 大數(shù)據5v特征及其應用 價值(Value) 大數(shù)據分析挖掘和利用將帶來巨大的商業(yè)價值 多樣性(Variety) 來源廣、格式多,包括各種格式和形態(tài)的數(shù)據 大量化(Volume) 存儲量大,可從數(shù)百TB到PB、甚至EB的規(guī)模 準確性(Veracity) 處理的結果要保證一定的準確性 時效性(Velocity) 在一定的時間限度下得到及時處理 三、建設意義
高校作為高科技人才以及創(chuàng)新技術的搖籃,承載著科研攻關和人才培養(yǎng)的雙重使命。在新的科技浪潮中,高校應瞄準時代最前沿,將教學科研創(chuàng)新、專業(yè)人才培養(yǎng)與大數(shù)據緊密融合在一起,在更高起點上推動學校在大數(shù)據教學、科研以及創(chuàng)新方面再上新臺階。 ?高校面臨的大數(shù)據問題 1、數(shù)據驅動帶來的科研新挑戰(zhàn) 數(shù)據劇增由量變引起質變,使科研人員的思維和行為模式在傳統(tǒng)的學科研究領域發(fā)生轉變。如何借助大數(shù)據相關技術以及資源,找到本學科研究成果的新視角,已經成為當前高校研究的重要課題。 2、缺乏穩(wěn)定高效的大數(shù)據環(huán)境 高校不同學科與專業(yè)采用的大數(shù)據環(huán)境大多依賴現(xiàn)有的IT環(huán)境,導致大數(shù)據運行的基礎軟硬件環(huán)境比較混亂且極其不穩(wěn)定,缺乏有效的運維管理,嚴重影響教學和科研工作的正常進行。 3、數(shù)據規(guī)模日益龐大
數(shù)據來源多元化,共享數(shù)據庫涵蓋系統(tǒng)多,高校生源不斷擴張,信息不斷積累,致使數(shù)據庫中的信息不斷增加,進而為數(shù)據挖掘、管理和分析帶來了困難。 4、數(shù)據利用不充分 校園的信息仍然停留在收集和累積階段,盡管移動終端系統(tǒng)的不斷發(fā)展為信息采集帶來了極大的便利,但采集后的數(shù)據僅僅停留在查詢階段,并沒有對數(shù)據進行整合、分析和梳理,使得這些信息仍未被管理者采用,作為決策依據的信息則少之又少。 四、高校大數(shù)據平臺建設意義 1、實現(xiàn)科學化教育管理
注重相關關系識別,強調因果關系的確定,發(fā)現(xiàn)隱藏的、有用的信息,做好教育管理和決策工作的數(shù)據支持。 2、開啟“大數(shù)據 創(chuàng)客”新模式 完成創(chuàng)新應用及發(fā)布,完善高校信息化建設,提升高校實力,加速創(chuàng)客成果轉化,推動創(chuàng)意實現(xiàn)產業(yè)化,打造具有影響力的“創(chuàng)客校園”。 3、實現(xiàn)教育評價體系重構 采集教與學的全過程數(shù)據,全面客觀記錄學生成長軌跡,引導學生培養(yǎng)模式和教育質量管理方式科學健康發(fā)展。 4、實現(xiàn)教學模式改革 教學數(shù)據分析與預測,改變教學模式,實現(xiàn)個性化教育,調整教學方案,優(yōu)化教學方法,提高教學質量。 5、實現(xiàn)科學研究范式轉型
解決科研經費等科研管理難題,提供便捷的技術支撐與人性化服務,提高研究的效率和結果的可信度。 6、實現(xiàn)個性化學習 集成教育數(shù)據挖掘與學習分析技術,持續(xù)采集學習行為數(shù)據,智能分析,推送適合的學習資源并進行個性化學習建議。 五、三大用途
1、提高高??蒲兴胶托实钠脚_ 大數(shù)據科研平臺提供多場景數(shù)據計算和分析挖掘的科研基礎環(huán)境,充分結合行業(yè)課題的相關數(shù)據,利用大數(shù)據技術深入挖掘分析,滿足行業(yè)大數(shù)據的科研工作需求,進一步提升高校的大數(shù)據科研水平,借助完善的產學研體系,實現(xiàn)科研成果向業(yè)務價值的轉化。大數(shù)據技術在高??蒲泄芾韯?chuàng)新中的應用主要有以下幾個方面: 實現(xiàn)高??蒲羞x題科學化 挖掘社會公眾、工商企業(yè)、政府和事業(yè)單位以及其他非盈利機構對科學知識和技術的需求情況,辨別哪些科學知識和技術需求是最為迫切和社會經濟效益極為突出的,提高科研選題的針對性,實現(xiàn)科研選題的科學化。 避免重復研究 挖掘不同層級、不同類別和不同區(qū)域之間科研選題申報和立項情況,結合科研選題申報高校及其研究團隊的研究特長與特色,監(jiān)控科研項目重復立項風險,避免重復研究,節(jié)約科研經費,減少資源浪費。 實現(xiàn)研究數(shù)據共享復用 實現(xiàn)不同層級、類別和區(qū)域研究項目之間數(shù)據共享復用,節(jié)約數(shù)據采集成本,加快項目研究進展,提高效益及效率。 推動高校研究成果轉化 搭建開放式大數(shù)據科研平臺,充分融合教師的科研需求,提升教師的科研創(chuàng)新能力,充分提高“研”的成效,提供行業(yè)數(shù)據及案例解剖用于基礎研究,提供數(shù)據分析方案及流程,提供數(shù)據更新接口,為科研工作提供數(shù)據支撐。 監(jiān)督學術道德和誠信 高校科研管理人員在課題申報階段,對申請書進行學術道德與誠信的監(jiān)督,避免學術不端行為發(fā)生。 2、深化高校管理促進高校改革發(fā)展的平臺 數(shù)據挖掘算法 集群、分割、孤立點分析還有其他算法讓我們深入數(shù)據內部,挖掘價值。 預測性分析能力 預測性分析可以讓分析員根據可視化分析和數(shù)據挖掘的結果做出一些預測性判斷。 語義引擎 語義引擎需要能夠從“文檔”中智能提取非結構化數(shù)據信息,并利用一系列的工具去解析,提取,分析數(shù)據。 數(shù)據質量和數(shù)據管理 通過標準化的流程和工具對數(shù)據進行處理可以保證一個預先定義好的高質量的分析結果。 數(shù)據存儲和數(shù)據倉庫 便于多維分析和多角度展示數(shù)據按特定模式進行存儲所建立起來的關系型數(shù)據庫。數(shù)據倉庫提供數(shù)據抽取、轉換和加載,為聯(lián)機數(shù)據分析和數(shù)據挖掘提供數(shù)據平臺。 可視化分析 可視化可以直觀的展示數(shù)據,讓數(shù)據自己說話。 3、培養(yǎng)大數(shù)據人才的平臺 近年來,移動互聯(lián)網、云計算、大數(shù)據、物聯(lián)網等信息技術取得了突飛猛進的發(fā)展,已經在深刻地改變著人類社會的方方面面?!盎ヂ?lián)網 ”、大數(shù)據更是已經上升到了國家戰(zhàn)略層面,成為提升全社會的創(chuàng)新力、生產力,促進經濟發(fā)展新形態(tài)的基礎設施和實現(xiàn)工具。高校作為人才培養(yǎng)、技術創(chuàng)新的前沿陣地,需要充分感知最新技術發(fā)展方向,掌握和創(chuàng)新最前沿科學技術,培養(yǎng)時代迫切需求的創(chuàng)新型人才。 根據國內外高校開展大數(shù)據課程建設經驗以及現(xiàn)有大數(shù)據技術就業(yè)市場需求而構建的大數(shù)據人才培養(yǎng)平臺,以大數(shù)據為方向,引進國內外先進大數(shù)據技術、成熟解決方案以及管理與教學內容,搭建云計算、大數(shù)據管理技術、大數(shù)據應用軟件開發(fā)等技術平臺,培養(yǎng)學生研究大數(shù)據科學與工程領域問題、解決大數(shù)據實際應用問題的能力,系統(tǒng)掌握大數(shù)據主流的存儲、管理、分析處理技術,以及大數(shù)據平臺架構和建設,實現(xiàn)科研、教學與社會服務的順暢銜接,逐步打造以培養(yǎng)大數(shù)據人才為核心的科研、教學基地。 創(chuàng)新意識、創(chuàng)新精神、創(chuàng)新思維、創(chuàng)造力或創(chuàng)新人格等創(chuàng)新素質的培養(yǎng)需要一個長期的過程。創(chuàng)新教育與學科教育相結合,納入人才培養(yǎng)體系,利用大數(shù)據、“互聯(lián)網 ”、云平臺的優(yōu)勢,構建大數(shù)據人才平臺、打造創(chuàng)新教育人才培養(yǎng)新模式、創(chuàng)新教育教學組織新形式,使學生掌握企業(yè)運作的規(guī)律與本質,增加師生良性互動,真正培養(yǎng)出社會、企業(yè)所需要的創(chuàng)新型人才。 六、技術架構 Hadoop生態(tài)體系大數(shù)據平臺,以構建基礎硬件層為底層支撐,利用云計算、大數(shù)據的數(shù)據集成、數(shù)據安全、服務器集群、數(shù)據計算與挖掘分析等技術,遵循“1 8”(1個中心平臺8大技術標準)大數(shù)據標準體系,通過HIVE和HBASE構建大數(shù)據數(shù)據中心。在此基礎上,公司自主研發(fā)了“國子數(shù)據魔方”業(yè)務開發(fā)平臺,通過業(yè)務開發(fā)平臺進行應用開發(fā)、應用發(fā)布、服務注冊的信息化管理,并可以將應用以可視化界面展示給用戶,為領導決策提供數(shù)據依據。架構示意圖如下: 1基礎硬件層
基礎硬件層是由一組低廉的PC或服務器組合構建而成?;A硬件層主要承載著數(shù)據的存儲、運算、容錯、調度和通信等任務,對基礎應用層下達的指令進行執(zhí)行和反饋。 2服務器集群
服務器集群是將很多服務器集中起來一起進行同一種服務,集群可以獲得更高的計算速度,也可以用作備份,任何一個服務器損壞整個系統(tǒng)都能正常運行。群集化操作可以減少單點故障數(shù)量,實現(xiàn)群集化資源的高可用性。 3數(shù)據集成
大數(shù)據特征表現(xiàn)在實時、交互、海量等方面,并且以半結構化、非結構化數(shù)據為主,價值密度低,為了更好地“讓數(shù)據說話”,并充分發(fā)揮大數(shù)據價值效應,應堅持“能采盡采”的原則,數(shù)據源的涵蓋范圍要盡量大。 4大數(shù)據業(yè)務開發(fā)平臺
以Hadoop為核心,融合優(yōu)秀技術,提供開放的數(shù)據和業(yè)務開發(fā)平臺,進行應用開發(fā)、應用發(fā)布、應用注冊及應用服務的信息化流程管理,從而提升了大數(shù)據應用體驗,有利于發(fā)揮創(chuàng)新精神,創(chuàng)造無限價值。 5數(shù)據安全 大數(shù)據平臺通過一系列的認證授權和資源隔離機制,實現(xiàn)數(shù)據資源的安全性、可維護性、可用性、可信性。提供統(tǒng)一認證服務負責對使用者的身份進行驗證;提供統(tǒng)一授權服務負責對用戶的資源訪問權限進行控制;提供統(tǒng)一資源調度負責對用戶使用的底層資源進行隔離。 6大數(shù)據業(yè)務可視化分析
大數(shù)據業(yè)務可視化分析能夠將隱藏于海量數(shù)據中的信息和知識挖掘出來,為用戶提供可視化的操作分析界面;為用戶的相關活動提供數(shù)據依據,從而提高工作效率。 7大數(shù)據技術標準
一個中心平臺:大數(shù)據業(yè)務開發(fā)平臺。 8大技術標準:基礎標準、數(shù)據表示標準、數(shù)據處理標準、數(shù)據存儲標準、數(shù)據服務標準、數(shù)據安全和隱私標準、行業(yè)大數(shù)據標準、大數(shù)據產品測試標準。 8數(shù)據計算與分析挖掘
大數(shù)據平臺涵蓋了大數(shù)據場景下常用的計算場景,包含離線計算、實時計算、流式計算、數(shù)據挖掘與機器學習等??梢愿菀?、更方便地構建全生命周期的數(shù)據湖,使數(shù)據的加工、處理、創(chuàng)新過程更加豐富,從而實現(xiàn)數(shù)據的更大價值。 9大數(shù)據數(shù)據中心
通過對各種類型的結構化、半結構化、非結構化數(shù)據信息的采集、預處理、分析處理以及存儲等相關操作,構建統(tǒng)一、規(guī)范、全面的大數(shù)據數(shù)據中心,為相關工作提供數(shù)據支持。 七、標準體系 大數(shù)據信息標準為數(shù)據收集、數(shù)據處理、數(shù)據存儲、數(shù)據分析與挖掘提供指導和參照標準,加快建立高校信息采集、存儲、公開、共享、使用、質量保障和安全管理等技術標準,引導建立信息共享交換的標準規(guī)范,促進信息資源開發(fā)利用,實現(xiàn)大數(shù)據匯聚整合,為大數(shù)據、云計算提供強有力的基礎支撐。 抓好大數(shù)據標準體系建設,推進國家大數(shù)據戰(zhàn)略實施,應對三方面需求:面向高校教育的需要,研制開放、共享大數(shù)據標準;助力高校教育創(chuàng)新發(fā)展,制訂典型領域相關標準;保障資源安全、保護個人隱私,研制安全標準等,以數(shù)據為基本元素進行數(shù)據安全管理,規(guī)范數(shù)據的共享、使用和管理的整個流程,解決跨平臺的數(shù)據交互、數(shù)據開放共享等難題。 公司對我國現(xiàn)有標準、在研標準和將提出的標準計劃進行梳理,依據大數(shù)據技術體系,從基礎、技術、產品、應用等不同角度進行分析,形成了大數(shù)據標準體系框架,按照"1 8"的理念進行設計,即以"國子數(shù)據魔方"業(yè)務開發(fā)平臺為支撐,構建基礎標準、數(shù)據表示標準、數(shù)據處理標準、數(shù)據存儲標準、大數(shù)據服務標準、大數(shù)據安全和隱私標準、行業(yè)大數(shù)據應用標準和大數(shù)據產品測試八大技術標準。 通過平臺和技術標準的建設,整合和引導資源、激活科技要素、推動自主創(chuàng)新與開放創(chuàng)新,促進大數(shù)據健康發(fā)展;加速技術積累、科技進步、創(chuàng)新成果推廣,加速大數(shù)據在高校的廣泛應用,促進高校全面、協(xié)調、可持續(xù)發(fā)展;解決數(shù)據共享難、數(shù)據格式不統(tǒng)一、數(shù)據標準不規(guī)范、數(shù)據重復建設等難題。 4.數(shù)據存儲標準
非關系型數(shù)據庫規(guī)范、非結構化數(shù)據管理系統(tǒng)規(guī)范等大數(shù)據背景下的新型存儲系統(tǒng)相關規(guī)范,有助于數(shù)據進行交互式傳輸和管理,提高存儲量、存儲速度,進而為大數(shù)據快速挖掘、提取、分析提供基礎。 2.數(shù)據表示標準
數(shù)據編碼規(guī)范、元數(shù)據規(guī)范、非結構化數(shù)據、數(shù)據集統(tǒng)一描述規(guī)范等,確保數(shù)據信息的交互共享,進而消除信息孤島。 1.基礎標準 大數(shù)據術語、大數(shù)據參考架構、大數(shù)據平臺架構標準,能夠更加切合實際的對相關操作進行描述,形成統(tǒng)一數(shù)據標準,進而為數(shù)據庫提供基礎支撐和服務。 8.大數(shù)據產品測試標準
大數(shù)據產品的測試場景、測試指標、測試工具等。大數(shù)據產品測試標準的建立能夠公平、客觀地評測大數(shù)據產品的功能和性能,對人們選擇合適的大數(shù)據產品具有重要的參考價值。 5.大數(shù)據服務標準
提供大數(shù)據實時分析服務、可視化服務等一系列大數(shù)據服務的標準化描述和接入,提升數(shù)據之間的關聯(lián)性,降低數(shù)據分析的復雜度,大幅度提高分析的準確性。 7.行業(yè)大數(shù)據應用標準
相關領域大數(shù)據應用、領域大數(shù)據的分類和編碼等方面的標準,能夠更準確地規(guī)范各行業(yè)的數(shù)據標準,并推出與行業(yè)相匹配的產品。 3.數(shù)據處理標準
數(shù)據質量評價標準、數(shù)據采集標準、數(shù)據組織標準等大數(shù)據處理階段相關的標準規(guī)范,消除變量自身變異和數(shù)值大小的影響,為大數(shù)據應用打下良好的基礎。 6.大數(shù)據安全和隱私標準
大數(shù)據對外服務時,制定數(shù)據存儲安全、數(shù)據傳輸安全、數(shù)據分析挖掘安全等方面的標準,為安全面臨的內部管理和外部攻擊提供可靠的數(shù)據存儲、安全的挖掘分析、嚴格的運營監(jiān)管。 八、業(yè)務開發(fā)平臺 為提供眾多便捷易用的開發(fā)框架和服務引擎,使用戶可以迅速地掌握、認知以及使用平臺上開放的數(shù)據,針對不同的應用場景選擇合適的服務引擎進行二次開發(fā),公司自主研發(fā)“國子數(shù)據魔方”業(yè)務開發(fā)平臺,在提供開放數(shù)據的同時,也允許用戶通過該平臺進行大數(shù)據應用的開發(fā),為用戶提供一體化應用開發(fā)、測試、部署、運行、管理、監(jiān)控等托管環(huán)境,使應用開發(fā)人員無需關心應用的底層硬件和基礎設施建設,從而提高工作效率。其架構圖如下: 大數(shù)據業(yè)務平臺層 大數(shù)據業(yè)務平臺由組件、大數(shù)據處理引擎、APP、BI引擎構建而成。大數(shù)據業(yè)務平臺是基于PAAS思想構建,并遵循SAAS標準。 1.BI引擎
BI引擎對構建的APP的數(shù)據綁定服務和圖表形式進行解析和展現(xiàn)。 2.大數(shù)據處理引擎
大數(shù)據處理引擎是整個業(yè)務平臺的執(zhí)行中樞,通過對發(fā)布服務中的關聯(lián)組件進行解析、調度、執(zhí)行、迭代、合并等操作實現(xiàn)整個服務的平穩(wěn)運行。 3.組件
組件是大數(shù)據業(yè)務平臺的最基本元素,在大數(shù)據業(yè)務平臺中內建組件接口標準,所有的組件都遵循該標準。在標準中定義組件的輸入、私有項和輸出。在業(yè)務開發(fā)過程中,通過圖形化界面對一個或多個組件進行創(chuàng)建、編輯和關聯(lián),從而組合成一個數(shù)據處理服務對外發(fā)布。 4.APP
APP是由一個或多個發(fā)布的數(shù)據處理服務組合而成的輕應用。用戶通過圖形化界面編輯APP展現(xiàn)的數(shù)據和圖表形式。 ?大數(shù)據數(shù)據中心
大數(shù)據數(shù)據中心不是簡單的硬件設備集成,也不僅僅是數(shù)據存儲的中心,而是數(shù)據流通和應用服務的中心。它具備十分豐富的信息資源、安全可靠的機房設施、高水平的網絡管理和十分完備的增值服務,數(shù)據中心是高校信息化建設的基礎性項目之一。 數(shù)據中心通過統(tǒng)一的數(shù)據格式實現(xiàn)應用系統(tǒng)之間的數(shù)據交換和共享。高校數(shù)據中心具有以下建設意義: 1.便于后期的應用系統(tǒng)開發(fā),將應用與數(shù)據分離開來,降低應用系統(tǒng)擴展開發(fā)的難度,為全面整合高校應用系統(tǒng)打下堅實的基礎。
2.為學校部門和各位領導提供實時數(shù)據。各部門之間可以很方便地查看其他部門的公開數(shù)據;領導可以統(tǒng)籌查看全校所有部門的業(yè)務數(shù)據,能夠直觀地了解學校的情況。
3.收集、存儲各類數(shù)據的同時有效地將數(shù)據管理起來,打破“信息孤島”的存在,為高校各個應用系統(tǒng)提供統(tǒng)一的數(shù)據服務,保證數(shù)據的一致性。
九、應用開發(fā)與服務注
數(shù)據有序開放 大眾創(chuàng)業(yè),萬眾創(chuàng)新”的政策和移動互聯(lián)網、大數(shù)據、物聯(lián)網等新技術的快速發(fā)展,驅動了面向互聯(lián)網的傳統(tǒng)行業(yè)的快速創(chuàng)新。大數(shù)據是一把雙刃劍,開放的同時意味著社會的風險。如何做好數(shù)據的有序開放是大數(shù)據面臨的難題,我們主要按照以下原則進行大數(shù)據的有序開放。 1.高校數(shù)據共建 建立統(tǒng)一的數(shù)據標準和數(shù)據存放接口的互聯(lián),使數(shù)據從產生開始就有共同的標準。 2.高校數(shù)據的互通 按照“1 8”大數(shù)據標準體系,建立大數(shù)據數(shù)據中心,消除高校信息化建設的信息孤島,實現(xiàn)高校數(shù)據互通。 3.高校數(shù)據共享 高校數(shù)據來自數(shù)字化校園的方方面面,在保障數(shù)據安全的前提下,數(shù)據需要經過加工脫敏之后,再對用戶開放,讓數(shù)據服務于高校,進而為高校創(chuàng)造數(shù)據價值。 數(shù)據API服務接口 API(ApplicationProgrammingInterface,應用程序編程接口)是一些預先定義的函數(shù),目的是提供應用程序與開發(fā)人員基于某軟件或硬件得以訪問一組例程的能力,而又無需訪問源碼,或理解內部工作機制的細節(jié)。 API接口廣泛應用于APP、客戶端、網頁、軟件等,不僅適用于獲取數(shù)據,也適用于更新數(shù)據、刪除數(shù)據以及其他操作等。為了便于創(chuàng)客便捷、安全、自助調用數(shù)據,平臺提供友好、便捷、標準、開放、模塊化的API接口,遵循HTTP、TCP、UDP協(xié)議的數(shù)據傳輸模式,以EJB服務器端組件為模型,將開放的服務整合到自己應用中,進而激發(fā)更多富有創(chuàng)意的應用產生。 創(chuàng)客創(chuàng)新應用 創(chuàng)客的共同特征是創(chuàng)新、實踐與分享,他們有著豐富多彩的興趣愛好,以及各不相同的特長,一旦他們聚到一起,相互協(xié)調,發(fā)揮自己特長時,就會爆發(fā)巨大的創(chuàng)新活力。 面對創(chuàng)客開發(fā)者需要快速準備和部署開發(fā)環(huán)境以及根據規(guī)模靈活調整的業(yè)務需求,我們研發(fā)的“國子數(shù)據魔方”大數(shù)據業(yè)務開發(fā)平臺不僅為創(chuàng)客提供了傳統(tǒng)的配套設施,還包括創(chuàng)客所需要的軟硬件開發(fā)環(huán)境和網絡資源。 創(chuàng)客通過平臺調用開放的數(shù)據及API服務接口,依據平臺內應用的使用規(guī)范,展示自己的創(chuàng)意成果,通過對創(chuàng)意成果的詳細介紹以及推廣共享,讓更多的朋友了解其制作技術特點。 服務注冊 用戶對大數(shù)據的需求主要體現(xiàn)在信息能夠按需搜索,能夠提供友好、可信的信息推薦、能夠提供高階服務。通過“國子數(shù)據魔方”開發(fā)平臺,用戶可以搜索應用,注冊成功后,與創(chuàng)客之間進行溝通、交流。一方面創(chuàng)客可以得到更多良好的建議和方法,進而改善自己的創(chuàng)新應用,提高創(chuàng)意成果的質量,另一方面訪問者可以通過應用滿足自己的需求,從而凸顯大數(shù)據的核心價值。 十、應用方案
大數(shù)據業(yè)務應用基于Hadoop生態(tài)集群,將數(shù)字化校園相關的人、財、物、網絡等結構化、半結構化和非結構化數(shù)據,利用HDFS、Mapreduce進行分布式文件存儲及計算,采用關聯(lián)規(guī)則分析、聚類分析、相關分析等分析方法,以各種可視化圖形的方式,將結果展示給用戶,為領導決策提供數(shù)據支撐。大數(shù)據業(yè)務應用包括教學創(chuàng)新的應用、科研創(chuàng)新的應用、管理創(chuàng)新的應用以及其他方面的創(chuàng)新應用。 大數(shù)據教學創(chuàng)新 1、學生成績分析:對學生成績以及排名等數(shù)據進行分析研究,更加清晰地了解學生成績的整體分布狀況以及學生的學習狀況。 2、上網行為:對各年級同學上線次數(shù)、上網時間段、總流量以及在線課程的歡迎程度等數(shù)據進行分析研究,引導學生合理運用網絡資源,樹立健康的上網理念。 3、教學質量評估:對學生給予教師的評價、學生活躍程度、學生成績和教師授課情況等數(shù)據進行分析研究,幫助教師更好地進行教學活動。
大數(shù)據科研創(chuàng)新
1、科研經費:對科研經費的投入、科研論著的發(fā)表數(shù)量以及各學院經費的投入和支出等數(shù)據進行分析研究,直觀地了解科研經費、科研成果以及科研獎勵等方面的信息。 2、科研項目:對科研項目的負責人年齡、學歷、以及院系等高校科研項目信息進行分析研究,更全面地了解學校科研項目情況。 3、科研成果:對科研成果的獲獎比例、科研成果的學科背景和科研成果的論文級別等數(shù)據進行分析研究,清晰統(tǒng)計科研獲獎情況。 大數(shù)據管理創(chuàng)新
1、資產數(shù)據統(tǒng)計分析:對資產的數(shù)量、資產的分類以及資產的年增長率等數(shù)據進行分析研究,為各類資產的購置和合理分配提供了決策支持,便于校領導從全局上把握資產信息,加強成本核算,對固定資產進行系統(tǒng)的規(guī)劃、建設和管理。 2、就業(yè)分析:對學生就業(yè)的地區(qū)分布、就業(yè)行業(yè)以及就業(yè)專業(yè)排名等數(shù)據進行分析研究,為高校決策者提供指導或數(shù)據支持,改進現(xiàn)有的教育模式,提高對畢業(yè)生就業(yè)指導的實效性。 3、招生分析:對學生的生源地以及招生的學生類型等數(shù)據進行分析研究,發(fā)現(xiàn)哪幾個地區(qū)的考生是歷年招生的主力軍,進而為學校做到有重點、有突出、有成果的招生指導。 4、住宿分析:對學生住宿過程產生的數(shù)據進行分析研究,幫助學校相關管理人員更加合理地分配宿舍資源,更加科學地進行宿舍管理。 大數(shù)據創(chuàng)新應用 1、學生畫像:對學生在校生活和學習狀況等數(shù)據進行分析研究,掌握學生的目標動向,無論是學習還是參與社會活動,都能夠有的放矢地幫助學生做進一步規(guī)劃。 2、學生軌跡分析:對學生各學年的成績、餐廳消費、購物、進出圖書館的次數(shù)、借閱圖書以及吃早餐的次數(shù)等數(shù)據進行分析研究,利用這些數(shù)據,不僅能預測出學生的學習狀況,而且學校還可以依此引導他們更好地規(guī)劃各自的學業(yè)和就業(yè)方向。
信息發(fā)布:廣州名易軟件有限公司 http://m.jetlc.com
|