大數(shù)據(jù)實驗平臺是云創(chuàng)大數(shù)據(jù)為高校開設(shè)大數(shù)據(jù)相關(guān)專業(yè)而研發(fā)的實驗實訓(xùn)平臺，它融合了代表性的大數(shù)據(jù)平臺、大數(shù)據(jù)編程語言、數(shù)據(jù)挖掘與大數(shù)據(jù)分析方向相關(guān)課程、實訓(xùn)、案例實戰(zhàn)等內(nèi)容,培養(yǎng)學(xué)生的實戰(zhàn)動手能力，從而適應(yīng)大數(shù)據(jù)分析、大數(shù)據(jù)治理、大數(shù)據(jù)運(yùn)維、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)建模、大數(shù)據(jù)可視化等工作崗位需求。
產(chǎn)品介紹
產(chǎn)品特性
平臺通過云計算技術(shù)對計算、存儲、網(wǎng)絡(luò)等資源進(jìn)行統(tǒng)一的管理和調(diào)度， 支持容器虛擬化技術(shù)，支持私有化部署，支持課程、實驗、用戶、資源等管理功能。通過平臺，老師可以一鍵搭建實驗環(huán)境，在線跟蹤學(xué)生實驗進(jìn)展，并進(jìn)行在線學(xué)習(xí)診斷.學(xué)生可以直接通過瀏覽器訪問平臺，根據(jù)指南在線做實驗、寫報告，無需配置繁瑣的本地環(huán)境。結(jié)合大數(shù)據(jù)就業(yè)環(huán)境、崗位模型、企業(yè)人才需求，設(shè)置了本科應(yīng)用型、本科研究型、高職三大課程體系，并全面支撐計算機(jī)、大數(shù)據(jù)、金融、應(yīng)用數(shù)學(xué)、統(tǒng)計以及電子商務(wù)等專業(yè)建設(shè)。
產(chǎn)品架構(gòu)
大數(shù)據(jù)實驗平臺包括底層的分布式軟硬件環(huán)境和支撐教學(xué)和實驗資源。硬件通過高速網(wǎng)絡(luò)連接多臺x86服務(wù)器構(gòu)建集群計算環(huán)境;底層軟件采用容器技術(shù)，將有限的物理服務(wù)器虛擬出大量的虛擬服務(wù)器，從而提供充足的實驗計算資源;平臺集成多種主流大數(shù)據(jù)平臺、分析框架和挖掘算法。平臺可以快速批量搭建開展大數(shù)據(jù)實驗所需的運(yùn)行環(huán)境以及應(yīng)用環(huán)境，實現(xiàn)大數(shù)據(jù)實驗要求的分布式計算實驗環(huán)境，并可以實現(xiàn)實驗環(huán)境的隔離;提供多個行業(yè)的實戰(zhàn)案例資源包，內(nèi)含項目數(shù)據(jù)、代碼以及配套實驗手冊，并提供真實應(yīng)用案例的實踐，實現(xiàn)理論教學(xué)與企業(yè)需求無縫銜接。
產(chǎn)品優(yōu)勢
完善的平臺支撐
平臺底層采用分布式架構(gòu)，安全穩(wěn)定、方便擴(kuò)展。可以靈活配置實驗環(huán)境資源，直觀清晰地管理虛擬環(huán)境，支持負(fù)載均衡多用戶并發(fā)，在實驗人數(shù)較多情況下保證平臺運(yùn)行流暢，高效開展實驗教學(xué)。
豐富的軟件框架
覆蓋主流的大數(shù)據(jù)挖掘、分析框架一- Hadoop. Spark、 Kafka、 Storm、Hive、 HBase、Zookeeper等
個性化的實驗環(huán)境
用戶可自行創(chuàng)建個性化的實驗環(huán)境。在物理資源允許的情況下，可對其進(jìn)行資源配置,動態(tài)調(diào)整CPU數(shù)量、節(jié)點個數(shù)及內(nèi)存大小。
多樣化的開發(fā)環(huán)境
平臺提供多種在線編程環(huán)境，如基于命令行的WebSSH和基于界面操作的JupyterLab、VSCode，同時提供“-鍵搭建”功能，可快速部署實驗需要的組件,提高實驗教學(xué)效率。
完整的課程體系
以新工科要求為導(dǎo)向，以行業(yè)崗位要求為目標(biāo)，面向大數(shù)據(jù)管理與應(yīng)用、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、環(huán)保、金融、交通等相關(guān)交叉學(xué)科，應(yīng)用于教學(xué)實踐、項目實訓(xùn)，覆蓋數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)挖掘多個技術(shù)路徑。
配套大數(shù)據(jù)教材
由南京云創(chuàng)大數(shù)據(jù)總裁劉鵬教授主編，聯(lián)合全國高校老師和云創(chuàng)大數(shù)據(jù)工程師共同編寫，形成完整的大數(shù)據(jù)高級人才和應(yīng)用人才教材體系，分別在電子工業(yè)出版社和清華大學(xué)出版社出版，配套實驗體系建立了完整的理論教學(xué)體系，被國內(nèi)數(shù)百所高校采用。其中，《云計算》 在中國知網(wǎng)高被引圖書排行榜上被引用次數(shù)比第二名高出一倍以上。
豐富的實驗內(nèi)容
基于企業(yè)級項目案例編制的實驗，涵蓋幾十種典型分析場景，讓學(xué)生了解行業(yè)最新技術(shù)與應(yīng)用場景，通過實戰(zhàn)演練提升學(xué)生解決實際問題的能力。
每個實驗包含詳細(xì)的實驗?zāi)康?、要求、原理、步驟等內(nèi)容，配套相應(yīng)的實驗數(shù)據(jù)，用戶參照實驗手冊即可輕松完成實驗。重要實驗提供實驗操作講解視頻，可進(jìn)一步 降低用戶學(xué)習(xí)大數(shù)據(jù)的門檻。
- Linux系統(tǒng)實驗:包括常用基本命令、文件操作、sed. awk、 文本編輯器vi、grep等。
- Python語 言編程實驗:包括流程控制、列表和元組、文件操作、正則表達(dá)式、字符串、字典等。
- R語言編程實驗:包括流程控制、文件操作、數(shù)據(jù)幀、因子操作、函數(shù)、線性回歸等。
- 大數(shù)據(jù)處理技術(shù)實驗:包括HDFS實驗、YARN實驗、MapReduce實驗、Hive實驗、Spark實驗、Zookeeper實驗、HBase實驗、Storm實驗等 。
- 數(shù)據(jù)采集實驗:包括網(wǎng)絡(luò)爬蟲原理、爬蟲之協(xié)程異步、爬取豆瓣電影信息、爬取豆瓣圖書Top250、爬取雙色球開獎信息等。
- 數(shù)據(jù)清洗實驗:包括Excel數(shù)據(jù)清洗常用函數(shù)、Excel數(shù)據(jù)分裂、Excel|快速定 位和填充、住房數(shù)據(jù)清洗、客戶簽到數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)脫敏等。
- 數(shù)據(jù)標(biāo)注實驗:包括標(biāo)注工具的安裝與基礎(chǔ)操作、車牌夜晚環(huán)境標(biāo)框標(biāo)注、車牌日常環(huán)境標(biāo)框標(biāo)注、不完整車牌標(biāo)框標(biāo)注、行人標(biāo)框標(biāo)注、物品分類標(biāo)注等。
- 數(shù)據(jù)分析及可視化實驗:包括Jupyter Lab、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。
- 數(shù)據(jù)挖掘?qū)嶒? 包括決策樹分類、樸素貝葉斯分類、K最近鄰分類、支持向量機(jī)分類、K- -means聚類等。
- 金融大數(shù)據(jù)實驗: 包括時間序列分析、金融風(fēng)險管理、預(yù)測股票走勢、中美實時貨幣轉(zhuǎn)換、航空公司客戶價值分析等。
- 電商大數(shù)據(jù)實驗:包括基于基站定位數(shù)據(jù)的商圈分析、員工離職預(yù)測、數(shù)據(jù)分析、電商產(chǎn)品評論數(shù)據(jù)情感分 析、電商打折套路解析等。
- 數(shù)理統(tǒng)計實驗:包括高級數(shù)據(jù)管理、基本統(tǒng)計分析、回歸、方差分析、功效分析、中級繪圖等。
- 科研環(huán)境數(shù)據(jù):包括提供多種多樣的科研環(huán)境，包括科研所需要的人臉數(shù)據(jù)、交通數(shù)據(jù)、環(huán)保數(shù)據(jù)、傳感器 數(shù)據(jù)、圖片數(shù)據(jù)等。
教學(xué)支撐
平臺提供實驗數(shù)據(jù)、實驗管理、課程管理、項目實戰(zhàn)、考試等功能模塊，支撐備課、授課、作業(yè)等場景，覆蓋課前、課中和課后各環(huán)節(jié)，通過動態(tài)化過程數(shù)據(jù)分析，實現(xiàn)學(xué)生學(xué)習(xí)質(zhì)量的全面掌控。
課程編排
平臺提供了多個技術(shù)方向的推薦課程供用戶直接使用，也提供用戶自主進(jìn)行編排課程。幫助老師快速備課教學(xué)的同時，也能兼顧其個性化、差異化的教學(xué)需求。
測評模塊
- 支持學(xué)生在線實驗與實驗報告在線編寫，支持報告在線比對查重;
- 支持實驗完成情況自動統(tǒng)計并生成報告，支持在線批閱自動留痕。
考試模塊
- 支持按題型、知識點等多種方式自動組卷;
- 提供選擇、填空、判斷、簡答、編程等上千道試題，試題內(nèi)容緊扣實驗;
- 實時監(jiān)控考試情況，多種反作弊技術(shù);
- 支持在線批閱試卷，多種題型可自動判分。
項目實訓(xùn)
項目實訓(xùn)包含了物聯(lián)網(wǎng)、車聯(lián)網(wǎng)以及金融等多個行業(yè)的真實案例，平臺提供標(biāo)準(zhǔn)企業(yè)開發(fā)環(huán)境以及完整的實訓(xùn)指導(dǎo)，學(xué)生在項目環(huán)境中進(jìn)行實踐，感受項目開發(fā)全過程,培養(yǎng)學(xué)生面對實際問題的處理能力與項目責(zé)任感，提升學(xué)生實踐能力以及對企業(yè)項目的初步認(rèn)識。
賽事支撐
支持大數(shù)據(jù)省賽專業(yè)服務(wù)，已成功多次支撐山西、山東等省級大數(shù)據(jù)技術(shù)與應(yīng)用技術(shù)大賽。與國賽大數(shù)據(jù)比賽無縫對接，提供多套競賽環(huán)境、比賽試題和數(shù)據(jù)集供學(xué)生使用。
