DB-SD23  AI人工智能實驗箱

AI人工智能實驗箱：開啟您的AI學(xué)習(xí)之旅！
2017年，Transformer出現(xiàn)在一篇論文《 Attention Is All You Need》中被引入，并在自然語言處理中得到廣泛應(yīng)用。
2022年：ChatGPT的橫空出世
2022年11月，OpenAI發(fā)布了基于Transformer模型的大型語言模型ChatGPT，引發(fā)了全世界的AI浪潮，被《大西洋》雜志評為“年度突破”，并稱其“可能會改變我們對工作方式、思考方式以及人類創(chuàng)造力的真正含義的想法”。
2023年：AI元年，全球競速，勢不可擋！
中國：國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，將人工智能列為國家戰(zhàn)略，目標(biāo)到2030年成為世界領(lǐng)先者。
美國：發(fā)布《人工智能國家戰(zhàn)略》，持續(xù)加大投入，保持領(lǐng)先優(yōu)勢。
歐盟：發(fā)布《人工智能白皮書》，將人工智能視為歐洲未來經(jīng)濟(jì)增長引擎。
全球：人工智能在醫(yī)療、技術(shù)、教育、交通、金融、娛樂等領(lǐng)域廣泛應(yīng)用，帶來前所未有的變革。

AI 的新時代已經(jīng)降臨，而你，準(zhǔn)備好了嗎？
AI人工智能實驗箱專為高校人工智能教學(xué)打造的全功能平臺，讓您輕松掌握AI技術(shù)，開啟智能時代的大門！
三大核心優(yōu)勢，助您一路領(lǐng)先：
1. 由淺入深，循序漸進(jìn)
從基礎(chǔ)的GPIO擴(kuò)展到深度學(xué)習(xí)的AI視覺、AI聽覺，上海頂邦A(yù)I平臺提供完整的學(xué)習(xí)路徑，讓您一步步掌握AI知識體系，輕松應(yīng)對各種挑戰(zhàn)。

2. 軟硬結(jié)合，實踐為王
AI人工智能實驗箱將理論與實踐完美結(jié)合，豐富的實驗項目讓您在實踐中學(xué)習(xí)，在應(yīng)用中鞏固，真正將AI知識融會貫通。


3. 開放靈活，激發(fā)創(chuàng)新
開放的GPIO接口和模塊化設(shè)計，支持個性化功能開發(fā)，讓您將創(chuàng)意變?yōu)楝F(xiàn)實，打造屬于自己的AI項目。


用戶的評價：
1. 來自高校教師的評價：
“課程內(nèi)容豐富，教學(xué)效果杠杠的，學(xué)生們都搶著學(xué)AI！”
“以前教AI，我頭都大了，各種理論知識，學(xué)生們聽得云里霧里?，F(xiàn)在有了上海頂邦A(yù)I實驗箱，我輕松多了，直接讓學(xué)生做實驗，學(xué)得賊快！”
2. 來自學(xué)生的評價：
“以前我對AI一點都不懂，現(xiàn)在我都能開發(fā)自己的AI項目了！”
“課程由淺入深，循序漸進(jìn)，小白也能輕松上手。老師講得也好，我聽得懂，學(xué)得會！”
3. 來自校領(lǐng)導(dǎo)的評價

“AI人工智能實驗箱能夠幫助學(xué)生快速掌握AI知識和技能。平臺提供的實驗項目也非常實用，能夠幫助學(xué)生將理論知識應(yīng)用到實踐中?！?br style="padding: 0px; margin: 0px;"/>
“我們相信，借助上海頂邦人工智能實驗箱，我們學(xué)校的AI教學(xué)水平將不斷提升，學(xué)生們也將能夠在未來的AI時代取得更大的成就。”
AI人工智能實驗箱不僅是學(xué)習(xí)AI的最佳工具，更是您通往AI未來的橋梁！

一、AI核心
         

GPU ：128核 NVIDIA Maxwell GPU
CPU ：4核cortex-A57處理器
內(nèi)存：4 GB LPDDR 25.6 GB/s
算力：472 GFLOP
基于NVIDIA強(qiáng)大的Al計算能力，系統(tǒng)內(nèi)核是一個小巧卻功能強(qiáng)大的計算機(jī)，它可以讓你并行運行多個神經(jīng)網(wǎng)絡(luò)、對象檢測、分割和語音處理等應(yīng)用程序， 系統(tǒng)搭載四核cortex- A57處理器，128核Maxwell GPU及 4GB LPDDR內(nèi)存，帶來足夠的Al計算能力，提供472GFLOP算力，并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch、 caffe/caffe2、Keras、MXNET等。

二、系統(tǒng)框架與AI框架
1. 系統(tǒng)預(yù)裝ubuntu18.04操作系統(tǒng)，所有環(huán)境代碼庫文件均已安裝，開機(jī)即用。
Ubuntu 18.04 LTS在云計算領(lǐng)域效率極高，特別適用于機(jī)器學(xué)習(xí)這樣的存儲密集型和計算密集型任務(wù)。Ubuntun 長期支持版本可以獲得 Canonical 官方長達(dá)五年的技術(shù)支持。Ubuntu 18.04 LTS 還將附帶了 Linux Kernel 4.15，其中包含針對 Spectre 和 Meltdown 錯誤的修復(fù)程序。


2. 提供詳細(xì)的python開源范例程序
根據(jù)TIOBE最新排名 ，Python已超越C#，與Java,C,C++一起成為全球前4大最流行語言。國內(nèi)目前百度指數(shù)搜索量已經(jīng)超越Java，與C++，即將成為國內(nèi)最受歡迎的開發(fā)語言。
Python被廣泛應(yīng)用于后端開發(fā)、游戲開發(fā)、網(wǎng)站開發(fā)、科學(xué)運算、大數(shù)據(jù)分析、云計算，圖形開發(fā)等領(lǐng)域；Python在軟件質(zhì)量控制、提升開發(fā)效率、可移植性、組件集成、豐富庫支持等各個方面均處于先進(jìn)地位。python具有 簡單、易學(xué)、免費、開源、可移植、可擴(kuò)展、可嵌入、面向?qū)ο蟮葍?yōu)點，它的面向?qū)ο笊踔帘萰ava和C#.net更徹底；

3. JupyterLab編程
JupyterLab是一個基于Web的交互式開發(fā)環(huán)境，用于Jupyter筆記本、代碼和筆記本、代碼和數(shù)據(jù).JupyterLab非常靈活配置和排列用戶界面，以支持?jǐn)?shù)據(jù)科學(xué)、科學(xué)計算和機(jī)器學(xué)習(xí)中廣泛的工作流.JupyterLab是可擴(kuò)展的和模塊化的編寫插件，添加新組件并與現(xiàn)有組件集成
 

4. 多種AI框架
OpenCV計算機(jī)視覺庫，TensorFlow AI框架，Pytorch AI框架等


三、AI人工智能實驗箱特點
? 支持多模態(tài)輸入，跨語言編程，優(yōu)化深度學(xué)習(xí)模型
? 人體姿態(tài)估計，應(yīng)用于實際場景
? 實時背景移除，基于深度學(xué)習(xí)，高效實時移除背景
? 目標(biāo)檢測，多目標(biāo)檢測能力強(qiáng)

? 語義分割，像素級別的詳細(xì)分類，適用于環(huán)境感知
? 單目深度，無需特殊相機(jī)，利用全卷積網(wǎng)絡(luò)，可從單個圖像推斷相對深度，應(yīng)用廣泛。


? 語音情感識別，采用Mobilenet_v2模型處理語音情感，輕量化、高效

? 六自由度機(jī)械臂，智能舵機(jī)，ROS控制，適用于AI視覺顏色分揀實驗


? 車牌識別，使用Teseract-OCR 引擎，識別準(zhǔn)確率高，使用場景廣泛。

? ROS機(jī)器人系統(tǒng)，跨平臺兼容，代碼開源，模塊化設(shè)計，通用性強(qiáng)靈活性高。

AI聽覺主板，具備高質(zhì)量音頻處理和語音服務(wù)，搭載Snowboy喚醒詞檢測引擎，可以完成語音情感識別、圖靈機(jī)器人、語音對話等實驗。

四、硬件資源

一、硬件資源

功能單元	參數(shù)	功能描述
實驗箱	外形尺寸：≥610*440*240mm；	外箱采用鋁木合金材料，四周安裝尼龍防護(hù)墊，實驗箱體內(nèi)部包含存儲空間，可以妥善存放模塊及配件，打開方式為按壓彈出。
AI運算單元	GPU ：128核 NVIDIA Maxwell GPU； CPU ：4核cortex-A57處理器； 內(nèi)存：4 GB LPDDR 25.6 GB/s； 算力：472 GFLOP； 核心擴(kuò)展：擁有最少4個USB3.0接口，支持HDMI和DP視頻接口，一路M.2接口的單路PCIE，并安裝有散熱風(fēng)扇， 40pin GPIO； 網(wǎng)絡(luò)：千兆以太網(wǎng)口、無線網(wǎng)卡支持2.4Ghz/5GHZ,支持藍(lán)牙4.2；	安裝Ubuntu 18.04 LTS+ROS Melodic操作系統(tǒng)，集成JupyterLab開發(fā)環(huán)境、Anaconda 4.5.4虛擬環(huán)境，支持一系列流行的AI框架和算法，比如TensorFlow、caffe/caffe2、Keras、Pytorch、MXNET 等，系統(tǒng)安裝有OpenCV計算機(jī)視覺庫，TensorFlow AI框架，Pytorch AI框架。
機(jī)械臂	機(jī)械臂自由度：5自由度+夾持器，200g有效負(fù)載，臂展350mm； 舵機(jī)方案：15Kg*5+6Kg*1智能串行總線舵機(jī)； 材質(zhì)：陽極氧化處理鋁合金；	用于機(jī)器人運動學(xué)與機(jī)器人系統(tǒng)，可以完成夾持積木等動作。
嵌入式核心主板	接口：6個總線舵機(jī)接口， PWM舵機(jī)接口，i2C接口，除AI核心板外還支持STM32和Raspberry Pi； OLED:顯示CPU占用，顯示內(nèi)存占用，顯示IP地址等基礎(chǔ)信息； 按鍵：K1+K2鍵+RESET鍵； 1 個RGB燈；	用于支持機(jī)械臂動作。
攝像頭	采用USB接口，30萬像素，110度廣角攝像頭，480P分辨率（600*480）	AI視覺實驗，如垃圾分揀等實驗。
AI聽覺單元	音頻芯片：采用SSS1629音頻芯片； 麥克風(fēng)：板載兩個高質(zhì)量MEMS硅麥克風(fēng)； 接口：標(biāo)準(zhǔn)3.5mm耳機(jī)接口、雙通道喇叭接口；	采用USB接口設(shè)計，免驅(qū)動，多系統(tǒng)兼容，可左右聲道錄音，音質(zhì)更加。可以完成AI聽覺類實驗。
傳感器實驗?zāi)K	傳感器實驗?zāi)K將Jetson nano的GPIO接口引出，方便完成GPIO實驗，并且包含以下實驗課程：雙色LED、 繼電器、 輕觸開關(guān)按鍵、U 型光電傳感器、模數(shù)轉(zhuǎn)換、PS2 操縱桿、電位器、模擬霍爾傳感器、光敏傳感器、火焰報警、氣體傳感器、觸摸開關(guān)、超聲波傳感器距離檢測、旋轉(zhuǎn)編碼器、紅外避障傳感器、氣壓傳感器、陀螺儀加速度傳感器、循跡傳感器、直流電機(jī)風(fēng)扇模塊、步進(jìn)電機(jī)驅(qū)動模塊；	傳感器實驗?zāi)K可以更好的幫助學(xué)習(xí)者更加快速的入門Jetson nano的GPIO控制，從基礎(chǔ)入手，完成實驗項目。同時引出的GPIO和可移動的模塊也使我們后續(xù)的使用和開發(fā)更加方便。
顯示屏	10寸顯示屏，HDMI接口，1080P分辨率。	顯示屏傾斜安裝，傾斜角度大于5°。用于操作系統(tǒng)顯示。
鍵盤鼠標(biāo)	干電池供電，無線藍(lán)牙連接。	用于系統(tǒng)控制。

五、AI人工智能課程

AI人工智能實驗箱在設(shè)計時，考慮到不同基礎(chǔ)學(xué)習(xí)者的需求，力求使用更易理解的學(xué)習(xí)方式傳遞更加詳細(xì)的知識。本實驗平臺對各類使用者均有一定的學(xué)習(xí)幫助，特別是在在校大學(xué)生和研究生，能夠幫助學(xué)生從初學(xué)逐漸過渡到深入學(xué)習(xí)。也可以幫助他們完成畢業(yè)設(shè)計或者學(xué)術(shù)論文。
在人工智能遍地開花的今天，人工智能在 各個領(lǐng)域都發(fā)揮了重要的作用，為產(chǎn)品賦能愈來愈稱為各大企業(yè)的追求。人工智能早已滲透到計 算機(jī)視覺、自動駕駛、自然語言處理、機(jī)器人技術(shù)、推薦系統(tǒng)、語音識別、航空航天等等領(lǐng)域。
AI人工智能實驗箱的學(xué)習(xí)主要分為兩個部分，第一部分為人工智能基礎(chǔ)，主要包括：相關(guān)數(shù)學(xué)基礎(chǔ)、編程基礎(chǔ)、機(jī)器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)、ROS基礎(chǔ)與運動學(xué)。第二部分主要為實踐學(xué)習(xí)包括：GPIO與傳感器、機(jī)械臂、AI視覺、AI聽覺、物聯(lián)網(wǎng)。完成學(xué)習(xí)后，可以充分了解到人工智能最主流的相關(guān)應(yīng)用。

 1.相關(guān)數(shù)學(xué)基礎(chǔ)

教學(xué)課程	課程內(nèi)容
矩陣論	標(biāo)量、向量、矩陣、張量
	矩陣和向量相乘
	單位矩陣和逆矩陣
	線性相關(guān)和生成子空間
	范數(shù)
	特殊類型的矩陣和向量
	跡運算
	Moore-Penrose偽逆
概率與信息論	隨機(jī)變量與概率分布
	離散型變量與概率分布律
	常見的離散型概率分布
	連續(xù)型變量和概率密度函數(shù)
	常見的連續(xù)性概率分布
	聯(lián)合概率
	邊緣概率
	條件概率
	獨立性和條件獨立性
	期望、方差和協(xié)方差
	信息論

 2.編程基礎(chǔ)

教學(xué)課程	課程內(nèi)容
變量與基本數(shù)據(jù)類型	變量
	基本數(shù)據(jù)類型
列表和元組	列表
	元組
字典與集合	字典
	集合
類和對象	面向?qū)ο蟾攀?/span>
	類的定義和使用
	屬性
	繼承
模塊化程序設(shè)計	函數(shù)創(chuàng)建和調(diào)用
	參數(shù)傳遞
深度學(xué)習(xí)框架簡介	TensorFlow
	PyTorch
	Caffe/caffe2
	PaddlePaddle
Linux開發(fā)環(huán)境簡介	Ubuntu操作系統(tǒng)
	常用命令行

3.機(jī)器學(xué)習(xí)

教學(xué)課程	課程內(nèi)容
基本概念	訓(xùn)練集、測試集、驗證集
	過擬合、欠擬合、泛化
	學(xué)習(xí)率、正則化、交叉驗證
K-近鄰算法	基本概念
	K的選取
	距離的度量
支持向量機(jī)	間隔與支持向量
	對偶問題
	核函數(shù)
	軟間隔與正則化
K-均值聚類	K-均值聚類
決策樹和隨機(jī)森林	決策樹的基本概念
	選擇最佳劃分標(biāo)準(zhǔn)
	隨機(jī)森林
神經(jīng)網(wǎng)絡(luò)	神經(jīng)元模型
	感知器
	多層感知器
	經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險
	梯度下降和反向傳播
	RBF網(wǎng)絡(luò)
	超限學(xué)習(xí)機(jī)
	神經(jīng)網(wǎng)絡(luò)訓(xùn)練技巧

4.深度神經(jīng)網(wǎng)絡(luò)

教學(xué)課程	課程內(nèi)容
人工智能	人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
深度學(xué)習(xí)	深度學(xué)習(xí)的發(fā)展歷程
卷積神經(jīng)網(wǎng)絡(luò)	發(fā)展歷程
	基本結(jié)構(gòu)
	前饋運算與反向傳播
	相關(guān)性質(zhì)
	卷積神經(jīng)網(wǎng)絡(luò)變種
	常用卷積神經(jīng)網(wǎng)絡(luò)模型
循環(huán)神經(jīng)網(wǎng)絡(luò)	循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
	長短時記憶網(wǎng)絡(luò)神經(jīng)
	循環(huán)神經(jīng)網(wǎng)絡(luò)的變體
生成對抗網(wǎng)絡(luò)	生成對抗網(wǎng)絡(luò)簡介
	生成對抗網(wǎng)絡(luò)基本結(jié)構(gòu)
	生成對抗網(wǎng)絡(luò)變種

5.機(jī)器運動學(xué)與ROS機(jī)器人

實驗課程	課程內(nèi)容
ROS基礎(chǔ)與運動學(xué)	ROS基礎(chǔ)課程
	ROS創(chuàng)建工程項目
	自定義消息
	Server通訊
	機(jī)械臂URDF模型
	機(jī)械臂運動學(xué)正反解
	MoveIt配置
	智能串行總線舵機(jī)
	PC上位機(jī)控制
	機(jī)械臂自定義學(xué)習(xí)動作組
	機(jī)械臂關(guān)節(jié)弧度及末端姿態(tài)控制
	機(jī)械臂工作區(qū)域內(nèi)抓取、搬運
	6自由度逆運動學(xué)控制

6.GPIO、傳感器基礎(chǔ)課程

實驗課程	課程內(nèi)容
Jetson nano GPIO課程	雙色LED控制
	電位器檢測
	繼電器控制
	輕觸開關(guān)按鍵
	PCF8591模數(shù)轉(zhuǎn)換
	PS2操縱桿
	觸摸開關(guān)控制
	直流電機(jī)風(fēng)扇
	步進(jìn)電機(jī)驅(qū)動
傳感器實驗課程	模擬霍爾傳感器
	模擬溫度傳感器
	火焰報警
	煙霧傳感器
	超聲波傳感器距離檢測
	旋轉(zhuǎn)編碼器
	紅外避障傳感器
	BMP180氣壓傳感器
	MPU6050陀螺儀加速度傳感器
	循跡傳感器

7.機(jī)械臂課程

實驗課程	課程內(nèi)容
機(jī)械臂基礎(chǔ)課程	用戶按鍵控制
	蜂鳴器控制實驗
	OLED控制實驗
	控制單個舵機(jī)
	同時控制6個舵機(jī)動作
	讀取舵機(jī)當(dāng)前位置
	機(jī)械臂關(guān)節(jié)標(biāo)定實踐
	機(jī)械臂關(guān)節(jié)弧度及末端姿態(tài)控制
	機(jī)械臂舞蹈表演
	機(jī)械臂搬運色塊實踐
	機(jī)械臂搬運碼垛色塊實踐
	機(jī)械臂抓取工作區(qū)域九點標(biāo)定
	機(jī)械臂抓取工作區(qū)域物塊測試

8.AI視覺課程

實驗課程	課程內(nèi)容
AI視覺開發(fā)課程	安裝和使用Matplotlib、Pyplot 和 Numpy
	在OpenCV中運行攝像頭
	JetCam庫中測試USB攝像頭
	OpenCV讀取、寫入和顯示圖像
	OpenCV讀取、顯示和保存視頻
	OpenCV繪圖函數(shù)使用
	OpenCV圖像質(zhì)量和像素操作
	OpenCV圖片剪切
	OpenCV圖片平移
	OpenCV圖片鏡像
	OpenCV仿射變換
	OpenCV圖片縮放
	OpenCV圖片旋轉(zhuǎn)
	OpenCV圖片處理
	OpenCV灰度處理
	OpenCV圖像美化
	OpenCV邊緣檢測
	OpenCV二值化處理
	OpenCV矩形圓形繪制
	OpenCV文字圖片處理
	OpenCV線段繪制
	OpenCV彩色圖片直方圖
	OpenCV直方圖均衡畫
	OpenCV圖片修補
	OpenCV亮度增強(qiáng)
	OpenCV高斯均值濾波
	OpenCV磨皮美白
	OpenCV中值濾波
AI視覺與機(jī)械臂綜合課程	顏色檢測
	臉部和眼睛檢測
	行人檢測
	汽車檢測
	車牌檢測
	目標(biāo)追蹤
	定位物體實時位置
	攝像頭機(jī)械臂物體追蹤
	攝像頭機(jī)械臂人臉追蹤
	色塊抓取分揀實驗
	攝像頭ArucoTag識別抓取實驗
	AI人工智能機(jī)械臂與主人互動實踐
	AI人工智能機(jī)械臂手勢識別抓取指定色塊進(jìn)行碼垛
	AI人工智能機(jī)械臂垃圾分類實踐
嵌入式視覺應(yīng)用	圖像分類
	物體檢測
	語義分割
	目標(biāo)檢測
	人體姿態(tài)動作識別
	背景移除
	單眼深度圖

 9.AI聽覺課程

實驗課程	課程內(nèi)容
AI聽覺領(lǐng)域前沿算法	連接時序分類模型
	Attention模型
	基于HMM的語音識別
	Transformer
AI聽覺綜合實戰(zhàn)	AI聽覺領(lǐng)域前沿算法
	在線語音合成
	語音聽寫流式
	圖靈機(jī)器人
	AIUI
	VAD端點檢測
	小薇機(jī)器人語音對話
	Snowboy語音喚醒
	語音情感識別
	基于 Kaldi 的語音識別實踐