在Apalis TK1上基于CUDA和Android實現高級攝像系統
本文來自于Toradex長期合作伙伴Antmicro公司,在本文中他們會著重介紹基于核心SoC來自NVIDIA 強大的Tegra K1的ToradexApalis TK1 計算機模塊,來實現CUDA和視覺處理相關應用。這個是目前為止Toradex提供的性能最強大的核心板,通過集成的支持192 CUDA核心的可編程的GPU以及4核心2.2GHz主頻Cortex-A15 CPU來提供深度學習和嵌入式視覺處理能力。
1). 在一個強有力的處理器系列上面延續成功
Antmicro從基于NVDIA Tegra2和3的Toradex 計算機模塊開始就有很多成功的合作案例,這些項目很多都集中在視頻和攝像頭應用方面,包括驅動,gstreamer plugins / pipelines和多攝像頭系統。其中一些已經通過Antmicro博客做了介紹,如關于ADV7280和EpsonS2D13P04芯片方案。相關演示模型也在2014年和2015年的EmbeddedWorld展會上面由Toradex和Antmicro做了聯合展示。
因此,當Toradex Apalis TK1發布時,已經有很多基于Toradex Tegra CPU產品的視覺/視頻相關項目成功部署,并對Toradex 基于Tegra K1的產品到來非常期待。TK1不只是老產品的繼承,盡管T20和T30芯片也都含有一個嵌入式GPU,但TK1芯片所提供的GPU不僅更大,包含192 個CUDA核心,而且更重要的是,完全可編程。TK1使得基于CUDA(或OpenCL)的高性能通用并行計算第一次實現于嵌入式應用。這個能力對于需要本地低延遲的大數據量處理作為關鍵因素的應用非常感興趣,如無人機,防衛設備以及工業視頻。得益于CUDA的使用,一些如深度神經網絡推理,4K視頻處理,視頻流實時物體探測等工作可以在一個很小的嵌入式芯片上面實現并可以廣泛應用于多種場合。
作為官方NVIDIAJetson ecosystem partner,Antmicro非常關注高性能并行運算在自己和客戶項目上的運用,因此也非常愿意推進使用如Apalis TK1這樣性能強大價格又有優勢的的平臺。因此,甚至在Apalis Tk1正式發布之前,Antmicro和Toradex已經開始了緊密合作。關于TK1和多種攝像頭的連接工作先于模塊的發布已經發表于博客blognote about cameras and the Jetson 。另外在今年的Embedded World展會上Antmicro也為了TK1模塊的發布準備了演示應用,一個自動識別路標的MOPED 遙控汽車,是這次發表展示的第一個應用。同樣,在這次展會上,作為Toradex 的Android系統支持合作伙伴,盡管只收到第一批樣品模塊很短時間,也展示了在TK1上面運行Android系統。本文后面會對Android運行在TK1上有更多介紹。
2). 基于MOPED汽車研究平臺和ApalisTK1的交通標志識別演示
自主視覺系統可能是展示Apalis TK1模塊能力的最令人興奮,也是擁有廣泛應用及不斷增長的市場需求的功能。在被廣泛探討的汽車應用領域自主或許是最好的例證,近些年自動駕駛汽車已經是非常多自主機器開發者們的動力,因此Toradex和Antmicro共同選擇這個作為Embedded World的TK1 演示。
MOPED項目是一個最初由Antimicro的合作研究機構SICS開發的針對汽車工業的開源研究平臺,外形是一個高級的遙控汽車。Antmicro將其徹底改造以適應機器學習/視覺應用,其主控制組件為Apalis TK1模塊系統,上面運行CUDA來實現車載交通信號識別應用。由預先訓練好的深度神經網絡可以發揮模塊上面192個Kepler 顯示核心的強大運算性能,使得本來設計用于展示許多現代汽車典型配置的MOPED,可以具備自動探測和識別交通標志的能力。

MOPED
系統里面還包括一個外部顯示器用于顯示不同圖形和尺寸的標志。標志的類型和位置是隨機顯示的。有兩個問題需要依次解決:在周圍環境中發現標志和識別它的類型。其中后者是基于cuDNN和Caffe框架在CUDA中實現的。

TK1 攝像頭模塊
由于物體探測和分類有著非常顯著的計算復雜性,在像NVIDIA Tegra K1這樣的平臺問世之前,想在嵌入式平臺實時的實現,或者說將接受的運行這樣應用所需的每瓦特性能減少到可封裝至一個相對小的物理尺寸是非常困難甚至不可能的。事實上,MOPED的尺寸主要來自于其演示和物理尺寸方面– Antmicro提供的包含一個Apalis TK1載板和雙攝像頭板的非常小的TK1開發套件則負責提供數據處理能力。另外,可以想象這樣對一些更小型化的應用如無人機就更容易采用(事實上,一些自主車輛/無人機客戶已經開始和Antmicro合作了)。
MOPED已經在全球展示,最近一次是XPONENTIAL (NewOrleans, USA),一個世界級的自主/無人交通工具展會,和NVIDIA共同參展。另外,后面也會增加行人檢測功能到MOPED。
3). 基于ApalisTK1以及CUDA和Android的AXIOM GAMMA 4K 開源攝像機
另一個關于Apalis TK1的很好的應用是AXIOM Gamma 4K opencamera,AXIOM Gamma項目由EU H2020 資助計劃認可的旨在于提供世界首個模塊化開源的專業4K攝像機。由于模塊化和可擴展性,AXIOM可以作為一個計算機視覺平臺應用于大量場景:從電影制作到工業視覺系統。

AXIOM GAMMA 4K 開源攝像機
AXIOM主要基于FPGA,但允許依靠背板擴展將視頻傳輸到其他的模塊上面。為了提供一個廣泛的計算機視覺編程范例(CUDA)和美觀易操作的界面(Android)給攝像機,Antmicro開發了一塊Apalis TK1 攝像機擴展卡以及相關軟件。目前這款TK1擴展卡運行Android 5.1但最近幾周就會升級到6.0。
Apalis TK1模塊用于處理通過MIPI-CSI2接口從攝像頭獲取的視頻數據。Android系統允許用于使用標準的Andorid攝像機應用來查看和操作視頻流,同時CUDA可以對視頻數據進行實時的進一步處理。
4). 總結
目前Antmicro已經有一些Apalis TK1項目在進行,但我們更希望通過上面的兩個示例可以引起你們更多的興趣。文本是Antmicro考慮和Toradex產品相關的主題系列文章的第一篇。下一篇文章會討論在Toradex 平臺上運行Android和Linux,他們各自的強項和弱點,以及如何在你下一個項目中選擇最好的系統使用。
提交
通過 Docker 部署測試 CODESYS PLC示例
Yocto layer 使用 TI AM62 安全啟動功能
定制 Linux Kernel Driver 編譯示例
在 NXP i.MX 95 上運行 Zephyr 實現非對稱多核處理
HDMI 顯示器熱插拔對應顯示應用啟停測試

投訴建議