自主機(jī)器人所面臨的關(guān)鍵挑戰(zhàn)之一是感知和理解周?chē)氖澜纭?/p>

在ROS World 2021上，NVIDIA發(fā)布了向ROS開(kāi)發(fā)者社區(qū)提供高性能感知技術(shù)的最新項(xiàng)目。這些項(xiàng)目將加速產(chǎn)品開(kāi)發(fā)、提高產(chǎn)品性能，并最終簡(jiǎn)化為將先進(jìn)計(jì)算機(jī)視覺(jué)和AI/ML功能整合到基于ROS的機(jī)器人應(yīng)用程序中的任務(wù)。

公告要點(diǎn)：

• 性能最強(qiáng)的實(shí)時(shí)立體測(cè)距解決方案以ROS包的形式提供
• NGC上的所有NVIDIA推理DNN均可以ROS組件的形式提供，并帶有圖像分割和姿態(tài)估計(jì)實(shí)例
• Isaac Sim中的新合成數(shù)據(jù)生成（SDG）工作流程，可為視覺(jué)AI訓(xùn)練創(chuàng)建大規(guī)模生產(chǎn)級(jí)數(shù)據(jù)集
• Omniverse上的NVIDIA Isaac Sim GA版本提供ROS開(kāi)箱即用支持，是迄今為止對(duì)開(kāi)發(fā)者最友好的版本

NVIDIA Isaac ROS GEM – 經(jīng)過(guò)優(yōu)化的性能

圖1. NVIDIA Isaac ROS GEM軟件框架圖。

Isaac ROS GEM提供圖像處理和計(jì)算機(jī)視覺(jué)等組件，其中有針對(duì)NVIDIA GPU和Jetson進(jìn)行高度優(yōu)化的DNN算法。

重點(diǎn)GEM：立體視覺(jué)測(cè)距 – 超高的精度和經(jīng)過(guò)優(yōu)化的性能

當(dāng)自主機(jī)器在環(huán)境中移動(dòng)時(shí)，它們必須持續(xù)追蹤自己的位置。視覺(jué)測(cè)距通過(guò)估算攝像機(jī)與其起點(diǎn)的相對(duì)位置來(lái)解決這個(gè)問(wèn)題。Isaac ROS GEM for stereo visual odometry為ROS開(kāi)發(fā)者提供這項(xiàng)強(qiáng)大的功能。

該GEM為實(shí)時(shí)立體攝像機(jī)視覺(jué)測(cè)距解決方案提供最佳精度。點(diǎn)擊此處可查看基于廣泛使用的KITTI數(shù)據(jù)庫(kù)所得到的公開(kāi)結(jié)果。除了高精度之外，這個(gè)GPU加速組件的運(yùn)行速度也非常快?，F(xiàn)在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)實(shí)時(shí)(>60fps)運(yùn)行SLAM。

重點(diǎn)GEM DNN推理 – 現(xiàn)已向ROS開(kāi)發(fā)者開(kāi)放所有NGC DNN推理模型

您可以使用NVIDIA在NGC上提供的眾多推理模型中的任何一種，甚至可以使用DNN推理GEM(一套R(shí)OS2軟件包)提供自己的DNN推理模型。開(kāi)發(fā)者可以使用NVIDIA TAO工具套件對(duì)預(yù)訓(xùn)練模型進(jìn)一步調(diào)整或者對(duì)自定義模型進(jìn)行優(yōu)化。

經(jīng)過(guò)優(yōu)化后，這些組件由NVIDIA推理服務(wù)器TensorRT或Triton部署。憑借使用TensorRT（NVIDIA高性能推理SDK）的節(jié)點(diǎn)，可實(shí)現(xiàn)最佳推理性能。如果TensorRT不支持所需的DNN模型，則應(yīng)使用Triton來(lái)部署該模型。

GEM包含對(duì)U-Net和DOPE的原生支持。基于TensorRT的U-Net組件可用于從圖像中生成語(yǔ)義分割掩碼。而DOPE組件可用于對(duì)所有檢測(cè)到的物體進(jìn)行三維姿態(tài)估計(jì)。

該工具是在ROS應(yīng)用中加入高性能AI推理的最快方式。

圖2. 來(lái)自3個(gè)Isaac ROS GEM的合成圖像 – DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。

NVIDIA Isaac SIM GA版本

Isaac Sim的GA版本將于2021年11月發(fā)布，這將是迄今為止對(duì)開(kāi)發(fā)者最友好的版本。其用戶(hù)界面、性能和實(shí)用構(gòu)建模塊經(jīng)過(guò)了大量改進(jìn)，使用戶(hù)可以更快構(gòu)建更強(qiáng)大的模擬。此外，經(jīng)過(guò)改進(jìn)的ROS橋和更多ROS樣本將提高ROS開(kāi)發(fā)者的開(kāi)發(fā)體驗(yàn)。

該版本的更新內(nèi)容（2021.2版本計(jì)劃于2021年11月發(fā)布）

• 提升了性能，減少了內(nèi)存用量和啟動(dòng)時(shí)間
• 經(jīng)過(guò)改進(jìn)的占位圖生成，URDF導(dǎo)入器
• 新的環(huán)境：大型倉(cāng)庫(kù)、辦公室、醫(yī)院
• 用于與機(jī)器人、物體、環(huán)境對(duì)接的新Python構(gòu)建模塊
• 經(jīng)過(guò)改進(jìn)的ROS/ROS2橋、深度點(diǎn)云和激光雷達(dá)點(diǎn)云性能
• 樣本更新
  • Multi-robot navigation with ROS2
  • 使用ROS2實(shí)現(xiàn)多機(jī)器人導(dǎo)航
  • SDG with Domain Randomization in Jupyter
  • Jupyter中帶有域隨機(jī)化的SDG

點(diǎn)擊查看視頻，了解如何使用ROS MoveIT實(shí)現(xiàn)對(duì)Franka的聯(lián)合控制：https://www.ixigua.com/7021714009317442056?logTag=ff37d2b1e1b7db058dc

新的合成數(shù)據(jù)生成工作流程 – 來(lái)自Isaac Sim的生產(chǎn)級(jí)數(shù)據(jù)集

自主機(jī)器人需要使用大量不同的數(shù)據(jù)集，來(lái)訓(xùn)練眾多運(yùn)行其感知棧的AI模型。從真實(shí)世界場(chǎng)景中獲取全部訓(xùn)練數(shù)據(jù)的成本過(guò)高，而且一些極端場(chǎng)景可能存在危險(xiǎn)。Isaac Sim提供的新合成數(shù)據(jù)工作流程，通過(guò)建立生產(chǎn)級(jí)數(shù)據(jù)集解決了自主機(jī)器人的安全和質(zhì)量問(wèn)題。

建立數(shù)據(jù)集的開(kāi)發(fā)者，可以控制物體在場(chǎng)景中的隨機(jī)分布、場(chǎng)景本身、照明和合成傳感器。開(kāi)發(fā)者也可以通過(guò)精細(xì)的控制，確保數(shù)據(jù)集中包含重要的極端案例。最后，該工作流程支持版本控制和調(diào)試信息，因此可以在需要審核和保障安全時(shí)完整地復(fù)制數(shù)據(jù)集。

崔歡歡