馋了馋NVIDIA Jetson Orin嵌入式AI开发板

最近疯狂迷恋（想买）Jetson Orin，也就是NVIDIA今年新发布的嵌入式AI开发板。这玩意儿今年3、4月份开始正式销售，官方售价1999美刀，国内嘛，估计16000左右。性能很美丽，价格当然也很美丽。

Jetson Orin是今年的新系列，以往之前^[1]的是TX1、TX2、Xavier系列。之前的小米铁蛋就是用的Xavier NX系列。Orin的性能目前算是嵌入式开发板中的性能天花板了，目前很多的车企用的都是Orin做ADAS，算力还是很强的，比如蔚来称他们用4块orin总算力有1000T。比如百度、蔚来，理想等等，用的也是Orin系列车载芯片（不过与消费者能买到的有一定区别）。当然也有不用Orin的自动驾驶，有用高通的、也有用自家芯片的，自动驾驶芯片也是百花齐放。话说回来，看下Orin的性能对比：

表面上一看，从32T->275T，提升了8倍。INT8的算力直接干到接近300T了，但是仔细一看，哎这个算力是稀疏算力，如果按照dense算的话，砍一半算130T-INT8算力。怎么调用稀疏功能我也研究过一段时间，没有深入，感觉效果还不是很明显，可能姿势不对。据官方测试^[2]ResNext-101在A100上最高有20%的性能提升：

稀疏性目前用的不多，但估计之后可能和量化一样成为“烂大街”的技术吧！目前量化技术已经标配了，200Tops的INT8算力，就是干这的。不过量化掉点稍稍会有一些，通常会有1%以内的掉点，而使用稀疏的话，掉点就可以忽略不计了，精度可以是FP16也可以是INT8，性能在量化基础上再提升一截，训练过程中就可以使用，只不过对硬件的要求比较高。

性能比较

看下64G版本Nvidia orin的AI性能，275T=170T+105T(52.5*2)。

170的INT8是稀疏算力，换算为dense是85T。一共64个Tensor Core，频率算个1.3GHz：1.3*64*256*2*2=85196G=85T。其中ampere单 cycle 的吞吐量是 256 个 FP16精度的FMA，INT8是FP16的两倍。DLA我不熟悉，不过这代的DLA支持稀疏性。纸面上说着有8倍性能的提升，但其实看看就行。实际提升要考虑很多因素（模型结构、IO、数据）。下图是smartcow对Orin的评测数据：

而Orin中安培显卡数据，这个CUDA核的数量很接近3050-laptop，一共是2048个CUDA核，64个Tensor Core：

计算能力因为是基于ampere架构，所以开头依然是8。8.7是因为加了DLA，与7.0->7.2类似：

DLA换成了第二代，去掉了FP16计算单元，全换成了INT8，这样搞据说是为了降低功耗，看来是全压INT8了啊。

DLA新功能：

产品计划

目前只出了32G版本的Orin核心板，64G的核心板在10月份出。

而NX系列则是9月份和十月份出：

目前卖的Orin开发套件的两个细节不能忽略，所以也贵一些：

• 是32G内存，但是275T的算力
• 有1个万兆的网口

购买建议

Jetson Orin官方开发板太贵了，买不起，看了下淘宝价格1w5-1w7的都有，闲鱼上1w3左右，原价是1999美元，加上运费和13税也差不多吧。要是想自己买的玩的话，建议买NX系列，也考虑了一点原因，就是自己玩的话，Orin的200T算力用不上，性能过剩，没有用武之地（其实主要还是贵）。

不过看下面这张图，INT8的性能提升还是挺明显的，期待Orin NX系列早点上市，个人玩家买着可以自己玩：

比较重要的一点，Xavier NX的支持到2026年，现在买Xavier NX系列也不亏！

当然还有大小，NX系列就是信用卡大小，而AGX系列就是32开书的大小，如果买回来想要自己DIY的，要留意下。看了下泰瑞新时代Orin的载板RTSO-1002，大小是17cm*13cm，大小应该像一本32开的书，也不小了。

而NX的载板就小一半，看下泰瑞新时代的RTSO-6002载板大小。

就和信用卡大小一样，很mini很便携。

关于外壳？

买回来肯定要弄个外壳，但是国产的外壳一言难尽，都比较朴实无华。偶然看到这家^[3]出的开发套件就挺好看的，比国产的更青春靓丽点哈哈。基于Xavier NX，配有很多传感器，比如摄像头、内置音响、话筒、OLED等等。

还挺好看的哈？

后壳直接裸露..感觉还行？

看了下这种产品大概率就是自定义了BSP系统，用户可以直接使用他们自定义的系统去开发一些应用，怎么使用摄像头啦、麦克风啦，显示屏啊，会给你提供例程，然后你直接上面改就行。不是单卖外壳的。

总结

总结下，不得不说Jetson系列是理工科男AI爱好者的一大杀器，想买的不行，但是是在没有时间去玩，只能业余折腾折腾。

个人建议，如果就是自己玩，没有实际的使用场景，买个NX系列就好，等Orin可以也行，体验下安培架构的特性，直接买Xavier系列也不差，Volta结构也不老。总之，看了这么一圈，调研了一阵，暂时忍住了哈哈，给想买的兄弟们一点建议，买了尽量不要吃灰！

参考链接

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/[4]
https://developer.nvidia.com/embedded/jetson-modules[5]
https://medium.com/@Smartcow_ai/is-the-new-nvidia-jetson-agx-orin-really-a-game-changer-we-benchmarked-it-b3e390f4830a[6]
https://www.smartcow.ai/products/apollo[7]
https://www.servethehome.com/nvidia-orin-brings-arm-and-ampere-to-the-edge-at-hot-chips-34/[8]
https://www.realtimes.cn/Uploads/download/DS-10662-001_v1.0.pdf[9]
参考资料

[1]
以往之前: https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/
[2]
官方测试: https://developer.nvidia.com/zh-cn/blog/accelerating-inference-with-sparsity-using-ampere-and-tensorrt/
[3]
这家: https://www.smartcow.ai/products/apollo
[4]
https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/: https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/
[5]
https://developer.nvidia.com/embedded/jetson-modules: https://developer.nvidia.com/embedded/jetson-modules
[6]
https://medium.com/@Smartcow_ai/is-the-new-nvidia-jetson-agx-orin-really-a-game-changer-we-benchmarked-it-b3e390f4830a: https://medium.com/@Smartcow_ai/is-the-new-nvidia-jetson-agx-orin-really-a-game-changer-we-benchmarked-it-b3e390f4830a
[7]
https://www.smartcow.ai/products/apollo: https://www.smartcow.ai/products/apollo
[8]
https://www.servethehome.com/nvidia-orin-brings-arm-and-ampere-to-the-edge-at-hot-chips-34/: https://www.servethehome.com/nvidia-orin-brings-arm-and-ampere-to-the-edge-at-hot-chips-34/
[9]
https://www.realtimes.cn/Uploads/download/DS-10662-001_v1.0.pdf: https://www.realtimes.cn/Uploads/download/DS-10662-001_v1.0.pdf