oldpan博客
-
Transformer推理结构简析(Decoder + MHA)
不涉及transformer原理,只看transform结构的具体运行过程,涉及到推理。关于原理细节可参考这篇或者查阅其他相关优秀文章。0x10 Transformer 基本结构T…
-
小模型量化更新小事
简单聊聊基于TensorRT的量化在2024年发展成什么样了。在TensorRT版本10.x前,量化方式一般有两种:隐式量化,通过trt提供的trtexec api校准得到scal…
-
TensorRT-LLM初探(三)最佳部署实践
本篇文章根据NVIDIA AI技术开放日 2024 夏[1]中TRT-LLM 最佳部署实践[2]的演讲,结合自己的一些经验整理成本篇文章,算是TensorRT-LLM初探第三篇——…
-
一个Tensor的生命历程(Pytorch版)-下篇
“OLDPAN博客”,侃侃而谈人工智能深度酝酿优质原创文! 本文连接上篇<一个Tensor的生命历程(Pytorch版)-上篇>继续讲解Pytorch张量生成的内部机制…
-
利用Caffe推理CenterNet(上篇)
“OLDPAN博客”,侃侃而谈人工智能深度酝酿优质原创文! 阅读本文需要 7 分钟 本文主要内容是记录将CenterNet转化为Caffe模型,并且成功推理的过程。CenterNe…
-
利用Caffe推理CenterNet(下篇)
“OLDPAN博客”,侃侃而谈人工智能深度酝酿优质原创文! 阅读本文需要 7 分钟 此文章承接利用Caffe推理CenterNet(上篇),将CenterNet推理利用C…
-
CUDA性能简易优化(一)背景知识
CUDA性能优化简单教程,本篇介绍性能优化背景。想知道实际中如何优化特定的层,或者某一层怎么设计才可能充分利用GPU,我们需要了解一些GPU的基础知识。以下教程主要来源自NVIDI…
-
OpenVino初探(实际体验)
“OLDPAN博客”,侃侃而谈人工智能深度酝酿优质原创文! 阅读本文需要挺长时间 趁着临近毕业之前再贡献一波热度吧! 本篇文章主要内容为在使用OpenVino时的一些注意点,方便带…
-
C++小知识系列之“父类指针”和dynamic_cast!
什么是父类指针父类指针也可以称为基类指针,当父类(基类)指针指向派生类(子类)指针的时候,可以触发“多态的效果”。不过本文的重点不在“多态”,而是聊聊当父类指针和子类指针互相赋值时…
-
一个Tensor的生命历程(Pytorch版)-上篇
此篇文章较为硬核,因内容较多,故分为上下两篇 不知道大家是否对Pytorch中的Tensor是如何生成感兴趣,深入理解这个知识可以加深你对深度学习框架的一些印象和操作熟练度。 文中…