oldpan博客
-
深度学习部署神器——triton-inference-server入门教程指北
开新坑!准备开始聊triton。 老潘用triton有两年多了,一直想写个教程给大家。顺便自己学习学习,拖了又拖,趁着这次换版本的机会,终于有机会了写了。 triton作为一个NV…
-
大大大模型部署方案抛砖引玉
借着热点,简单聊聊大模型的部署方案,作为一个只搞过CV部署的算法工程师,在最近LLM逐渐改变生活的大背景下,猛然意识到LLM部署也是很重要的。大模型很火,而且确实有用(很多垂类场景…
-
FX2TRT-Pytorch转TensorRT新方式-实践torch.fx第三篇
接着唠嗑FX~ 拖了一阵子没有更新,就发生了两件大事儿: 因为和我之前跑通的版本变动较大(毕竟隔了几个月hh),决定先观察观察再写,然后就一直拖啊一直拖。然后拖到了现在,随后也看到…
-
简单唠叨唠叨Pytorch2.0的新特性
最近两天都在推送Pytorch2.0的新闻,感慨下更新的真快呀,Pytorch1.13还没怎么捂热,这又来2.0了。 虽然自己的文章还有一堆坑待填的,还是忍不住看了看官方关于Pyt…
-
TensorRT学习大纲(施工中)
比较完全版的学习TensorRT的路线,施工中,先列出来,会参考收集网上的优秀资料以及老潘自己写的文章,之后会不断更新哈。 博客更新地址:https://oldpan.me/spa…
-
近期购买显卡建议
最近淘了一张A4000显卡(大家都说是个人深度学习神卡),联想拆机,有绑定的主机服务码,和卖家确认了是今年6月份出厂的,问了京东客服可以凭借原主人购买订单去送保,价格3600,差不…
-
写libtorch不再抓狂——自己用的C++在线调试notebook
介绍一个调试C++代码的小工具——xeus-cling,我个人用了挺长时间了,提升了不小的效率,大概的使用场景是: 有这玩意儿,我们可以直接在jupyter中调试你的C++代码,比…
-
聊聊昨晚发布的40系列显卡
简单聊聊40系列显卡吧,昨晚23点,老黄为我们带来了GTC Sept 2022 Keynote with NVIDIA。当然同时也有GeForce RTX 40 系列显卡,并且将于…
-
馋了馋NVIDIA Jetson Orin嵌入式AI开发板
最近疯狂迷恋(想买)Jetson Orin,也就是NVIDIA今年新发布的嵌入式AI开发板。这玩意儿今年3、4月份开始正式销售,官方售价1999美刀,国内嘛,估计16000左右。性…