和满血R1性能一样的推理QWQ-32B开源，部署成本拉低一大截

QWQ-32B开源了，性能与具备671B的DeepSeek-R1很接近，有点夸张，利好个人玩家和小公司。
从年前deepseek开源r1模型，大家都在研究如何个人部署DeepSeek-r1，各种一体机也拿部署DeepSeek为卖点，各种推理库也在积极适配（Sglang、vLLM、Ktransforms），甚至AMD（AI MAX 395+）和苹果都在拿能部署deepseek为卖点：
昨晚偷偷发布的512G 共享内存的m3ultra
昨晚apple偷偷发布的512G 共享内存的m3ultra
昨晚发布的M3Ultra-512G版本，理论上可以部署满血DeepSeeK-R1-671B-INT4，不过现在不需要这么折腾钱了。
因为有了QWQ-32B。
下图是QWQ-32B各个不同的基准测试数据。能看出来，绝大部分测试中，QWQ-32B的能力直接超越了满血的DeepSeek-R1、OpenAI-o1-mini。但部署成本大大下降。
QWQ-32B指标
QWQ-32B指标
大规模强化学习（RL）有潜力超越传统的预训练和后训练方法来提升模型性能。近期的研究表明，强化学习可以显著提高模型的推理能力。例如，DeepSeek R1 通过整合冷启动数据和多阶段训练，实现了最先进的性能，使其能够进行深度思考和复杂推理。这一次，我们探讨了大规模强化学习（RL）对大语言模型的智能的提升作用，同时很高兴推出我们最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。这一成果突显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。此外，我们还在推理模型中集成了与 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。我们希望我们的一点努力能够证明强大的基础模型叠加大规模强化学习也许是一条通往通用人工智能的可行之路。
QwQ-32B已经采用 Apache 2.0 协议开源。
QwQ-32B-Preview是Qwen去年推出的，今天的QwQ-32B是完全版
QWQ-Preview vs QWQ 性能对比，由 u/hainesk 提供了测试数据，QWQ 在多个基准测试中表现远超 QWQ-Preview：
AIME: 50 → 79.5
LiveCodeBench: 50 → 63.4
LiveBench: 40.25 → 73.1
IFEval: 40.35 → 83.9
BFCL: 17.59 → 66.4
这表明 QWQ 版本相较于 Preview 版本有显著提升，甚至接近 o3-mini-medium，仅次于 Grok-3 和 o3。呃呃呃。
FP8量化精度基本无损，可以在2×4090显卡上运行，FP16全精度可以在4×4090上运行，INT4的话，一张4090就可以了（勉勉强强）。
有的玩了，前些日子还在吐槽DeepSeek-R1-671B部署了速度太慢了，现在直接换成QWQ-32B试试。

官方体验 https://chat.qwen.ai/
访问 Qwen，选择 Qwen2.5-plus，然后点击深度思考，就能第一时间体验这个模型了。这里细节：Qwen2.5-plus + thinking = QwQ-32B。
那Qwen2.5-Max + thinking可能就是MoE版本的推理大模型了？
往期回顾

5090？Project DIGITS？Ryzen AI Max+ 395？有哪些想买的AI产品
各种姿势的debug(从python一路debug到C++)
实现TensorRT自定义插件(plugin)自由！