目前来看,通义千问好像勉强能喝ChatGPT-3.5打个平手!

今天收到阿里云的短信通知,告诉我已获得通义千问大模型能力的测试体验资格。趁热乎赶紧向大家汇报一下测试情况。

图片

首先是主页,和ChatGPT有点小差异,通义千问在主页上集成了几个小应用,分别是撰写短文、写封邮件、职场助理和电影脚本。并且还做了一个百宝袋,目前已经集成了10个工具。

图片

先简单测试一下这些小工具,比如“智能编写营销文案”,按要求,我们要输入产品介绍,获得金牌营销文案。

图片

然后免不了在工作中需要拍领导马屁,我们就可以用“彩虹屁专家”试一下。

图片

不过,我感觉它的回答好像有错别字。

如果我们要描述事情状态和进展,可以使用“SWOT分析”

图片

然后我们就可以和通义千问聊天了,首先为了简单验证是不是套壳工具,我们确认一下它的身份。

图片

老王卖瓜,还自卖自夸呢。让它先讲一下与ChatGPT相比,有哪些优势。

图片

本来打算看看它和文心一言有没有可比性的,结果它直接投降了。

目前来看,通义千问好像勉强能喝ChatGPT-3.5打个平手!

然后发个技术问题测试一下。

图片

可以看到,这个问题和我之前做的实验是不一样的(配置CentOS 7通过MSTSC连接远程桌面),回头我又可以测试一下了。

通义千问是阿里云的产品,不知道是不是可以接入到微信公众号,问问它。

图片

这里出了一点小bug,超链接和后面的文字没有断开,导致点击链接会将所有的字符都带上,最终无法访问。

在使用ChatGPT时,最常出现的问题就是回答中断,因为中文和英文之间的差异,ChatGPT宣称最大可以回复2048个标记,但是往往几百个字就会中断,我们试试看通义千问的表现。

图片

大言不惭,说自己的数量没有限制,但是在实际回答时却中断了,我尝试又给了它一次机会。

图片

结果还是中断了。

第一次回复中断在483个字符,第二次回复中断在531个字符,最终的回答长度是1030个字符,只有要求长度的三分之一。

那如果我让它回复1000个汉字呢?

图片

结果,它还是中断了,最终回复的字符总数为914个。

最后问问它有没有错别字。

图片

还是前面这些相同的问题,我们再问一下ChatGPT。

图片

当我们问它通义千问时,它的回答好像有点问题。

图片

这个第三条到底是不是优势啊?

图片

在超链接的问题上,两者打了一个平手,都不好用。

图片

当问到国内目前主流的SD-WAN解决方案有哪些时,ChatGPT的回答让我有些诧异!

图片

它是怎么做到和通义千问的回答高度同步的?而且我在美国问国内,不应该是美国国内吗?拿到用中文就是中国?那东南亚诸国岂不是永无翻身之日了?

而且它罗里吧嗦的一堆回答,长度也只有654个字符,根本不是它说的1400个汉字,还不到一半。

而且,回答中断后我尝试让它继续输出时,它竟然翻供了!

图片

说实话,它回答的这个用友网络SD-WAN解决方案,我之前还真没听说过,就连百度都搜不到。

图片

要说和用友相关的,用友产业园里面有一家北京华夏创新科技有限公司,是做SD-WAN的,是不是ChatGPT搞混了?

图片

最后来考一下ChatGPT这个老外的中文水平。

图片

怎么样,你感觉通义千问这水平比ChatGPT怎么样?可以作为ChatGPT的平替吗

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/115474.html

(0)
联系我们
联系我们
分享本页
返回顶部