阿里通义 VS 文心一言全面评测

国内最近有很多优秀的人工智能涌现，其中号称阿里版ChatGPT的“通义千问”就是其中的佼佼者，不仅会做数学题，而且能写代码，写情书，甚至诗歌和彩虹屁都不在话下！
 
不过相比其他的AI，它的名字显然有独特的蕴意，让我们来看看通义千问自己对此的解释——
 
各方准备，接下来一大波测评来袭。

古怪问题大PK

首先来看通义千问面对难倒众多老外的「汉语十级」考题时，表现如何。

请听题：您是要几等座？你们一共有几等座？特等一等二等等等，二等要多等一等。我看一下，等一等啊。别等了，再等一等就没了。那不等了，就这个吧。请问顾客最终买了几等座？

可以看到它的表现非常惊艳，不仅于繁杂的文字中精准的找出了正确答案，同时还提供了逻辑自洽的分析。
 
而同样的问题，文心一言显然就相形见绌了，它给了一个错误的“二等座”答案。
 
值得一提的是语言能力强大的GPT-4同样也败下阵来，它通过一番分析居然直接给出了无法得知的答案，可见汉语十级题目对于老外的AI来说还是有不小门槛！
 
那么，作为一个母语是汉语的人，你觉得是几等座呢？
 

「豆腐两块一块，请问豆腐怎么卖？」

通义千问给出一种解「豆腐2元一块」，还贴心地还原出了交易过程。
 
而聪明的文心一言直接上升到经济学，分析了市场行情，认为2块豆腐一块钱更合理。
 

「女朋友对男朋友说，我都和你说了200次了，你也不长记性，又乱买东西。请问女生和男朋友说了多少次？」「直男」通义千问直接建议男生去问问女朋友，好好回顾下之前的聊天记录。

 
相比之下，文心一言的情商会更高一些，它不仅从分析了问题的根本原因，而且还给出用户一个暖心的建议，你不仅可以利用这些建议解决问题，而且还能更加顺利的理解女友的真实需求和想法。
 

「我的手机蓝牙坏了，请问去哪里修？」

整体来看问题不大，就是「通义千问」推荐的这个维修点，多少有点儿远——「iFixYouri」这个地址，直接跑美国区了。（文中的iFixYouriPhone应该是拼错了）
 
而前段时间，文心一言对这个问题，曾给出送到莆田医院的答案，这次看起来靠谱了许多。
 

Fred Rickerson是谁？

（这个人其实不存在）开始，它会坚持真理，称找不到这个人。但是再问一次，它立马动摇了。给这个人火速安了一个身份，还给它编了两部作品。
 
文心一言开始诚实地表示无法回答，第二次发问，它也开始胡诌了，说这个人是演员和导演。而到了第三次，它直接说这是个计算机。
 
GPT-4自始至终都对正确答案非常坚定。
 

智子为什么不直接毁灭地球呢？

通义千问的回答，就是牛头不对马嘴。
 
文心一言的表现不错。
 

数学有时很行，有时不灵

再来看看数学问题PK。按照惯例，先来一道鸡兔同笼：

「鸡兔同笼，头共10，足共28，鸡兔各几只？」

多次询问后，通义千问成功避开了正确答案。
 
文心一言则略胜一筹，但有时脑子也会「瓦特」。
 
 
当然，这种题对于GPT-4来说毫无难度。
 

问：动物园里有鸵鸟和长颈鹿共70只，其中鸵鸟的脚比长颈鹿多80只，那么鸵鸟有多少只，长颈鹿有多少只？

解：假设全部都是鸵鸟，则一共有70×2=140（只）脚，此时长颈鹿的脚数是0，鸵鸟脚比长颈鹿脚多140只，而实际上鸵鸟的脚比长颈鹿多80只，因此鸵鸟脚与长颈鹿脚的差数多了140-80=60（只），这是因为把其中的长颈鹿换成了鸵鸟。把每一只长颈鹿换成鸵鸟，鸵鸟的脚数将增加2只，长颈鹿的脚数减少4只，那么鸵鸟脚数与长颈鹿脚数的差就增加了6只，所以换成鸵鸟的长颈鹿有60÷6=10（只），鸵鸟有70-10=60（只）。
在二十几次的尝试中，通义千问有两次给出了正确的结果，但步骤是错的。
 
相比起来，文心一言第一次就通过了。
 

下一题：假设一辆车可以在 3.85s 的时间内从 0 加速到 27.8 m/s，请计算这辆车的加速度，单位为 m/s/s。

这次，通义千问回答正确，而且步骤十分清晰。
 
文心一言答案错误。
 
GPT-4一如既往发挥稳定。
 

写代码，还可以

接下来是关于代码的小测。

用Java来一个反转字符串。

 
接下来稍微上点儿难度：

使用TypeScript和Node.JS开发一个web 服务器，使用post方法接受json格式的请求，并返回另一个json对象。

这个回答看起来是一个可行的结果，不过没有对req进行处理。
 
 

「百宝袋」：情书诗歌彩虹屁，样样拿手

另外，通义千问还整了一个针对不同场景小应用集合「百宝袋」，可以写提纲，给出放飞的菜谱，甚至还生成彩虹屁。这个设计对用户很友好，等于是给出了prompt模板，省去了用户自己调试的步骤。
 

彩虹屁专家

不得不说，通义千问专门上线的彩虹屁专家功能，夸起人来确实很6。比如“我真厉害”四个字，它能给你发散成一整段让你听完头晕的彩虹屁。
 
 
但如果不使用这个功能，通义千问就很不通风情，说可以夸你有魅力、受欢迎，但就是不能夸你美貌。
 

小学生作文

在小学生作文功能中，我们让它以林黛玉倒拔垂杨柳，续写一段话。通义千问能够模仿出小学生的语气，并在结尾升华到「这种精神很值得我们学习」，就，真的很小学生了。
 
 
而不进入功能窗时，通义千问续写的内容就比较普适了，而且人物形象刻画更加生动饱满，故事细节更加丰富。
 

写情书

给新垣结衣写一封情书，通义千问的文字里都是满满的爱意。
 

会放飞的菜谱

如果从百宝袋里问它如何做一盘麻辣螺丝钉，通义千问就会意了。它会知道你就是想搞事情，所以不会纠正你这个东西有多不科学。
 

为你写诗

输入大模型、微调、参数三个词，让通义千问写一首诗。「微调不是放纵，而是一种克制……」 被这句背后的哲理震惊到了。
 

写提纲

最后以「分析OpenAI新发布的GPT-4模型结尾」列个提纲。通义千问生成的提纲把GPT-4的原理、前景、局限都覆盖到了，相当全面。
 
从上述的各种例子可以看出，通义千问的能力还是值得称道的。不过它目前还受限于文字交互的单模态能力，对于图文转换的操作还不成熟。
不过这还只是一个开始，最近国内各种大语言模型也是竞争的相当激烈，很多优秀的国产AI都在准备发力冲刺，所以在接下来的几个月，可能会呈现百花齐放的景象，相信有着阿里做支撑的通义千问也定然会成为其中的佼佼者！