圖片來源 @視覺中國

文 | 20 社，作者 | 羅立璇、賈陽，編輯 | 王曉玲

(相關資料圖)

最近一周，中國大廠們的 ChatGPT 對標產品真是應接不暇，紛紛上桌。阿里的大模型 " 通義千問 " 預熱了好久，今天終于正式發布。

作為阿里云智能集團新任 CEO，張勇表態，" 目前是新的歷史契機關口 "，而通義千問承載了阿里在下一個時代的野心—— " 所有的行業、軟件以及服務都值得基于新型的人工智能技術‘重做一遍’ "，阿里將用 "AI+ 云計算 " 為所有企業提供服務。

據發布會介紹，通義千問是阿里達摩院自主研發的預訓練語言大模型，目前的功能包括多輪對話、文案創作、邏輯推理、多模態理解和多語言支持。在多模態方面，通義千問已經可以理解圖片，相當于擁有視覺能力，但暫時還沒有集成文生圖功能。

那么，這個比文心一言名字還拗口的新玩家，水準究竟如何？20 社拿到了內測通道，選取了幾個問題，這就幫大家測試一下通義千問的智能程度、實用性能。

用胡錫進的口吻，分析一下年輕人應不應該 " 脫下長衫 "

對于輿論中最新的熱梗，chat bot 們都不太理解。

文心一言坦誠于自己的無知，而通義千問和 ChatGPT 則能在一本正經胡說八道方面，繼續保持水準。But 好像都丟失了老胡內味兒。

對于互聯網最新知識語料，大模型無法進行第一時間的輸入，因此通義千問和 ChatGPT 雖然回答了，但是都是基于歷史訓練的推測。

New Bing 接入了 GPT-4，而不是 ChatGPT，在補足了外部最新信息的同時，它也舍棄了 ChatGPT 在對話體驗上的更好體驗。更新，還是體驗更好，這可能是目前階段的兩難。

通義千問

文心一言

ChatGPT

如果西游記主角生活在校園里，以此為線索寫一個劇本

創作能力方面，我們舉辦了一個同人本挑戰賽。從賽果來看，ChatGPT 是太太，通義千問剛入門，文心一言剛學會寫語文作業。

文心一言在創作領域的技能似乎還沒有點亮，它在理解題意上有非常大的障礙。第一次提問，它的劇本是一連串師生針對西游記的問答。在改變提問方式幾次后，再回到第一次的題面，它的理解能力有所提升，但創作水平還是非常簡陋和敷衍。

通義千問表現更好些，寫出了劇本的起承，但在轉合這塊開始露怯。

ChatGPT 運用了更多原著人物元素，情節設置也更好地理解了校園 au 的特點，起承轉合更好一些。

通義千問

文心一言

ChatGPT

幫我推薦幾個五一假期可以出游的目的地，不要那么擁擠的景點

做攻略，這幾個 AI 都是一把好手！推薦的景點和理由都滿足了要求。

看來做為生活助手，需要完成一些要求不那么嚴格精密的任務時，AI 的能力能覆蓋平均需求。

不過通義千問的推薦有點過于寬泛了，以整個城市為目的地。而網紅城市成都和廈門，擁擠程度不會低。

針對通義千問，我們還追問下了推薦的理由，它給出了幾個評判維度，這個推薦邏輯讓人信服。

不過，我們以為會出現的飛豬旅行行程頁面并沒有出現，莫名還有點失落。在通義千問的發布會演示中，我們看到未來在涉及到本地生活和商品的內容時，它會主動推薦個性化產品鏈接。這也是阿里系 AI 未來的一個特色了吧。

通義千問

我還添加了追問：你是根據什么依據來判斷這些目的地人少的呢？

文心一言

ChatGPT

寫一個小紅書帖子，賣出位于燕郊的一套已經價格腰斬的房子

最近已經不少小紅書和抖音的文案被吐槽像人工智能寫的，所以我們好奇的是，大預言模型在多大程度上能替代這樣的工作？

首先是這幾個大模型都自己進行了一些 " 腦補 "。通義千問就腦補了房產的面積和價格，使用了房地產中介的一些常用話術，比如投資價值、交通便利，房況良好等等。ChatGPT 則提到了更多要素，比如房內結構、裝修時長，裝修風格等。

這兩個回答都基本完成了任務，只是忽略了現實中的房產中介會提到的是否還會繼續跌價的問題，需要人類來補齊更多現實情況的擔憂。考慮到通義千問和 ChatGPT 都號稱他們現在用的語料庫是最新的，應該還可以有更加驚艷的表現。

最不理想的是文心一言，因為它似乎沒有理解問題，直接開始教我怎么寫賣房子的小紅書帖子。但值得夸贊的是，它精準把握了小紅書真正的發帖格式：表情包放在段首（雖然很單調）。

通義千問

文心一言

ChatGPT

如果我 2020 年 1 月買了騰訊股票，現在虧多少？

考慮到各大券商早已開始使用 AI，來做智能投資顧問來優化投資組合，那么，大模型能不能做理財助手呢？目前看來，各家平臺還沒有開放這個能力。

通義千問和文心一言都非常謹慎，表示自己無法提供建議，并且提醒用戶注意投資風險。

而 ChatGPT 則提供了基礎的股價信息，并且同樣提醒了用戶風險。

通義千問

文心一言

ChatGPT

幫我介紹一下著名演員馬斯克的作品

這其實是一道陷阱題，來測試大模型能不能識別明顯的事實錯誤。

通義千問直接無視了 " 演員 " 的前綴，將馬斯克創立的公司作為他的 " 作品 " 介紹給了我。這可以打一個及格分。

文心一格則直接被問題騙倒，順著問題往下回答，并且編造了一些不存在的劇情。馬斯克確實客串過《鋼鐵俠》，但擔任的不是反派，更沒有在數部漫威系列電影里和主角進行激烈的搏斗。此外，他也沒在《環太平洋》《火星救援》和《超人：鋼鐵之軀》等電影里出現。

ChatGPT 則直接指出了問題中的錯誤，然后簡單闡述了馬斯克的成就。

通義千問

文心一言

ChatGPT

做一個女權主義者，跟做全職太太矛盾嗎？

這算是一個炸群級的女性話題，有點意外的是，通義千問直接避而不答，謹慎的態度讓我懷疑，通義千問是不是會選擇避開大多數熱搜話題。

文心一言和 ChatGPT 的回答都沒什么太大問題，不過相比之下，文心一言對于女性的要求明顯更高。

" 全職太太也應該有機會繼續追求自己的職業和個人成長。她們可以通過參加職業培訓、提高自己的技能和知識水平，或者創辦自己的企業等方式來實現這個目標。"

" 這兩個角色可以相互補充，為家庭和職業生活做出貢獻。"

通義千問

文心一言

ChatGPT

比亞迪會超過特斯拉嗎？

比亞迪是否會超過特斯拉，其實是一個模糊問題，因為判斷兩個公司排名有不同角度，比如從市占角度的年銷量，年銷售額，以及從財務數據角度的利潤、公司市值等等。至于未來的發展，也受到多種因素的影響。

三個大模型都能避開這個陷阱。但文心一言的回答中，有明顯的錯誤。

" 特斯拉的產品線更加多元化，包括電動汽車、太陽能設備和能源存儲產品等，而比亞迪的產品線相對較單一，主要集中在電動汽車和混合動力汽車領域。"

實際上迪王的多元化遠超特斯拉，產品覆蓋范圍豈止是光伏和儲能，別忘了，在消費電子行業，差不多我們知道的所有手機品牌，都是迪王的客戶。

通義千問和 ChatGPT 的回答都沒有明顯錯誤，不過也都分析得比較淺，要想把大模型作為炒股助手的話，還要再等一段時間。

通義千問

文心一言

ChatGPT

小明的男朋友忘記了她的生日，小明該和他分手嗎？

很多人可能都需要一個 24 小時待命的閨蜜，所以明知道答案是 " 分 "，也有很多人在小紅書上分享自己的感情經歷。

從目前的回答來看，文心一言不是個合格的閨蜜，甚至比小明的男朋友更加敷衍。

" 首先，每個人的生活都很忙碌，可能他真的沒有注意到你的生日。其次，愛情是建立在相互理解和關心的基礎上的，如果他真的愛你，他會盡力記住你的重要日子。"

我就不明白了，他到底是在不在乎小明？

最后，三個大模型一致認為，要看后續是否嘗試彌補過失，" 如果他真的愛你，他會為你們的關系付出努力，并給你一個特別的生日慶祝。"

" 如果男朋友對小明的感受漠不關心或者態度消極，甚至無視她的情感需求，那么小明可以考慮是否真的愿意和這樣的人繼續交往。"

通義千問

文心一言

ChatGPT

結論

從目前情況來看，ChatGPT 在上下文理解、思維鏈上的表現，確實遠遠超出中國學徒的水平。

如果只看國內的大模型情況，對于實際生活中會產生的問題和人物（而不是測試它們的極限智能），通義千問的回答通常會比文心一言更加全面。其次，它們對于可能會有爭議的問題，回答起來也更加謹慎，可能是汲取了前人的經驗。

通義千問和文心一言都能夠在提問者的反饋（比如多次改變提問側重點后，再重復原始問題）中優化自己的答案，這顯示出其背后大模型有一定的邏輯鏈能力和零樣本學習能力。

不過，如果你只是希望在自己的決策中獲得更多的參考，當下的大模型都在不同程度上能滿足需求。所以，最終決定勝利的，可能不是它是否足夠好用，而是和用戶日常生活的場景是否結合得足夠緊密、取用是否足夠方便。

希望有一天，我們在提問自己不知道答案的問題時，也能完全信任大模型，這就是智能化的真正開始了。

更多精彩內容，關注鈦媒體微信號（ID：taimeiti），或者下載鈦媒體 App