四大語音助手進行「年度 IQ 測試」,Google Assistant 拿下第一

作者 | 發布日期 2018 年 12 月 22 日 12:39 | 分類 3C , AI 人工智慧 , 周邊 follow us in feedly


你也曾好奇過 Google Assistant、Siri、Amazon Alexa 和微軟 Cortana 哪個最聰明嗎?Loup Ventures 近日針對這 4 位最常見的語音助理進行了「年度 IQ 測試」,在 800 個現實世界的問答後,Loup Ventures 最終也按照性能為這 4 名選手排名。

其實在 7 月時 Loup Ventures 便曾對手機上的語音助理進行過「年度 IQ 測試」,而與之前的情況一樣,Home Mini 上的 Google Assistant 再度領先群雄,以 100% 的問題理解度、87.9% 的正確回答奪得第一,而這也高於 7 月測試中的 85.5% 和 2 月對智慧音響測試的 81%。

這次的 IQ 測試分為 5 大項目,Google Assistant 的回覆在其中 4 項(在地、商業、導航和資訊請求)都拔得頭籌,只有在「命令」項目上以 73% 的準確率排在第 2 位。

▲ 4 個語音助首在 5 大項目的表現如上圖。(Source:Loup Ventures 

  • 問題範例如下:
    當地—最近的咖啡店在哪裡?
    商務—可以幫我訂購更多衛生紙嗎?
    導航—我要怎麼搭公車到市區?
    資訊—今晚雙胞胎是誰參加比賽?
    命令—提醒我下午 2 點要打電話給 Steve

至於大家最熟悉的 Siri,在 HomePod 上的測試中「命令」項目以 85% 的正確度領先所有對手,整體也達到 99.6% 的問題理解度、74.6% 的正確回答,較 2 月 52.3% 的正確答題率大幅成長,但在 iPhone 上測試時 78.5% 的答題率則略低於 7 月時的表現。

Alexa 和 Cortana 雖然排在第 3 和第 4,但正確答題率上都有明顯改善,Amazon Echo 上 Alexa 的答題率從 2 月的 64% 成長至 72.5%,與 HomePod 上的 Siri 十分接近;Harman Kardon Invoke 上的 Cortana 也從 2 月的 57% 成長至 63.4%。

根據 Loup Ventures 的觀察,在這半年間,所有助手都有著「有意義」的進展,像是 Siri 透過增加額外的專業領域受益,Alexa 則是從 Alexa Answers 這樣的群眾知識中成長.對於語音助手來說,最大的問題仍是對專有名詞的理解,除此之外用戶所說的一切幾乎都不是什麼大問題。

(首圖來源:Flickr/Aaron Yoo CC BY 2.0)