Fem månader efter att ha genomfört ett test som satte smarta högtalare i rampljuset för att avgöra hur bra de presterar i olika kategorier, är Loup Ventures tillbaka idag med ett nytt inlägg. IQ-testet fokuserade helt på digital AI-assistent. För att få de resultat de behövde ställde forskarna Siri, Google Assistant, Alexa och Cortana var 800:e fråga på en smartphone och jämförde sina resultat med ett tidigare AI-test som administrerades. Hölls i april 2017.
När det gäller Siri i det nya testet förstod Apples AI Helper 99 % av frågorna och svarade på 78,5 procent av dem korrekt. Det är en förbättring jämfört med ett liknande AI-fokuserat test från april 2017 (66,1 procent av 800 frågor besvarade korrekt). Medan Loup Ventures övervägde liknande metoder när de testade smarta högtalare i februari, förklarade forskarna att det “inte var värt att jämföra” resultaten mellan dessa tester på grund av “användningsfallen är det stor skillnad mellan en digital assistent och en smart högtalare.”
Detta gäller särskilt Siri på HomePod, som fungerar bra i vissa områden men är till stor del begränsad till antalet åtgärder den kan utföra på själva högtalaren. Detta ledde HomePods AppleHomePod till “botten av totemkolumnen” i ett AI-assistentprestandatest under Loup Ventures forskning om smarta högtalare i februari, där Siris svar var 52. ,3 procent av de totalt 782 frågorna var korrekta, i samma fem kategorier som det nya testet.
Loup Ventures betygsätter varje digital assistent baserat på två mätvärden: “Förstår den vad som efterfrågas?” och “Gav det rätt svar?” Frågorna kom från fem kategorier, inklusive Lokal (t.ex. “Var är närmaste kafé?”), Kommersiell (“Kan du beställa fler vävnader?”), Navigation (“Hur tar jag mig till området med bussen?” ) , Information (“Vem spelar tvillingarna med ikväll?”) och Command (“Påminn mig om att ringa Steve kl. 14 idag”).
Frågor ställdes om Siri på iPhones som kör iOS 11.4, Google Assistant på Pixel XL, Alexa på iOS-appen och Cortana på iOS-appen. Siris bästa kategori var Command (90 % av frågorna besvarade korrekt), som överträffade alla konkurrenter när de ombads kontrollera aspekter av iPhone, smarta hemprodukter, Apple Music och Apple Music. Efter Command presterade Siri bra inom lokalt (87 %), navigation (83 %) och började minska inom information (70 %) och handel (60 %).
“Google Assistant har fördelen i alla kategorier utom kommandon. Siris ledning över Assistant i den här kategorin är kuslig, eftersom båda är inbakade i telefonens operativsystem istället för att leva på en tredjepartsapp (som Cortana och Alexa gjorde). Vi tyckte att Siri var lite mer hjälpsam och flexibel (mer lyhörd för språk) när det gäller att styra din telefon, smarta hem, musik, etc. Vårt frågeformulär inkluderade också en stor mängd musikrelaterade frågor (vanligast för smarta högtalare). Apple, trogen sina rötter, har sett till att Siri kan lyssna på musik på både mobila enheter och smarta högtalare. “
Google Assistant är den ledande digitala assistenten i alla kategorier utom Command, med Loup Ventures som särskilt gillar Googles “utvalda utdrag”-funktion som läser sökresultat av röstfrågor och ofta “exakt vad du letar efter.” Både Alexa och Cortana presterar sämre i testet eftersom varje iOS-app begränsar vad assistenten kan göra på iPhone, till skillnad från Siris förmåga att utföra uppgifter på iOS och inte i en enda applikation.
Totalt svarade Google Assistant på 85,5 procent av de 800 frågorna som ställdes rätt och förstod dem alla, jämfört med Siris 78,5 procent svarade rätt och 11 procent fick fel. Alexa fick rätt 61,4 procent och fel 13, medan Cortana var den “släpande” och fick rätt 52,4 procent och missförstod 19.
Under 15-månadersperioden från april 2017 har Siri förbättrats med 13 procentenheter, där Loup Ventures påpekar att det är “imponerande i den hastighet med vilken tekniken utvecklas” för de flesta assistenter. Forskarna fortsätter med att förklara att många av problemen de stött på under det senaste året har eliminerats tack vare “förbättringar av naturlig språkbehandling och anslutning mellan enheter.”
Loup Ventures ser också många förbättringar komma, särskilt för Siri. I höst kommer digitala assistenter att få nya möjligheter med Apples kommande “Siri Shortcuts”-funktion i iOS 12, vilket gör att användare kan skapa automatiseringar mellan appar som enkelt kan aktiveras via röstkommando. Studier säger att de är “ivriga att testa den funktionen” när den lanseras i iOS 12, som troligen kommer i september.
Källa: Macrumors
