Năm tháng sau khi thực hiện một bài kiểm tra đưa loa thông minh của nhiều công ty trở thành tâm điểm chú ý để xác định mức độ hoạt động của chúng trong các hạng mục khác nhau, Loup Ventures hôm nay đã trở lại với một bài kiểm tra IQ tập trung hoàn toàn vào trợ lý AI kỹ thuật số. Để có được kết quả cần thiết, các nhà nghiên cứu đã hỏi Siri, Google Assistant, Alexa và Cortana, mỗi câu hỏi 800 câu hỏi trên điện thoại thông minh và so sánh phát hiện của họ với một bài kiểm tra AI trước đó được tổ chức vào tháng 4 năm 2017.
Đối với Siri trong thử nghiệm mới, AppleNgười trợ giúp AI của hiểu 99% các truy vấn và đã trả lời 78.5 phần trăm của chúng một cách chính xác. Đó là một cải tiến trong một bài kiểm tra tập trung vào AI tương tự từ tháng 4 năm 2017 (66.1 phần trăm của 800 câu hỏi được trả lời đúng). Trong khi Loup Ventures đã xem xét các phương pháp tương tự khi thử nghiệm loa thông minh vào tháng 2, các nhà nghiên cứu giải thích rằng “không đáng để so sánh” kết quả giữa các thử nghiệm này vì “các trường hợp sử dụng khác nhau rất nhiều giữa trợ lý kỹ thuật số và loa thông minh.”
Điều này đặc biệt đúng với Siri trên HomePod, tính năng này hoạt động tốt ở một số khu vực nhất định nhưng phần lớn bị giới hạn ở số lượng hành động mà nó có thể thực hiện trên chính người nói. Điều này đã dẫn AppleHomePod của HomePod trở thành “đáy của cột vật tổ” trong một bài kiểm tra hiệu suất của trợ lý AI trong quá trình nghiên cứu loa thông minh của Loup Venture vào tháng 2, với câu trả lời là 52 của Siri.3 phần trăm trong tổng số 782 câu hỏi chính xác, trên cùng năm loại như bài kiểm tra mới.
Loup Ventures chấm điểm mỗi trợ lý kỹ thuật số dựa trên hai chỉ số: “Nó có hiểu những gì đang được hỏi không?” và “Nó có đưa ra phản hồi chính xác không?” Các câu hỏi đến từ năm danh mục, bao gồm Địa phương (ví dụ: “Quán cà phê gần nhất ở đâu?”), Thương mại (“Bạn có thể gọi thêm khăn giấy cho tôi không?”), Điều hướng (“Làm cách nào để tôi đến khu phố trên xe buýt?” ), Thông tin (“Tối nay Twins chơi với ai?”) Và Lệnh (“Nhắc tôi gọi cho Steve lúc 2 giờ chiều hôm nay”).
Các câu hỏi đã được hỏi về Siri trên iPhone chạy iOS 11.4, Google Assistant trên Pixel XL, Alexa trên ứng dụng iOS và Cortana trên ứng dụng iOS. Hạng mục tốt nhất của Siri là Command (90% câu hỏi được trả lời đúng), vượt trội hơn tất cả các đối thủ khi được yêu cầu kiểm soát các khía cạnh của iPhone, các sản phẩm nhà thông minh, Apple Âm nhạc và hơn thế nữa. Sau Command, Siri hoạt động tốt ở Local (87%), Navigation (83%), và bắt đầu giảm dần trong Information (70%) và Commerce (60%).
“Google Assistant có lợi thế trong mọi danh mục ngoại trừ Lệnh. Sự dẫn đầu của Siri so với Trợ lý trong danh mục này là kỳ lạ, vì cả hai đều được đưa vào hệ điều hành của điện thoại thay vì sống trên ứng dụng của bên thứ 3 (như Cortana và Alexa đã làm). Chúng tôi nhận thấy Siri hữu ích và linh hoạt hơn một chút (phản ứng với ngôn ngữ linh hoạt hơn) trong việc điều khiển điện thoại, nhà thông minh, âm nhạc của bạn, v.v. Bộ câu hỏi của chúng tôi cũng bao gồm một lượng lớn các truy vấn liên quan đến âm nhạc (hành động phổ biến nhất đối với loa thông minh ). Apple, đúng với nguồn gốc của nó, đã đảm bảo rằng Siri có khả năng nghe nhạc trên cả thiết bị di động và loa thông minh. “
Google Assistant là trợ lý kỹ thuật số hàng đầu trong tất cả các danh mục ngoại trừ Command, với Loup Ventures đặc biệt thích tính năng “các đoạn trích nổi bật” của Google giúp đọc kết quả tìm kiếm của các truy vấn bằng giọng nói và thường là “chính xác những gì bạn đang tìm kiếm.” Cả Alexa và Cortana đều có hiệu suất kém hơn trong thử nghiệm do mỗi ứng dụng iOS giới hạn những gì trợ lý có thể làm trên iPhone, không giống như khả năng của Siri để thực hiện các tác vụ trên iOS chứ không chỉ trong một ứng dụng.
Tổng cộng, Google Assistant đã trả lời 85.5 phần trăm trong số 800 câu hỏi được hỏi đúng và hiểu tất cả chúng, so với 78 của Siri.5 phần trăm trả lời đúng và 11 phần trăm hiểu sai. Alexa đã trả lời đúng 61.4 phần trăm và hiểu sai 13, trong khi Cortana là “người tụt hậu” và trả lời đúng 52.4 phần trăm và hiểu lầm 19.
Trong khoảng thời gian 15 tháng kể từ tháng 4 năm 2017, Siri đã cải thiện 13 điểm phần trăm, với Loup Ventures chỉ ra rằng nó “ấn tượng với tốc độ mà công nghệ đang phát triển” đối với hầu hết các trợ lý. Các nhà nghiên cứu tiếp tục giải thích rằng nhiều vấn đề họ gặp phải trong năm ngoái đã được xóa bỏ nhờ “những cải tiến đối với xử lý ngôn ngữ tự nhiên và kết nối giữa các thiết bị.”
Loup Ventures cũng nhận thấy nhiều cải tiến sắp ra mắt, đặc biệt là đối với Siri. Vào mùa thu này, trợ lý kỹ thuật số sẽ có được những khả năng mới với AppleTính năng “Siri Shortcuts” sắp ra mắt trong iOS 12, cho phép người dùng tạo tự động hóa giữa các ứng dụng có thể dễ dàng kích hoạt thông qua lệnh thoại. Các nghiên cứu cho biết họ “háo hức thử nghiệm tính năng đó” khi nó ra mắt trong iOS 12, có thể sẽ ra mắt vào tháng 9.
Nguồn: macrumors
