Google har hävdat att dess nya chatbot, med namnet Meena, kan chatta om vad som helst och är bättre än andra liknande konversationsagenter. I en artikel publicerad i det förtryckta arkivet arXiv.org visar Google-forskare att Meena kan ha mer förnuftiga och specifika samtal än sofistikerade chatbots. För att testa Meena, en end-to-end-tränad neural konversationsmodell, för att testa, använde forskare en ny mänsklig utvärderingsmetrik för chatbots med öppen domän, kallad Sensibilitet and Specificity Average (SSA), som fångar grundläggande attribut, men är viktiga för samtalsmän.
“Otroligt nog visar vi att förvirring, de automatiska mätvärden som finns tillgängliga för varje nervsamtalsmodell, är mycket korrelerade med SSA,” säger studieförfattaren Daniel Adiwardana, Senior Research Engineer och Thang Luong, Senior Research Scientist, Google Research, Brain Team, i inlägget den här veckans blogg.
Moderna chatbots tenderar att vara mycket specialiserade – de fungerar bra så länge användaren inte vill för långt från den avsedda användningen.
För att bättre hantera olika konversationsämnen undersöker dialog med öppen domändialog kompletterande tillvägagångssätt som försöker utveckla chatbots som inte är specialiserade men som fortfarande kan chatta om vad användaren vill ha.
Förutom att det är ett intressant forskningsproblem, kan sådana konversationsagenter leda till många intressanta applikationer, till exempel mer mänskliga datorinteraktioner, förbättra främmande språkmetoder och göra interaktiva filmer och videospelkaraktärer som kan kontaktas.
Emellertid har chatten med öppen domän för närvarande en kritisk svaghet – ofta är det meningslöst. De säger ibland saker som är oförenliga med vad som har sagts hittills, eller som saknar sunt förnuft och grundläggande kunskaper om världen.
Dessutom ger chatbots ofta svar som inte är specifika för det aktuella sammanhanget.
Till exempel “Jag vet inte” är ett rimligt svar på alla frågor, men inte specifika. Chatbot gör detta för närvarande mycket oftare än människor eftersom det innehåller många möjliga användarinsatser.
Meena, å andra sidan, lärde sig att svara klokt i samband med konversationen som givits, enligt en artikel med titeln “Mot en mänsklig Chatbot med öppet domän”.
“Syftet med utbildningen är att minimera förvirring, osäkerheten förutspår nästa token (i detta fall nästa ord i konversationen),” sa Adiwardana och Luong i ett blogginlägg.
“I kärnan ligger seq2seq Evolution Transformer-arkitekturen, en Transformer-arkitektur uppfann av sökningen efter evolutionär neuralarkitektur för att öka förvirringen,” tillade de.
