ChatBot Meena kami lebih baik daripada yang lain, kata Google

Google telah mengklaim bahwa chatbot barunya, bernama Meena, dapat mengobrol tentang apa saja dan lebih baik daripada broker obrolan serupa lainnya. Dalam sebuah artikel yang diterbitkan di repositori arXiv.org pracetak, para ilmuwan Google menunjukkan bahwa Meena dapat memiliki percakapan yang lebih masuk akal dan spesifik daripada chatbots canggih. Untuk menguji Meena, model percakapan saraf terlatih ujung-ke-ujung, para ilmuwan menggunakan metrik penilaian manusia baru untuk chatbots domain terbuka, yang disebut Average Sensitivity and Specificity (SSA), yang menangkap atribut dasar, tetapi penting untuk percakapan manusia.

"Anehnya, kami menunjukkan bahwa kebingungan, metrik otomatis yang tersedia untuk setiap model percakapan saraf, sangat berkorelasi dengan SSA," kata penulis studi Daniel Adiwardana, seorang insinyur peneliti senior dan Thang Luong, seorang ilmuwan peneliti senior, Google Research. , Tim Otak, di pos. blog minggu ini

Chatbot modern cenderung sangat terspesialisasi – mereka berfungsi dengan baik selama pengguna tidak menyimpang terlalu jauh dari penggunaan yang dimaksudkan.

Untuk menangani lebih baik berbagai topik percakapan, penelitian dialog domain terbuka mengeksplorasi pendekatan pelengkap yang berupaya mengembangkan chatbots yang tidak terspesialisasi tetapi masih dapat berbicara tentang apa yang diinginkan pengguna.

Selain menjadi masalah penelitian yang menarik, agen percakapan ini dapat menyebabkan banyak aplikasi menarik, seperti lebih banyak interaksi manusia-komputer, meningkatkan praktik bahasa asing, dan membuat film interaktif dan karakter permainan video yang dapat dihubungi.

Namun, obrolan domain terbuka saat ini memiliki kelemahan kritis, seringkali tidak masuk akal. Terkadang mereka mengatakan hal-hal yang tidak konsisten dengan apa yang telah dikatakan sejauh ini, atau yang tidak memiliki akal sehat dan pengetahuan dasar tentang dunia.

Juga, chatbots sering memberikan jawaban yang tidak spesifik untuk konteks saat ini.

Misalnya, "Saya tidak tahu" adalah jawaban yang masuk akal untuk setiap pertanyaan, tetapi tidak spesifik. Chatbot saat ini melakukan ini jauh lebih sering daripada orang-orang karena ini mencakup banyak kemungkinan input pengguna.

Meena, di sisi lain, belajar merespons dengan bijaksana konteks percakapan yang diberikan, menurut sebuah dokumen berjudul "Menuju Domain Terbuka yang Disukai Manusia Seperti Chatbot."

"Tujuan dari pelatihan ini adalah untuk meminimalkan kebingungan, ketidakpastian memprediksi token berikutnya (dalam hal ini, kata berikutnya dalam percakapan)," kata Adiwardana dan Luong dalam sebuah posting blog.

"Pada intinya adalah arsitektur transformator seq2seq, sebuah arsitektur transformatif yang diciptakan oleh pencarian arsitektur saraf evolusioner untuk meningkatkan kebingungan," tambah mereka.