Av Cade Metz
För fyra år sedan tävlade mer än 700 datavetare i en tävling för att bygga konstgjord intelligens som kunde klara ett vetenskapligt test på nivå åtta. Det finns $ 80 000 prispengar på linjen.
De misslyckades alla. Även de mest sofistikerade systemen kan inte prestera bättre än 60 procent på tester. AI kan inte matcha de språk- och logikfärdigheter som studenter förväntas ha när de går in på gymnasiet.
Men på onsdag lanserade Allen Institute for Artificial Intelligence, ett ledande laboratorium i Seattle, ett nytt system som klarat testet med tomt utrymme. Den svarar korrekt på mer än 90 procent av frågorna på åttonde klassens vetenskapstest och mer än 80 procent av examen på 12: e klass.
Systemet, som kallas Aristo, är en indikation på att forskare har gjort stora framsteg när det gäller att utveckla en AI som kan förstå språk och efterlikna mänsklig logik och beslutsfattande under de senaste månaderna.
Världens främsta forskningslaboratorium förbättrar snabbt maskinens förmåga att förstå och svara på naturligt språk. Maskiner är bättre på att analysera dokument, hitta information, svara på frågor och till och med producera sitt eget språk.
Aristo byggdes endast för tester med flera val. Behöver ett standardiserat test skrivet för studenter i New York, även om Allen Institute tar bort alla frågor inklusive bilder och diagram. Att besvara sådana frågor kommer att kräva ytterligare färdigheter som kombinerar språkförståelse och logik med det som kallas datorsyn.
Vissa testfrågor, som den här från åttonde klassens examen, kräver lite mer än informationshämtning:
En grupp nätverk som arbetar tillsammans för att utföra vissa funktioner kallas:
(1) organ
(2) en organism
(3) ett system
(4) cell
Men andra, som den här frågan från samma test, kräver logik:
Vilka förändringar kan sannolikt orsaka en minskning av antalet ekorrar som bor i ett område?
(1)
(2)
(3)
(4)
Forskare vid Allen Institute började arbeta med Aristo – de ville bygga en “digital Aristoteles” – 2013, precis efter att laboratoriet grundades av Seattle-miljardären och Microsoft-grundare Paul Allen. De ser standardvetenskapliga tester som ett mer meningsfullt alternativ till typiska AI-riktmärken, som beror på spel som schack och backgammon eller uppgifter som enbart görs för maskiner.
Ett vetenskapligt test är inte något som bara kan bemästras genom att lära sig reglerna. Det kräver uppkopplingar med logik. Ökande skogsbränder, till exempel, kan döda ekorrar eller minska tillgången på mat som behövs för att utveckla och reproducera.
Entusiasmen för Aristos framsteg är fortfarande arg bland forskare som tror att maskinen långt ifrån behärskar det naturliga språket helt – och ännu längre från duplicering av sann intelligens.
“Vi kan inte jämföra denna teknik med verkliga mänskliga studenter och deras förmåga att resonera”, säger Jingjing Liu, en Microsoft-forskare som har arbetat med många av samma teknologier som Allen Institute.
Men Aristos framsteg kan spridas till en mängd olika produkter och tjänster, från internetsökmotorer till sjukhusregistreringssystem.
“Detta har betydande affärsmässiga konsekvenser,” sade Oren Etzioni, en före detta professor i University of Washington som övervakar Allen Institute. “Vad jag kan säga – med fullt förtroende – är att du kommer att se nya generationens produkter, några från startups, några från stora företag.”
Ny forskning kan leda till system som kan ha anständiga konversationer. Men det kan också uppmuntra spridningen av falsk information.
“Vi är i det tidigaste skedet av detta,” sade Jeremy Howard, som övervakar Fast.ai, ett annat inflytelserikt laboratorium, i San Francisco. “Vi är så långt ifrån potential att jag inte kan säga var det kommer att sluta.”
År 2016, när ett labb i London byggde ett system som kunde slå världens bästa spelare i det antika spelet Go, berömdes det allmänt som en vändpunkt för artificiell intelligens.
Men Etzionis glädje var mild. Konstgjord intelligens är inte så långt avancerad som det verkar, sade han och pekade på den tidigare Allen Institute-tävlingen som störde AI-system med ett vetenskapligt test på åtta nivåer.
Allen Institute ökade insatser som tidigare var mycket snabbare än många experter hade förutspått – inklusive Etzioni.
Hans arbete drivs till stor del av neurala nätverk, komplexa matematiska system som kan lära sig uppgifter genom att analysera stora datamängder. Genom att visa mönster i tusentals foton av hundar, till exempel, kan nervnätverk lära sig att känna igen en hund.
Under de senaste månaderna har världens ledande AI-laboratorium byggt ett komplext neuralt nätverk som kan studera konstiga språk genom att analysera artiklar och böcker skriven av människor.
På Google byggde forskare ett system som heter Bert som kombinerade tusentals Wikipedia-artiklar och digitala bibliotek med romanser, science fiction och andra självutgivna böcker.
Genom att analysera all text lär Bert hur man gissa det saknade ordet i en mening. Genom att lära sig den färdigheten absorberade Bert mycket information om hur grundläggande språk byggdes. Och forskare kan tillämpa den kunskapen på andra uppgifter.
Allen Institute byggde sitt Aristo-system på Bert’s teknologi. De gav Bert olika frågor och svar. Senare lärde han sig att svara på liknande frågor själv.
För inte så länge sedan definierade forskare i labbet beteendet hos deras test som tog systemet en rad mjukvarukod i taget. Ibland gör de fortfarande tröttande kodning. Men nu när systemet kan lära av själva digitala data kan det öka med mycket snabbare hastighet.
System som Bert – kallade “språkmodeller” – driver nu en mängd olika forskningsprojekt, inklusive system och konversationsverktyg som är utformade för att identifiera falska nyheter. Med mer data och mer datorkraft tror forskarna att tekniken kommer att fortsätta att förbättras.
Men Etzioni betonade att detta systems framtid är svår att förutsäga och att språket bara är en pussel.
Liu och andra Microsoft-forskare har försökt bygga ett system som kan klara postgraduate Exam Examen, ett test som behövs för forskarskolan.
Språkdelen kan göras, sade han, men att bygga de resonemang som behövs för matematikdelen är en annan sak. “Det är för utmanande.”
