Några av AI-framstegen under det senaste decenniet kan vara vilseledande

Denna webbplats kan tjäna affiliate-provisioner från länkarna på denna webbplats. Skick.

Under det senaste decenniet har artificiell intelligens och maskininlärning växt fram som ett stort forskningsnav, som drivs av framsteg inom GPU-beräkningar, mjukvarualgoritmer och specialiserad hårdvarudesign. Nya data tyder på att åtminstone några av de algoritmiska förbättringarna under det senaste decenniet kan vara mindre än man tidigare trott.

Forskare som försöker validera långsiktiga förbättringar i olika AI-algoritmer har hittat situationer där blygsamma uppdateringar av äldre lösningar tillåter dem att emulera nyare metoder borde ersätta dem. Teamet jämförde 81 olika beskärningsalgoritmer som utfärdats under en tioårsperiod och fann inga tydliga bevis på förbättring inom den tidsramen.

Enligt David Blalock, en datavetenskapsstudent vid MIT som arbetade med projektet, efter femtio uppsatser “allt mer otydliga”. Blalocks rådgivare, Dr. John Guttag, chockad av nyheten och sa Vetenskap, Det här är en gammal såg, eller hur? Kan man inte mäta någonting är det svårt att göra bättre. “

Frågor som dessa är för övrigt exakt varför MLPerf-initiativ är så viktiga. Vi behövde objektiva tester som forskare kunde använda för att jämföra modeller och giltig hårdvaruprestanda.

Det speciella som forskarna har funnit är att i vissa fall har äldre och enklare algoritmer en chans att ta till sig nyare metoder efter att ha modifierat den gamla metoden för att förbättra deras prestanda. . I ett fall visade en jämförelse av sju neuralbaserade mediarekommendationsalgoritmer att sex av dem var sämre än äldre, enklare icke-neurala algoritmer. Cornells fotoalgoritmjämförelse visar ingen förbättring i prestanda sedan 2006 efter uppdatering av den gamla metoden:

Bild från Science

Det finns några saker jag vill betona här: För det första finns det många orealistiska fördelar med AI, som förbättrade AI-videoförbättringar eller framsteg inom kamera- och datorseende. GPU:er är mycket bättre på att beräkna AI än de var 2009, och de AI-specifika AVX-512-acceleratorerna 2020 saknas också 2009.

Men vi pratar inte om att hårdvaran blir större eller bättre på att implementera AI-algoritmer. Vi diskuterar algoritmer och deras komplexitet i AI-modeller. Jag lärde mig faktiskt något om ämnet; Jag och min vän David Cardinal har arbetat med ett antal AI-relaterade projekt som jag arbetat med med Premium DS9 Project. Grundläggande förbättringar av algoritmer är svåra, och många forskare avskräcks från att helt testa om den nya metoden verkligen är bättre än den gamla – men det kan vara bättre om du kommer på en ny metod för att göra något istället för att posera för något annat.

Naturligtvis är det inte så lätt som att säga att nyare modeller inte bidrar med något användbart i detta avseende. Om en forskare hittar en optimering som förbättrar prestandan för en ny modell, och det visar sig att optimeringen fungerar för den gamla modellen, betyder det inte att den nya modellen inte är relevant. Att bygga en ny modell var den första upptäckta optimeringen.

Figuren ovan är vad Gartner kallar hypecykeln. AI är definitivt en-mot-en och med tanke på hur viktig den här tekniken är för vad vi ser från företag som Nvidia, Google, Facebook, Microsoft och Intel idag kommer att diskuteras för framtiden. När det kommer till AI har vi sett stora framgångar med olika ämnen, som att lära datorer att spela spel effektivt och att forska mycket om självkörande bilar. Den nuvarande huvudanvändarapplikationen är fortfarande ganska speciell för tillfället.

Jag tänker inte läsa detta som ett bevis på att AI bara är varmluft, men jag säger verkligen att det erövrar universum och ersätter oss längst upp i näringskedjan med en nypa salt. Verkliga framsteg på området – åtminstone på en grundläggande nivå – kan vara svårare att uppnå än vissa kanske förväntar sig.

Kredit för den översta bilden: Getty Images

Läs nu: