Det har gått flera år sedan maskininlärning och neurala nätverk först började bli heta nya nyhetsämnen. Sedan dess har marknaden förändrats mycket och många företag och branscher som helhet har flyttat från idén om “vad vi kan göra med detta” till denna användbara berättelse, vi måste verkligen ha den. “Även om marknaden är långt ifrån mogen är den inte längre vid det första vilda-väst scen som vi såg för några år sedan.
En viktig utveckling i branschen är att det finns många kiselförsäljare som har valt att utveckla sina egna IP: er istället för att licensiera saker – i den meningen att IP-leverantörer ligger något bakom kurvan när det gäller att faktiskt erbjuda lösningar, tvinga hemutveckling så att deras produkter inte släpar i konkurrenskraften.
Idag tillkännagav CEVA en ny generation av NeuPro neurala nätverk accelerator, den nya NeuPro-S. Detta nya erbjudande förbättrar och förbättrar kapaciteten i den första generationen, med CEVA som också ökar leverantörens flexibilitet och nya produktutbud som inkluderar det faktum att olika leverantörer nu har sina egna interna IP: er.
NeuPro-S är den direkta efterträdaren till den första generationen NeuPro IP förra året, vilket förbättrar arkitekturen och mikroarkitekturen. Kärnförbättringen i den nya generationen ligger i hur blocken nu förbättrar och hanterar minnet, inklusive ny komprimering och datadekompression. CEVA citerar siffror som 40% reducerar minnesfotavtryck och bandbreddbesparingar, samtidigt som energieffektivitetsbesparingar upp till 30. Naturligtvis möjliggör detta också prestandaförbättringar, med högsta prestanda upp till 50% högre i samma hårdvarukonfiguration som den första generationen.
Dyk djupare in i mikroarkitekturförändringar, innovationer från den nya generationen inkluderar ny tung komprimering och optimering av nätverksdimension. Viktdata omskolas och komprimeras via CDNN via CEVA offline-kompilatorn och förblir i komprimerad form i maskinens huvudminne – med NeuPro-S som dekomprimeras i realtid genom hårdvaran.
I huvudsak liknar komprimering och ny sparsityoptimering det som Arm gjorde i sina ML-processorer genom att trimma nollvikt på modellen. CEVA visar sedan de kompressionsnivåfaktorer som kan uppnås – med faktorer beroende på% av nollvikt och bitviktsdelningsdelning. Viktdelning är en ytterligare optimering av den offline komprimeringsmodellen som minskar det verkliga fotavtrycket för den vägda informationen genom att dela hitta likheter och dela dem med varandra. Komprimeringsfaktorn varierar här från 1,3-2,7x i värsta fall med en liten ökning av sparsiteten på upp till 5,3-7x i modeller med en betydande mängd nollvikt.
Ytterligare optimering på minnesundersystemnivån inkluderar fördubbling av det interna gränssnittet från 128-bitars AXI-gränssnittet till 256-bitarsgränssnittet, vilket möjliggör mer rå bandbredd mellan systemet, CEVA XM-processorn och NeuPro-S-behandlingsmotorn. Vi ser också en ökning av den interna cachen, och CEVA förklarar att L2-minnesanvändningen har optimerats genom bättre programhantering.
När det gäller skalning av hela arkitekturen har NeuPro-S inte fundamentalt förändrats jämfört med föregångaren. CEVA har inga grundläggande begränsningar här när det gäller produktimplementering och de kommer att bygga RTL baserat på kundernas behov. Det som är viktigt här är att det finns idéer om kluster och behandlingsenheter i klustret. Kluster är oberoende av varandra och kan inte arbeta med samma mjukvaruuppgift – kunder kommer att implementera fler kluster bara om de har många parallella arbetsbelastningar på sitt målsystem – till exempel skulle det vara meningsfullt i en bilimplementering med många kameraströmmar, men ännu inte verkligen se fördelarna med cellulära system. Definitionen av ett kluster är ganska konstigt och det är inte särskilt tydligt om det verkligen är en typ av hårdvarubegränsning, eller mer troligt definitionen av mjukvarudrift av olika sammanhängande sammankopplingsblock (eftersom allt fortfarande är anslutet via AXI).
I ett kluster är det obligatoriska blocket XM6-visionen och CEVA: s mångsidiga vektorprocessor. Den fungerar som en systemkontrollprocessor och hanterar uppgifter som styrflöde och bearbetning av helt anslutna lager. CEVA konstaterar att bearbetning av ML-modeller kan behandlas helt oberoende av NeuPro-S-systemet, medan kanske andra IP-adresser fortfarande måste bero på CPU för att bearbeta flera lager.
NeuPro-S-motorn är naturligtvis en MAC-bearbetningsmaskin som tillför rå hästkrafter till bredare parallellbehandling och uppnår höga TOPS-nummer. Leverantören kräver ett minsta förhållande på 1: 1 XM för NeuPro-maskiner, men han kan välja att använda fler XM-processorer som kan utföra separata datorvisionsuppgifter.
CEVA tillåter möjlig skalning av MAC-maskiner i ett NeuPro-S-block, som sträcker sig från 1024 8 × 8 MAC till 4096 MAC. Företaget tillåter också olika bitdjupsbehandling, till exempel tillåter det 16 × 16 eftersom det fortfarande ser behovet av ett antal användningsfall som drar nytta av det högre precision 16-bitarsformatet. Det finns också konfigurationer med blandat format som 16 × 8 eller 8 × 16 där data och viktprecision kan variera.
Totalt anges en NeuPro-S-maskin i sin maximala konfiguration (NPS4000, 4096 MAC) som når upp till 12,5 TOPS på referensklockan 1,5 GHz. Naturligtvis kommer frekvensen att variera baserat på implementerings- och processnoden som kunden kommer att använda.
Som vissa personer i det föregående blockdiagrammet kommer att notera tillåter CEVA nu också integration av tredje parts AI-maskiner i sina CDNN-programvaror och att fungera med dem. CEVA kallar detta “CDNN-inbjudan”, och i princip erkänner företaget förekomsten av olika anpassade AI-acceleratorer som har utvecklats av olika kiselförsäljare.
CEVA vill tillhandahålla sina befintliga och omfattande kompilatorer och programvara till leverantörerna och göra det möjligt för dem att ansluta sina egna NN-acceleratorer. Många leverantörer som väljer att ta sin egen rutt kanske inte har omfattande mjukvaruupplevelse eller inte har tillräckligt med resurser för att utveckla programvara, och CEVA vill göra det möjligt för dessa kunder att få nya erbjudanden.
Medan NeuPro-S kommer att förbli ett fantastiskt val för generiska NN-kondensatorer, erkänner CEVA att det kan finnas speciella acceleratorer där ute som är mycket optimerade för specifika specifika uppgifter, vilket uppnår högre prestanda eller effektivitet. Säljare kan alltså ha det bästa från båda världarna genom att ha en hög grad av flexibilitet, både inom programvara och hårdvara. Man kan välja att använda NeuPro-S som en accelerator, bara använda sin egen IP eller skapa ett system med båda enheterna. Det enda kravet här är att XM-processorn implementeras som ett minimum.
CEVA hävdar att NeuPro-S är tillgängligt idag och har licensierats för att leda kunder inom bilkameraapplikationer. Som vanligt är det sannolikt att silikonprodukter kommer om två år.
