Om författaren
Jyri Huopaniemi är teknikchef för Nokia Technologies
Sedan lanseringen av den första smarttelefonen för mer än ett decennium sedan har FoU-teamet, ingenjörer och industridesigners fångats i striden om att öka innovationen i ökande takt.
Konsumenterna har sett tekniken på sina enheter förändras snabbt. De har nu tillgång till kapacitet och beräkningsfunktioner som bara nyligen ansetts vara omöjliga att uppnå i en smal formfaktor. Vi använder nu konstgjord intelligens varje dag för att hitta den bästa vägen att arbeta. Vi kan strömma de senaste filmerna nästan direkt.
Några av de största sprången framåt är på kameror monterade på den här enheten. Från grova bilder för drygt ett decennium sedan kan vi nu ta bilder och videoklipp av 4K-kvalitet, tillsammans med AI för att producera innehåll av professionell kvalitet.
I allt högre grad har FoU-teamet också insett möjligheten att integrera förbättrad sensorisk teknik i smartphones. Detta är tydligt i nuvarande AR- och speltrender, men ökar också i traditionella sensorer som mikrofoner. När det gäller ljud är ett av dagens uppdrag att matcha ljudfunktioner med högupplöst bildavbildning och videofunktioner i dagens kameror.
Ljudfunktioner låser upp nästa generations upplevelse
Förutom att ta bort det traditionella ljuduttaget har innovationer inom smarttelefonljud varit begränsade de senaste åren.
I allmänhet är fokuset på att förbättra den totala kvaliteten. Men ljudupplevelsen har inte förändrats avsevärt sedan dagarna för Walkman eller de bästa MP3-stereo-spelarna, men det är ofta fortfarande mono, och det finns flera alternativ för att justera uppspelningen.
Konsumenter är ofta beroende av att köpa extern hårdvara för att förbättra uppspelningens tydlighet. Under de senaste åren har vi sett en välkommen trend inom smarta högtalare och förbättrade tal- och ljudkvalitetssmartphones, vilket definitivt är ett steg i rätt riktning.
De flesta förbättringar av enhetsljud begränsas mestadels till professionellt innehållsuppspelning. Det finns en möjlighet för det innovativa FoU-teamet att tänka om ljudupplevelsen och matcha detta med vad som kan uppnås genom fotografering och video.
Genom att integrera sensorisk teknik och smart mjukvara kan enhetstillverkare radikalt omarbeta ljudupplevelser – vilket ger användarna mer kontroll över hur de fångar ljud. Låt oss titta på två exempel:
- Smarta ljudalgoritmer som tillåter rumslig ljudinspelning kan också aktivera ljudzoomfunktionalitet. Genom att arbeta som en teleobjektiv för ljud gör det möjligt att zooma användarna att isolera och komma närmare den önskade ljudkällan, dränka ut oönskat ljud,
- Samma teknik kan också låsa upp möjligheten att dynamiskt spåra rörliga ljudkällor, såväl som automatisk undertryckning av oönskade ljud, till exempel vindljud. Till och med redigering av ljudscener efter inspelning kan nu genomföras, vilket ger större kontroll över fångade scener och skapar obegränsade praktiska möjligheter när det gäller hur vi berättar våra historier.
Föreställ dig en förälder som deltar i sitt barns skolspel. Historiskt måste du brottas med dålig akustik och irriterande ljud från publiken, samtidigt som du accepterar att kvaliteten på det fångade ljudet kommer att begränsas av ditt avstånd från scenen (för att inte tala om att skicka upprörda unga skådespelare).
Idag kan innovativ ljudteknologi minska den här situationen för att ge användare en aldrig tidigare skådad kapacitet. När du spelar in rumsligt ljud kommer att reproducera ljudscener under uppspelning, det tar inte upp problemet med omgivande brus och gör det inte heller möjligt för dig att komma närmare handlingen. Det är här ljudzoomning och spårningsfunktioner kommer in.
Med smarttelefonkamera-gränssnittet kan användare nu förstora ljud tillsammans med video, samtidigt som de eliminerar platsens omgivande ljud – dra stolar, konversation i hallen och rastlösa barn i publiken. Utöver detta kan man välja och spåra huvudaktörerna dynamiskt, vilket gör att deras prestanda kan fångas i full, livlig och tydlig detalj.
Gift med hårdvara och programvara på FoU-scenen
Denna kapacitet uppnås genom programvara som fungerar med hårdvara. Det kräver inte någon väsentlig återupptäckt av den aktuella formfaktorn. Men det kräver en nära relation mellan ingenjören och apparatdesignern.
Arbeta med designteamet, programvaruingenjörer och FoU-teamet kan anpassa algoritmer som fångar rumsligt ljud med de unika specifikationerna för enhetens formfaktor. Detta nära partnerskap är viktigt, eftersom mikrofonens placering på smarttelefonen kommer att bidra till kvaliteten på den resulterande applikationen. Detta kommer också att avgöra vilka förmågor som kan uppnås.
Även om optimal placering inte alltid är möjlig utan att offra formfaktorer, kan detta till stor del övervinnas i de inledande stadierna för FoU. Med hjälp av akustiska laboratoriemätningar kan ljudalgoritmer som analyserar och bearbetar flera mikrofonsignaler kalibreras till en specifik placering. Detta hjälper till att bibehålla formfaktorns integritet och bestämmer också vilka kapaciteter som kan göras.
Det måste också fungera i harmoni med datorns datakraft. Detta kan inkludera integration med AI-motorer för att möjliggöra objektigenkänning för ljud, vilket ger användare möjlighet att fokusera ljud eller eliminera störande bakgrundsbrus.
Även om demokratisering av åtkomst till uppslukande ljud är hälften av ekvationen, är det en annan viktig komponent att säkerställa användarvänlighet för denna kapacitet. Ett effektivt användargränssnitt är en annan viktig tillgång – det måste vara lika intuitivt som det sätt vi använder videoinspelning idag. Återigen måste programvarudesignern arbeta nära med FoU och ingenjörer för att säkerställa att denna förmåga lätt kan användas.
Behovet av riktigt djupt innehåll
Enhetstillverkare måste överväga varför och hur människor använder smartphones för att kommunicera idag. I en digital värld full av sociala kanaler där vi alla delar våra liv varje dag, kan vikten av tekniken vi använder för att fånga och dela viktiga stunder inte överskattas.
Detta illustreras av det faktum att nästan 60% av internetanvändarna laddar upp och delar onlinevideor idag, medan nästan 80% av alla digitala videovisare använder detta innehåll via smartphones.
Att tillhandahålla ny erfarenhet bör inte handla om att reagera på förfrågningar. Det måste handla om att sätta standarder för innovation. Att aktivera sätt att ansluta digitala medier som är mer meningsfulla, vare sig det är skapat av användare eller professionellt, måste vara huvudfokus för smarttelefontillverkare.
Utveckling av sensorisk teknik som tar de bästa bilderna av vår miljö är nyckeln. Det beror på att när vi inte är nedsänkta i streaming av de senaste TV-serierna, är vi berättare. Verktyg som tillåter oss att skapa nya nivåer av fördjupning, fördjupa anslutningar till vår familj, vänner och en bredare publik, vilket ger oss som berättare.
Originalproduktstillverkare som förstår rollen som ljud i att främja digitalt innehåll kommer troligen att ligga ett steg före sina konkurrenter. De kommer att ta ledningen när det gäller att leverera produkter som erbjuder verklig marknadsdifferentiering.
Detta blir allt viktigare i det framtida beviset för nya former av digitalt innehåll och tekniska trender. Ny cellulär teknik, såsom 5G, samt kapaciteter som utvecklas från virtuell och förstärkt verklighet kommer att öppna djupare upplevelser. Den här avancerade ljudtekniken kommer att vara huvudingrediensen i att presentera den.
Jyri Huopaniemi är chef för teknisk licensiering vid Nokia Technology.
