I oktober 2009 släpptes den första musikvideon med Augmented Reality (förstärkt verklighet). Det var Heartbreak Warfare (klicka på titeln för video) med den amerikanske artisten John Mayer. Fans kunde skriva ut en s.k. AR marker och hålla papperet framför en webbkamera med resultatet att ett rum plötsligt dök upp från ingenstans.
Låten drar igång och i tomma luften sätter sig John Mayer i en fåtölj, tar upp sin gitarr och börjar spela. Successivt förändras miljön, bombplan dyker upp i bakgrunden, bomber faller och exploderar, John Mayer får på sig lite scenkläder och spelar sedan låten som en tredimensionell virtuell replika av sig själv.
Sju år senare, hösten 2016, går tiotals miljoner smartphone-användare omkring på världens gator och försöker hitta Pokémons. Plötsligt, som över en natt, drogs alla in i en gigantisk spelvärld med hela jorden som spelplan. Suget efter att gå omkring i den verkliga världen och hitta de små virtuella figurerna vet inga gränser. Gångtrafikanter har blivit trafikfaror när de maniskt fastklistrade vid sina skärmar hetsigt swipar uppåt för att kasta bollen, och på skolor och arbetsplatser har en helt ny vokabulär smugit sig in.
Lanseringen av Pokémon Go kommer ses som historisk. Det är första gången en applikation som länkar samman geocaching, Augmented Reality och spelmekanik på allvar når en massmarknad, och det är först nu vi kan räkna med ett riktigt språng i teknikutvecklingen.
Hur många har inte gått omkring och jagat Pokémons och tänkt ”om jag bara hade haft videoglasögon”?
Sanningen är naturligtvis att allt inte hände över en natt. Många års hårt arbete och teknikutveckling gjorde det möjligt, men, resultatet är att Augmented Reality inte längre är något vi bara hittar i obskyra scifi-romaner eller svårlästa forskningsartiklar. Det är något som finns mitt ibland oss. Våra barn åker omkring på hoverboards och letar virtuella djur, som vore det en scen tagen direkt ur Tillbaka till framtiden.
Även om den där första AR-musikvideon med John Mayer med dagens mått mätt var relativt enkel, markerar videon ändå början på en era. Eran då musiken, det digitala och den fysiska verkligheten smälter samman till en gemensam upplevelse. Eran då det virtuella och det materiella sammanförs till vad som på engelska kallas ”mixed reality”, en mixad verklighet.
Augmented Reality kommer få en enorm betydelse för musiken och musikindustrin under de kommande åren.
För den som ännu inte upplevt en mixad verklighet med smartglasses, krävs det nästan att man visuellt får se det för att få en känsla. De första versionerna av Google Glass, Samsungs smartglasses etc, har haft stora begränsningar, men med Hololens, Meta 2 och kommande versioner av Sony, Vuzix, Apples och Googles glasögon kommer något stort att hända, också för musikindustrin. Det är vad man brukar kalla, en game changer.
Så, innan vi går vidare, om du inte har testat någon av prototyperna och developer-versionerna som släppts under 2016, som analyserar den direkta fysiska omgivningen, krävs det nästan att du ser t.ex. den här videon: Microsoft HoloLens – holograms will shape the future!
När nya lager av information och upplevelser läggs på den fysiska verkligheten runt omkring oss kommer musiken bli en viktig ingrediens, precis som den alltid brukar vara.
Konsertupplevelser kan förstärkas genom att man ser lyrics sväva i luften när man är på en konsert, virtuella objekt och effekter som är en del av showen kan läggas på scenen och artisterna, man kan titta ut över folkmassan för att se en pil som visar vart ens kompisar är, pilar som visar vart man ska gå på ett festivalområde för att hitta rätt, egentligen är det bara fantasin som sätter gränser för hur livemusik skulle kunna se ut med ett par smartglasses på.
Jag tror inte det kommer dröja speciellt länge förrän vi kommer se majoriteten av besökare på vissa konserter ha smartglasses med Augmented Reality, helt enkelt för att man kommer missa en stor del av upplevelsen om man inte har det, på samma sätt som man missar upplevelsen om man inte har 3D-glasögon på en 3D-bio.
Artister skulle kunna placera sina releaser vart som helst därute, precis som Pokémons, gym och Pokéstops appliceras på specifika fysiska platser. Det har redan gjorts vid ett par tillfällen, se t.ex. vad Landmrk gör, men genomslaget har varit begränsat eftersom tekniken först nu börjar slå igenom.
Spellistor skulle kunna hänga eller ligga runt omkring oss, du går förbi Sony Musics kontor och på väggen utanför hänger spellistan över nya releaser denna vecka. Eller i klädbutiken ser du låtarna ligga bredvid olika klädesplagg.
Vi kommer kunna gå förbi musikhistoriska platser och lokaler, som t.ex. Polarstudion i Stockholm och se hur det såg ut när det begav sig. Gå genom Kungsträdgården och se en konsert som genomfördes för tio år sen, endera som reell video eller med virtuellt återskapande. Tänk er att gå på gatorna i New Orleans och uppleva jazzen så som den var, med tredimensionella replika av musikerna, eller för min del, kunna återuppleva hur det var i Seattle de där åren mellan 1987 – 1994 (med möjligheten att filtrera bort det värsta…)
Jag frågade ett par barn, som självklart spelar Pokémon Go varenda dag, hur de skulle vilja att ett Pokémon Musik skulle se ut, alltså ett musikspel med liknande funktionalitet.
En tjej tyckte att man skulle leta reda på artister, hon sa Måns Zelmerlöw som exempel. När man hittar Måns Zelmerlöw, låt säga bredvid en björk i Umeå eller utanför Pressbyrån på Avenyn, ska man göra något för att få artisten att sjunga. Hon tyckte att man skulle kunna vara som en ”sån där som viftar med händerna” och styra artisten med händerna, och när man lyckades ”vinna” över artisten så att den sjöng jättehögt fick man poäng och kunde levla upp. Och sen skulle man gå och hitta nästa artist. Tjejen är sex år gammal.
En kille, nio år gammal, tyckte att man borde kunna skapa musik i spelet. Man ska hitta olika virtuella instrument som man sedan tar med sig till ett gym (för er som inte spelat Pokémon Go är gym platser där man tränar på att slåss). På musikgymmet ska man kunna träna på att spela på de virtuella instrumenten, endera själv eller med andra som också hittat instrumenten, för att sedan tillsammans slåss mot en boss med musiken man skapat.
Vi har redan setupen klar för att musiken på allvar ska flytta ut i den fysiska verkligheten, all musik på streamingtjänsterna, smartphones, Facebook och andra sociala medier som går att koppla samman, det är bara riktigt bra syninterface, idéerna och tillämpningarna som saknas.
Vi kan räkna med en utveckling där vi kommer tagga den fysiska verkligheten med musik. Göra det möjligt för musikälskare att tagga objekt eller platser med låtar och för andra att kunna ge tummen upp eller ner om någon annans låt passar. Kopplat till Spotify eller andra tjänster, helt enkelt crowdsourcing för att musiksätta den fysiska verkligheten. ”Daniel J har taggat ingången till Coop i Kållered med Cissy Strut”.
Jag som är otroligt dålig på att veta vilka fotbollspelare som är på planen kommer äntligen kunna se namnskyltarna ovanför spelarna när jag är på fotbollsmatch, och se om de kör 5-3-2 eller 3-4-3 eller 1-1-8 eller vad det nu är. När jag föreläser kommer saker och ting bli så otroligt mycket lättare när anteckningar och manus svävar i luften ovanför studenternas huvuden.
Du kan säkert komma på mängder av områden där AR skulle kunna underlätta din egen vardag. Jag sträcker mig så långt som att säga att på sikt kommer sammansmältningen av den fysiska och virtuella verkligheten förändra våra liv. Enbart den fysiska verkligheten, utan detta lager, kommer för många som idag är barn kännas fattig när de är vuxna. Tekniken kommer användas för att hjälpa människor med funktionsnedsättningar eller sjukdomar som depression, Parkinson och Alzheimer. Just Parkinson finns det redan mängder av forskning kring hur AR underlättar och hjälper i vardagen. Även för djupt deprimerade människor visar experiment att AR i kombination med spelmekanik baserat på KBT-metodik kan förbättra vardagen avsevärt.
Det finns säkert många som fortfarande skrattar lite och tror att den här tekniken inte kommer slå igenom. Att den inte kommer att bli en naturlig del av våra liv. Att den för alltid kommer vara scifi. Slå mig gärna en pling om några få år, typ 2022.
Hur ska de olika aktörerna i musikindustrin hantera denna utveckling? Det finns, som alltid, en del rättighetsproblem, vem får sprida vad, när, hur? Vem ska egentligen lösa framförandelicensen när någon taggar NK-klockan med ”Ragga Runt” av Eddie Meduza? Och vem ska tjäna pengar på det? Får vem som helst tagga en Youtube-video var som helst? Vem har rätten att lägga musikvideos och annat i luften ovanför slottet eller Uppsala domkyrka? Ska det finnas sådana begränsningar, eller ska det virtuella rummet, applicerat på det fysiska rummet, lämnas fritt?
Troligen inte, den mixade verkligheten kommer också innehålla regler och lagar, men än så länge är det tunt med förslag. Det är dags, det är nu det börjar hända, se bara på rättighetsdiskussionerna kring Pokémon Go och hur företag börjar använda sig av den mixade världen i sin marknadsföring.
Under de senaste åren har jag många gånger frågat mig vad som kommer ”efter streamingen”. Nu tror jag faktiskt att jag har svaret. Det här!
Augmented/Mixed Reality. Den mixade verkligheten. Det är nästa stora steg för musiken.
Jag tror det kommer resultera i helt nya musikstilar, genrer och ljudmiljöer runt omkring oss, nya former av instrument och uttryckssätt. De begränsningar vi har i den fysiska verkligheten försvinner plötsligt när vi kan använda oss av virtuellt skapade objekt och artefakter.
Så nu är bara frågan, hur modig kommer musikbranschen vara för att vara med och forma denna nya era? Frågor kring upphovsrätten kommer självklart återigen att stötas och blötas när nya former av problem uppstår kring spridning och användning av musik. Men, med tanke på hur saker och ting har förändrats de senaste åren är jag helt säker på att branschens aktörer kommer att gå i bräschen för den här utvecklingen och se vilka möjligheter som finns för att förmedla musikupplevelser på helt nya sätt.
För att ge lite inspiration kommer här några exempel på musik-AR. Det finns självklart mycket mer därute, bara sök på ”augmented reality” eller ”mixed reality”, eller ”music augmented reality”.
Audioshield, musikspel genom att boxa i luften: https://www.youtube.com/watch?v=_XAufOZMQaY
Bandet spelar en låt på CD-fodralet: https://www.youtube.com/watch?v=ATvoA2O7qE0
Spela Minecraft med AR (om ni funderar över varför Microsoft köpte upp Minecraft): https://www.youtube.com/watch?v=_Udkwa9A-iE
AR-eld vid dansuppvisning (börjar ungefär en minut in): https://www.youtube.com/watch?v=nyVs_5TfN4c
Hatsune Miku: https://www.youtube.com/watch?v=VhYbxPi30ac.
För den som inte vet vem Hatsune Miku är, så är det en datorgenererad artist med datorgenererad röst, och en katalog på 22 000 låtar, som bl.a. uppträdde på Letterman Show för två år sedan. Här en hologramkonsert i Sapporo: https://www.youtube.com/watch?v=uV-NJp0iEP0.
Ett första försök att visa hur man skulle kunna lära sig spela fiol: https://www.youtube.com/watch?v=Tv2SavmbDVg
En Kickstarter-finansierad video hur en artist ser att det skulle kunna se ut om några år. Något dystopisk kanske: https://vimeo.com/166807261
Daniel Johansson
daniel@musikindustrin.se
