Om musikkteknologiforskning i Nytt Norsk Tidsskrift

Jeg har skrevet en kort oversiktsartikkel om musikkteknologi til Nytt norsk tidsskrift. Det var en interessant øvelse å forsøke å oppsummere alt det jeg og mine kolleger driver med i kortfattet form.

Preludium: «Musikkering»

Når jeg presenterer meg som musikkteknolog, får jeg ofte undrende spørsmål. Noen er opptatt av det teknologiske: «Så du driver med synther og sånn?» Andre lurer på det musikalske: «Er det sånn pling-plong-musikk?» Likevel bruker mange en form for musikkteknologi hver dag, om det så bare er radioen som spiller musikk om morgenen. I denne artikkelen vil jeg gi et innblikk i musikkteknologi som forskningsfelt. Men først vil jeg introdusere begrepet «musikkering».

Begrepet «musikkering» ble introdusert av Christopher Small (1998), med den hensikt å tenke på musikk som noe vi gjør, ikke som et produkt. Small foreslo derfor et nytt verb: «to music». På norsk har vi allerede verbet «å musisere», men det dekker dem som spiller et instrument. Derfor passer det bedre å bruke verbet «å musikkere» for å inkludere alle som er involvert i en musikalsk aktivitet. Musikere musikkerer. Det gjør også publikum. Jeg tenker derfor på musikkering som relatert til produksjon eller opplevelse av den musikalske lyden.

Ved Universitetet i Oslo har vi forsket på kroppslige musikalske fenomener siden begynnelsen av 2000-tallet. Vi har vært med på å bygge opp det fagfeltet som nå ofte går under betegnelsen kroppslig musikkognisjon (Leman 2008). Den «kroppslige vendingen» vi har sett innenfor musikkognisjon, har skjedd parallelt med at det har blitt et sterkere fokus på kroppens muligheter og begrensninger også innenfor andre fagområder (Nevile 2015). Som vi vil komme tilbake til, er kroppen også en sentral del av musikkteknologien.

Grunnforskning, utvikling og anvendelse

Koblingen mellom menneske og maskin står sentralt i mye av musikkteknologiforskningen. Dette gjør at mye av grunnforskningen innen feltet befinner seg i grenselandet mellom «harde» og «myke» disipliner, fra natur til kultur. I min egen forskning har jeg jobbet mye med kroppsbevegelser i forbindelse med musikk, både hvordan kropper responderer på musikk, men også hvordan vi kan lage musikk ved hjelp av kroppen. Nevrovitere studerer hvordan musikk påvirker hjerneceller, humanister studerer musikk fra et fenomenologisk perspektiv, og samfunnsvitere ser på individ og kultur. Perspektiver fra disse «mykere» sidene kobles deretter sammen med den «hardere» grunnforskningen, slik som innen material- og sensorteknologi, fysisk modellering og optimaliseringsalgoritmer.

Mye av den praktiske og kunstneriske forskningen på anvendelse av ulike musikkteknologier er koblet opp mot utviklingen av disse teknologiene. For noen tiår siden var det relativt få musikkteknologiforskningsmiljøer i verden, men fra 2000-tallet har det skjedd en voldsom utvikling. Innen sanntidsmusikkteknologi er den største konferansen New Interfaces for Musical Expression (Jensenius og Lyons 2017). Der møtes instrumentmakere og utøvere. Musikkanalytikere og informatikere deltar gjerne på International Symposium of Music Information Retrieval (ISMIR). Mer generell musikkprogrammering presenteres på Sound and Music Computing (SMC), mens signalbehandling sendes til Digital Audio Effects (DAFx). De siste årene har også Web Audio Conference (WAC) vokst kraftig.

På feltet finnes også en sterk forbindelse mellom vitenskap og kunstnerisk anvendelse. I min egen forskning bruker jeg både kunstneriske og vitenskapelige teorier og metoder og produserer både kunstneriske og vitenskapelige resultater. Jeg har ved flere anledninger erfart at kunstneriske prosesser har resultert i vitenskapelige artikler. På samme måte har det kommet kunstneriske resultater ut av vitenskapelige studier.

Tre tematiske eksempler

På mitt eget spesialfelt, kroppslig musikkteknologi, har den tradisjonelt tette koblingen mellom kropp og musikk endret karakter gjennom 1900-tallet: De nye teknologiene gjorde det mulig å oppleve musikk uten å spille selv eller være i nærheten av noen som spilte. For oss som forsker på kroppslig musikkteknologi, er målet å se på hvordan vi kan «reintrodusere» musikkering som en kroppslig aktivitet. Fra 2000-tallet og fremover har det vært et økende fokus på såkalte gest-kontrollere. Dette bygger på teorier om musikalsk gestikk, hvordan kropp og bevegelse står sentralt i musikkopplevelsen (Godøy og Leman 2010).

Vi har brukt kunnskap fra grunnforskningen vår på musikk og bevegelse til å lage nye interaktive musikksystemer. Ved å bruke bevegelsessporing i sanntid, kan vi lage og styre lyd ved hjelp av kroppsbevegelser. I forestillingen Sverm utforsket vi hvordan mikrointeraksjon kan brukes scenisk. Ved hjelp av et bevegelsessporingssystem kunne utøverne styre lyd og lys med millimeternøyaktighet. Vi utforsket interaksjon på grensen til det ukontrollerbare og ubevisste.

Nettverksmusikk har røtter til telekommunikasjonens barndom (Holmes og Pender 2012). Kringkasting av lyd og bilde er former for nettverksmusikk som alle kjenner fra radio, TV og internett. Mange musikkteknologer har jobbet med å optimalisere leddene i slike overføringer, alt fra utvikling av bedre mikrofoner, miksere, kabler og høyttalere til psykologibaserte komprimeringsteknologier for å overføre signalene fra ett sted til et annet. I tillegg kommer forskningen på nye produksjonsstrategier for slik strømming. Forskning på nettverksmusikk inkluderer også utprøving og videreutvikling av ulike kommunikasjonsteknologier. Gjennom koronapandemien er det mange som har prøvd ut nettverksmusikkering for første gang. Mange har opplevd at forsinkelsen har vært for stor og kvaliteten for dårlig. Våre forskningssystemer er mye bedre, og fremover vil vi se at denne typen systemer rulles ut til alle.

Det siste temaet er musikk og kunstig intelligens. Maskinlæring og stordataprosessering gjør seg gjeldende også i musikkforskningen. Sommeren 2020 ble det store medieoppslag etter at et dataprogram hadde klart å gjenskape stemmen til Frank Sinatra ved hjelp av dyplæring (Robertson 2020). Men bruk av kunstig intelligens i musikk er ikke et nytt fenomen. En vanlig øvelse har vært å be datamaskiner om å analysere Bachs preludier for så å «komponere» nye i samme stil. Flere 1900-tallskomponister ble også motivert til å lage egne regelbaserte systemer, såkalt algoritmisk musikk. Dette står i forlengelsen av en århundrelang utforskning av tilfeldighet og regelbaserte systemer i musikken (Magnusson 2019). Blant annet sies det at Mozart laget komposisjoner hvor han kastet en terning for å finne ut hvordan ulike musikalske fragmenter skulle settes sammen.

Datamaskiner kan skape ny musikk som ligner på gammel. Men hvor intelligent er egentlig dette? Nå jobber forskerne med å se på om datamaskinene kan bestå en musikalsk «turing-test» (Sturm 2014). Kan en maskin overbevise et menneske om at den er et menneske, i musikalsk sammenheng? For noen typer musikk kan den det. Et mer relevant forskningsspørsmål i dag er om datamaskiner også kan overbevise i sanntidsmusikkering.

Etter et århundre med en stadig økende «hermetisering» av musikk ser vi nå konturene av at nye musikkteknologier kan hjelpe til med å gi folk aktive musikkopplevelser igjen. Kunstig intelligens-baserte systemer kan gi «personifiserte» musikkopplevelser. Datamaskinen kan lytte og svare, den kan fungere som en musikalsk partner. Du kan få passiv bakgrunnsmusikk hvis du er sliten. Men den kan også trekke deg med i musikalsk lek. Musikkens helsebringende effekter er godt dokumentert (Bjørkvold 1989; Myskja 1999). Musikk brukes i både terapi og pedagogikk. Mange finner også glede i å spille eller synge sammen med andre. Nye teknologier vil kunne forsterke slike opplevelser. Her er det ikke snakk om at maskinene skal ta over. Tvert imot vil maskinene kunne hjelpe oss med å finne tilbake til mer aktiv musikkering.

Postludium

Her er vi tilbake ved utgangspunktet for denne artikkelen. Musikk er ikke bare et produkt. Folk ønsker å være delaktige i musikkopplevelsen. Å spille et instrument kan gi glede og lede til mestring. De nye musikkteknologiene legger også til rette for mer menneskelig samhandling. Å gå på konsert eller festival gir noe mer: fellesskap og lidenskap. Ikke minst er interaksjonen mellom utøver og sanser noe mange opplever som meningsfullt. Nye teknologier legger til rette for dette, både fysisk og virtuelt.

Jeg har trukket frem noen eksempler på hva som foregår innenfor musikkteknologiforskningen i dag. Andre områder kunne også vært nevnt. Mange blir overrasket over hvor mye som foregår, og hva det forskes på. Selve forskningen får sjelden store overskrifter, men produktene som kommer ut av denne forskningen, kjenner mange til. Disse produktene bygger imidlertid på mange års utviklingsarbeid og flere tiår med grunnforskning.

Referanser

  • Bjørkvold, J.-R. (1989). Det musiske menneske. Oslo: Freidig forlag.
  • Godøy, R.I., og M. Leman (red.) (2010). Musical Gestures: Sound, Movement, and Meaning. New York: Routledge.
  • Holmes, T., og T.M. Pender (2012). Electronic and Experimental Music: Technology, Music, and Culture, 4. utg. New York: Routledge.
  • Jensenius, A.R., og M.J Lyons (red.) (2017). A NIME Reader: Fifteen Years of New Interfaces. Berlin: Springer.
  • Leman, M. (2008). Embodied Music Cognition and Mediation Technology. Cambridge, MA: MIT Press.
  • Magnusson, T. (2019). Sonic Writing: Technologies of Material, Symbolic and Signal Inscriptions. London: Bloomsbury Academic.
  • Myskja, A. (1999). Den musiske medisin. Oslo: Grøndahl Dreyer.
  • Nevile, M. (2015). «The Embodied Turn in Research on Language and Social Interaction». Research on Language and Social Interaction, 48(2): 121–151. 10.1080/08351813.2015.1025499
  • Robertson, D. (2020, 9. november). «‘It’s the screams of the damned!’: The Eerie AI World of Deepfake Music». The Guardian, http://www.theguardian.com/music/2020/nov/09/deepfake-pop-music-artificial-intelligence-ai-frank-sinatra
  • Small, C. (1998). Musicking: The Meanings of Performing and Listening. Hanover: University Press of New England.
  • Sturm, B.L. (2014). «A Simple Method to Determine if a Music Information Retrieval System is a Horse». IEEE Transactions on Multimedia, 16(6): 1636–1644. 10.1109/TMM.2014.2330697