Resonances 2004

Resonances, IRCAM, Centre Pompidou, Paris 13-22 oktober 2004

Dette er et forsøk på å oppsummere, og trekke frem det jeg opplevde som mest interessant, under Resonances, en ti-dagers musikkteknologimaraton med en rekke forskjellige konferanser, seminarer, workshops, installasjoner og konserter.

International Conference: "Colloque Design Sonore"

Denne konferansen ble arrangert av SFA (den franske akustikkforeningen), og var litt annerledes enn resten av Resonances, siden den i tillegg til forskjellige typer musikkteknologer samlet lyddesignere, musikere, filosofer, bilprodusenter osv. Interessante ting:

  • Davide Rochesso snakket om resultater fra The Sounding Object Project, og viste flere interessante prototyper på elektroniske "dingser" som lager lyd via fysisk modellering (blant annet Matthias Raths visual ball-rolling game).
  • Maarten van Walstijn (SARC, Belfast) fortalte om "acoustic thresholds" og hvordan de jobber med å lage en elektroakustisk conga. Ved å bruke motlyd fra en høyttaler inne i trommen, kan de kontrollere hvor mye naturlig og kunstig lyd som kommer ut av instrumentet. Er med på å oppheve forskjellen mellom akustisk og elektronisk instrument.
  • Flere bilprodusenter (Citroén, Renault, BMW) forklarte hvordan de arbeider med å få bilene til å høres bedre ut enn de er -> få 4-sylindrete bilmotorer til å høres ut som 6- eller 8-sylindret. Dette ble møtt med spørsmål om det ikke er et poeng å redusere bilstøy fremfor å øke den, men de svarte med at 58% av forbrukerne ønsker "finere" billyd.
  • Listening to the Mind Listening! Beskrivelse av ICAD 2004 hvor de arrangerte en konsert med 10 forskjellige sonifiseringer av 5 minutter med data fra en hjerne som lytter til musikk.
  • Mikael Fernström (IDC, Limerick) snakket om "soft-buttons" fra SOB-prosjektet. Nå jobber han med å designe lyd til elektroniske "knapper" på en Tactex kontroller. IDC skal arrangere ICAD 2005 i Limerick.
  • Phase project ved IRCAM jobber med å lage en fysisk arm som gir haptisk informasjon til brukeren.
  • SNCF og IRCAM har et prosjekt som fokuserer på lyddesign til togstasjoner. Julien Tardieu forklarte forskjell på "auditory icons" (korte ekte lyder) og "earcons" (konstruerte lyder med meningsbærende innhold), og at det ofte er enklere å oppfatte "cartoonified" lyd enn ekte lyd.
  • Arnt Maasø presenterte deler av doktorgradsarbeidet sitt om bruken av lyddesign (ekte og kunstig) i sportsprogrammer på TV.
  • Siste del av konferansen skulle brukes til en diskusjon rundt lyddesign som fag, og dets posisjon mellom fri kunst og det rent kommersielle. Desverre endte dette opp som en kaotisk affære, dominert av fransk-engelske språkproblemer.

International Conference: "Sound and Music Computing"

Dette var den første internasjonale SMC-konferansen, som er et samarbeid mellom franske og italienske organisasjoner som tidligere har arrangert tilsvarende nasjonale konferanser i flere år. Preget av mye regelbasert noteanalyse

  • Georg Hajdu presenterte sin Quintet.net plattform, som er et stort system utviklet for å spille musikk over nettverk. Har blitt brukt i en rekke større oppsetninger de siste årene.
  • Cybersongosse 7Mi (IMEB, Bourges) er en merkelig hard/software-mikse-sampleboks med masse knapper og brytere, beregnet for barn.
  • IanniX er et prosjekt ved La Kitchen som er en slags "poly-temporal meta-sequencer" i tradisjon etter Xenakis.
  • AGNULA/DeMuDi Distribution: En italienskdrevet gruppe har laget en Debian-distribusjon med gratis lydprogramvare som minner om Planet CCRMA. Arbeidet har vært finansiert via EU-midler, og de forsøker nå å videreføre det på frivillig basis.
  • Selv om det var vanskelig å få noe fornuftig ut av presentasjonen hans, ser det ut som Leonello Tarabella har gjort mange interessante ting når det gjelder luftimprovisasjon.
  • Christopher Dobrian hadde en fin presentasjon av hvordan han har brukt Max i et stykke hvor han bruker en sør-koreansk fløyte.
  • Jean-Michel Coutourier (LMA, Marseille) hadde en veldig interessant presentasjon der han viste systemer han har utviklet for forskjellige typer spillkontrollere, digitale penner osv.
  • Bertrand Merlier viste hvor bra Eyecon, som er basert på videoanalyse, kan fungere i musikalsk sammenheng.
  • Antonio Camurri (Genova) presenterte versjon 4 av EyesWeb, som har endel nye interessante finesser, blant annet freeframe-støtte, og en optimalisert og utseparert kjerne, slik at det er muligheter for å gjøre multimaskinprosessering. Det er også mulighet til å lage standalone-versjoner av patcher. Beta-versjonen ligger ute, og en stabil versjon kommer i november.
  • Loic Kessous (LMA, Marseille) hadde laget et vokalsystem som kunne styres med joystick og penn, og som fungerte overraskende bra.
  • Homei Miyashita (JAIST, Japan) var den store overraskelsen, og fikk alle i salen til å le og riste på hodet. Han hadde laget et system med termoelementer på hver tangent på et piano, hvor hensikten var at man kunne lære seg å spille ved å unngå de varme tangentene. Med temperaturer på opptil 70 grader (!) kan dette være en ganske ubehagelig opplevelse. Det tok ca 2 sekunder fra et element ble aktivert til det var varmt, så systemet egner seg ikke så godt til rask tilbakemelding, men kan allikevel vise seg å være interessant.
  • Cyrille Henri (La Kitchen, Paris) viste PMPD (Physical Modelling for PD), som er en svært elegant implementering av tradisjonelle fysiske modeller. Ali Momeni har laget en Max-versjon av pakken.
  • Melodyne: tysk program hvor man kan jobbe med audio på samme måte som MIDI. Svært imponerende!
  • Semantic HIFI Project : europeisk samarbeidsprosjekt som skal utvikle interaktive måter å oppbevare og lytte til musikk. Etterfølger CUIDADO-prosjektet.
    • Viste frem en prototype på music thumbnails, som automatisk lager korte snutter (15-20 sekunder) med forskjellige musikalske deler. Segmenteringen skjer på en meget elegant måte, ved å lage en korrelasjonsmatrise mellom to spektrogrammer hvor det ene er transformert 90 grader.
    • MusicSpace: program for å kontrollere hvor instrumenter befinner seg i rommet
  • Apple viste frem siste versjoner av lydprogrammene sine (GarageBand og Logic). Med musikkteknologieksperter fra hele verden til stede, klarte de ikke helt å imponere med "nyhetene" 5.1 lyd og time-stretching…
  • IRCAM presenterte sin "skolepakke" med forskjellige programmer som minner litt om NOTAMs DSP, men som er fokusert rundt MIDI.

International Conference: "Performance: Aesthetics, Theory and Practice"

Preget av mange innlegg som gikk på ekstremt hurtig fransk. Det jeg fikk med meg hørtes ut som tradisjonell diskusjon om notasjon, representasjon og interpretasjon. Til og med Eric Clarke, som startet ut med å skulle snakke om kommunikasjon og persepsjon, endte opp med å beskrive en kvantitativ studie av spilling versus notasjon.

  • Nicholas Cook presenterte sitt nye CHARM prosjekt, hvor de skal utvikle verktøy for å ta vare på gamle opptak.
  • Jonathan Harvey er engasjert av IRCAM og BBC Scottish Symphony Orchestra for å lage et stykke hvor instrumentene "snakker". Han presenterte hvordan han jobber med en musikalsk beskrivelse av alle elementene i engelsk tale, og hvordan instrumenter kan lage de samme lydene.
  • Xavier Rodet (IRCAM) ga en presentasjon av "state of the art" innen forskjellige former for vokalanalyse/syntese.

Konserter og installasjoner

  • ECOUTE var en lydutstilling for barn på Centre Pompidou, men var mer interessant for voksne. Det var endel fine varianter med bruk av småhøyttalere i forskjellige oppsett.
  • Wave Field Synthesis: kort fortalt dreier det seg om å lage et fysisk korrekt lydbilde ved hjelp av "holofonisk" avstand. De hadde en installasjon på IRCAM hvor et slikt system var satt opp med MAP (Multi-Actuator Panels), og virkningen var slående!
  • Sons et lumiers: de viste rekonstruksjoner av endel forsøk med lys og lyd fra 1910 og fremover. Alt dette var gjort mekanisk med prismer og enkle oppsett, og mye av det virket mer moderne enn de nye digitale tingene som lages idag.
  • Karlheinz Essl hadde en enkel og fin lydinstallasjon med en kirkeklokkelyd som grunnmateriale og forskjellige typer forvrengninger, spilt over 4+2 høyttalere. Den var plassert strategisk i en trappenedgang, og selv etter ti dager syntes jeg den hørtes bra ut.
  • Det var to "cursus-konserter" hvor de ti komponistene som har fulgt IRCAMs ettårige kurs fremførte sine verker. Det var ganske mye likt, med bruk av den nyeste versjon av Spat samt forskjellige former for automatisk notefølge.

Workshop: "Improvisation with Computer"

Som en del av EMFs 10-årsjubileum, ble det arrangert en workshop med en rekke interessante presentasjoner, blant annet:

  • Joel Chadabe reflekterte over utviklingen av improvisasjon med elektronikk siden CEMS i 1967, og viste hvordan han spilte med computer og theremin i 1979.
  • Robert Rowe viste frem sine improvisasjonsverktøy, og hvordan han nå forsøker å implementere tidligere verker i egne programmer.
  • Steve Coleman viste at også de beste kan få tekniske problemer på scenen…
  • David Wessel og Roscoe Mitchell var kveldens musikalske høydepunkt, selv om de holdt på 20 minutter for lenge. David spilte med Buchla´s Thunder, og viste hvordan datamaskiner kan spilles som et ordentlig instrument.
  • VJamm utviklet av to unge briter, er et system for audiovisuell jamming, hvor det fokuseres på å samkjøre lyd og bilde. Som en del av arbeidet har de laget FreeFrame, en video-parallell til vst-plugins. De jobber også med å utvikle en standard for audiovisuelle filtere, hvor videoeffekter mappes til persptuelt "lik" audioeffekt.

Wedelmusic, Barcelona, 13-14 september 2004

Wedelmusic er en forkortelse for “Fourth International Conference on Web Delivering of Music” og er et initiativ for å strukturere både innhold og formidling av musikk i nye medier (fortrinnsvis internett). Konferansen ble holdt ved Universitat Pompeu Fabra, et helt nytt universitet med lokaler i en togstasjon (!) sør i Barcelona. Jeg reiste dit for å få en oppdatering på forskjellige former for fleksibel lydprogrammering.

Det viste seg å bli et mye større fokus på digital rettighetskontroll (DRM), som stort sett dreier seg om hvordan man kan sperre teknologien så mye at folk må betale penger for musikken. Interessante ting verdt å nevne:

  • PD plugin: Alonso,
    Geiger og Jordá fra Pompeu Fabra har laget en Mozilla-plugin av PD. Det vil
    si at man kan kjøre PD-filer direkte fra en web-leser og all prosessering
    vil kjøre på lokalmaskinen.
  • Arbeidet med MPEG-7 og MPEG-21 to forskjellige former for håndtering av
    innhold og metadata i mediefiler går fremover. Det ble foreslått en rekke forskjellige varianter for koding av forskjellige ting, og det meste er basert på XML.
  • Cilibrasi, Vitányi og Wolf fra Amsterdam viste noen forbløffende resultater når det gjelder organiseringen av midi-filer etter stil. De har brukt “vanlige” komprimeringsteknikker som gzip og bruker bare det (ingen musikalsk kunnskap overhodet!) til å få svært presis organisering av en rekke forskjellige musikkstykker. Det kommer en lengre artikkel om dette i neste nummer av Computer Music Journal.

Interactive Music Network, Barcelona 2004

Interactive Music Network, Barcelona 15-16 september 2004

Rett etter Wedelmusic, var det samling for Interactive Music Network. Dette er et EU-sponset nettverk av nærmere 400 forskjellige institusjoner og firmaer. Det er en rekke forskjellige komiteer og undergrupper, og for dette møtet var hovedtemaet integrering av musikk i multimediaapplikasjoner.

Interessante ting:

  • Hotbed: En database over skotsk folkemusikk ment for bruk i undervisning, utviklet i Glasgow.
  • MEDIATE: Et multimodalt multimediaprosjekt utviklet av miljøer i Portsmouth, Utrecht og Pompeu Fabra, for barn med autisme.
  • MPEG SMR: Ved siden av de andre presentasjonene var også MPEG-gruppen aktive med å utvikle et draft paper for å definere MPEG SMR (Symbolic Music Representation). Som kjent startet MPEG som en audiovisuell komprimeringsstandard, men etterhvert har man sett behovet for å kunne definere alle mulige former for innholds- og metadata. Nå er det altså snakk om å implementere et generelt og universelt system for musikalsk notasjon lenket til mediefiler. Relativt ambisiøst, men det skal visstnok være ferdig ved utgangen av neste år.

Interaktiv messe

Idé

Forestill deg Betong full av mennesker som kun ved sin tilstedeværelse er med på å definere både form og innhold på en nattverdsgudstjeneste. Dette er Interaktiv messe, en ikke-lineær multimediadustjeneste som ble arrangert av Norges kristelige studentforbund søndag 29. august kl 2100 på Betong.

Interaktiv messe føyer seg inn i rekken av Norges kristelige studentforbunds eksperimenterelle messer. Denne gangen brukes ny teknologi for å forandre både form og innhold i gudstjenesten. Ideen er at hverken struktur eller innhold er fast bestemt på forhånd. Alt innholdet ligger lagret i et nettverkssystem som minner om internett. Dette skaper et fleksibelt system, som vil resultere i forskjellig messe hver gang den arrangeres. Ved hjelp av en rekke forskjellige sensorer og videoanalysesystemer rundt omkring i rommet, vil de som er tilstede påvirke systemet enten passivt eller aktivt.

Ikke-lineæritet

Den tradisjonelle gudstjenesteliturgien er forankret i en lineær struktur som kan virke fremmed for mange som ikke går i kirken til vanlig, eller gjøre at mange lett glir inn i en døs uten å følge med på hva som egentlig skjer. Målet har derfor vært å fokusere på innholdet, og åpne for at det kan konstrueres på flere forskjellige måter. Istedenfor å planlegge i hvilken rekkefølge ting skal skje, defineres hvilket innhold man ønsker og så vil rekkefølgen “skapes” underveis. Fordi de forskjellige elementene i systemet er vektet i forhold til hverandre vil ingenting skje helt tilfeldig, men det vil alltid være rom for flere “løsninger”.

Elementer

  • Lyd/musikk
  • Bevegelse/dans
  • Objekter/skulptur
  • Visuelt/foto
  • Video/animasjon
  • Tekst/tale

Det er viktig at de forskjellige elementene skal kunne eksistere parallelt med hverandre, og gjensidig påvirke hverandre.

 

Utradisjonell

Det er mye snakk om å lage messer som er inkluderende, alternative osv, men ofte utfordres kun enkeltelementer i messen? Er det mulig å være radikal når det gjelder både innhold og form? Utfordringen ligger i å lage et system som ivaretar formelle messekrav, men som utfordrer tradisjonelle oppfatninger. – Arbeidet med Interaktiv messe har vært veldig annerledes enn det jeg er vant til, sier studentprest i Forbundet Margrete Hovland. – Istedenfor å jobbe med de tradisjonelle strukturene, har jeg måttet tenke mer på å skape muligheter for improvisasjon. Jeg tror resultatet kan virke som en tankevekker for mange.

Struktur

Vi har jobbet med å bryte ned messen. Resultatet er at innstiftelsesordene blir stående som det sentrale strukturelle elementet. I forbindelse med dette har vi laget en liste med ord som kan assosieres med de strukturelle ordene. Basert på dette har vi igjen trukket ut noen kategorier som sammenfatter budskapet.

Interaktivitet

Rommet er fylt av forskjellige type sensorer som til enhver tid følger menneskemassens bevegelser i rommet og enkeltpersoners handlinger. Dette danner grunnlaget for messens struktur og innhold. Materialet som er forberedt på forhånd er lagret slik at det kan settes sammen på et utall forskjellige måter, basert på signaler fra de interaktive elementene. Systemet er programmert ved hjelp av det grafiske programmeringsverktøyet MAX/MSP/Jitter.

 

Mer informasjon: www.messen.no

 

Laser dance

Working with choreographer Mia Habib, I created the piece Laser Dance, which was shown 30 November 1 December 2001 at the Norwegian Academy of Ballet and Dance in Oslo.

The theme of the piece was “Light”, and the choreographer wanted to use direct light sources as the point of departure for the interaction. Mia had decided to work with laser beams, one along the back side of the stage and one on the diagonal, facing towards the audience. The idea was to get sound when the dancers went through the laser beams. This way the sound would be an aural representation of the “broken” light. My part was to help with the lasers and the interactive sound.

First of all we needed to get some lasers. We tested with a normal laser pen, but the thin beam was merely invisible on stage. Luckily, I happened to have access to a professional laser used for physics experiments. With some smoke on stage, this laser was bright and clear. Since we only had one good laser, we used a narrowed down spotlight as the light beam in the back of the stage.

It soon became clear that the visual beams were not good for motion-detection. Henrik Sundt atNoTAM suggested to use pairs of IR-senders/receivers instead. When the sender and receiver is in contact with each other nothing happens, but as soon as the signal is broken the receiver sends a pulse.The sensors were quite cheap consumer electronics and when we tested the equipment at NoTAM we found that the reaction time was somewhat slow. This triggered some nerves, because the whole project would not be much worth if the sensors were not capable of detecting fast movements from the dancers. Finally getting everything set up on stage we were happy to find that they worked quite well. A minor problem was the latency of the receiver to regain contact with the sender after moving out of the beam. Anyway, the fact that the sound turned on almost immediately was more important than a second of sound coming also after passing the beam.

Øyvind Hammer and Henrik Sundt helped with getting the NoTAM MIDI-controller to work withthe sensors. The chords from the IR-receivers were connected to the inputs of the controller. When a signal was detected from one of the receivers, the controller sent a MIDI message with the corresponding channel (1 or 2) and a note-off message. This signal went into MAX/MSP, and we were finally ready to start experimenting with the sound.

SOUND AESTHETICS

From the begnning, Mia knew that she wanted to have two bright and different sounds. On one side they should be almost as pure as a sine tone, as a resemblance to the bright light beams. On the other side they needed to be “living” and interesting for the dancers to improvise with while in the beam. Since also a side-drum would be involved, the sounds should aspire to blend in with this sound.

This way of musical thinking was novel to me. I am used to working with sounds as self-contained aesthetic objects, and often from a linear perspective. Here I was presented with the task of making what could be called “hyper text” sound with clear limitations. The sounds themselves would constitute only a part of the whole performance, and would be more as a tool for the dancers to work with, than aesthetic pleasing.After having made a couple of samples, we sat down tweaking on the parameters in the patch. Finally we came up with two sounds that we both found to be pleasing, interesting and meeting theinitial requirements.

THE PATCH

When I started building the patch, it was with the idea that it should be self-contained and easy to use. At the same time it should be powerful enough to provide for doing rapid changes in the sound. This way Mia could operate the whole system herself for the rehearsals with the dancers. The final patch is seen in the picture above. Twoboxes labeled ”Laser 1” and ”Laser 2” are turned on and off by the IR-sensors. They can also be used on-screen for rehearsals and testing. The gate switch on ”Laser 2” was used in the end of the show when only this sound should be turned off. Frequencies and random generators can be turned on and off and adjusted easily.As shown on the picture on the next side, the patch reveals a hidden world of patch chords and objects, resulting from constant alterations. In the following I will briefly go through the various parts of the patch:

  1. We recall that the MIDI controller sent note-offs when the IR-signal was broken. As can be seen from the patch, MIDI is being picked up by a ”notein”. First, the two different signals are separated by the ”select” command. Then an if-test checkswhether the beam is on (broken) or off (unbroken). For “on” the volume is set to 50 and else it is set to 0.
  2. Each sound is made from a set of three added sinusoids represented with the ”cycle~” object. All of the frequencies can be adjusted directly on-screen.
  3. The ”rand~” object is used to make the sound more vibrant, through a random function. To make this even more “lively”, a random generator controlled by a metronome is changing the ”rand~” seed at given intervals.
  4. A chaos slider at the left was added to increase the tension in both sounds, controlled by an expression pedal.5
  5. A “reset” button is available for quickly regaining the preferred settings.

THE PERFORMANCE

It was less than a week before the premiere that we finally managed got everything together. After working with gathering the equipment and making the patch, it was very exciting to test everything in practise and see how it worked with the dancers and the drummer.

Three dancers (two male, one female) were on stage, “trapped” within the light beams. During the 15 minute long performance they worked their way from silence to sound climax to silence. Spotlights were used to create massive, cascading effects in between total darkness. The interactive sounds where used partly in short sequences with the dancers jumping in and out of the beams, partly in some longer sequences where the dancers moved “inside” the beams. The two short videos on the CD give some idea of the show.

Laserdance video excerpt

Luckily, the Mac did not crash and the sound turned on and off as it should, every day. Except for that we did not encounter any other problems than repositioning the sensors to work every night, because the stage had to be cleared after each performance.

SYNCHRONICITY AND CROSSMODALITY

After working with this project, it is tempting to draw a parallel to Egil Haga’s (1999) Master’s thesis about sounds and actions. Using the term synchronicity he refers to the concept when a physical action and a sound gesture is believed to be generated from the same action. He points out that most films contain sound tracks generated in studios, and he is critical towards examples where the synchronicity is imprecise and poor. Further, he mentions the fact that cross-modal perception results in greater stimuli. For example, it is easier to understand a person talking if you can see the lip movement.

In his last chapter, Haga analyses a dance-music performance where he points out the excellent synchronicity between the music and the gestures used by the dancers. Somehow, after working with the Laser Dance project I got a much better understanding of his comments. Even though heis talking about classical music and dance movements based on the sound gestures, I see a clear line to the interactive sound I have been working with. The difference is mostly that in the Laser Dance project, the sound is more a tool for the dancers to work with, than a musical piece.

Interactive music controlled by sensors really make the dancers in control of the whole performance. Through body gestures they control the sound themselves making the synchronicity excellent (at least with efficient sensors…) and the result is a performance where the dance and sound blend together in harmony. This is not always the case when looking at other dance performances with “linear” music. No doubt, this project has opened my eyes for a totally new way of thinking about music, and I have also got a lot of ideas for new projects involving dance and interactive sound.

Alexander Refsum Jensenius