Teaching in Aldeburgh

I am currently in beautiful Aldeburgh, a small town on the east coast of England, teaching at the Britten-Pears Young Artist Programme together with Rolf Wallin and Tansy Davies. This post is mainly to summarise the things I have been going through, and provide links for various things.

Theoretical stuff

My introductory lectures went through some of the theory of an embodied understanding of the experience of music. One aspect of this theory that I find very relevant for the development of interactive works is what I call action-sound relationships. By this I mean that we have an intuitive understanding of how certain actions may produce certain sounds. This is the cognitive basis for the fact that we can “hear” an action we only see, and “see” the action of a sound we can only hear. These ideas are presented and discussed more thoroughly in my PhD dissertation.

Examples of realtime motion capture

I went through a number of examples of how to use motion capture in musical contexts. Here are but a few of the examples:

Transformation is an improvisation piece for electric violin and live electronics. It is based on the idea of letting the performer control a large collection of sound fragments while moving around on stage. The technical setup for the piece is based on a video-based motion tracking system developed in Jamoma, coupled to the playback of sounds using concatenative synthesis in CataRT. Transformatillon is described more thoroughly in a paper in the upcoming issue of Computer Music Journal (winter 2012).

The SoundSaber motion capture instrument is tracking the position of a rod in space using an infrared marker-based motion capture system. The setup is described in more detail in this NIME 2011 paper.

Dance Jockey is a setup/piece in which the Xsens MVN inertial motion capture suit is used to control both sample playback and synthesis using a combination of posture and action recognition of the full body of the performer. It is described in this NIME 2012 paper.

Technical resources

The Max patches used in the course are available here (Aldeburgh-patches.zip). Here are pointers to other useful things:

  • Maxobjects.com is a database with pointers to a number of third party externals for Max. It is a great resource to find whatever you need.
  • Jamoma is a large collection of modules and externals, including video analysis and mapping tools
  • CNMAT depot is a large collection of externals, tutorials, and example patches.

Wii

The Wii controllers are a great way of getting started to use accelerometer data in Max. They are wireless (Bluetooth), and once you figure out the pairing with your computer they work quite well. There are several ways of using the with Max, amongst others:

  • ajh.wiimote is an external for getting data from the Wii controllers into Max.
  • OSCulator is a multipurpose control and mapping tool working with different types of controllers, including the Wii. Even though it may be a little more work passing OSC messages into Max from a separate application, OSCulator is what I find the most stable way of working with Wii controllers in Max.
  • Junxion is another multipurpose control and mapping tool, developed at STEIM. Works with lots of controllers + it also does video tracking.

Phidgets

The Phidgets kits are an inexpensive, user-friendly and soldering-free way of getting started working with musical electronics. The kits come with a sensor interface and a number of different types of sensors to test out.

  • The driver is necessary to get the data into your computer.
  • Then use the Phidgets Max externals to get data into Max.
  • Phidgets2MIDI is a small Max application developed for working more easily with data from the Phidgets.

Kinect

The MS Kinect controller is a great solution for getting started with full-body motion capture.

  • The jit.freenect object lets you grab the video image or depth image from the Kinect into Max. You can then use e.g. the Jamoma video modules or any other Jitter tools in Max.
  • Synapse is a standalone application for tracking a skeleton model. You need to set it up so that you can get OSC messages back into Max.
  • Descriptions of more advanced uses of the Kinect can be found at the fourMs wiki

Interaktiv messe

Idé

Forestill deg Betong full av mennesker som kun ved sin tilstedeværelse er med på å definere både form og innhold på en nattverdsgudstjeneste. Dette er Interaktiv messe, en ikke-lineær multimediadustjeneste som ble arrangert av Norges kristelige studentforbund søndag 29. august kl 2100 på Betong.

Interaktiv messe føyer seg inn i rekken av Norges kristelige studentforbunds eksperimenterelle messer. Denne gangen brukes ny teknologi for å forandre både form og innhold i gudstjenesten. Ideen er at hverken struktur eller innhold er fast bestemt på forhånd. Alt innholdet ligger lagret i et nettverkssystem som minner om internett. Dette skaper et fleksibelt system, som vil resultere i forskjellig messe hver gang den arrangeres. Ved hjelp av en rekke forskjellige sensorer og videoanalysesystemer rundt omkring i rommet, vil de som er tilstede påvirke systemet enten passivt eller aktivt.

Ikke-lineæritet

Den tradisjonelle gudstjenesteliturgien er forankret i en lineær struktur som kan virke fremmed for mange som ikke går i kirken til vanlig, eller gjøre at mange lett glir inn i en døs uten å følge med på hva som egentlig skjer. Målet har derfor vært å fokusere på innholdet, og åpne for at det kan konstrueres på flere forskjellige måter. Istedenfor å planlegge i hvilken rekkefølge ting skal skje, defineres hvilket innhold man ønsker og så vil rekkefølgen “skapes” underveis. Fordi de forskjellige elementene i systemet er vektet i forhold til hverandre vil ingenting skje helt tilfeldig, men det vil alltid være rom for flere “løsninger”.

Elementer

  • Lyd/musikk
  • Bevegelse/dans
  • Objekter/skulptur
  • Visuelt/foto
  • Video/animasjon
  • Tekst/tale

Det er viktig at de forskjellige elementene skal kunne eksistere parallelt med hverandre, og gjensidig påvirke hverandre.

 

Utradisjonell

Det er mye snakk om å lage messer som er inkluderende, alternative osv, men ofte utfordres kun enkeltelementer i messen? Er det mulig å være radikal når det gjelder både innhold og form? Utfordringen ligger i å lage et system som ivaretar formelle messekrav, men som utfordrer tradisjonelle oppfatninger. – Arbeidet med Interaktiv messe har vært veldig annerledes enn det jeg er vant til, sier studentprest i Forbundet Margrete Hovland. – Istedenfor å jobbe med de tradisjonelle strukturene, har jeg måttet tenke mer på å skape muligheter for improvisasjon. Jeg tror resultatet kan virke som en tankevekker for mange.

Struktur

Vi har jobbet med å bryte ned messen. Resultatet er at innstiftelsesordene blir stående som det sentrale strukturelle elementet. I forbindelse med dette har vi laget en liste med ord som kan assosieres med de strukturelle ordene. Basert på dette har vi igjen trukket ut noen kategorier som sammenfatter budskapet.

Interaktivitet

Rommet er fylt av forskjellige type sensorer som til enhver tid følger menneskemassens bevegelser i rommet og enkeltpersoners handlinger. Dette danner grunnlaget for messens struktur og innhold. Materialet som er forberedt på forhånd er lagret slik at det kan settes sammen på et utall forskjellige måter, basert på signaler fra de interaktive elementene. Systemet er programmert ved hjelp av det grafiske programmeringsverktøyet MAX/MSP/Jitter.

 

Mer informasjon: www.messen.no