Working with time and space in images: Chessboard Studies

I have been taking photographs for many years, and I wanted to see how I could develop this a little further. On a round-trip from Japan to Tanzania, as a participant in the 16th Ship for World Youth Programme organised by the Japanese government, I decided to work with my camera in the same way as I would think about improvising with a musical instrument. This was also inspired by David Crawford’s Stop Motion Studies where he is capturing the moment by projecting a series of still photos, shot right after each other, in a random sequence. The result is the combined qualities of a still image and some temporal information of the moment.

My approach was not to remove the images from the time, but rather to put time into a series of images. Not like a traditional video approach where everything is captured, but by forcing myself to adhere to a certain time interval. Technically, I used the option of my Nikon Coolpix 8800 camera allowing for taking 16 photos (aligned in a 4×4 matrix) at a fixed time interval. The challenge was to work with this feature, and the constraints given by it, and improvise an image much in the same way as I would do when improvising a short piece of music.

In the beginning, I focused on using this function to capture time by just keeping the camera in the same position. The camera was held steady while the waves of the ocean were passing by. Although the result is quite blurry and chaotic, the effect is a sense of movement in the image.

A chessboard-study of waves with a fixed camera and external movement by the sea.

Moving on from this, I focused on a fixed object (piano) while imposing movement in the image. The idea was to resemble the feeling of playing the instrument, where a larger movement corresponds to larger gestures in the imagined “music”. Since the keys look the same all over the piano, the result does not give justice to the attempt of exposing the whole range of the piano.

Fixed subject and slight camera movement in chessboard-study of a piano.

Then I started exploring what could be called continuous image sequences, such as in the figure below depicting the deck on the ship Nippon Maru at sea. The actual movement was not continuous, though, since the camera was moved and stopped for every frame shot. However, this discontinuous recording technique gives the feeling of a “continuous” movement in the image. The image also extends the feeling and understanding of the space, since you can see 180 degrees of the view. Still, the image is quite “classic” in the way that it is a portrait of a person looking at the sea.

Discontinuous camera movement but continuous image result in chessboard-study of the deck on Nippon Maru at sea.

I then started to experiment with the idea of nonlinearity in both time and space. Below is a sequence from Yokohama harbour, which shows an example of this technique. Before shooting the sequence, I made a mental “route” of how I was going to move the camera, to move from the top of the tower in the first frame (upper left corner) to the sea level in the last frame (lower right corner), passing by several objects in between. Due to the intense light, the shutter of the camera was working very quickly, which also gave me very little time to move the camera during the shooting. The result is a rather chaotic mix, perhaps somewhat similar to how we perceive the world when we look around.

Discontinuous movement in chessboard-study of Yokohama harbour.

Testing the same technique in a “portrait” of a person, in the image below I set a high aperture value on the camera to force a shorter shutter speed even though the lighting conditions were good. Having a continuous camera movement between the frames would then result in a somewhat blurred image sequence of a person from different angles.

Discontinuous camera movement in chessboard-studies of a person.

Yet another approach I tested, was to try and depict a person by a collage technique, such as shown below. This was done by keeping the camera steady for four frames and then move to another section of the body. This example was one of the first series shot, and due to too slow camera movement I did not manage to capture the new position before in the second column. Even though I later made shots that were “correct”, I still find this sequence more interesting, with the absurdity in the shift of the body in the left column.

Continuous camera movement in chessboard-study of a person.

The whole idea of doing these experiments was to try and work with time in an image, by forcing myself to work with a time constraint (the shutter speed of the camera). I shot around 1000 such sequences during two months, and over time I developed an extensive repertoire of different techniques. Not only did I get to a point where I felt like improvising music in the images, but these experiments also changed the way I am thinking about pictures.

LIMTEC 2004

LIMTEC, Leeds, 29-30 oktober 2004

Jeg deltok på LIMTEC (Leeds International Music Technology Education Conference) for å presentere et system for multimediaimprovisasjon som jeg utviklet i forbindelse med Interaktiv messe. Det var en ganske merkelig opplevelse, men det var noen høydepunkter

  • Scanner: lydkunstner som har gjort en rekke interessante prosjekter. Konserten han holdt den ene kvelden var et stort musikalsk høydepunkt!
  • Rob Godman: komponist fra University of Hertfordshire presenterte et prosjekt hvor han forsøker å lage modeller for hvordan lyd høres ut under vann.
  • HKU: kunsthøyskolen i Utrecht presenterte en modell de har utviklet hvor alle studentene gjør prosjekter “ute i verden”.
  • SoundBeam: firma som lager dippedutter som lager lyd. Utviklet for dans, men har etterhvert blitt storleverandør til musikkterapimiljøer.
  • Paneldebatt: bra debatt hvor forskjellige typer aktører (universitet, høyskole, videregående skole, industri) diskuterte hva slags interesser de har.

Resonances 2004

Resonances, IRCAM, Centre Pompidou, Paris 13-22 oktober 2004

Dette er et forsøk på å oppsummere, og trekke frem det jeg opplevde som mest interessant, under Resonances, en ti-dagers musikkteknologimaraton med en rekke forskjellige konferanser, seminarer, workshops, installasjoner og konserter.

International Conference: "Colloque Design Sonore"

Denne konferansen ble arrangert av SFA (den franske akustikkforeningen), og var litt annerledes enn resten av Resonances, siden den i tillegg til forskjellige typer musikkteknologer samlet lyddesignere, musikere, filosofer, bilprodusenter osv. Interessante ting:

  • Davide Rochesso snakket om resultater fra The Sounding Object Project, og viste flere interessante prototyper på elektroniske "dingser" som lager lyd via fysisk modellering (blant annet Matthias Raths visual ball-rolling game).
  • Maarten van Walstijn (SARC, Belfast) fortalte om "acoustic thresholds" og hvordan de jobber med å lage en elektroakustisk conga. Ved å bruke motlyd fra en høyttaler inne i trommen, kan de kontrollere hvor mye naturlig og kunstig lyd som kommer ut av instrumentet. Er med på å oppheve forskjellen mellom akustisk og elektronisk instrument.
  • Flere bilprodusenter (Citroén, Renault, BMW) forklarte hvordan de arbeider med å få bilene til å høres bedre ut enn de er -> få 4-sylindrete bilmotorer til å høres ut som 6- eller 8-sylindret. Dette ble møtt med spørsmål om det ikke er et poeng å redusere bilstøy fremfor å øke den, men de svarte med at 58% av forbrukerne ønsker "finere" billyd.
  • Listening to the Mind Listening! Beskrivelse av ICAD 2004 hvor de arrangerte en konsert med 10 forskjellige sonifiseringer av 5 minutter med data fra en hjerne som lytter til musikk.
  • Mikael Fernström (IDC, Limerick) snakket om "soft-buttons" fra SOB-prosjektet. Nå jobber han med å designe lyd til elektroniske "knapper" på en Tactex kontroller. IDC skal arrangere ICAD 2005 i Limerick.
  • Phase project ved IRCAM jobber med å lage en fysisk arm som gir haptisk informasjon til brukeren.
  • SNCF og IRCAM har et prosjekt som fokuserer på lyddesign til togstasjoner. Julien Tardieu forklarte forskjell på "auditory icons" (korte ekte lyder) og "earcons" (konstruerte lyder med meningsbærende innhold), og at det ofte er enklere å oppfatte "cartoonified" lyd enn ekte lyd.
  • Arnt Maasø presenterte deler av doktorgradsarbeidet sitt om bruken av lyddesign (ekte og kunstig) i sportsprogrammer på TV.
  • Siste del av konferansen skulle brukes til en diskusjon rundt lyddesign som fag, og dets posisjon mellom fri kunst og det rent kommersielle. Desverre endte dette opp som en kaotisk affære, dominert av fransk-engelske språkproblemer.

International Conference: "Sound and Music Computing"

Dette var den første internasjonale SMC-konferansen, som er et samarbeid mellom franske og italienske organisasjoner som tidligere har arrangert tilsvarende nasjonale konferanser i flere år. Preget av mye regelbasert noteanalyse

  • Georg Hajdu presenterte sin Quintet.net plattform, som er et stort system utviklet for å spille musikk over nettverk. Har blitt brukt i en rekke større oppsetninger de siste årene.
  • Cybersongosse 7Mi (IMEB, Bourges) er en merkelig hard/software-mikse-sampleboks med masse knapper og brytere, beregnet for barn.
  • IanniX er et prosjekt ved La Kitchen som er en slags "poly-temporal meta-sequencer" i tradisjon etter Xenakis.
  • AGNULA/DeMuDi Distribution: En italienskdrevet gruppe har laget en Debian-distribusjon med gratis lydprogramvare som minner om Planet CCRMA. Arbeidet har vært finansiert via EU-midler, og de forsøker nå å videreføre det på frivillig basis.
  • Selv om det var vanskelig å få noe fornuftig ut av presentasjonen hans, ser det ut som Leonello Tarabella har gjort mange interessante ting når det gjelder luftimprovisasjon.
  • Christopher Dobrian hadde en fin presentasjon av hvordan han har brukt Max i et stykke hvor han bruker en sør-koreansk fløyte.
  • Jean-Michel Coutourier (LMA, Marseille) hadde en veldig interessant presentasjon der han viste systemer han har utviklet for forskjellige typer spillkontrollere, digitale penner osv.
  • Bertrand Merlier viste hvor bra Eyecon, som er basert på videoanalyse, kan fungere i musikalsk sammenheng.
  • Antonio Camurri (Genova) presenterte versjon 4 av EyesWeb, som har endel nye interessante finesser, blant annet freeframe-støtte, og en optimalisert og utseparert kjerne, slik at det er muligheter for å gjøre multimaskinprosessering. Det er også mulighet til å lage standalone-versjoner av patcher. Beta-versjonen ligger ute, og en stabil versjon kommer i november.
  • Loic Kessous (LMA, Marseille) hadde laget et vokalsystem som kunne styres med joystick og penn, og som fungerte overraskende bra.
  • Homei Miyashita (JAIST, Japan) var den store overraskelsen, og fikk alle i salen til å le og riste på hodet. Han hadde laget et system med termoelementer på hver tangent på et piano, hvor hensikten var at man kunne lære seg å spille ved å unngå de varme tangentene. Med temperaturer på opptil 70 grader (!) kan dette være en ganske ubehagelig opplevelse. Det tok ca 2 sekunder fra et element ble aktivert til det var varmt, så systemet egner seg ikke så godt til rask tilbakemelding, men kan allikevel vise seg å være interessant.
  • Cyrille Henri (La Kitchen, Paris) viste PMPD (Physical Modelling for PD), som er en svært elegant implementering av tradisjonelle fysiske modeller. Ali Momeni har laget en Max-versjon av pakken.
  • Melodyne: tysk program hvor man kan jobbe med audio på samme måte som MIDI. Svært imponerende!
  • Semantic HIFI Project : europeisk samarbeidsprosjekt som skal utvikle interaktive måter å oppbevare og lytte til musikk. Etterfølger CUIDADO-prosjektet.
    • Viste frem en prototype på music thumbnails, som automatisk lager korte snutter (15-20 sekunder) med forskjellige musikalske deler. Segmenteringen skjer på en meget elegant måte, ved å lage en korrelasjonsmatrise mellom to spektrogrammer hvor det ene er transformert 90 grader.
    • MusicSpace: program for å kontrollere hvor instrumenter befinner seg i rommet
  • Apple viste frem siste versjoner av lydprogrammene sine (GarageBand og Logic). Med musikkteknologieksperter fra hele verden til stede, klarte de ikke helt å imponere med "nyhetene" 5.1 lyd og time-stretching…
  • IRCAM presenterte sin "skolepakke" med forskjellige programmer som minner litt om NOTAMs DSP, men som er fokusert rundt MIDI.

International Conference: "Performance: Aesthetics, Theory and Practice"

Preget av mange innlegg som gikk på ekstremt hurtig fransk. Det jeg fikk med meg hørtes ut som tradisjonell diskusjon om notasjon, representasjon og interpretasjon. Til og med Eric Clarke, som startet ut med å skulle snakke om kommunikasjon og persepsjon, endte opp med å beskrive en kvantitativ studie av spilling versus notasjon.

  • Nicholas Cook presenterte sitt nye CHARM prosjekt, hvor de skal utvikle verktøy for å ta vare på gamle opptak.
  • Jonathan Harvey er engasjert av IRCAM og BBC Scottish Symphony Orchestra for å lage et stykke hvor instrumentene "snakker". Han presenterte hvordan han jobber med en musikalsk beskrivelse av alle elementene i engelsk tale, og hvordan instrumenter kan lage de samme lydene.
  • Xavier Rodet (IRCAM) ga en presentasjon av "state of the art" innen forskjellige former for vokalanalyse/syntese.

Konserter og installasjoner

  • ECOUTE var en lydutstilling for barn på Centre Pompidou, men var mer interessant for voksne. Det var endel fine varianter med bruk av småhøyttalere i forskjellige oppsett.
  • Wave Field Synthesis: kort fortalt dreier det seg om å lage et fysisk korrekt lydbilde ved hjelp av "holofonisk" avstand. De hadde en installasjon på IRCAM hvor et slikt system var satt opp med MAP (Multi-Actuator Panels), og virkningen var slående!
  • Sons et lumiers: de viste rekonstruksjoner av endel forsøk med lys og lyd fra 1910 og fremover. Alt dette var gjort mekanisk med prismer og enkle oppsett, og mye av det virket mer moderne enn de nye digitale tingene som lages idag.
  • Karlheinz Essl hadde en enkel og fin lydinstallasjon med en kirkeklokkelyd som grunnmateriale og forskjellige typer forvrengninger, spilt over 4+2 høyttalere. Den var plassert strategisk i en trappenedgang, og selv etter ti dager syntes jeg den hørtes bra ut.
  • Det var to "cursus-konserter" hvor de ti komponistene som har fulgt IRCAMs ettårige kurs fremførte sine verker. Det var ganske mye likt, med bruk av den nyeste versjon av Spat samt forskjellige former for automatisk notefølge.

Workshop: "Improvisation with Computer"

Som en del av EMFs 10-årsjubileum, ble det arrangert en workshop med en rekke interessante presentasjoner, blant annet:

  • Joel Chadabe reflekterte over utviklingen av improvisasjon med elektronikk siden CEMS i 1967, og viste hvordan han spilte med computer og theremin i 1979.
  • Robert Rowe viste frem sine improvisasjonsverktøy, og hvordan han nå forsøker å implementere tidligere verker i egne programmer.
  • Steve Coleman viste at også de beste kan få tekniske problemer på scenen…
  • David Wessel og Roscoe Mitchell var kveldens musikalske høydepunkt, selv om de holdt på 20 minutter for lenge. David spilte med Buchla´s Thunder, og viste hvordan datamaskiner kan spilles som et ordentlig instrument.
  • VJamm utviklet av to unge briter, er et system for audiovisuell jamming, hvor det fokuseres på å samkjøre lyd og bilde. Som en del av arbeidet har de laget FreeFrame, en video-parallell til vst-plugins. De jobber også med å utvikle en standard for audiovisuelle filtere, hvor videoeffekter mappes til persptuelt "lik" audioeffekt.

Wedelmusic, Barcelona, 13-14 september 2004

Wedelmusic er en forkortelse for “Fourth International Conference on Web Delivering of Music” og er et initiativ for å strukturere både innhold og formidling av musikk i nye medier (fortrinnsvis internett). Konferansen ble holdt ved Universitat Pompeu Fabra, et helt nytt universitet med lokaler i en togstasjon (!) sør i Barcelona. Jeg reiste dit for å få en oppdatering på forskjellige former for fleksibel lydprogrammering.

Det viste seg å bli et mye større fokus på digital rettighetskontroll (DRM), som stort sett dreier seg om hvordan man kan sperre teknologien så mye at folk må betale penger for musikken. Interessante ting verdt å nevne:

  • PD plugin: Alonso,
    Geiger og Jordá fra Pompeu Fabra har laget en Mozilla-plugin av PD. Det vil
    si at man kan kjøre PD-filer direkte fra en web-leser og all prosessering
    vil kjøre på lokalmaskinen.
  • Arbeidet med MPEG-7 og MPEG-21 to forskjellige former for håndtering av
    innhold og metadata i mediefiler går fremover. Det ble foreslått en rekke forskjellige varianter for koding av forskjellige ting, og det meste er basert på XML.
  • Cilibrasi, Vitányi og Wolf fra Amsterdam viste noen forbløffende resultater når det gjelder organiseringen av midi-filer etter stil. De har brukt “vanlige” komprimeringsteknikker som gzip og bruker bare det (ingen musikalsk kunnskap overhodet!) til å få svært presis organisering av en rekke forskjellige musikkstykker. Det kommer en lengre artikkel om dette i neste nummer av Computer Music Journal.

Interactive Music Network, Barcelona 2004

Interactive Music Network, Barcelona 15-16 september 2004

Rett etter Wedelmusic, var det samling for Interactive Music Network. Dette er et EU-sponset nettverk av nærmere 400 forskjellige institusjoner og firmaer. Det er en rekke forskjellige komiteer og undergrupper, og for dette møtet var hovedtemaet integrering av musikk i multimediaapplikasjoner.

Interessante ting:

  • Hotbed: En database over skotsk folkemusikk ment for bruk i undervisning, utviklet i Glasgow.
  • MEDIATE: Et multimodalt multimediaprosjekt utviklet av miljøer i Portsmouth, Utrecht og Pompeu Fabra, for barn med autisme.
  • MPEG SMR: Ved siden av de andre presentasjonene var også MPEG-gruppen aktive med å utvikle et draft paper for å definere MPEG SMR (Symbolic Music Representation). Som kjent startet MPEG som en audiovisuell komprimeringsstandard, men etterhvert har man sett behovet for å kunne definere alle mulige former for innholds- og metadata. Nå er det altså snakk om å implementere et generelt og universelt system for musikalsk notasjon lenket til mediefiler. Relativt ambisiøst, men det skal visstnok være ferdig ved utgangen av neste år.