A Sound You Can Touch

Janis Jefferies & Tim Blackwell (GB)

Textiles, sound, projection

1. Introduction
In 'A Sound you Can Touch', we explore visual and sonic texture. A mapping of textile images into sound enables this. The images are scanned from complex weaving patterns generated by the jacquard loom. Multi-stranded, coloured textures are digitally represented and are translated into sonic experience. What is to be touched as the sound touches us? What do we attend to and how do we hear? We are producing visual, sound and performative based work within new models of creativity and collaboration.

The audience is invited to interact with 'A Sound you Can Touch'. There are several simultaneous performances. Firstly, the audience can experience the virtual warp and weft as new textile patterns emerge and mutate into new threaded textures, secondly, the swarm and sounds that move over the texture of the virtual surface are played with and improvised in live performance. These effects permeate the sounding posture of mobile bodies in time and in space. Outside of the body, vibration is also operative as the prioceptive sense connects to the body's surface and to the sonic textures produced.

2. Swarm Tech-Tiles
Swarm Tech-Tiles is responsible both for weaving sound and the sonification of weaves. Incoming sound is mapped to a textile pattern by weaving, as warp and weft, two linear sequences of audio samples (left and right channels). A simple re-scaling converts samples to pixel values. The sonic texture, which is one dimensional and temporal, is therefore related to a two dimensional visual texture. Micro-textures can be explored by clicking the mouse at various points on the pattern, causing a small tile of image texture to unweave into a grain of sonic texture, which is immediately heard.

It would appear that the time domain is lost in woven sound, frozen in a static image. However our shifting attention reconstructs a narrative from pictures and images. In our model of attention, a viewer's gaze moves between regions of strong micro-texture, sometimes returning to local areas of interest, sometimes exploring more dilute textures, until the pattern as a whole is assimilated. This model is implemented with a swarm of tiny particles, flying over, and interacting stigmergetically with, the image. The swarm as a whole is seeking areas of high micro-texture, as defined by a mathematical function. Each particle assess texture at a small tile centered at each location it visits. If the micro-texture is larger than any previously being exploited by the swarm, an attractor (depicted as a green disc on the simulation) is deposited at this site. In an analogy with the biological process of stigmergy [1], other particles flying within the disc will be drawn towards the attractor (food source). However, the attractor's resources are partially consumed at each particle visit until the attractor vanishes and the captured sub-swarm scatters, to begin searching again. The consumption of the attractor followed by re-exploration of the image models (and, in this instance, drives) the shifting nature of our attention. And, of course, new attractors might be placed at previously visited sites. According to the unpredictable configuration and history of the swarm, there might be periods when no attractors are present, and the swarm wanders aimlessly over the image. Momentarily we are unable to find anywhere to hold our attention. When this happens, attractors will eventually be created, even if the local textures are comparatively weak.

A megérinthető hang

Textil anyagok, videó és hanginstalláció

1. Bevezetés
A Megérinthető hangban azt vizsgáljuk, van-e szerkezeti hasonlóság hangok és képek között azáltal, hogy a hangot az amúgy nehezen megragadható textil képekben tárgyiasítjuk. Ezeket a hang-képeket egy Jacquard féle szövőszék (egy 1808-ban kifejlesztett modell, amely a mai számítógép egyik őstípusának számít, mivel programozható lyukkártyák adták a szövési utasításokat) készíti összetett szövési eljárással. A több rétegben font, színes ruhaanyagokat aztán digitális eljárással visszaalakítjuk hanggá. Milyen érzés, amikor egy hang megérint minket? Hogyan és mit hallunk, amikor ezeket a hangokat halljuk? Művünkben, amely performatív elemekből, illetve képi és hanghatásokból áll, a hang, anyag és előadó közötti együttműködés új, kreatív felhasználási módozatait keressük.

A „megérinthető hang” a nézők közreműködésével jön létre. Az előadás egyszerre több rétegű, több szálon fut:
Először is, a hallgatóság megérintheti a virtuális szövetet, érezheti, ahogyan a textildarabok újabb és újabb mintákba rendeződnek a kezük alatt, másodszor pedig a hangokból és zaj-rajokból (apró zajmintákból) álló szövetből - azt mintegy partitúraként és egyszerre alapanyagként használva - élő zenei előadást szőnek az előadók. A nézők ezáltal új tér- és időélménnyel lesznek gazdagabbak, a hang egy újfajta térbeli és időbeli interpretációjával, hiszen ezúttal nem csak hallhatják a hangokat, hanem a textilszerkezetek segítségével szinte a saját testükön érezhetik a hangok által kibocsátott rezgéseket.

2. Swarm TechTiles rendszer
A Swarm TechTiles rendszer segítségével fonják meg a zenét, illetve vissza, hanggá is ez a rendszer alakítja a szőtteseket. A bejövő hangot, - attól függően, hogy a hangrendszer jobb vagy bal csatornáján érkezik a lineáris hang-szekvencia, - különböző fonalak és fonási eljárások segítségével szövi a textil anyagba a program. Egy az egyszerű átalakító számítás a hangmintákat pixel alapú grafikai információvá alakítja, így a hangszerkezet, amely egy dimenziós és ideiglenes képződmény, kétdimenziós, látható szerkezetté nemesedik.
Ezeket a mikro textúrákat / szerkezeteket az szabásminta bármely pontjára a számítógép egerével ráklikkelve kibonthatjuk, - ezáltal szétbontva az apró szövetek bonyolult szerkezetét és meghallgathatjuk, milyen zenei elemekből épül fel az adott rész.

Úgy tűnhet, hogy a fonott zene statikus képpé fagyásával elveszti időbeli dimenzióját. Ugyanakkor a néző figyelme a képekből és benyomásokból egy állandóan változó, fejlődő narrativát rekonstruál. A néző tekintete össze-vissza barangol az összetett mikro-textúrában, néha az anyag sűrűjébe merül, néha pedig a hígabb összekötő elemeket pásztázza. Egészen addig, amíg az egész rendszer össze nem áll valamilyen általános tapasztalattá. Az egész mű szerkezetében keresztbe-kasul apró, részecskeszerű elemek repkednek, illetve stigmergikus (az alapszabályok lefektetése alapján további munkára ösztönző) kapcsolatba lépnek az anyaggal. A részecskerajt egy olyan matematikai algoritmus irányítja, amelynek utasításai szerint a részecskéknek - mint egésznek, és nem mint egyednek! - a bonyolultabb anyagszerkezetek felé kell csoportosulniuk. A részecskék felmérik, hogy az adott ponton, ahol éppen tartózkodnak, milyen sűrűségű a szövet, és ha sűrűbb, mint amit az előzőekben mértek, akkor egy „csalit” (ezt egy zöld korong jelzi) helyeznek az adott pontra.
A többi, össze-vissza szálló részecske ekkor a csalira veti magát, csakhogy a csali úgy van kialakítva, hogy a részecskékkel való kapcsolatbalépésekor veszít valamennyit az erejéből, végül kimerül, és az odavonzott részecskéket szétszórja, hogy azok más csalikat keressenek. Ahogyan a csalik eltűnnek és újra meg újra kiemelkednek a tömegből - ezáltal minden egyes alkalommal újradefiniálva a képet -, a mi figyelmünk is változik, vándorol. Természetesen az sem lehetetlen, hogy majdnem ugyanoda kerül a csali, mint az azt megelőző pillanatban, de az is lehetséges, - mivel a raj matematikai utasításai hangsúlyosabbak, mint az egyedi részecskék viselkedési mintái - hogy az egész raj látszólag értelmetlenül körőz a kép-szövet körül. Egy pillanatra úgy tűnhet, mintha nem tudnánk figyelmünket egy bizonyos pontra irányítani, de ekkor a rendszer több csalit telepít a anyagban, még akkor is, ha annak szerkezete nem elég erős hozzá.

/fordította: Fuchs Péter/