BEING BLOBS

Video  
Isabel Valverde

Performers 
Ana Moura Santos, Isabel Valverde, Jorge Gonçalves

Editing 
Isabel Valverde, Ana Moura Santos

Special Guest Editor 
António Forte (DROID/ID)

Music
Inês D'Almey

Multi-modal Interaction System 
Bruno Araújo (BlobMaker)
Ricardo Costa (Computer Vision)  

Thanks to  
Joaquim Jorge (INESC-ID/VIMMI - Visualization and Intelligent Multi-modal Interface Group)

In its 7th video of Blob Dance, the project got immersed in experiencing different dimensions and scales linking various beings through macro and micro states. Taking advantage of the projection grid, which allowed the alteration of human bodies and movements, other beings were sensed and experienced. Like blobs taking an organic embodiment, so our bodies mutated into genetically inherited cells and other orders of existence.

Of Human and Blob Body Fragments

With

Ana Moura Santos

Isabel Valverde

Jorge Gonçalves

and Blobs

Video

Isabel Valverde

Editing

Isabel Valverde

Ana Moura Santos

Special Guest Editor

António Forte (DROID/ID)

Music

Rafaela Macedo

Sinopsis

Short stories emerge out of the simple presence, movement and interactions of shadows of humans body parts and digital blobs within a visual apparatus. Human and Blob Body Fragments is the 6th video of BlobDance project, which experiments modes of embodied experience and interaction within BlobMaker, an interactive application, and the power wall.

To the challenge of experimenting BlobMaker's multimodal interaction with blobs and body movement, was added the fragmenting possibilities of the power wall's 12 video projectors and computers. Along the visual and dynamic choreographic aspects, there is an emphasis on the very embodied presence and experience as shadow and blob within an interactive circuit. How much can be perceived and felt through such mediated mode?

Blobhumans

BLOBDANCE: Blobhumans
Video Dance based on the embodied interaction with/through multimodal interfaces

Authors:
Isabel Valverde (BPD/FCT/MCES, IHSIS, VIMMI/INESC-ID)
Ana Moura Santos (Dep. Matemática/IST/UTL)
Jorge Gonçalves (Ballet Teatro, Dep. Dança, FMH/UTL)
António Forte (Video editor, DROID ID)

Synopsis
Embodied interactions with and through computer generated 3d graphics (Blobs) from mathematical formulas open these interfaces to other creative applications. BlobDance experiments the BlobMaker (Bruno Araújo) multimodal possibilities towards expanding and grounding the body expressive potential through a hybrid (physical-virtual) performance platform.

A Digital Video Dance and Animation, Blobhumans is the last piece of this ongoing project. Started on 2006, we created hppt://blobdance.blogspot.com. A format in tune with the project's work process of critically and creatively adapting/familiarizing with the systems/devices, geared to the development of a dramaturgical approach instantiated through performance and the production of videos.

Blobhumans is about the process of transformation of the embodied interaction with the multimodal circuitry. Three performers, appearing as silluets, and several blobs relate with each other within an immersive space. Holding and moving laser pens, the performers draw lines tracing their movement and spatial path. Blobs start to form and interacting with each other. First seemingly autonomous, blobs and performers start to relate dynamic and spatially, creating situations that converge physical and virtual realities and beings. As blobs and humans get physical and virtually connected, blobs gain human features and humans the blobs' appearance and behavior.

Multimodal Systems (installed at Room J. L. Fernandes / Taguspark / IST)
Video Wall (12 distributed computers and video projectors with rear projection) BlobMaker Application, Voice and Speech recognition (Bruno Araújo, MA VIMMI/DEI/IST)
Laser Monitorization via infra-red (Ricardo Jota, Doutorando VIMMI/DEI/IST)

Sponsors:

IST/BPI

blob draw

Performers

Jorge Gonçalves
Isabel Valverde
vários blobs


Interacção

• deslocação e movimento no espaço do lado A da wall
  
• interacção entre o movimento do corpo e as linhas e blobs gerados via laser (draw, translate, rotate), ou simulado por rato
  
• trabalho com reconhecimento de voz

Os dois performers sombra desenham linhas, criam e movem blobs com o movimento da sua mão com laser e a totalidade do corpo, accionando estas operações através das suas vozes. A progressão das suas acções justapostas no tempo estabelecem múltiplas relações, nomeadamente entre sombras juxtapostas, linhas, blobs, vozes, e sons. A situação joga com a simulação de interacção dupla (não sustentada pela aplicação Blobmaker), e com a dificuldade colocada pela falta de estabilidade da respectiva interface multimodal.


Vídeo

Isabel Valverde

Registo com câmara fixa a 1 metro de altura em plano geral. Zoom/close-up ocasional.
Edição vídeo em Final Cut Pro, com superimposição de imagem e efeitos de transparência e cor.
Edição de som original (voz e computer ) com adição de faixa musical.


Som

Gershon / vr computer sound / Max/MSP
Kasike / Soundmachine - humor2

Em órbita

Performers

Ana Moura
Isabel Valverde
3 blobs


Adereços

2 cadeiras

Interacção

• deslocação e movimento em cadeiras móveis
• interacção via laser com blobs (draw, translate, rotate)
• experiência de trabalho com reconhecimento de voz

A acção decorre no lado A da wall.
Aproximação à qualidade do movimento dos blobs, sugerindo ausência de gravidade, através do deslizar e rodar sobre as rodas das cadeiras. Coordenação do movimento dos performers nas cadeiras com a movimentação dada aos blobs com a manipulação dum laser na mão direita.


Vídeo

Isabel Valverde

Registo com a câmara fixa a 60 cm de altura em plano geral.
Edição vídeo em iMovie e Final Cut Pro, com efeitos de zoom e slow motion.
Edição de som (ruído e voz) e adição de faixa musical.


Música

Durutti Column - It's Your Life, Babe

Véus

Performers
Ana Moura
Isabel Valverde
2 blobs


Adereços
1 véu

Interacção
situação #1
1 performer em deslocação e movimento com véu do lado B da wall
interacção com blobs via rato (operações: translate, rotate)

situação #2
1 performer do lado A e 1 performer do lado B da wall
interacção com blob via ponteiro laser pela performer do lado A

A acção decorre não linearmente em duas situações. Inicialmente, uma performer está do lado B da wall e a outra manipula os blobs. A interacção é múltipla, da performer/sua sombra e entre esta e o blob em movimento. Simulação de toque e jogo de acções e qualidades de movimento entre performer e blob. Teatralidade dinâmica nos efeitos de ilusionismo com o véu, quando a performer "foge" do blob que a "persegue", ou quando joga com a sua sombra com véu como se fosse blob. Na segunda situação, as performers encontram-se uma de cada lado da wall, relacionando-se com e através do blob, manipulado pela performer do lado A.

Vídeo
Isabel Valverde

Registo com a câmara fixa a 1.20 cm de altura em plano geral.
Edição vídeo em iMovie e Final Cut Pro, com efeito de justaposição (em adição e subtracção) e com adição de excerto de faixa musical.

Música
The Vonnoguettes

Sujeitos com Blob

Performers

Ana Moura
Isabel Valverde
1 blob

Interacção

• deslocação e movimento próximo da wall
• interacção via rato com blob (translate, rotate)
• experiência de trabalho com delay do Blobmaker

A acção decorre com um performer de cada lado da wall. A interacção é múltipla, entre os performers e entre estes e o blob em movimento. Aproveitamento da limitação (delay de resposta à interacção) do Blobmaker para maior autonomia performativa. Os performers relacionam-se com a sombra do performer do lado B e com o blob.


Vídeo

Isabel Valverde

Registo com a câmara fixa a 60 cm de altura em plano geral.
Edição vídeo em iMovie e Final Cut Pro, sem efeitos e com adição de excerto de faixa musical.


Música

Bobby McFerrin - Circlesong Five

Acerca / About

Trata-se duma experimentação coreográfica com interfaces multimodais resultando na criação de situações performativas mediatizadas de interacção entre sujeitos-performers e blobs (gráficos computacionais tridimencionais) através de sistemas de interacção multimodais e de input, processamento de sinais e output, incluindo:

• Vídeo Wall (12 projectores) (sala José Lourenço Fernandes/IMMI/IST/Taguspark)
  
• Aplicação BlobMaker (Bruno Araujo, Mestrando IMMI/DEI/IST),
  
• Comunicação sem fios com laser e LED (computer vision/motion tracking) (Ricardo Jota, Doutorando IMMI/DEI/IST),
  
• Reconhecimento de voz
• Aplicação Cambience (Rob Diaz iLab/University of Calgary, Canada)
• Comunicação remota (via internet / teleconferência entre 2 locais-utilizadores)

Partimos do potencial expressivo do corpo pluri-perceptivo em movimento – estado de dança – versus a situação sedentária restrita e redutora do utilizador de computador, tendo como objectivo questionar, reflectir e comentar o estado da corporalização na sociedade tecnológica contemporânea. Pensamos assim contribuir para o desenvolvimento de uma nova corporalidade híbrida e duma inter-subjectividade relacional mediada pela familiarização e exploração do potencial criativo das aplicações tecnológicas já existentes e em desenvolvimento na Sala JLF/Taguspark/IST, por estudantes e investigadores estagiários do IMMI/INESC-ID, Intelligent MultiModal Interfaces Group).

O reconhecimento do gesto na manipulação remota de blobs, por sistemas de computer vision, os quais por sua vez interagem com as sombras dos performers ao vivo, permitem desenvolver possibilidades performativas na mediação e representação do corpo e gesto (através de sombras) e a sua interacção em tempo real com as figuras tridimensionais digitais (blobs). A experimentação da interacção em tempo real tem também componentes sonoras. O reconhecimento de voz permite a alteração de funções – operacionalidade dos blobs – antes efectuadas por teclas e rato. Cambience converte movimento por motion tracking como alteração de imagem em som e permite a coreografia intermedia com elementos da composição sonora e musical.