Post enviado em 08/05/2009 15h33m
“Espacialização multi-canal/simulação de ambientações sonoras interativas com auxílio de Pure-Data e modelagem física”
O PROJETO:
A idéia do projeto de Guilherme Lunhani surgiu após experiências com o Coletivo KD de Dança de Sorocaba, como músico co-responsável (juntamente com Rodrigo Florentino). A partir daí o artista passou a investigar como funciona o controle da localização sonora em um determinado local. Com algumas experiências, definiu um dado material sonoro como um objeto com um corpo com massa (como uma bola), que, quando aplicada uma certa força , é possível obter um resultado de localização de som (ainda quase -imprevisível e um pouco mais natural – através de simulação física). Com os testes e experiências foi possível notar que as características físicas são capazes de determinar o caminho do próprio som.
A INTERFACE:
O projeto em si terá uma tela touch screen, onde o interator a principio escolhe a localização do som com os próprios dedos, mas a idéia é que a pessoa possa interagir com a tela aplicando uma certa força nos corpos (sons-MATÉRIA).
O SOM:
O som será representado por esferas (pontos materiais), onde o interator manipula a direção que irão tomar (como um jogo de sinuca). Ao ocorrerem colisões entre estas bolas, sons diferentes irão ser disparados através das caixas de som que serão inseridas no local da obra.
A PROGRAMAÇÃO
O software que será utilizado para realizar a espacialização do espaço em relação ao som será o Pure-data (PD).
A OBRA:
No espaço serão distribuídas de 04 a 05 caixas de som, que ficarão ligadas a placa de som do computador, ou seja, ao ocorrer uma interação direta na tela, pode-se manipular o som do espaço da forma que se quer, obtendo um resultado sonoro simultaneamente. O trabalho parte da idéia da exploração de um “gestual musical” a serviço da espacialização, e da interferência do interator no processo, pois este ao manipular os corpos (cada corpo será um som diferente), estará naturalmente interferindo no caminho destes e/ou outros sons.
CONSTRUÇÃO DA OBRA:
A estrutura técnica da obra será composta de uma mesa, com superfície de acrílico. Nesta superfície serão colocados leds infravermelhos. Através da técnica de FTIR (Frustrated Total Internal Reflection) uma câmera instalada no interior da mesa reconhecerá a interação (dedos) e passará as informações de localização ao computador (onde estará a programação), “liberando” o som para as caixas distribuídas no espaço.
DESENVOLVIMENTO DA OBRA
23 de abril
A proposta de obra para o MIS é controle espacial do som, através de sistemas multi-canais (i.e. múltiplas caixas de som). Para tanto enviei um protótipo em sistema de quatro caixas (quadrifônico).
Uma característica daquele trabalho, era o controle através de uma interface retangular baseada no sistema cartesiano, sendo que as "caixas de som virtuais" ficam nos extremos desse retângulo, indo de -1 a 1(para cada eixo) e com mudanças lineares entre cada eixo.
Para explicação de como anda a atual pesquisa, é necessário mostrar os problemas do sistema anterior. Primeiramente temos que o ser humano não baseia sua intuição em um plano cartesiano, é mais natural pensar em termos de direção (ângulo de deslocamento a um ponto de referência, a cabeça) e distância. Segundo é que a audição humana é não-linear, portanto o sistema anterior é equivocado.
Neste primeiro dia de pesquisa, estou procurando construir uma interface no PD que trabalhe estas noções de direção-distância ( ou sistema polar, matematicamente falando), de forma que a distância seja relativa, tudo isso num formato circular, podendo simular mais futuramente tamanhos de salas. Para isso estou utilizando, ainda experimentalmente, bibliotecas (conjunto de informações) PDMTL feitas para o sistema multi-canal Ambisonics, onde poderíamos, em tese, ajustar a direção das caixas.
24 de abril
Ocorreu na maior parte do dia pesquisas referentes ao cálculo de quanto podemos dar uma quantidade de volume para cada caixa, em relação a posição desejado do som no espaço. As tentativas ocorreram com a lib EXPR (que fundamentalmente realizam cálculos matemáticos), juntamente com as ferramentas utilizadas de ambisonics. Porém observa-s que as tentativas não foram muito efetivas,
dado que nos davam resultados equivocados.
A definição de uma interface gráfica melhor foi feita também, para melhores vizualizações no processo de pesquisa. Porém creio que a construção de uma interface gráfica feita em Processing é desejada, para melhor organização dos dados, e talvez até inserção de efeitos visuais.
Após uma conversa com o programador Radamés, depois do debate sobre uma implementação de tela Multitouch na pesquisa, observamos que será mais efetivo desconstruir uma WebCam, do que utilizar o Wiimote, que era uma opção anterior. Também foi conversado sobre o fato de utilizarmos a ferramenta OpenSource TUIO, a mesma utilizada pelo ReacTable, já que esta nos possibilita tanto um FingerTracking (reconhecimento de uma área da superficie do dedo utilizado, e escolhendo um ponto central), quanto comunicação com o Puredata e/ou processing.
25 de abril
Após alguma reflexão pós-batente do dia anterior , percebi que n estava calculando corretamente as relação distância da caixa/posição do som. Para isso, refiz todos os cálculos, agora me baseando em matemática básica (especificamente a pitagórica), o que tornou o processo mais simples. Com isso obtive resultados mais satisfatórios, e pude obter informações de distância de localização de um ponto para cada cinco Pontos diferentes (calcula a distancia relativa a cada um desses cinco pontos) para um controle de volume. Ocorreu também problemas com relação ao sistemas Ambisonics, e essa parte deverá ser revista nos próximos dias.
Mas como foi dito anteriormente, o ouvido humano n reconhece o som de forma linear, portanto estarei pesquisando formas alternativas ao Ambisonics, apenas como curiosidade, para tentar obter diferentes resultados sonoros. Contudo já é possível iniciar os testes sonoros e deixar um pouco de lado a parte matemática/programação, para determinarmos empiricamente (através de testes auditivos) quais melhores ferramentas para o produto artístico.
Iniciei tb uma revisão na aplicação das modelagens físicas.
Quando enviei o trabalho para o edital, simulei que um som é visto como um corpo sólido (como uma bola) dentro de um espaço de performance (um quart fechado por exemplo). Ao aplicar forças nesse corpo, este deloca-se em um espaço bi-dimensional, e então eram repassadas as informações para um plano cartesiano e adequadas matematicamente aos volumes das caixas de som (que ficam localizadas nos 4 cantos de uma sala quadrada)
Hoje tentei iniciar a criação de um espaço circular, coerente com a interface proposta no primeiro dia.
Um problema encontrado foi o seguinte:
Existem objetos no PD que possibilitam uma interação entre massas (as bolas) e/ou liimites físicos (paredes). Os limites físicos podem ser criados com o objeto [iLine2D] que cria uma "parede" dado dois pontos. Existe um similar para áreas circulares, [iCircle2D], mas que não trabalha da mesma forma que o [iLine], fazendo então m trabalho de área de influência (muito bom para trabalhar influências gravitacionais). Consegui simular limites físicos quase rígidos como uma parede, mas os resultados ainda n foram satisfatórios
26 e 27 de abril
Apesar de não estar trabalhando hoje no MIS, fiz algumas coisas em casa:
Existe no MacBook Pro, um acelerômetro interno que percebe deslocamentos espaciais, para no caso de uma queda, o computador "perceber" que está caindo, e progteger internamente o HD. Já existem objetos para Max/MSP e para PureData que obtem tais dados, sendo no pd o [apple/sundden_motion_sensor]. Foi um trabalho bem simples: Apenas peguei os dados referentes aos eixos X-Y, repassei para a interface de controle espacial sonoro construída no PD. Resultado: conforme mexemos, chacoalhamos, etc. o computador, se tivermos um sistemas de 2 caixas de som ou mais, podemos desloca-lo conforme o desejado. Será feita uma demonstração em vídeo assim que possível.
Após analizar bem o funcionamento do controle do Wiimote (rotação do controle, e localização em relaçao a um emissir de Raios Infravermelhos), decidi utilziar os dados de IR (infra-red), para obter localização X-Y e repassar para o PD. Para tanto utilizei uma simples vela (emite fortemente IR) e o software DarwiinOSC, que repasssa os dados, via protocolo OSC, para o PD. Mesmo obtendo resultados satisfatórios, será necessário construir um emissor de IR adequado, pois ocorriam alguns problemas. Também será feito um vídeo demonstrativo.
30 de abril
Hoje, concentrei meus esforços na confecção da área circular que anterirormente disse (criação de um espaço circular delimitado por "paredes). O procedimento foi feito da seguinte forma:
Ao invés de gerar um objeto para cada parede (para ter algo próximo a uma forma circular), criei um pacth que gerava estas paredes automaticamente, o que ficou em torno de 360 objetos. Escolhi 360 pela seguinte razão: cada parede é criada para cada ângulo ( == 1 grau).
Iniciei a implementação dessa parte do programa com aquele que calculava distâncias entre as caixas. Devido ao fechamento do MIS, terminarei mais tarde.
1 de maio
Foi implementado no simulação física o seguinte elemento:
Através do controle do mouse, temos um ponto material "mestre", o qual um usuário controla, podendo empurrar os outros ponto materias - os sons - livemente no espaço
Reservei o resto do dia para o término da implementeação da simulação física com o programa de localização de pontos. Basicamente isso o dia inteiro: arrumar cálculos, adequar as duas funções.
2 de maio
Hoje finalizei umaa interface gráfica das funções aplicadas no dia anterior. Foi posséivel também aplicar neste patch a utilização do Wiimote, substituindo a versão para controle com mouse. O preocedimento foi bem simples:
Me utilizei do Software DarwiinOSC, para machintosh, no qual, via Bluetooth, recebe informações pertinentes ao movimento do controle
A informação utilizada (dados sobre o Infra Vermelho [IR], juntamnete com uma vela de cera, um emissor de calor [fonte de IR] ), eram repassadas para o PD via protocolo OSC, e então sendo feita uma adequação para vizualização.
O resultado é um controle interativo donto material "mestre", que vai direcionando os sons para posições que podem vir a ser inesperadas.
O desejo por uma construção de uma inerface gráfica final melhor é objetivada a ser feita em processing, q poderá ter uma comunicação com o PD controlando a saída sonora
3 de maio
Para este dia foi reservado uma pesquisa nos seguintes tópicos:
Como uma possível interface está praticamente feita no PD, iniciei uma pesquisa de como fazer isso no Processing. Tenho em mente o seguinte para o processing: Creio que a utilização deste software pode vir mais de encontro com uma comunicação mais efetiva com um hardware multitoque do que o PD, além de o próprio processing trabalhar melhor com imagens do que o PD.
Iniciei uma listagem de possíveis interações sonoras a cada vez que o som se choca, será iniciada uma pesquisa com relação a granulação do som
Foi dedicado também tempo ao estudo de curvas acústicas antes de orientações
4 de maio
Foram encontradas solucões que podem resolver problemas para a cosntrução da mesa touch screen:
Para a questão de calor: Existia um problema pensado referente ao calor liberado pelo projetor, que poderia esquentar o acrílico e equipamentos dentro
da mesa. Foi encontrada uma informação no site http://www.maximumpc.com/article/features/maximum_pc_builds_a_multitouch_surface_computer que diz que pode-se usar uma lente que "absorve" calor e radiações IR (que poderiam atrapalhar a identificação da interação.) no projetor
Encontramos também um programa que descartará a necessidade de desmontagem de uma webcam para especializá-la em camera de IR. O programa é o tbeta, open-source e multi-plataforma, que pode ser encontrado no site http://ccv.nuigroup.com/, e faria a comunicação com um objeto para PD jah construido pelo NUIgroup (e testado pelo artista).
7 e 8 maio
Nestes disa foram conversadas, com o progrmador Radamés do labMIS, as possibilidades e métodos de uso dos programa tbeta, processing , e puredata, para a captação de imagem, processamento da GUI (Graphical User Iterface) e processamento do áudio (DSP).
O tbeta (http://ccv.nuigroup.com/), é um programa open-source em que podemos captar uma imagem, e filtrar as informações referentes a quantidade de luz, transformando em manchas, que podem ser convertidas em pontos Cartesianos. Obtendo essas informações dos eixos, poderemos repassar as informações da seguinte maneira:
TBETA
/
/
/
/
Processing PureData
(GUI) (DSP)
Foi conversado também que nesse esquema pode-se ter o risco de um atraso da resposta visual em relação à resposta sonora. Portanto também vai ser testada o seguinte esquema, apesar de já esperarmos alguns problemas de tempo de processamento com ela:
TBETA ----> Processing ----> PureData
Apenas esperamos a obtenção dos materias para iniciarmos a construção do hardware.
9 maio
Foram discutidas, junto com o colega residente Alexandre Fenerich as possibilidades de resultados sonoros em função das interações gráficas.
Vimos que o uso de técnicas de granulação sonora uma boa possibilidade artística.
O resultado sonoro se daria da seguinte forma:
um corpo material, que representa um sinal de áudio, terá representações numéricas em uma tabela (o som é graficamente representado nesta tabela)
A técnica de granulação que utilizaremos será reorganizarmos pequenas partes do sinal de áudio, de forma que seja semelhante às técnicas de síntese granular.
A cada interação dos corpos materiais, ocorre uma granulação sonora
Poderiam ser classificados grupos de classes de som, onde cria-se uma regra que, quando há uma interação entre sons de mesma classe (corpos materiais), não ocorrem tais granulações, permitindo que o usuário/ouvinte tente descobrir a regras da instalação por si.
10 de maio
Dediquei-me hj tanto ao estudo da implementação da interface gráfica em processing, estudando a lib de simulação física BoxWrap2D; quanto ao estudo de implemetação de granulação sonora no PD.
Granulação sonora seria como obter pequenas partículas sonoras a partir de um sinal de áudio: uma gravação, um sintetizador, etc...
O efeito desejado para a instalação é o seguinte: dada uma interação entre corpos-sons, a forma como será procedida a granulação sonora será em função da intensidade da interação, sendo pesquisada a quantidade, tamanho e tipo de espacialização dos grãos sonoros a serem liberados.
Cogita-se tb a idéia de dividirmos em classes os corpos-sons, sendo que iremos poder obter diferentes tipos de processamento de grãos dadas as interaçãoes entre classes.
11 de maio
Iniciei um processo de esquematização da composição musical a ser direcionada para a instalação, sendo que me basearei nas seguintes divisoes:
duas classes de sons: Acústicos e eletroacústicos, sendo que a quantidade de isntrumentos acústicos planeja-se entre 3 ou 4, e eletronicos em 2 ou 3
3 formas de apresentação sonora: sonoridades lisas, sonoridades rugosas, sons breves
As partes, apesar de serem planejadas como um todo, terão durações diferentes, de forma que nunca sejam coincidentes (na medida do possível) o
início destas partes, tentando criar uma música que se re-construa no tempo, mantendo-a sempre diferente. Base-ei-me de certa forma no conceito de tempo do compositor francês Messiaen
24 de maio a 31 de maio
Foi iniciado a construção, dentro do PureData da comunicação entre o programa TBETA e o próprio PureData.
O processo se deu pela utilização do objeto [TuioClient], oferecido no proprio site do TUIO (http://www.tuio.org/?software) , que recebe as informações de posição de dedos na tela touchscreen, via protocolo OSC.
Foram feitas melhorias na interface gráfica feita no PureData, tornando-a mais acessível e visualmente melhor para possíveis usuários.
Apesar da placa de acrílico ter chegado, ainda não foi possível iniciar a construção da mesa, sendo que ésta será baseada na placa.
As conversas com o Sílvio Ferraz se deu da seguinte maneira: Foi observado o fato que a própria idéia da instalação, quando ocorrem as interações entre os sons (choque entre eles), proporciona uma forma musical, baseada em ciclos musicais: Um momento musical sem interação, onde de certa forma, a estrutura permanece plana e inalterada, e quando ocorrem estas interações (manipulação pelos usuários), voltando depois para a estrutura plana
Apesar de apresentar uma certa proposta musical, preocupou o artista residente pelo fato de estar em uma fase que evita propostas artísticas com alternância entre apenas duas camadas (aqui a da “estutura inalterada” e a “estrutura modificada”). Estarei buscando por uma proposta com mais multiplicidades.
As conversas com o orientador Tuti se deram basicamente em resoluções práticas das propostas artísticas, i.e., resoluções na parte de programação e cálculos para a espacialização física.
2 de junho a 7 de junho
Foram feitos testes obtendo informações do Tbeta e jogando-as para o PD. Infelizmente o software testado (em um computador Machintosh) está aguentando processar os dados referentes a posição, e simulação física com uma média de 2h 30 min. Após este tempo o programa trava, e é necessário reiniciá-lo.
Foi comentado com o orientador José Fornari o fato ocorrido, sendo que este, duerante a orientação me ajudou a limpar erros de programação. Houve melhorias no patch do PD, mas apenas houve um tempo maior entre o tempo de uso, e o “crash” do programa.
Portanto, devemos apontar como solução satisfatória a utilização do Processing para processamento da interface gráfica.
Juntamente com o programador radamés, iniciamos um processo de construção com bibliotecas de simulação física, entre elas: a BoxWrap2D http://jbox2d.nfshost.com/processing/),VerletPhysics/toxiclibs(http://code.google.com/p/toxiclibs/)e TraerPhysics(http://www.cs.princeton.edu/~traer/physics/).
O programador Radamés fez uma implemetação física com o TraerPhysics, mas este não apresenta uma simulação de colisões físicas, idealizadas para este projeto.
BoxWrap2D apresenta simulação de colisões, mas a documentação, um tanto confusa, está nos impedindo de desenvolver com esta biblioteca.
Estamos tentando implemetar com VerletPhyscs, possue uma documentação um pouco melhor, mas ainda não está pronto.
Wilson Sukorsky apresentou novamente idéias, me mostrando programas feitos em flash que trabalhavam com mesas sensíveis ao toque, que basicamente modificavam a altura de frequências, mudanças de filtragem. Estes processos estão sendo estudados em como aplicar no software SuperCollider, uma vez que está se mostrando mais eficiente para modificações em tempo real do que o PureData.
Silvio Ferraz apresentou programas feitos em Max/MSP (muito similar ao PureData) de processos de granulação sonora, no qual se mostravam similares a processos de action painting de Pollock. A visão do orientador mostrou a possibilidade que a instalação tem para com processos de acão do usário da mesa. Os “respingos sonoros” feitos pelos usuários da Mesa Espacializadora, seriam repassados diretamente para as caixas de som, espacializando de maneira randômica.
9 de junho a 14 de junho
Conseguimos Implementar no Processing, através da biblioteca TUIO_Processing, uma sincronização entre o software Tbeta (captação das imagens da WebCam) com o processing rodando dentro de um Machintosh. Houve necessidade de implementação de algumas funções matemáticas para correção da posição das mãos dentro do Processing.
Esta semana, eu e o progrmador radam´se deu basicamente nas pesquisas de como seriam implementadas as bibliotecas entre comunicação entre o PD e o processiing, sendo através do protocolo OSC .
Uma possível separação entre o processamento visual e sonoro pode resultar numa otimização dos processos, causando menor chance de “crashes” dentro dos softwares.
O estudo do software SuperCollider está se mostrando mais eficiente para os processos de processamento do áudio, tanto em síntese sonora, quanto a parte de espacilização.
Teremos qe esperar até a próxima semana pelas modificações necessárias à mesa, para iniciarmos alguma implemetação final entre software (programas de interação) e hardware (mesa sensível ao toque).
Houve ainda tentativas de melhorias no software (patch) feito no PD, para que possamos ter pelo menos um software em mãos, enquanto o que está sendo feito em Processing não é finalizado.
Será feita também uma tentativa de separação de funções somente entre patchs de PD.
16 a 22 de Junho:
Foram feitas modificações na mesa de madeira, para adequarmos algumas coisas, tais como o projetor, espelho e LEDs IR (infraVermelho)
Inicialmente foram feitos alguns furos próximos ao local onde colocaremos o acrílico,para posicionarmos os LEDs.
Após isso foi feita uma porta , localizada na lateral da mesa, para Possíveis ajustes internos que poderão ocorrer, tais como ajuste de projetor, ajuste de espelho, etc...
Por último foi feito um suporte para o projetor, perto da parte superior da mesa, embaixo da placa de acrílico .
Enfrentamos problemas nessa última parte , pois mesmo achando um bom ajuste entre projetor e espelho, o resultado não era satisfatório, pois alem de não ocupar toda a superfície de acrílico, uma parte do trajeto da luz do projetor refletida pelo espelho, passava pelo próprio projetor, barrando parte da projeção.
Talvez seja necessário também aumentar a altura da mesa.
Será feita na próxima semana, um teste colocando o projetor no chão.
Quanto a parte de programação, após conversas como programador Radmés, uma separação entre softwares, colocando um software responsável pelo processamento da imagem em um computador (processing e Tbeta), e jogando as informações, via protocolo OSC, para outro computador (em rede), rodando um programa responsável pelo processamento de áudio (Puredata e/ou SuperCollider).
Essa implemetação de comunicação obteve sucesso, ao comunicarmos um computador com Linux (rodando Processing e tbeta) a um Machintosh (rodando o PD). Porém o processamento da imagem não obteve o mesmo resultado que foram obtidos no Machintosh ( talvez por ajustes de código).
As conversas com os orientadores foram muito frutíferas no campo intelectual/artístico, sendo que mesmo sem um dialogo entre os orientadores, foi observado que ambos chagavam às mesmas propostas (para o artista residente) artísticas, cada um a sua maneira.
Estas propostas se davam no caminho de como a posição de dos dedos na mesa irá controlar parâmetros sonoros.
O orientador José Fornari continua a propor mudanças nos parâmetros de granulação sonora dependendo da posição X/Y no espaço de performace, mudando por exemplo o caminho de execução do áudio (áudio sendo tocado normalmente, ou de trás para frente, mudança de velocidade, altura dos grãos sonoros, quantidade de grãos, etc.)
Wilson Sukorsy, propôs mudaças paramétricos do som, tais como a freqüência,aplicação de filtros sonoros, métodos de síntese, e até mesmo a apresentação de cores específicas para cada um do som (caracterizando-os na interface gráfica), dependendo em função da posição, sendo que a mudança da posição também mudará a cor.
Silvio Ferraz propôs, quase no mesmo caminho que Sukorsky, uma mudança na harmonicidade de sons eletrônicos , criando espectros sonoros mais “fechados” ou mais “abertos” em função da posição. Propostas de como obter essas harmonias se davam por misturas na síntese FM e AM.
O artista, com essas idéias, refletiu e chegou a uma proposta na qual teríamos várias bolinhas na interface gráfica, agrupadas por características sonoras (e elas mesmas, sons). Uma certa quantidade de bolinhas define um som, com diferentes qualidades. As mudanças de posição de cada bolinha no espaço iria alterar qualidades inerentes a essas características. Alem disso, outra proposta se deu no caminho de que teríamos os sons representados por bolinhas que se movimentam no espaço, mas o que pode mudar as características de cada som, são as posições dos dedos na mesa;
Cada dedo modificaria um parâmetro randômico de um certo som, alem de mudar sua posição no espaço. Se relembrarmos o que foi descrito na primeira semana (sobre “estruturas inalteradas” e “estruturas modificadas sonora e espacialmente”) este poderia ser um terceiro parâmetro, que “modifica a estrutura modificada”, i.e., modifica os próprios parâmetros de interação sonora.
| Ler comentários (0) |
| 
Acessar arquivo
