Encontro da arte com a ciência e tecnologia

Projeto é desenvolvido no Instituto de Artes da Unesp

Dedicado ao desenvolvimento de tecnologias assistivas dirigidas à arte, o projeto ‘Interfaces físicas e digitais para as artes: da difusão à inclusão’, coordenado pela Dra. Rosangella Leote, professora do Instituto de Artes (IA) da Unesp em São Paulo, proporciona a pessoas com diversas deficiências de movimento e incapacidade de fala, a possibilidade de produção de atividades artísticas, seja nas artes plásticas, cênicas, sonoras ou outras manifestações, por interfaces, como o Kit Facilita, desenvolvido em projeto colaborativo, por Acordo de Intercâmbio Internacional entre Brasil (Unesp) e Espanha (UB) e o outro projeto “ARTIA”, que está sendo desenvolvido no Brasil, em parceria entre a Unesp e a Unicamp, por meio de seus Institutos de Artes, cujas finalidades são similares.
Entre os objetivos está, com base na Neurociência, entender e ampliar o espaço perceptivo para o desenvolvimento e para a fruição da arte (analógicas e/ou digitais em modalidades diversas, conforme o interesse dos artistas com ou sem necessidades especiais.
Este trabalho acontece no GIIP – “Grupo Internacional e Interinstitucional de Pesquisa em Convergências entre Arte, Ciência e Tecnologia”, certificado pela Unesp junto ao CNPq.
PROPÓSITO E DESAFIO
O projeto se destina a fornecer tecnologia assistiva, de código aberto, com possibilidades escalonáveis de funcionalidades. O usuário, ou seus familiares e cuidadores, terá acesso aos manuais e rotinas para montagem de seus dispositivos, sem nenhum custo destinado ao projeto, operando ao modelo “do it yourself”.
Um dos desafios no processo é conciliar a tecnologia aberta com recentes aplicações de biosensores, especialmente os neurosensores, visando a utilização do cérebro para ações sem realização de movimentos por parte do usuário. O projeto nesse sentido, proporciona o diálogo entre multisensorialidade e a multimodalidade para, por meio de ferramentas como o Kit Facilita e o ARTIA, proporcionar criação. “Gera assim interação de sujeitos vinculando arte, ciência e tecnologia num contexto inclusivo”, diz a professora Rosangella.
O projeto engloba cinco subprojetos, como o “Criar sem limitações: Arte e tecnologia”, da Dra. Ana Amália Tavares Bastos Barbosa, brasileira, que realiza pós-doutoramento no IA (Bolsa CAPES PNPD), e “Kit Facilita – Projeto de Pesquisa e Inovação em Interfaces Assistivas de Baixo custo” (http://www.mobilitylab.net/facilita/), desenvolvido pelo Dr. Efraín Foglia, espanhol daUniversidade de Barcelona, com colaboração do Dr. Josep Cerdá i Ferré (UB). Este subprojeto também é de pós-doutoramento. Ambos estão sob a supervisão profa. Leote.
O maior desafio, entretanto, foi desenvolver um projeto de tal natureza dirigido e originado na área de artes. Não há nenhum outro projeto desta natureza no Brasil e talvez até no Exterior.
Sem verba, foi necessário a montagem de uma equipe interdisciplinar por engajamento político-social além do artístico. Alguns dos participantes do projeto, que não são da Unesp, não têm salários nem há patrocínio ou custeio de agências de fomento. A Unesp, através da Pró-reitoria de Pesquisa (Prope – edital 16/2013) custeou a compra de uma parte dos componentes. O restante foi obtido com aquisições feitas pelos membros da equipe.
TESTES
Os pesquisadores já realizaram vários testes com sucesso: em 9 de julho de 2015, em Lisboa, com Pedro Almeida, artista português que sofre de degeneração precoce; em 16 de julho de 2015, e São Paulo, com a artista e arte educadora Dra. Ana Amália Tavares Bastos Barbosa, que sofre de Síndrome de Locked-in (doença neurológica rara, em que ocorre paralisia de todos os músculos do corpo, com exceção dos músculos que controlam o movimento dos olhos ou das pálpebras e, na maioria dos casos, impede a fala) ela vem aplicando as interfaces na arte-educação e na própria produção artística; em 15 agosto de 2015, com a Samara Andressa, jornalista paulistana, com paralisia cerebral.
Após esta sequência de testes, iniciou-se, em 29 de outubro de 2015, testes/treino com as crianças e adolescentes da Fundação Nosso Sonho, em SP, entidade filantrópica que promove a inclusão social de crianças e jovens com paralisia cerebral, onde Ana Amália desenvolve sua prática didática de arte. Os resultados com os adolescentes vêm criando altas expectativas quanto ao sucesso do trabalho.
Os testes na Espanha, realizados com pessoas sem necessidades especiais, apenas para a aferição dos modelos de calibragem e respostas do protótipo ao movimento ocular, também resultaram positivos.
TECNOLOGIA
O desenvolvimento do protótipo “Kit Facilita” (www.mobilitylab.net/facilita/) que opera com o rastreamento de movimentos dos olhos foi desenvolvido com tecnologia reversa e customização de interfaces já disponíveis no mercado e com código aberto. Isto permitiu realizar mais rapidamente o trabalho. Para os realizadores do projeto, não fazia sentido desenvolver “do zero” um similar a uma solução já existente.
Foi, então, adquirido o dispositivo Pupil Dv (www.pupil-labs.com), que tem tecnologia aberta, para fazer a customização pretendida, usando a programação Pure-data. A partir daí a primeira etapa do Kit facilita se concretizou. O dispositivo se mostrou muito eficiente na operação com projeção sonora. Isso permite ao usuário combinar sons, e até produzir música a partir de células gravadas de sequências musicais, ou comunicar-se com frases simples, como: “estou com fome”, “sim”, “não’ e outras.
Sua principal qualidade hoje é a de fazer soar arquivos, que estão no computador, dispararem a partir de inputs de marcadores que podem estar distribuídos pelo ambiente do usuário. O usuário pode, da mesma maneira, fazer reproduzir trechos de música, falas teatrais, vídeos e outros outputs com base em arquivos.
Um objetivo é prosseguir na evolução do kit para um protótipo de comunicação, falada e/ou digitada, através de até 64 marcadores de tamanhos diversos, quantidade que o dispositivo hoje pode ler. É possível criar, por exemplo, um teclado físico ou projetado, o que facilitaria a ação de pessoas que têm muita dificuldade de controle dos movimentos da cabeça como uma grande parte dos paralíticos cerebrais. Como é um kit com propósito expansível modularmente, ele poderá servir para inúmeras outras aplicações.
Para resolver as dificuldades encontradas por Ana Amália, para a aplicação de seus workshops de arte, com o uso do dispositivo (conforme o plano de trabalho do seu PD), foi utilizado, além do kit, o dispositivo Eyewriter (www.eyewriter.org), que também é tecnologia aberta, para testar suas vantagens para esta finalidade específica.
O projeto prevê a utilização de ondas cerebrais para a comunicação com o computador, especialmente para os casos mais críticos. Em relação à tecnologia utilizada, foi utilizado, inicialmente,o Epoc/ Emotiv, dispositivo leitor (neurosensor) e conversor de ondas cerebrais em informação digital, para criar condições para o desenvolvimento de obras de arte pelos artistas escolhidos.
Após os primeiros testes feitos, com o software Pure Data controlando o dispositivo, foi possível criar comandos sonoros com a ativação das ondas cerebrais. Mas observamos que as operações com o dispositivo eram muito limitadas para as nossas intenções “É uma ótima interface para games e outras situações de interação onde o detalhamento e a ordenação de sinais muito rápidos e quase simultâneos não são necessários. Ocorre que é a precisão que necessitamos para o público que enfocamos”, conclui a docente.
O Epoc/Emotiv (https://emotiv.com/) tem a tecnologia parcialmente aberta. Assim, não se tinha acesso a modificações mais incisivas, para que se pudesse customizá-lo de acordo com as especificidades do nosso trabalho”, conta. “A versão que utilizamos foi a educacional, que tem mais possibilidades de modificação do que a versão completa.”
Por essa razão, foi elegido outro equipamento, o OpenBCI (http://www.openbci.com) para a próxima etapa do trabalho, pois ele tem a tecnologia de hardware e software abertas, tanto quanto compatibilidade com o Pure-Data. Sua função é, basicamente, a mesma do Epoc/Emotiv, mas aberta é customizável, fornece maior liberdade para as aplicações. “Isto percebido, a interface pode ser usada em espetáculos de dança, teatro ou música. Os dados sonoros podem ser substituídos por visuais, então o processo pode ocorrer misturando diferentes outputs além das ações na tela do computador, explica a docente do IA.
Embora haja disponíveis EEGs mais poderosos e de alta resolução e acuidade de leituras, estes não são acessíveis para a customização, ou para o acesso em amplitude social, tanto quanto não podem ser adquiridos dada a falta de financiamento que hoje o projeto tem.
AÇÕES
O projeto, até o presente momento, utilizou o laboratórios laboratório de Arte e Tecnologia do IA, para identificação das práticas e tecnologias utilizadas no desenvolvimento de seus produtos, bem como para desenvolvimento de nossos projetos e aplicações das oficinas. A professora Rosangella também realizou visitas de estudo, aferição e desenvolvimento de obras colaborativas na Universidade de Barcelona, no grupo de pesquisa que ela integra (Barcelona Recerca, Art y Creació – BR:AC (UB) e no Mobilitylab (mobilitylab.net), do qual fazem parte Efraín Foglia, designer do Kit Facilita e o engenheiro de computação, Jordi Sala, responsável pela programação do protótipo.
Durante o processo houve, no Brasil, a produção de uma análise comparativa quanto à eficiência dos recursos tecnológicos digitais assistivos que vem sendo produzidos ou pesquisados e que estão voltados às necessidades do público alvo deste projeto; assim como a produção de obras plásticas, em oficinas, utilizando interfaces assistivas, envolvendo, também, a participação de pessoas que não tem limitações de movimento, como estratégia de facilitar o reconhecimento da problemática que o projeto envolve.
DIFICULDADES
Uma dificuldade a ser resolvida nas próximas etapas do projeto é a necessidade de afinação do dispositivo para cada usuário. O ideal seria que cada participante do projeto tivesse um dispositivo destinado à si. Numa situação controlada, como o laboratório ou uma sala de aula, isto é possível fazer sem maiores problemas, as respostas são mais garantidas. Entretanto, de um espaço do espetáculo, por exemplo, com toda a pressão psicológica que costuma haver, para qualquer artista mesmo sem deficiências, não é possível garantir que os estímulos exteriores não comprometam ação do usuário caso haja um roteiro rígido pré-fixado. “Assim, qualquer trabalho neste campo deve ser experimental e permitir a incorporação do aleatório”, aponta a pesquisadora.
No caso de Ana Amália, o principal problema é que ela não teve a destreza necessária para a utilização do Kit com o olho direito Embora ela tenha conseguido operar o equipamento, sua instabilidade motora do olho faz com que o ajuste se perca. Assim, foi iniciada uma alteração de programa e do design, para seu uso mais confortável, inclusive alterando a câmera para que possa fazer a leitura do olho esquerdo.
Os testes mostraram plausibilidade de sucesso do novo protótipo. “As pessoas que não possuem problemas de comunicação, e que usaram o Kit Facilita, relatam simplicidade na utilização do mesmo, mas incômodo com a existência dos óculos. O mesmo se dá com as deficientes. Isto é uma questão à ser levada para a continuação desta pesquisa”, aponta Rosangella.
RESULTADOS
Todos os testes a aplicações da interface Kit Facilita apresentaram funcionamento. O teste aplicado em Portugal, na Fundação Liga Liga (www.fundacaoliga.pt), com Pedro Almeida, que +e portador de degeneração precoce, deu ótimo resultado, levando à elaboração de processo criativo para artes cênicas (dança) e artes sonoras, naquela fundação.
Na Casa das Artes dessa Fundação, além do teste com o Kit Facilita, foi possível conhecer um espaço para atividades colaborativas de produção e realização artística a distância, inclusive em tempo real. “Netse caso, nossa parceria prevê desenvolvimento de obras cênicas, junto ao grupo de dança Plural, que tem bailarinos com e sem necessidades especiais, ao modo de valorização das atividades artísticas de todos”, manifesta a pesquisadora brasileira.
Dos testes realizados no Brasil, com Ana Amália Barbosa e Samara Andresa Del Monte, o da jornalista Samara (paralisia cerebral) foi o mais bem-sucedido. “A aplicação do Workshop para crianças com paralisia cerebral, na Fundação Nosso Sonho (SP), por Ana Amália, em 28 de outubro de 2015, mostrou que se está no caminho certo”, avalia Rosangella.
PRÓXIMAS ETAPAS: ARTIA
“Diante das dificuldades encontradas com a interface Kit Facilita, até o momento, para as funções gráficas, será necessário desenvolver outra solução, para outros casos, desta vez com o design realizados pelos brasileiros. Isto não modifica, porém, nosso empenho para continuar nosso trabalho, tanto com o Kit, como com o BCI (leitor de ondas cerebrais)”, conclui a pesquisadora do IA.
Para as próximas etapas, a curto prazo, o engenheiro de sistemas Dr. Daniel Paz está utilizando o Pupil Dv, com programação Processing. Alguns testes, nesse sentido, mas usando componentes avulsos, foram feitos pelo Dr. Renato Hildebrand, ambos são da Unicamp e membros do GIIP.
O Grupo vem, por vários processos, produzindo obras com o intuito de encontrar poéticas, compartilháveis e fruíveis, apoiadas menos no espaço subjetivo das experiências do artista e muito mais em conhecimentos científicos, com grande ênfase na Neurociência.

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s