O desafio: tornar a sustentabilidade algo com que as pessoas pudessem interagir
Para um evento de uma empresa de energia, o desafio não era simplesmente colocar conteúdo num ecrã grande. O objetivo era dar aos visitantes uma forma de participar na experiência e ligar os seus próprios movimentos a uma interpretação visual da sustentabilidade.
A instalação final usou uma parede LED de 3 × 6 metros como tela. Os visitantes podiam mover as mãos sobre o ecrã para criar linhas de luz e depois ver esses gestos simples transformarem-se, através de IA, em imagens orgânicas como folhas e flores.
A ideia foi proposta pela We Are Interactive como forma de transformar um ecrã normalmente usado para comunicação passiva em algo que os visitantes pudessem moldar ativamente.
“Queríamos que as pessoas pudessem ver que são capazes de criar coisas bonitas.”
Eduardo — We Are Interactive
O conceito: de um movimento simples a uma imagem acabada
A experiência foi concebida em torno de uma relação simples de causa e efeito.
Um visitante aproximava-se da parede LED e movia a mão sobre a superfície. O seu movimento aparecia imediatamente como rastos de luz, dando-lhe retorno visual direto de que a instalação estava a responder-lhe.
Ao mesmo tempo, o sistema pegava nessas marcas e usava IA para as reinterpretar como uma composição visual mais desenvolvida. Linhas simples tornavam-se padrões de folhas, flores e outras imagens ligadas ao tema da sustentabilidade.
O visitante conseguia ver as duas partes do processo. De um lado estava o movimento que tinha criado. Do outro, a interpretação por IA que dele nascia.
Isto era importante para o conceito. A IA não estava ali como uma novidade desligada do resto. A ação do próprio visitante mantinha-se visivelmente ligada ao resultado.
“Queríamos que a interação parecesse magia. As pessoas ficavam fascinadas com os resultados.”
Eduardo — We Are Interactive
Porque é que o LiDAR era a tecnologia de interação certa
Fazer com que uma parede LED de seis metros de largura respondesse com precisão ao movimento da mão de uma pessoa exigia um sistema de deteção separado do próprio ecrã.
A We Are Interactive considerou câmaras de profundidade, uma tecnologia que o estúdio já utilizou noutros projetos interativos. Nessas experiências, uma câmara consegue detetar o corpo ou a silhueta do visitante e usar essa forma como elemento de entrada.
Não era disso que este projeto precisava.
“Não queríamos detetar o movimento da pessoa como silhueta. Queríamos detetar o que a pessoa pretendia desenhar.”
Eduardo — We Are Interactive
Nesta instalação, a informação importante era a posição da interação do visitante ao longo da parede. O LiDAR era mais adequado para transformar aquela grande superfície numa área de interação baseada em coordenadas.
Foi instalado um sensor LiDAR rotativo junto à parede LED, configurado para varrer a superfície. Quando a mão de um visitante intercetava o plano de deteção, o sistema conseguia determinar onde aquela interação tinha acontecido e traduzi-la em coordenadas X e Y.
Essas coordenadas passaram a ser a entrada da experiência de desenho.
Construir o sistema
A camada interativa foi desenvolvida pela We Are Interactive.
O sistema físico era composto pela parede LED fornecida no local, um sensor LiDAR rotativo e um computador a correr a experiência à medida. Do lado do software, a equipa combinou várias ferramentas, incluindo TouchDesigner e scripts em Python, para ligar os dados do sensor, a interação de desenho, o processamento por IA e o resultado visual final.
O fluxo era, em traços gerais, o seguinte: o visitante movia a mão sobre a parede LED; o LiDAR detetava a posição desse movimento; os dados do sensor eram traduzidos em coordenadas X e Y; a aplicação à medida transformava essas coordenadas em rastos de luz que respondiam ao gesto; o desenho do visitante era passado ao componente de IA; a IA interpretava-o como imagens inspiradas na sustentabilidade; e o resultado surgia como parte da experiência ao vivo no ecrã LED.
A instalação combinava, portanto, dois tipos diferentes de resposta. Primeiro, a resposta imediata da luz a acompanhar o movimento do visitante. Depois, a transformação desse movimento num novo resultado visual.
Essa primeira camada é importante. Se um sistema interativo espera pelo processamento de IA antes de reconhecer o visitante, a experiência pode parecer desligada. Aqui, os visitantes viam de imediato que a parede tinha registado a sua ação, enquanto a interpretação mais complexa acontecia como parte da experiência mais ampla.
Fazer com que uma grande parede LED pareça responder
A capacidade de resposta é um dos detalhes que distingue uma superfície interativa de um ecrã que apenas parece reagir.
Neste projeto, o sistema LiDAR funcionava a cerca de 15 imagens de deteção por segundo. Foi suficiente para o tipo e a velocidade dos movimentos que os visitantes faziam sobre a parede.
O objetivo não era maximizar uma especificação por si só. Era fazer com que a resposta visual parecesse ligada ao gesto da pessoa.
Sem LiDAR, a equipa poderia ter tentado o mesmo conceito com câmaras de profundidade. Mas mapear com precisão a posição onde o visitante pretendia desenhar ao longo da parede teria sido mais difícil.
Se o visitante move a mão num sítio e o rasto de luz aparece num ponto visivelmente diferente, a relação entre ação e resultado desfaz-se.
“Podia parecer um sistema que não responde, a criar apenas alguns rastos de luz em zonas diferentes do ecrã.”
Eduardo — We Are Interactive
Numa experiência construída em torno da criação pessoal, essa precisão era essencial.
Montagem no local: o sensor tem de concordar com o ecrã
Depois de a parede LED estar instalada no local, a We Are Interactive levou o computador e o sistema LiDAR e posicionou o sensor tão perto do ecrã quanto era praticável, sem interferir com ele.
A relação entre o LiDAR e o ecrã tinha depois de se manter fixa.
Se o sensor roda, se desloca ou vibra de forma independente do ecrã, as suas coordenadas deixam de corresponder aos mesmos pontos do ecrã. A experiência teria então de parar para ser recalibrada.
Assim que o sensor ficou bem fixo, a calibração demorou cerca de 30 minutos.
A própria parede LED era uma estrutura pesada e estável, o que a tornava adequada à instalação. O mesmo princípio pode aplicar-se a superfícies de projeção e outros ecrãs de grandes dimensões, mas a relação física entre sensor e superfície tem sempre de ser considerada.
O desafio audiovisual inesperado: a resolução não é tudo
Uma das lições mais úteis do projeto teve pouco que ver com o LiDAR.
Quando um estúdio interativo integra o seu sistema com equipamento audiovisual fornecido por outra empresa, pedir a resolução do ecrã LED nem sempre é suficiente.
A equipa precisa também de saber o espaço de píxeis entregue pelo sistema audiovisual e onde o ecrã físico se situa dentro dele.
“Para além da resolução do ecrã, é importante que a empresa de audiovisuais forneça o espaço de píxeis que vai efetivamente ser utilizado.”
Eduardo — We Are Interactive
Essa informação é relevante porque a aplicação interativa está a mapear posições em píxeis. Se o software está programado para um espaço de coordenadas enquanto o sistema audiovisual coloca o ecrã visível dentro de outro, a interação pode ficar desalinhada.
Num vídeo convencional, isso seria um incómodo. Numa parede interativa, pode afetar a própria experiência.
A lição para instalações futuras é simples: confirmar a resolução, confirmar todo o espaço de píxeis e confirmar como o ecrã está mapeado dentro dele antes de chegar ao local.
É o tipo de detalhe de implementação fácil de ignorar quando uma experiência atravessa várias disciplinas. O LiDAR, o software à medida, o sistema de IA e o equipamento audiovisual podem todos funcionar corretamente por si só. A instalação só funciona quando funcionam corretamente em conjunto.
O que aconteceu quando os visitantes a usaram
Assim que o sistema entrou em funcionamento, os visitantes perceberam rapidamente que a parede LED não se comportava como um ecrã de evento normal.
Os seus movimentos produziam retorno visual imediato, e a transformação por IA dava-lhes um resultado pessoal, ligado à sua interação.
No final da experiência, o sistema gerava um código QR para que os visitantes pudessem guardar a imagem que tinham ajudado a criar.
Mas o Eduardo notou outro comportamento igualmente revelador.
As pessoas filmavam-se a usar a instalação.
Embora já pudessem levar a imagem final em formato digital, os visitantes queriam captar o ato de interagir com ela. A própria experiência tinha-se tornado algo que valia a pena registar.
“Acho que o maior sucesso foi as pessoas filmarem-se a usá-la. É algo que querem reviver depois.”
Eduardo — We Are Interactive
Para uma instalação de evento, essa distinção é importante. O resultado não era a única recordação. A interação tornou-se parte do conteúdo que os visitantes queriam guardar e, potencialmente, partilhar.
O resultado: um ecrã passivo passou a fazer parte da experiência
O projeto começou com uma tecnologia que aparece em eventos por todo o lado: uma grande parede LED.
O que mudou foi o papel que ela desempenhou.
Em vez de pedir aos visitantes que ficassem em frente a um ecrã a ver conteúdo, a instalação deu-lhes uma forma direta de influenciar o que nele aparecia. O LiDAR forneceu a camada de interação em grande escala. O software à medida ligou esse movimento aos visuais. A IA transformou a entrada do visitante em algo que ele não podia prever.
Nenhuma dessas tecnologias precisava de ser o tema da experiência.
O tema era a ação do visitante e aquilo em que ela se podia tornar.
Isto reflete um princípio mais amplo na forma como a We Are Interactive aborda as instalações interativas. A tecnologia é escolhida depois de se compreender a experiência pretendida.
Neste caso, a equipa precisava de uma superfície de seis metros capaz de perceber onde alguém pretendia desenhar. Isso tornou o LiDAR útil. O conceito precisava que esses gestos simples evoluíssem para imagens mais ricas ligadas à sustentabilidade. Isso tornou a IA útil.
A tecnologia tinha uma função a cumprir.
E quando tudo funcionou em conjunto, um ecrã que normalmente mostraria conteúdo tornou-se algo com que as pessoas podiam criar.
Está a planear uma instalação interativa?
A We Are Interactive é um estúdio multimédia sediado em Portugal que cria experiências interativas à medida para eventos, museus, marcas e espaços físicos. O estúdio combina design de experiência com tecnologias como LiDAR, sensores, gráficos em tempo real, projeção, IA e software próprio.
Se está a planear uma experiência e ainda não sabe ao certo de que tecnologia precisa, esse é normalmente o ponto de partida certo. Defina primeiro o que quer que as pessoas façam, sintam ou compreendam. O sistema técnico pode vir a seguir.
