Uma parede não precisa de ser um ecrã tátil para se comportar como tal. Com LiDAR, uma grande parede, chão ou superfície de projeção pode responder a pessoas que se movem num espaço, que estendem a mão em direção a uma imagem ou que até lhe atiram um objeto. Em vez de pedir aos visitantes que interajam com um ecrã convencional, a tecnologia pode tornar o próprio ambiente físico parte da interface.
Na We Are Interactive, usamos LiDAR quando uma experiência precisa de funcionar a uma escala em que um ecrã tátil normal deixa de fazer sentido. O que é interessante não é o sensor em si. É aquilo em que o sensor permite que a experiência se torne.
O que é o LiDAR e como funciona numa instalação interativa?
O LiDAR é uma tecnologia de medição de distância. Em termos simples, o sistema emite milhares de pontos laser invisíveis ao olho humano e mede a luz que regressa. Essas medições dizem ao sistema a que distância estão os objetos e as pessoas.
Numa instalação interativa, essas medições de distância podem ser traduzidas em posições ou pontos de toque utilizáveis.
“Sabemos quando estamos a intercetar a luz. Com o LiDAR, sabemos onde as pessoas estão num determinado momento ou aquilo em que estão a tocar.”
Eduardo — We Are Interactive
Isto significa que um sistema consegue perceber onde está um visitante, onde uma mão se estende ou onde um objeto atravessa um plano definido. O software pode depois traduzir essa informação numa posição X e Y e associá-la a uma resposta visual, sonora ou física.
O resultado é que uma superfície que não tem qualquer capacidade tátil própria pode comportar-se como se tivesse.
O que se pode criar com LiDAR?
A utilização mais evidente é transformar uma grande parede numa superfície interativa, mas o mesmo princípio pode sustentar experiências espaciais muito mais amplas.
Se o LiDAR estiver a monitorizar uma área ampla, uma instalação pode saber por onde os visitantes se movem e responder à sua posição. Feixes de luz podem seguir uma pessoa pela sala. Um chão projetado pode alterar-se à medida que as pessoas caminham sobre ele. Um grande ecrã pode reagir a mãos que se movem sobre a sua superfície.
Os objetos também podem tornar-se formas de interação. O Eduardo dá o exemplo de atirar uma bola contra uma parede interativa. O sistema não precisa de detetar o impacto físico em si. Se a bola atravessar o plano de deteção do LiDAR imediatamente à frente da parede, essa interrupção pode ser tratada como o ponto de toque e usada para desencadear a experiência.
Isto abre a porta a interações com dimensões que seriam difíceis ou pouco práticas de alcançar com um ecrã tátil convencional.
LiDAR ou ecrãs táteis: quando faz mais sentido usar LiDAR?
O LiDAR não substitui todos os ecrãs táteis.
Se um visitante precisa de estar próximo do ecrã, ler texto pequeno, navegar por informação detalhada ou fazer seleções precisas, um ecrã tátil convencional pode ser a melhor ferramenta.
O LiDAR torna-se particularmente útil quando a interação precisa de ganhar escala.
Uma grande parede LED, uma projeção ou uma superfície física podem passar a responder sem que o próprio ecrã tenha de incorporar hardware tátil. Isto dá aos designers de experiência mais liberdade para pensar para além das dimensões e da forma de um ecrã convencional.
Para a We Are Interactive, a decisão começa naquilo que o visitante deve efetivamente poder fazer. Se a experiência exige interação detalhada e de perto, o toque pode ser adequado. Se exige movimento, escala ou uma grande superfície que responda, o LiDAR torna-se muito mais interessante.
LiDAR ou câmaras de profundidade: qual é a diferença nas experiências interativas?
Outra opção para interação espacial é uma câmara de profundidade. A We Are Interactive trabalha com ambas as tecnologias, mas elas resolvem problemas diferentes.
As câmaras de profundidade podem ser úteis quando o sistema precisa de interpretar o corpo, a silhueta ou o movimento de uma pessoa. O LiDAR pode ser mais adequado quando a informação importante é a posição de uma interação ao longo de uma superfície definida.
Essa distinção foi determinante numa das nossas instalações recentes em eventos.
Um cliente do setor da energia queria uma experiência em que os visitantes pudessem criar desenhos através do movimento e ver esses desenhos transformados por IA em imagens ligadas à sustentabilidade. Considerámos câmaras de profundidade, mas o objetivo não era captar o visitante como silhueta. Precisávamos de perceber onde o visitante queria desenhar num ecrã de grandes dimensões.
O LiDAR deu-nos a interação baseada em coordenadas que o conceito exigia.
“Queríamos detetar o que a pessoa pretendia desenhar. Para isso, as câmaras de profundidade não eram a melhor solução.”
Eduardo — We Are Interactive
Dentro de uma instalação real: tornar interativa uma parede LED de 3 × 6 metros
Nesse projeto, foi instalada no evento uma parede LED de 3 × 6 metros. Por si só, era um ecrã passivo. A We Are Interactive acrescentou um sensor LiDAR rotativo, um computador e software próprio para a transformar numa superfície interativa.
À medida que os visitantes moviam as mãos sobre a parede, os dados do LiDAR eram traduzidos em coordenadas X e Y. Essas coordenadas alimentavam uma interação semelhante a pintura, criando rastos de luz em resposta aos movimentos do visitante. O desenho era depois interpretado por IA e transformado em padrões de folhas, flores e outras imagens inspiradas na sustentabilidade.
A experiência mostrava lado a lado o movimento do visitante e a interpretação gerada por IA, criando uma ligação visível entre um gesto simples e a obra final.
“Queríamos que a interação parecesse magia. As pessoas ficavam fascinadas com os resultados.”
Eduardo — We Are Interactive
O software por trás da experiência foi desenvolvido pela We Are Interactive com uma combinação de ferramentas, incluindo TouchDesigner e scripts em Python.
LiDAR rotativo e deteção de toque em grande escala
O hardware LiDAR existe em diferentes configurações. Um sensor de ponto único pode ser útil quando o sistema só precisa de medir uma distância. Por exemplo, entrar numa área definida pode encurtar a distância medida e desencadear um evento.
Para uma grande superfície interativa, a We Are Interactive usa LiDAR rotativo. O sensor utilizado no projeto varre pouco mais de 180 graus ao longo da superfície, criando uma área de deteção bidimensional que o software consegue interpretar como um grande plano tátil.
O sensor atualmente utilizado pelo estúdio consegue cobrir uma parede de até cerca de 30 metros, consoante os requisitos da instalação.
A capacidade de resposta importa: fazer com que a interação pareça imediata
Para que uma instalação interativa pareça natural, a resposta tem de surgir ligada à ação do visitante.
O LiDAR pode estar a rodar, mas a experiência compreende-se melhor em função do número de imagens de deteção que o sistema consegue processar por segundo. Uma taxa útil mais elevada produz um retorno mais fluido, enquanto a distância e as características do sistema criam limites práticos.
Na instalação LED de 3 × 6 metros, a We Are Interactive usou deteção a aproximadamente 15 imagens por segundo. Para aquela interação, foi suficiente para que o movimento e a resposta visual parecessem fluidos.
Esta capacidade de resposta é uma das razões pelas quais escolher a tecnologia de deteção certa é importante. Se um visitante desenha numa posição e a resposta visual aparece noutro sítio, a ilusão quebra-se. O sistema deixa de parecer uma extensão do movimento da pessoa e passa a parecer que não responde.
O lado prático: calibração, montagem e espaço de píxeis
O sensor é apenas uma parte de uma instalação fiável.
Depois de o LiDAR estar posicionado, a sua relação com a superfície interativa tem de se manter fixa. Se o sensor se mover em relação ao ecrã, as coordenadas deixam de corresponder corretamente ao conteúdo visual e o sistema tem de ser recalibrado.
Na instalação da parede LED aqui descrita, a calibração demorou cerca de 30 minutos depois de o equipamento estar em posição.
O desafio mais inesperado veio do próprio sistema de exibição.
Quando um estúdio interativo trabalha no local com equipamento audiovisual de terceiros, conhecer a resolução do ecrã nem sempre é suficiente. A equipa precisa também de perceber todo o espaço de píxeis disponibilizado pelo sistema audiovisual e exatamente onde o ecrã se situa dentro dele. Caso contrário, as coordenadas usadas pela aplicação interativa podem não coincidir com os píxeis que aparecem no ecrã físico.
“Para além da resolução do ecrã, é importante que a empresa de audiovisuais forneça o espaço de píxeis que vai efetivamente ser utilizado.”
Eduardo — We Are Interactive
É um pequeno detalhe técnico com grande efeito numa instalação. Numa experiência construída em torno de interação precisa, o sistema de deteção, o software e o ecrã têm todos de concordar sobre onde aconteceu a ação do visitante.
Quando não se deve usar LiDAR?
O LiDAR é útil, mas escolhê-lo por defeito iria contra a forma como concebemos experiências interativas.
A forma da superfície importa. Se o objetivo é criar um plano semelhante ao toque, uma superfície plana é mais fácil de trabalhar do que uma muito curva ou irregular. As condições do ambiente também importam. A luz direta pode criar dificuldades, e as instalações no exterior levantam questões de temperatura, chuva e proteção do sensor utilizado.
A unidade LiDAR usada pela We Are Interactive no projeto aqui descrito não tem classificação IP67, pelo que não se destina a ser exposta à chuva.
Há também casos em que outra tecnologia simplesmente se adequa melhor à interação. Um ecrã tátil pode ser melhor para informação precisa. Uma câmara de profundidade pode ser melhor para interpretar um corpo ou uma silhueta.
A tecnologia deve seguir a experiência.
Comece pela experiência, não pelo sensor
O LiDAR pode tornar uma parede interativa. Pode fazer com que um chão reaja ao movimento. Pode permitir que um visitante desenhe num ecrã de seis metros sem transformar esse ecrã num ecrã tátil convencional.
Mas não é isso que torna uma instalação memorável.
Depois de anos a ver pessoas a interagir com instalações, a conclusão do Eduardo é que os visitantes respondem mais à experiência em si do que à tecnologia por trás dela.
“Não é preciso recorrer a tecnologia de ponta absurdamente cara para conseguir isso.”
Eduardo — We Are Interactive
Este princípio molda a forma como a We Are Interactive aborda as instalações interativas. Primeiro define-se o que as pessoas devem sentir, compreender ou fazer. Depois escolhe-se a tecnologia que torna essa interação possível.
Às vezes essa tecnologia é o LiDAR. Outras vezes é um ecrã tátil, uma câmara de profundidade, uma projeção, som ou algo muito mais simples.
O objetivo não é mostrar aos visitantes quanta tecnologia existe na sala. O objetivo é fazer com que a sala responda de uma forma que valha a pena recordar.
Sobre a We Are Interactive
A We Are Interactive é um estúdio multimédia sediado em Portugal que cria experiências interativas capazes de ligar a tecnologia digital aos espaços físicos. O estúdio desenvolve instalações à medida para eventos, museus, marcas e outros contextos, combinando design de experiência com tecnologias como LiDAR, gráficos em tempo real, projeção, sensores, IA e software próprio.
