O Oculus Quest (tanto o modelo original quanto o segundo) tem uma história interessante de recursos sendo adicionados muito depois que o hardware foi lançado. O mais famoso deles é o Oculus Link, que efetivamente transforma a Quest em um Oculus Rift. Esse recurso foi tão bem-sucedido que a Oculus decidiu descontinuar todos os seus fones de ouvido, exceto o Quest.
O rastreamento de mãos não causou tanto impacto quanto o Oculus Link, mas ainda é um recurso incrível com muito potencial. Com o rastreamento manual, você não precisa de controladores. Suas próprias mãos são digitalizadas no mundo VR!
Se você tem uma Quest ou está pensando em comprar uma, vale a pena saber como funciona o hand tracking e o que ela pode trazer para a experiência de RV.
Como a Quest rastreia o mundo
O Oculus Quest usa uma abordagem inovadora para rastreamento de movimento que é comumente referido como rastreamento “de dentro para fora”, que é muito diferente de como o rastreamento de movimento funcionava no passado.
Quando os primeiros fones de ouvido de última geração foram lançados em meados da década de 2010, eles faziam uso de uma ou mais câmeras de rastreamento externas. Luzes especiais de rastreamento de movimento no fone de ouvido informam à câmera exatamente onde o fone de ouvido estava em relação a ele. Com alguma matemática inteligente, esses dados podem ser convertidos em rastreamento de movimento muito preciso no espaço 3D. É assim que os headsets VR premium oferecem “seis graus de liberdade”, também conhecidos como 6DoF.
A Quest move o sensor da câmera para o próprio fone de ouvido, neste caso, colocando-os em pontos estratégicos do dispositivo. Outros fones de ouvido podem usar ainda mais câmeras para melhorar a precisão. Essas quatro câmeras permitem que o Quest veja o mundo real ao seu redor e determine qual é a sua posição dentro desse espaço.
Isso é o que permite que o Quest seja autônomo e portátil. É também o recurso que permite o rastreamento manual com o Oculus em primeiro lugar.
Os controladores Oculus Touch padrão
Para entender o que torna o rastreamento manual do Oculus tão impressionante, temos que começar com os controladores físicos bastante mundanos que acompanham o Oculus Quest. Cada um é totalmente rastreado por sensores internos e marcadores especiais de rastreamento de movimento que informam às câmeras integradas do Quest onde os controladores estão em relação ao fone de ouvido.
Quando você está segurando os controladores de toque em VR, eles são rastreados com uma precisão incrível. Usando os botões de aderência e gatilho no controlador, o software VR pode criar uma experiência convincente de agarrar e manipular itens. Isso é usado com grande efeito em jogos como Half-Life Alyx e The Climb, onde itens emocionantes no mundo VR são uma parte central da jogabilidade.
Os controladores de toque também oferecem feedback tátil graças a dispositivos chamados “atuadores lineares”, que podem criar sensações físicas de esbarrar nas coisas, vibração e outras sensações de toque. Thumbsticks e botões também oferecem uma maneira familiar de se mover em um espaço VR quando você não pode se mover fisicamente em seu espaço real.
A principal desvantagem disso em comparação com o rastreamento manual é que você tem ganchos para as mãos. Você pode realizar movimentos simples de beliscar com suas mãos virtuais, mas isso é tudo. Não parece uma grande limitação quando os jogos são projetados em torno dos controladores, mas o rastreamento de mãos abre um espectro de novas possibilidades em VR.
O que o Oculus Hand-Tracking faz
Quando o rastreamento de mãos estiver ativado, você verá uma representação precisa de suas mãos reais no mundo VR. Cada movimento de seus dedos ou pulso será refletido em seus doppelgangers virtuais.
O rastreamento de mãos não é mais um recurso beta do Quest. Ele agora está integrado ao sistema operacional e a muitos aplicativos Quest originais. O primeiro grande benefício aqui é que, se você deseja colocar rapidamente sua Quest e assistir a um filme em VR ou navegar pela loja de aplicativos, não precisa se esforçar para amarrar os controladores de toque. Usando apenas as mãos, você pode acessar os menus do sistema e navegar com facilidade.
Agora que o rastreamento manual é um recurso oficial da Quest, desenvolvedores de aplicativos terceirizados podem adicioná-lo a seus aplicativos. Já existem vários aplicativos que fazem excelente uso do recurso de rastreamento de mão Oculus, mas temos certeza de que os desenvolvedores encontrarão muitas maneiras mais interessantes nas quais o rastreamento de mão direto pode transformar a experiência de RV.
Como funciona o rastreamento manual do Oculus
Os resultados do rastreamento manual são bastante surpreendentes, mas como isso realmente funciona? Obviamente, a Oculus não publicará os detalhes exatos de sua solução proprietária, mas conhecemos as tecnologias e os princípios envolvidos.
Primeiro, as câmeras integradas são essenciais para o trabalho de rastreamento manual. Eles não apenas fornecem informações de profundidade estereoscópica, mas também dados visuais para processamento por visão de máquina. O que é visão de máquina? É um ramo da inteligência artificial, especificamente um campo conhecido como aprendizado de máquina. É a mesma tecnologia que permite que o aplicativo de câmera do seu telefone identifique rostos rapidamente em uma foto.
Essencialmente, o software tem que aprender o que nos dados de imagem fornecidos pela câmera é uma mão e o que não é uma mão. Isso provavelmente foi feito mostrando ao software milhares e milhares de mãos em diferentes ambientes até que ele pudesse descobrir de maneira confiável uma maneira rápida e eficaz de diferenciá-las de tudo o mais em sua sala.
Uma vez que o software pode criar modelos virtuais precisos e em tempo real de suas mãos, os desenvolvedores de aplicativos podem usá-los para qualquer coisa que possam imaginar. Agora você pode manipular objetos com precisão em VR!
Experiências rastreadas à mão que valem a pena tentar
Se você possui um Oculus Quest, pode experimentar o recurso de rastreamento manual do Oculus sem precisar comprar nenhum aplicativo específico. Conforme mencionado acima, ele funciona no ambiente principal da Quest, bem como em alguns aplicativos originais. Quando se trata de experiências de terceiros, vale a pena destacar algumas.
The Line é uma experiência narrativa de $ 4,99 que também serve como uma demonstração tecnológica perfeita para rastreamento manual. Conta a história de uma cidade modelo em escala que funciona com relógios e trilhos.
Nosso herói Pedro está apaixonado por Rosa, mas não consegue escapar de seu destino. Até que algo novo acontece um dia. Você interage com o mundo do modelo em escala deles usando sua mão para girar botões, puxar alavancas e mexer em tudo o que puder. É uma experiência linear e curta, mas pode exibir o rastreamento manual de uma maneira muito divertida em cerca de 15 minutos.
Waltz of the Wizard (US$ 9,99) é outra excelente vitrine da tecnologia. Você pode usar suas mãos para lançar feitiços e interagir com praticamente tudo no mundo VR ao seu redor. Se você sempre quis viver a fantasia de ser um mago que pode disparar raios de suas mãos, este é o jogo para você!
O que você acha do rastreamento de mãos no Quest? Tentaste? Quais jogos você recomendaria? Compartilhe suas percepções nos comentários.