Para el VI Congreso de Ciudades Inteligentes, previsto en Madrid para el 15 de septiembre de 2020, se ha presentado esta comunicación,  y ha sido aceptada por el Congreso. Yo creo que tiene un interés indudable así que con el permiso de sus autores la voy a incluir íntegra como una entrada de este blog, aunque mi participación se ha reducido a apoyar fervientemente su contenido y a postular a urbiGIS como un futuro productor colaborativo de realidad aumentada.

Los autores

Gustavo Medina del Rosario, CEO, Singularfactory.com 
Antonio Sánchez, Responsable de proyectos Spatial Computing, Singularfactory.com
Izzat Sabagh, Responsable de proyectos, Singularfactory.com
Miguel Betancor, Doctor en psicopedagogía y experto en innovación deporte. Autor del concepto ADL
Ignacio Arnaiz, Director de Arnaiz Urbimatica

Resumen

Desde Singular Factory creemos que la realidad mixta será lo próximo que la tecnología y los mercados traerán para el mercado del gran consumo tecnológico. En muy poco tiempo los ciudadanos comenzarán a llevar un dispositivo de realidad aumentada que usarán diariamente. Ya sean gafas, lentes o teléfonos inteligentes. Si nuestra visión se cumple, si  cree que lo que aquí decimos tiene sentido y ocurrirá, es el momento de trabajar en los contenidos. En el diseño, formato y plataforma. Spatial Computing es el concepto que subyace y da sentido a la combinación de estas tecnologías y sus contenidos. Nos permitirá crear contenido (hologramas), fijarlos en el espacio, mezclarlos e integrarlos en nuestro mundo físico. En esta comunicación queremos compartir nuestra visión y nuestras primeras experiencias y las diferentes iniciativas de organizaciones y compañías por todo el mundo.

Introducción

Para ayudar al lector a contextualizar lo que aquí vamos a comunicar, ha de entender que se ha escrito desde el ángulo de una compañía con un 95% de personal técnico. Por tanto puede ser poco convencional y está alejada de aproximaciones teóricas. Quizás por esa razón hablamos de mercados, empresas y experiencias en proyectos concretos. Para una punto de vista más académico sugerimos visitar https://ieeexplore.ieee.org/document/8656800

Diferencias entre realidad virtual, aumentada y mixta

Aunque técnicamente podemos describir diferencias de implementación, dispositivos o tecnologías, para hacer estas definiciones fáciles de comprender para todo tipo de perfiles profesionales, simplificaremos diciendo que en: Realidad Virtual, todo el contenido es virtual y fabricado para esa experiencia totalmente inmersiva. Un ejemplo sería una aplicación de realidad virtual en el que simular estar en un cine y ves la película. Realidad Aumentada, parte de los contenidos son virtuales que se “mezclan” o se sobre-impresionan con la realidad física de objetos o entorno. La tecnología “aumenta” la experiencia física real con contenidos virtuales superpuestos. Por ejemplo las famosas gafas Google Glass en el que la información se mostraba superpuesta a cualquier objeto. Finalmente Realidad Mixta es muy parecida a la realidad aumentada. El valor que aporta es que los objetos virtuales no sólo se sobre-impresionan sino que de alguna manera se anclan al espacio real y podemos manipularlos e interactuar con ellos y responder como si fuesen objetos reales. Un ejemplo que se ve en promociones de esta tecnología es la imagen de un cirujano que opera a un paciente mientras tiene delante una representación gráfica del órgano o parte del cuerpo del paciente sobre el que trabaja. A todos ellos se les denomina de manera general Realidad Extendida

Spatial Computing

Se basa en la idea de que el mundo real y el mundo virtual pueden interactuar y tener relación e incluso dependencias el uno del otro. Con él no sólo nace la funcionalidad de fijar contenidos virtuales a espacios físicos, sino que tenemos la persistencia, que además facilita que esa realidad se mantenga en el tiempo y pueda ser compartida por muchos usuarios a la vez, desde sus propios dispositivos. Quizás dos ejemplos de claros casos de uso pueden ser pensar en tener en casa o la oficina una decoración real, pero otra virtual, en forma de hologramas. Fijadas a las paredes, sobre la mesa, corriendo por las habitaciones. Cuando vuelves a casa aún siguen ahí. El dispositivo es capaz de reconocer el espacio y mostrar los contenidos asociados. Pero es que además tus vecinos los verán cuando vengan de visita, siempre que compartan los registros virtuales de ese espacio. Lo mismo ocurre en el espacio público, con señales de tráfico, avisos de aparcamientos, espacios de ocio y deporte, etc.

Lo que el mercado está haciendo actualmente

Sin entrar en opinar sobre el rendimiento o calidad de sus productos o políticas, es indiscutible que aunque no sean los primeros en conceptualizar, los lanzamientos de Apple tienen la capacidad de crear un mercado donde no lo había. Eso volverá ocurrir a finales de 2021 o comienzos de 2022. Y si estamos de acuerdo en que eso va a ocurrir, estamos de acuerdo en que existe una oportunidad para las ciudades en crear la infraestructura y los contenidos para ese momento y posicionarse de manera privilegiada. No son los únicos. Magic Leap en Florida que, aunque ahora no pasa por su mejor momento, representó la mayor inversión de capital semilla ante un producto que pocos pudieron probar como prototipo. Facebook se abre a la realidad mixta y Google retoma su idea inicial. El propio Microsoft lanzó hace unos años las Hololens, que ahora van por su segunda versión. Ya del lado del software, Magic Leap lleva unos meses trabajando en su propio Magicverse a partir de su apuesta por Spatial Computing. Y también Microsoft, inicialmente orientada al mercado corporativo, justo acaba de presentar su proyecto de renderizado remoto, permitiendo modelos complejos de hasta 100.000.000 de polígonos. Todo esto junto a su plataforma Azure Spatial Anchoring que, sorprendentemente, es agnóstica, y permitirá almacenar información espacial anclada al mundo real mediante señales GPS, wifi o bluetooth. Se abre la puerta al almacenamiento y generación de contenidos a gran escala en edificios, instalaciones o ciudades. Por último el mercado de adquisiciones de startups y equipos pioneros en esta tecnología no ha hecho más que empezar. Facebook a finales del pasado año comenzó la incorporación de Scape, una compañía especializada en Spatial Computing que lo apostaba todo al reconocimiento de imágenes. En el momento de la adquisición tenía prácticamente finalizado un completo escaneo gráfico del centro de la ciudad de Londres.

Figura 1. Magicverse, de Magic Leap

Nuestra visión de un interface para ciudadanos en un living lab

Tenemos la oportunidad de experimentar todos estos conceptos en laboratorios reales de vecindarios y comunidades de 400 a 2000 habitantes. Se acabó la teoría, toca poner en práctica en el campo de pruebas. Con usuarios y necesidades reales.

Llegados a este punto permítanos describir un poco más la visión que debemos probar basada en las siguientes ideas:

• La tecnología juega a nuestro favor, evoluciona a gran velocidad desde las Google Glass, a las Hololens o actualmente todos los prototipos para estos dos años. Sólo hay que esperarla y estar preparados. Toca focalizarse en los contenidos. En las funciones que los almacenan, los evalúan, los pone a disposición de los usuarios con precisión y garantías. Todos ahora mismo asumimos que las redes 5G y los dispositivos de realidad mixta (necesarios para que toda esta comunicación tenga sentido) vienen de camino. Desarrollándose tanto en capacidad y funcionalidades como en adecuación de costes. En algunos sitios cuestión de meses.
• No tiene sentido asumir la responsabilidad de crear todos los contenidos cuando experiencias anteriores en la industria TIC nos han demostrado que la mejor estrategia es crear la plataforma, los canales y los conectores que permitan que la propia comunidad participe y enriquezca.

Nuestra apuesta es la de crear la plataforma en la nube que aporte lo siguiente:

• Capacidad espacial, persistencia y multiusuario (obviamente permite contenidos privados) a la comunidad que publica aplicaciones.
• Permita añadir y filtrar contenidos mediante una API y un SDK apropiados y confiables.
• Permita consumirlos apropiadamente a los usuarios. Apropiadamente aplica a hacerlo en el lugar y momentos que son requeridos y para lo que fueron diseñados.
• Permita a la comunidad y desarrolladores de terceros crear y publicar contenido propio, público o privado.

Escrito así parece sencillo. Y realmente lo es. Pero es importante recordar que la tecnología viene detrás y nos acompaña.

Figura 2. Arquitectura para el desarrollo de un repositorio en la nube para contenidos realidad mixta

Para poder probar todos estos conceptos con usuarios reales debíamos dar el paso definitivo a crear nuestros propios contenidos y aplicaciones y diseñar lo que entendíamos que sería el interface de un futuro (quizás no tan futuro) ciudadano vecino de una ciudad, un vecindario o un edificio que haya creado su propio universo.

Capas (layers)

Las capas son, para nuestra representación de cómo un ciudadano interactúa con el entorno y con otros ciudadanos, una de las piezas más importantes. Se trata de representar contenidos desde repositorios de datos. Mezclados con imágenes reales, persistentes, anclados y multiusuario.

a) Sensores ambientales y energéticos

Temperatura actual e histórica, calidad del aire, tráfico, nivel de ruido, nivel de CO2, eficiencia energética…

Figura 3. Representación de lo que un usuario ve anclado en el cielo con datos de sensores ambientales

b) Reconocimiento facial

Todos aquellos ciudadanos que hayan interactuado con el usuario que use en ese momento el interface y sea reconocido y dentro del círculo de contactos, podrá ser identificado prácticamente en tiempo real, ver sus últimas publicaciones en redes, etc.

Figura 4.Reconocedor de caras

c) Accesibilidad

Quizás de las funcionalidades más interesantes de entre todas las capas desarrolladas. Específicamente pensada para que, mediante gps, spatial computing y IoT pueda asistir a personas con algún tipo de discapacidad para hacer más cómoda su interacción con el entorno. El ejemplo típico podría ser el de una persona con visibilidad reducida o que necesite silla de ruedas que mediante audio o imágenes superpuestas sobre los pasos peatonales pueda llevar de manera segura y guiada al destino seleccionado.

Figura 5. Contenido de interface de guía para personas discapacitadas.

Tienda de aplicaciones

Junto a las capas, las aplicaciones son el segundo componente del prototipo. Como esta misma comunicación describirá, comenzamos creando la tienda de aplicaciones y las API y SDK para permitir que la comunidad de desarrolladores pueda eventualmente crear sus propios contenidos. El trabajo inicial de simulación de este interface no deja de ser una especie de sistema operativo sobre el sistema operativo existente en el dispositivo. Una app de apps, un ecosistema propio. Creamos de entrada cinco aplicaciones o pruebas de concepto.

Figura 6. Tienda de aplicaciones

a) Solicitudes de mantenimiento

Mediante una fotografía desde las mismas gafas, se requiere alguna reparación o se reporta la incidencia.

b) Ecommerce local

Pequeña plataforma de ecommerce como prueba de concepto de compra remota en tienda local.

c) Soporte técnico en remoto

¿Problemas con el aire acondicionado? el manual de instrucciones está en la nube, las gafas reconocen el panel de mandos y te guía paso a paso y, si no fuera suficiente, el usuario puede video-llamar directamente a soporte. Quienes acceden a la cámara de las gafas y ofrecen ayuda.

d) Salud

Acceso a los registros médicos que la nube almacena desde repositorios de terceros (sistema local de salud).

e) Smarthome

Prueba de concepto para acceder a elementos IoT domésticos.

      

Figura 7. Aplicaciones de salud y Smarthome

Vida Activa Digital (ADL)

Vida activa digital (Active Digital Living) es un concepto innovador que enlaza las experiencias de los ciudadanos con el diseño urbano. Se trata de incluir la actividad física, aspectos sociales y emocionales en el diseño de la ciudad vinculando todo lo que los datos y la tecnología pueden aportar. Los urbanistas y arquitectos se hacen co-responsables del bienestar físico de los usuarios finales.

El reto de transmitir estos principios en un interface y experiencia de una comunidad no era sencillo. Pero finalmente concluimos con tres mini proyectos:

a) Ranking ADL

El concepto del ranking ATP (tenis) era algo que nos encajaba muy bien. La puntuación no sólo valoraba resultados sino perseverancia. Una persona constante que caminase unos kilómetros diarios podía competir en el ranking social de la comunidad. La información la adquiría de aplicaciones de salud de sistemas IOS y Android así como con el resto de aplicaciones del interface.

b) Juego social

Una forma de activar ciudadanos es gamificando experiencias concretas. Esto ya lo hemos vivido anteriormente con juegos y gamificaciones sociales digitales. Se trata de probar el concepto y medir resultados.

c) Yoga en casa

La tercera experiencia ADL se diseñó tanto para dispositivos de realidad mixta (con tu monitor a pocos metros de ti en formato holográfico) como en pantallas de televisión de un típico salón familiar. Todo el concepto pivota en un sensor de 12MP RGB y un depth sensor de 1MP y un sistema de AI que es capaz de detectar la posición de un usuario y transmitirle con un sintetizador de texto a voz las correcciones necesarias.

Figura 8. Yoga. Interface de realidad mixta y representación en televisión HD

Una plataforma abierta

Como hemos comentado en esta comunicación, existe la oportunidad de contar con una potente comunidad de creadores detrás de cualquier proyecto. El reto y, casi siempre, el éxito de una iniciativa pública o privada se sustenta en la capacidad de involucrar a una comunidad que aporte contenidos. Las ciudades no son diferentes.

Puedo aventurarme a afirmar que de todos los desarrollos, diseñar una plataforma abierta es de los más importantes.

a) API – SDK

Un conjunto de librerías y documentación facilitan la incorporación de contenidos en forma de capas (layers) y de aplicaciones. Virtualmente cualquier usuario acreditado puede crear su propia aplicación compatible con el interface y aportar contenidos para almacenar o consultar en tiempo real con datos actualizados (por ejemplo un letrero con las plazas libres actualizadas de un aparcamiento privado o público que virtualmente exista sobre la cornisa real de un edificio.

b) Portal del desarrollador

Canal desde el que solicitar la acreditación, proponer, publicar, cancelar o editar esos contenidos de manera ordenada y con su propio control.

Agradecimientos

Agradecemos a todo el equipo de Singular Factory y a los clientes representantes de las comunidades y regiones que han apostado por el desarrollo de este proyecto de investigación aplicada a un resultado tangible sobre una comunidad real. Seguimos implantando interfaces y contenidos y recopilando todo el feedback de un proyecto que sigue vivo.