Perfil Espe Luis Espin Velasco 28576f
This document was ed by and they confirmed that they have the permission to share it. If you are author or own the copyright of this book, please report to us by using this report form. Report 3i3n4
Overview 26281t
& View Perfil Espe Luis Espin Velasco as PDF for free.
More details 6y5l6z
- Words: 8,338
- Pages: 24
´ DEPARTAMENTO DE CIENCIAS DE LA COMPUTACION
´ CARRERA DE TECNOLOG´IAS DE LA INFORMACION ´ (SISTEMAS E INFORMATICA)
TEMA: “Desarrollo e implementaci´ on de una interfaz de para el control de un veh´ıculo a´ ereo no tripulado en un entorno de realidad aumentada, mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens.”
´ PLAN DE PROYECTO DE INVESTIGACION
´ PREVIO A LA OBTENCION ´ DEL T´ITULO DE TRABAJO DE TITULACION, ´ INGENIERO EN SISTEMAS E INFORMATICA
PROPUESTO: Luis Iv´an Esp´ın Velasco
SANGOLQU´ I 20 de junio de 2018
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
´Indice 1. T´ ITULO DEL PROYECTO
3
´ 2. AREA DE CONOCIMIENTO
3
3. ANTECEDENTES
3
4. PLANTEAMIENTO DEL PROBLEMA
4
5. ESTADO DEL ARTE 4 5.1. Planteamiento de la revisi´ on de literatura . . . . . . . . . . . . . . . . . . . . . . 5 5.2. Conformaci´ on del grupo de control (GC) y extracci´on de palabras relevantes para la investigaci´ on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5.3. Construcci´ on y afinaci´ on de la cadena de b´ usqueda . . . . . . . . . . . . . . . . . 6 5.4. Selecci´ on de estudios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5.5. Elaborar el estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5.5.1. EP01 : An Augmented Reality/Internet of Things Prototype for Just-intime Astronaut Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5.5.2. EP02 : Application of Augmented Reality in Mobile Robot Teleoperation 7 5.5.3. EP03 : Flying a drone in a museum an augmented-reality cultural serious game in Provence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.4. EP04 : Natural, Multi-modal Interfaces for Unmanne Systems . . . . . . . 8 5.5.5. EP05 : Mixed reality for robotics . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.6. EP06 : Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.7. EP07 : Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5.5.8. EP08 : Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5.5.9. EP09 : A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T) . . . . . . . . . . . . . . . . . . . 9 5.6. Caracter´ısticas del estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 6. OBJETIVOS 10 6.1. Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 6.2. Objetivos Especificos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 ´ 7. JUSTIFICACION
10
8. ALCANCE
16
´ DE LA INVESTIGACION ´ 9. DEFINICION 9.1. Revisi´ on inicial sistem´ atica de la literatura . . . . . . . . . . . . . . . . . . . . . . 9.2. Prototipado r´ apido: una estrategia alternativa de dise˜ no instruccional . . . . . . 9.3. Medici´ on de usabilidad con el del instrumento cuestionario “USE”. . . . . . . . .
17 17 17 17
10.HERRAMIENTAS 18 10.1. Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 10.2. Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
P´ag. 1/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.FACTIBILIDAD DEL PROYECTO ´ 11.1. FACTIBILIDAD TECNICA . . . . . 11.2. FACTIBILIDAD OPERATIVA . . . ´ 11.3. FACTIBILIDAD ECONOMICA . . 11.4. TEMARIO . . . . . . . . . . . . . . 11.5. CRONOGRAMA . . . . . . . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
18 18 19 19 19 21
12.BIBLIOGRAF´ IA PRELIMINAR
22
Referencias
22
´Indice de figuras 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Proceso de construcci´ on del estado del arte. . . . . . . . . . . . . . . El continuo de Milgram. . . . . . . . . . . . . . . . . . . . . . . . . . Estacion de control . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gartner Ciclo Hype, Expectativas vs. El paso del tiempo. . . . . . . Las 3 tendecias tecnologicas del Ciclo Hype. . . . . . . . . . . . . . . Gafas Inteligentes de Realidad Aumentada Comerciales. . . . . . . . Ejemplo de escenario de implementaci´on de AR de los robots: UAV, manoide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Propuesta de arquitectura de software de HRI en un entorno de AR. Cronograma del proyencto . . . . . . . . . . . . . . . . . . . . . . . . Tareas del proyencto . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . UGV, . . . . . . . . . . . . . . . .
. . . . . . . . . . . . hu. . . . . . . .
. . . . . .
4 11 11 12 13 14
. . . .
15 15 21 21
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
5 6 6 7 14 16 18 18 19
´Indice de tablas 1. 2. 3. 4. 5. 6. 7. 8. 9.
Grupo de Control. . . . . . . . . . . . . . . . . . . . . . . . . Resultados de busquedas. . . . . . . . . . . . . . . . . . . . . Estudios Seleccionados I. . . . . . . . . . . . . . . . . . . . . . Estudios Seleccionados II. . . . . . . . . . . . . . . . . . . . . Caracteristicas de dispositivos de realidad mixta con forma de Preguntas de investigaci´ on. . . . . . . . . . . . . . . . . . . . Dispositivos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . Conjunto de herramientas de desarrollo. . . . . . . . . . . . . An´alisis Econ´ omico. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . gafas. . . . . . . . . . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
P´ag. 2/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
1.
T´ITULO DEL PROYECTO
“Desarrollo e implementaci´ on de una interfaz de para el control de un veh´ıculo a´ereo no tripulado en un entorno de realidad aumentada, mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens.”
2.
´ AREA DE CONOCIMIENTO Tecnolog´ıas de la informaci´ on y la comunicaci´on. Gesti´on de la Informaci´ on. • Interacci´ on hombre m´ aquina (HCI). • Interacci´ on hombre robot (HRI). • Realidad Aumentada (AR).
3.
ANTECEDENTES
Seg´ un (Hoenig y cols., 2015) la realidad mixta es una herramienta valiosa para la investigaci´on y desarrollo en rebotica. En su investigaci´on mencionan que la Realidad mixta puede reducir la brecha entre la simulaci´ on e implementaci´on en una combinaci´on de objetos f´ısicos y virtuales, incluyendo robots, sensores y humanos. Los robots se pueden mejorar con capacidades virtuales adicionales, o pueden interactuar con los humanos sin compartir espacio f´ısico. En la actulidad (Kalantari y Rauschnabel, 2018) mencionan que no se ha realizado muchas investigaciones para comprender la reaccion de los consumidores ante el uso de tecnolog´ıas m´oviles que combinan el mundo real con el virtual con forma de gafas. (Karasinski, Joyce, Carroll, Gale, y Hillenius, 2017) presentan un prototipo m´ovil para el entrenamiento de astronautas con interacci´on hombre m´ aquina (HCI) y realidad aumentada (AR) como herramienta de entrenamiento. Este prototipo aprovecha las gafas de realidad aumentada Microsoft HoloLens y una red de sensores personalizados de “Internet en las Cosas”que permite que los procesos operativos se muestren e interact´ uen con el en tiempo real. Este visor de procedimientos m´oviles permiten la capacitaci´ on utilizando hologramas para proporcionar informaci´on contextualmente relevante a los s novatos que est´an en pr´actica. (Ai, Livingston, y Moskowitz, 2016) proponen un sistema de interacci´on que puede usar 3D en tiempo real para la exploraci´ on del medio ambiente mediante un veh´ıculo a´ereo no tripulado (UAV). El m´etodo crea un entorno de realidad mixta en el que un puede controlar de forma interactiva un veh´ıculo a´ereo no tripulado y visualizar los datos de exploraci´on en tiempo real. Este m´etodo usa una combinaci´ on de sensores asequibles que transforma el espacio de control y visualizaci´ on desde el veh´ıculo a´ereo no tripulado hasta la perspectiva del controlador con diferentes configuraciones de hardware y software, el sistema desarrollado puede ajustarse para cumplir diferentes necesidades y entornos.
P´ag. 3/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
4.
PLANTEAMIENTO DEL PROBLEMA
Seg´ un (Herrmann y Schmidt, 2018) controlar un veh´ıculo a´ereo no tripulado tiene un cierto grado de dificultad, requiere entrenamiento y experiencia. Una posible causa se origina en el control remoto cuyas funciones resultan complicadas. Controlar un veh´ıculo a´ereo no tripulado (UAV) puede resultar desafiante lo cual requiere de un entrenamiento intensivo para lograr un vuelo estable. Uno de los inconvenientes m´as comunes en los s sin experiencia radica en la carga cognitiva que el control remoto ejerce en el operador, debido al conjunto de funciones que permiten que el veh´ıculo a´ereo no tripulado se desplaze en el aire. Los s dependen de su precisi´on, destreza y habilidad para ejecutar diferentes tipos de movimientos desde el control remoto. Los veh´ıculos a´ereos no tripulados que son utilizados en el ambiente de la ingenier´ıa o la seguridad est´ an sujetos a la experiencia de los operadores y el ambiente en el que se desenvuelven. Un ejemplo son los drones que se utilizan en un levantamiento topogr´afico los cuales tienen un alto costo econ´ omico y requieren de un vuelo estable para cumplir su objetivo. Otro ejemplo en el ´ambito de la seguridad son los drones utilizados para hacer reconocimiento de terrenos en zonas de conflictos armados. La complejidad de los sistemas que interact´ uan en los ejemplos mencionados est´ an propensos a generar una carga de trabajo amplia lo cual puede volverse inmanejable, contraproducente e incluso peligroso.
5.
ESTADO DEL ARTE
Para analizar el estado del arte acerca de la manipulaci´on de veh´ıculos a´ereos no tripulados sin el uso del control remoto y en un entorno de realidad mixta, se realiz´o un proceso de revisi´on de literatura inicial basado en las gu´ıas de revisi´on sistem´atica de literatura propuestas por (Budgen y Brereton, 2006). Las actividades consideradas para este proceso se muestran en la figura 1 y se describen a continuaci´ on.
Figura 1. Proceso de construcci´ on del estado del arte. Fuente: Elaboraci´ on propia
P´ag. 4/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.1.
Planteamiento de la revisi´ on de literatura
En esta fase se realiz´ o una breve descripci´on del problema de investigaci´on para proporcionar un contexto para la b´ usqueda de estudios cient´ıficos; posteriormente se procedi´o a definir un objetivo de b´ usqueda y plantear preguntas de investigaci´on para alinear la b´ usqueda en relaci´on al problema de investigaci´ on y finalmente se definieron los criterios de inclusi´on y exclusi´on.
5.2.
Conformaci´ on del grupo de control (GC) y extracci´ on de palabras relevantes para la investigaci´ on
Seg´ un (Petersen, Feldt, Mujtaba, y Mattsson, 2008) un paso fundamental de un mapeo sistem´atico de literatura es definir o delimitar los art´ıculos que se consideren relevantes para la investigaci´on, eliminando aquellos que solo mencionan enfoque substancia de la tem´atica principal. Fue necesaria la participaci´ on de al menos cuatro investigaciones. Cada investigaci´on propuso estudios que podr´ıan ser parte del grupo de control. Posteriormente se realiz´o una validaci´on cruzada donde se estableci´ o finalmente el grupo de control, el cual se indica en la tabla 1. Tabla 1 Grupo de Control. T´ıtulo
Cita
Palabras Clave
Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle
(Hoenig y cols., 2015)
A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T)
(Das, Doelling, Lundberg, Sevil, y Lewis, 2017)
Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
(Ai y cols., 2016)
Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness
(Li, Cartwright, Shekhar Nittala, Sharlin, y Costa Sousa, 2015)
Natural Interface, Unmanned Aerial Vehicle, Augmented Reality. Mixed Reality, Control Architecture, MannedUnmanned. Unmanned aerial vehicle, Mixed Reality, Real-time. Unmanned aerial vehicle (UAV), augmented reality, human-robot interaction (HRI), situational awareness, computered cooperative work (CSCW).
Fuente: Elaboraci´ on propia.
Tras un an´ alisis de los estudios del grupo de control, se seleccionaron las palabras m´as relevantes respecto al objetivo de la b´ usqueda, en este caso fueron: “Unmanned aerial vehicle”(UAV) y “Mixed Reality”.
P´ag. 5/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.3.
Construcci´ on y afinaci´ on de la cadena de b´ usqueda
Con las palabras clave que fueron obtenidas de los art´ıculos cient´ıficos del grupo de control se conform´o la cadena de b´ usqueda: ((“Unmanned aerial vehicle”) and (“Mixed Reality”)) ´ o ((“Mixed Reality”) and (“Unmanned aerial vehicle”)). Sin embargo, esta cadena obtuvo un gran n´ umero de investigaciones inclusive aquellas que fueron descartadas. Despu´es de realizar varias pruebas con distintas combinaciones de cadenas, se ejecutaron las siguientes: ((“Mixed Reality”) and (“Unmanned aerial vehicle”) and (“ Interface”)) y ((“Mixed Reality”) and (“UAV”) and (“HRI”))). Los resultados obtenidos se muestran en la tabla 2. Tabla 2 Resultados de busquedas. Base Digital
“(Mixed Reality) AND (Unmanned aerial vehicle)”
“(Mixed Reality) AND (Unmanned aerial vehicle) AND ( Interface)”
“(Mixed Reality) AND (UAV) AND (HRI)”
Springer ProQuest Scopus IEEE Xplore
602 271 559 8
237 50 94 87
6 0 37 32
Fuente: Elaboraci´ on propia.
5.4.
Selecci´ on de estudios
Al aplicar las cadenas de b´ usqueda en la base digital IEEE Explore se obtuvo alrededor de 127 resultados relacionados con el tema el cual se consider´o un n´ umero de art´ıculos manejable, adicionalmente los art´ıculos apuntan y se encuentra dentro del grupo de control. Sin embargo de todas las bases digitales presentadas en la tabla 2 se escogieron las cadenas de b´ usqueda con los resultados m´ as bajos y se analizaron de acuerdo al grupo de control. De los 170 resultados obtenidos se seleccionaron los estudios realizados a partir del a˜ no 2015. Debido a que no existen muchas investigaciones con este tipo de tecnolog´ıa implementada, los art´ıculos que m´ as se ajustan a la tem´ atica se muestran en las tablas 3 y 4. Tabla 3 Estudios Seleccionados I. C´odigo
T´ıtulo
Palabras Clave
EP01
An Augmented Reality/Internet of Things Prototype for Just-in-time Astronaut Training Application of Augmented Reality in Mobile Robot Teleoperation
(Karasinski y cols., 2017)
EP02
(Kot, Nov´ak, y Babjak, 2017)
Fuente: Elaboraci´ on propia.
P´ag. 6/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Tabla 4 Estudios Seleccionados II. C´odigo
T´ıtulo
Palabras Clave
EP03
Flying a drone in a museum an augmented-reality cultural serious game in Provence Natural, Multi-modal Interfaces for Unmanned Systems Mixed reality for robotics Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment A Mixed Reality Based Hybrid Swarm Control Architecture for MannedUnmanned Teaming (MUM-T)
(S´ebastien y cols., s.f.)
EP04 EP05 EP06
EP07 EP08
EP09
(Taylor, 2017) (Hoenig y cols., 2015) (Herrmann y Schmidt, 2018)
(Li y cols., 2015) (Ai y cols., 2016)
(Das y cols., 2017)
Fuente: Elaboraci´ on propia.
5.5. 5.5.1.
Elaborar el estado del arte EP01 : An Augmented Reality/Internet of Things Prototype for Just-intime Astronaut Training
En el art´ıculo “An Augmented Reality/Internet of Things Prototype for Just-in-time Astronaut Training”los autores presentan un prototipo m´ovil para entrenamiento de astronautas, con instrucciones iniciales de interacci´ on hombre m´aquina (HCI) y herramientas de entrenamiento con realidad aumentada (AR). El prototipo m´ovil aprovecha las gafas de realidad aumentada Microsoft HoloLens y una red de sensores “Internet of Things”personalizados basados en un conjunto de chips ESP8266. Este prototipo permite visualizar los procedimientos operativos e interactuar con el en tiempo real. Este visor de procedimientos m´oviles permite la capacitaci´on usando hologramas para proporcionar informaci´on relevante los s que est´an en pr´actica (Karasinski y cols., 2017). 5.5.2.
EP02 : Application of Augmented Reality in Mobile Robot Teleoperation
En el art´ıculo “Application of Augmented Reality in Mobile Robot Teleoperation”los autores hacen un estudio de la utilizaci´ on de la realidad aumentada en el de control operativo de un robot m´ ovil teleoperado. Este trabajo es la continuaci´on de una investigaci´on anterior, que result´o en la creaci´ on y la implementaci´on exitosa de una estaci´on de operador virtual basada en un pantalla de realidad virtual (HMD) Oculus Rift. El nuevo enfoque sugiere usar los nuevos dispositivos de realidad aumentada Microsoft HoloLens para agregar los elementos de control virtuales directamente al mundo real, lo que tiene algunos beneficios muy importantes, especialmente el hecho de que el operador no est´a visualmente aislado en un entorno 3D. El dispositivo se introduce al principio del entorno y luego sigue la descripci´on de todas las tareas requeridas para crear la estaci´ on del operador con realidad aumentada (Kot y cols., 2017).
P´ag. 7/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.5.3.
EP03 : Flying a drone in a museum an augmented-reality cultural serious game in Provence
El museo Arlaten, etnogr´ afico dedicado a la preservaci´on del patrimonio de Provenza fundado en 1899 en Arles (Francia) por el poeta y ganador del Premio Nobel para la literatura Fr´ed´eric Mistral. Proporciona una experiencia innovadora que permite al p´ ublico descubrir el Foro Romano en un exclusivo recorrido a trav´es del uso de la tecnolog´ıa digital, permitiendo al museo mantenerse en o con el p´ ublico. El p´ ublico puede volar un peque˜ no dron equipado con una c´amara, permitiendo desplasarse en el interiror del museo y en lugares de exposici´on (S´ebastien y cols., s.f.). 5.5.4.
EP04 : Natural, Multi-modal Interfaces for Unmanne Systems
En el paper “Natural, Multi-modal Interfaces for Unmanned Systems”sus autores describen interfaces naturales multimodales como una alternativa al estado actual de la pr´actica de controlar sistemas no tripulados, con el objetivo de aprovechar a las personas y la comunican entre s´ı, para reducir el desgaste f´ısico y carga cognitiva al interactuar con sistemas no tripulados. Describen aproximaciones, retos y desaf´ıos en el dise˜ no, construcci´on y evaluaci´on de interfaces naturales. Presentan un dispositivo de Interacci´on Inteligente (SID) como un ejemplo de interfaz natural para interacci´ on con sistemas no tripulados, y resaltan algunos casos de uso aplicados a los dominios de aire y tierra (Taylor, 2017). 5.5.5.
EP05 : Mixed reality for robotics
La realidad mixta puede ser una herramienta valiosa para la investigaci´on y el desarrollo en rob´otica. En el art´ıculo “Mixed reality for robotics”los autores hacen referencia a la definici´on de realidad mixta como la acci´ on entre objetos f´ısicos y virtuales en cualquier entorno f´ısico o virtual. En particular, muestran que la realidad mixta puede reducir la brecha entre la simulaci´on y la implementaci´ on en una combinaci´on de objetos f´ısicos y virtuales, incluidos robots, sensores y humanos. Los robots se pueden mejorar con capacidades virtuales adicionales, o pueden interactuar con humanos sin compartir espacio f´ısico. Los autores demuestran con tres experimentos representativos, las ventajas del enfoque planteado. Tambi´en proporcionan un banco de pruebas de Realidad mixta con tres entornos de rob´otica virtual en diferentes combinaciones con el quadcopter Crazyflie 2.0 (Hoenig y cols., 2015). 5.5.6.
EP06 : Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle
Segun (Herrmann y Schmidt, 2018) controlar un veh´ıculo a´ereo no tripulado es desafiante y requiere un entrenamiento intensivo. En el art´ıculo “Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle”presentan un concepto alternativo para la teleoperaci´ on. Su propuesta incluye una pulsera de control de gestos “Thalmic Myo gafas inteligentes Microsoft HoloLens. Estos dispositivos se combinan para implementar una interfaz de realidad aumentada, con respuesta t´actil y una entrada de gestos y habla. Esta implementaci´ on fue evaluada con 30 participantes y se compar´o con el uso del control remoto convencional. Los resultados muestran que la interfaz propuesta es una buena soluci´on pero no alcanza el rendimiento del control remoto. 2
P´ag. 8/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.5.7.
EP07 : Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness
El proyecto Flying Frustum, es una interfaz espacial en 3D que permite el control de veh´ıculos a´ereos no tripulados semiaut´ onomos que utiliza la interacci´on de una pluma en un modelo 3D de realidad aumentada (AR) que se ubica espacialmente y transmite informaci´on de los veh´ıculos a´ereos no tripulados en el terreno f´ısico. La interfaz se basa en una impresi´on en 3D del terreno, que permite al operador ingresar metas y rutas a los veh´ıculos a´ereos no tripulados, dibujandolas directamente en el modelo 3D. A su vez, la informaci´on de reconocimiento es transmitida de los veh´ıculos a´ereos no tripulados y se superpone en la impresi´on 3D en forma de vista, que se sit´ ua de acuerdo con la posici´ on y orientaci´on de los veh´ıculos a´ereos no tripulados en el terreno f´ısico. (Li y cols., 2015). 5.5.8.
EP08 : Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
El art´ıculo “Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment”presenta un novedoso sistema de interacci´on entre robots y humanos que permite realizar la exploraci´ on del entorno 3D en tiempo real con un veh´ıculo a´ereo no tripulado (UAV). El m´etodo crea un entorno de realidad mixta, en el que un puede controlar de forma interactiva un veh´ıculo a´ereo no tripulado (UAV) y visualizar los datos de exploraci´on en tiempo real. El m´etodo utiliza una combinaci´on de sensores asequibles que transforma el espacio de control y visualizaci´ on desde un veh´ıculo a´ereo no tripulado (UAV) hasta la perspectiva del controlador. Se estudiaron diferentes configuraciones de hardware y software para que el sistema pueda ajustarse y logre satisfacer diferentes necesidades y entornos. Los autores presentan un sistema prototipo y se discuten los resultados de las pruebas (Ai y cols., 2016). 5.5.9.
EP09 : A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T)
En el art´ıculo “A Mixed Reality Based Hybrid Swarm Control Architecture for MannedUnmanned Teaming (MUM-T)”los autores discuten una arquitectura de autonom´ıa de enjambre h´ıbrida para coordinar un equipo diverso de robots utilizando una tecnolog´ıa de interfaz inmersiva e intuitiva para el control cooperativo de plataformas no tripuladas. Esta novedosa interfaz interactiva ofrece conocimiento situacional y presentaci´on de posibles escenarios para la toma decisiones. El dise˜ no implementado funciona en un entorno de realidad aumentada (AR) y permite hacer una exploraci´ on y evaluaci´ on en tiempo real con el enjambre, as´ı como la interacci´on din´amica entre diferentes operadores humanos. Uno de los principales objetivos de esta investigaci´on es reducir la carga cognitiva en los operadores y permitir la confianza entre los robots y los humanos. Los principales puntos de discusi´on incluyen: personalizaci´on de plataformas no tripuladas para control distribuido y fusi´on de sensores, desarrollo e implementaci´on de una plataforma mixta portal de interfaz de robot humano de realidad e incorporaci´on de un controlador de confianza din´ amico neurocognitivo para la autonom´ıa de enjambre. Los autores mencionan que a trav´es de dicha interconexi´ on entre humanos y robots, la efectividad del enjambre puede ejecutar misiones con velocidad y precisi´on. Este art´ıculo presenta una validaci´on experimental de los modelos anal´ıticos que involucran plataformas reales y virtuales (Das y cols., 2017).
P´ag. 9/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.6.
Caracter´ısticas del estado del arte
Existe una m´ınima cantidad de estudios relevantes en cuanto a la manipulaci´on de veh´ıculos a´ereos no tripulados (UAV) sin el uso del control remoto en un entorno de realidad mixta, la mayor´ıa de los resultados encontrados recaen en el n´ umero de tareas que el operador humano tiene que ejecutar para controlar veh´ıculos a´ereos o terrestres no tripulados. Los estudios mencionados anteriormente dependen de sistemas de control electr´onicos digitales basados en sensores los cuales comparten espacio f´ısico con el , estas soluciones proponen arquitecturas de control automatizado enfocado a resolver problemas espec´ıficos en un entorno controlado.
6. 6.1.
OBJETIVOS Objetivo General
Desarrollar e implementar una interfaz de que permita realizar desplazamientos de un veh´ıculo a´ereo no tripulado (UAV) en un entorno de realidad aumentada mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens para mejorar la interacci´on hombre robot (HRI).
6.2.
Objetivos Especificos Realizar el an´ alisis del estado del arte mediante una revisi´on sistem´atica de literatura. Proponer una arquitectura de software que permita el control de un veh´ıculo a´ereo no tripulado (UAV) que interact´ ue con interfaces de programaci´on de diferentes aplicaciones. Desarrollar e implementar una interfaz gr´afica de realidad mixta que interact´ ue simult´aneamente con los movimientos de un veh´ıculo a´ereo no tripulado (UAV) y los movimientos corporales, faciales del utilizando gafas inteligentes Microsoft HoloLens. Evaluar la interfaz de desarrollada para obtener ´ındices de satisfacci´on y aceptaci´on a trav´es del instrumento cuestionario “USE”.
7.
´ JUSTIFICACION
El presente estudio tiene como finalidad mejorar la interacci´on hombre robot (HRI) y el aprendizaje del control de un veh´ıculo a´ereo no tripulado utilizando una interfaz gr´afica de realidad mixta, fucionando objetos reales y virtuales que permiten al realizar desplazamientos de un veh´ıculo a´ereo no tripulado (UAV) mediante gestos corporales y faciales. Esta soluci´on permite disminuir la carga cognitiva que normalmente el requiere al controlar un veh´ıculo a´ereo no tripulado por medio del control remoto. La disminuci´on de dicha carga permite que el centre su atenci´on en cumplir objetivos y misiones seg´ un el ´area de expertis, ejemplos: levantamientos topogr´aficos, reconocimiento de terrenos, an´alisis de zonas, etc.
P´ag. 10/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Para comprender las diferencias entre mundos virtuales, reales y la combinaci´on entre ellos, a finales de los 80 y principios de los 90 (Milgram y cols., 1995), profesor de ingenier´ıa de la Universidad de Toronto, presenta el diagrama de la figura 2, que nos ayuda a conceptualizar c´omo crear y desplegar contenido en estos medios relativamente nuevos.
Figura 2. El continuo de Milgram. Segun (Leue, Jung, y tom Dieck, 2015) la realidad aumentada (AR) y la inform´atica en los dispositivos m´ oviles tienen el potencial de crear un entorno de aprendizaje realista. La realidad aumentada se ha convertido en una tecnolog´ıa interactiva la cual complementa el entorno f´ısico con el virtual ofreciendo modos innovadores para acceder a contenido e informaci´on en tiempo real (Javornik, 2016). Los investigadores del Ej´ercito brasile˜ no proponen la preparaci´on de soldados utilizando nuevos enfoques basados en realidad mixta, las tecnolog´ıas que seg´ un (Amorim, Matos, Cuperschmid, Gustavsson, y Pozzer, 2013) mejoran el entrenamiento y la preparaci´on de misiones en un enfoque simulado. En la automatizaci´ on y control se presentan sistemas con alto nivel de complejidad que est´an propensos a generar una carga de trabajo amplia, esto puede volverse inmanejable, imprudente e incluso peligroso. Por lo tanto, la implementaci´on de equipos no tripulados se ha vuelto una estrategia de calidad e innovaci´ on tecnol´ogica. Sin embargo, una arquitectura automatizada basada en el conocimiento recae en el control y monitoreo de los robots, lo cual significa que el operador humano debe ejecutar m´ ultiples tareas en un tablero de control o computadora con varios monitores, como se muestra en la figura 3.
Figura 3. Estacion de control
P´ag. 11/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Seg´ un (Gartner, 2017) las empresas deber´ıan explotar el potencial comercial de las tecnolog´ıas conocidas como; blockchain, la inteligencia artificial y la realidad aumentada. En los u ´ltimos a˜ nos las tecnolog´ıas que surgen o nacen, como el aprendizaje autom´atico, blockchain, drones (UAV comerciales), seguridad definida por software y las interfaces cerebro-computadora se han elevado significativamente desde el 2016, en la figura 4 se presenta el ciclo de Gartner denominado Hype, debido al impacto creciente del avance tecnologico y cientifico la cual da nacimiento a estas nuevas tendencias.
Figura 4. Gartner Ciclo Hype, Expectativas vs. El paso del tiempo. El Ciclo de Gartner denominado Hype, se centra en tres megatendencias tecnol´ogicas: Inteligencia Artificial (IA), experiencias inmersivas y plataformas digitales. Los arquitectos empresariales y los l´ıderes en innovaci´ on tecnol´ ogica exploran estas tres megatendencias para comprender los impactos en sus negocios. En la figura 5 se analiza las tecnolog´ıas que ofrecen un alto grado de ventaja competitiva.
P´ag. 12/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Figura 5. Las 3 tendecias tecnologicas del Ciclo Hype. El an´alisis del ciclo Hype muestra una tendencia creciente de 5 a 10 a˜ nos en la evoluci´on y el desarrollo de tecnolog´ıas con realidad aumentada y m´as de 10 a˜ nos en el desarrollo de ciencia y tecnolog´ıa en veh´ıculos a´ereos no tripulados, las tendencias mencionadas se fusionan entre s´ı, permitiendo que el tiempo de evoluci´ on de estas tecnolog´ıas se prolongue durante varios a˜ nos, lo que ofrece rentabilidad e innovaci´ on a las empresas que lo implementan. La tecnologia con realidad aumentada (AR) han revolucionado el comportamiento de la sociedad (Kalantari y Rauschnabel, 2018). Las gafas inteligentes como Microsoft HoloLens o Google Glass, representan ejemplos destacados; ofreciendo un elevado potencial para la investigaci´on y desarrollo. Seg´ un (Rauschnabel y Ro, 2016) la aceptaci´on de tecnolog´ıa en gafas inteligentes incluye varios factores como: los beneficios funcionales, la facilidad de uso, variables y diferencias individuales las cuales marcan actitudes y normas sociales. Aunque las gafas inteligentes se usan de manera similar a los rios de dispositivos m´oviles capturan diversos datos personales del . En figura 6 muestra diferentes dispositivos de realidad aumentada con forma de gafas.
P´ag. 13/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
(a) Microsoft HoloLens
(b) Google Glass
(c) Sony SmartEyeGlass
(d) Epson Moverio BT-300
Figura 6. Gafas Inteligentes de Realidad Aumentada Comerciales. En la tabla 5 se describe las caracteristicas de los dispositivos presentados en la figura 6. Tabla 5 Caracteristicas de dispositivos de realidad mixta con forma de gafas. Fecha de Lanzamiento
Sistema Operativo
Microsoft HoloLens
2016
Windows Mixed Reality
Intel 32-bit (1GHz)
Google Glass
2014
Glass OS
OMAP 4430
2015
Android
Ninguno
2016
Android 5.0
1.44 GHz Quad Core
Dispositivos
Sony SmartEyeGlass Epson Moverio BT-300
U
Display 2.3 megapixel widescreen stereoscopic head-mounted display Prism projector 640 x 360 pixeles Monochrome (green) OLED display
Entradas de Control
Peso
Sistema Independiente
Gestural commands via sensors and HPU
579g
SI
Touchpad, MyGlass phone mobile app
36g
NO
77g
NO
69g
NO
Android device BT-300FPV controller
Fuente: Elaboraci´ on propia.
La tabla 5 muestra que Microsoft HoloLens es el u ´nico dispositivo independiente. Por lo cual, es una opci´ on viable para el desarrollo de software basado en realidad aumentada (AR) y adecuada para la presente investigaci´ on.
P´ag. 14/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Una soluci´ on propuesta por (Das y cols., 2017) es un sistema de control de realidad aumentada (AR) con lenguaje natural y un interfaz de gestos para istrar de manera eficiente, no solo un robot, sino todo un conjunto o segmento de robots que cumplen uno o varios procesos. En la cual se discute una arquitectura de autonom´ıa de enjambre h´ıbrida para coordinar un equipo diverso de robots, utilizando una tecnolog´ıa de interfaz inmersiva e intuitiva con varios sensores adicionales que permiten el control cooperativo de plataformas no tripuladas. Esta novedosa interfaz interactiva ofrece informaci´on en tiempo real y posibles escenarios que ayuden a la toma decisiones en un entorno de realidad mixta. En la figura 7 se muestra un ejemplo de escenario de implementaci´on de la realidad mixta en la interacci´on de robot humano (HRI), de tres tipos diferentes de robots, es decir, un UAV, un UGV y un robot humanoide, para llevar a cabo una tarea coordinada en conjunto, ejecutando diferentes tareas de forma simultanea.
Figura 7. Ejemplo de escenario de implementaci´on de AR de los robots: UAV, UGV, humanoide Por lo expuesto, la presente investigaci´on propone una soluci´on que permite controlar un veh´ıculo a´ereo no tripulado identificando cuales son los gestos corporales y faciales que faciliten la interacci´on hombre robot (HRI) a trav´es de una interfaz gr´afica de realidad aumentada. En la cual se plantea una arquitectura de software con diferentes aplicaciones que interact´ uan entre s´ı, en tiempo real. El presente estudio dar´ıa lugar a futuras investigaciones, en las que se interact´ ua con varios veh´ıculos a´ereos o terrestres no tripulados con reconocimiento de objetos. Este enfoque da lugar a un nuevo paradigma que permite que simplificar el espacio f´ısico utilizado en control, seguimiento y monitoreo de robots o m´aquinas, en una interfaz de de realidad mixta utilizando gafas inteligentes Microsoft HoloLens. En la figura 8 el autor propone una posible arquitectura.
Figura 8. Propuesta de arquitectura de software de HRI en un entorno de AR.
P´ag. 15/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
8.
ALCANCE
Esta investigaci´ on plantea una arquitectura de software y un conjunto de aplicaciones e interfaces de programaci´ on que interact´ uan entre s´ı, en tiempo real para dar lugar a la interacci´on hombre robot (HRI) utilizando una interfaz gr´afica de realidad mixta, que permite el control de un veh´ıculo a´ereo no tripulado (UAV) por medio de movimientos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens. Para definir de forma adecuada el alcance de la investigaci´on planteada, se proponen varias preguntas de investigaci´ on asociadas a los objetivos espec´ıficos, tal como se muestra en la tabla 6. Tabla 6 Preguntas de investigaci´ on. Objetivo espec´ıfico Realizar el an´ alisis del estado del arte mediante una revisi´on sistem´ atica de literatura.
Pregunta de investigaci´ on
1. ¿Qu´e m´etodo se utilizar´ a para realizar el an´ alisis del estado del arte? 2. ¿Cual es el prop´ osito de realizar el an´ alisis del estado del arte?
Proponer una arquitectura de software que permita el control de un veh´ıculo a´ereo no tripulado (UAV) que interact´ ue con interfaces de programaci´on de diferentes aplicaciones.
1. ¿Cu´ ales son los beneficios de crear una arquitectura de software para le control de un veh´ıculo a´ereo no tripulado? 2. ¿Que tecnolog´ıas permiten el control de un veh´ıculo a´ereo no tripulado mediante interfaces programadas de diferentes programas?
Desarrollar e implementar una interfaz gr´ afica de realidad mixta que interact´ ue simult´ aneamente con los movimientos de un veh´ıculo a´ereo no tripulado (UAV) y los movimientos corporales, faciales del utilizando gafas inteligentes Microsoft HoloLens.
Evaluar la interfaz de desarrollada para obtener ´ındices de satisfacci´ on y aceptaci´ on a trav´es del instrumento cuestionario “USE”
1. ¿Que tipo de dispositivo permite la interacci´ on de movimientos corporales y faciales? 2. ¿Que tecnolog´ıa de desarrollo de software permite crear una interfaz grafica de realidad mixta?
1. ¿Que pretende la evaluaci´ on de la interfaz de de (AR)? 2. ¿Cu´ al ser´ a el instrumento que se utilizar´a para dicha evaluaci´ on?
Fuente: Elaboraci´ on propia.
P´ag. 16/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
9.
´ DE LA INVESTIGACION ´ DEFINICION
La investigaci´ on es de car´ acter bibliogr´afico exploratorio debido a que se centra en analizar e investigar aspectos concretos del tema planteado que a´ un no han sido analizados a profundidad. Y ser´a de m´etodo inductivo debido a que se centra en c´omo se genera el problema para la obtenci´on de datos, t´erminos y conclusiones. Adicionalmente la investigaci´on adopta un car´acter cuantitativo por la evaluaci´ on de satisfacci´on y aceptaci´on propuesta en uno de sus objetivos espec´ıficos.
9.1.
Revisi´ on inicial sistem´ atica de la literatura
Para analizar el estado del arte acerca de la manipulaci´on de veh´ıculos a´ereos no tripulados sin el uso del control remoto y en un entorno de realidad mixta, se realiz´o un proceso de revisi´on de literatura inicial basado en las gu´ıas de revisi´on sistem´atica de literatura propuestas por (Budgen y Brereton, 2006). Las actividades consideradas para este proceso se muestran en la figura 1.
9.2.
Prototipado r´ apido: una estrategia alternativa de dise˜ no instruccional
Es una metodolog´ıa de dise˜ no llamada r´apida creaci´on de prototipos que se ha utilizado exitosamente en ingenier´ıa de software (Tripp y Bichelmeyer, 1990) dado las similitudes entre el dise˜ no del software y dise˜ no instruccional, refiri´endose a las buenas pr´acticas de adquirir conocimiento, los autores argumentan que la r´apida creaci´on de prototipos es un modelo viable para dise˜ no instruccional, especialmente para instrucci´on basada en ciencias de la computaci´on. Dichas teor´ıas tambi´en respaldan que la creaci´on r´apida de prototipos es apropiada para el dise˜ no instruccional. Tambi´en ofrecen pautas para el uso de metodolog´ıa. (Naumann y Jenkins, 1982) describe una breve discusi´ on de varios ejemplos y la creaci´on de prototipos orientado al desarrollo de sistemas inform´ aticos.
9.3.
Medici´ on de usabilidad con el del instrumento cuestionario “USE”.
Seg´ un (Lund, 2001) el cuestionario ha sido utilizado con ´exito por muchas compa˜ n´ıas en todo el mundo, y forma parte de varios proyectos de investigaci´on, el desarrollo del cuestionario a´ un no ha terminado. Este cuestionario es un excelente punto de partida para determinar un ´ındice de usabilidad y lograr ´exito en el mercado. El cuestionario es estandarizado, gratuito y se aplica a varios los dominios de la usabilidad.
P´ag. 17/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
10.
HERRAMIENTAS
10.1.
Hardware
En la tabla 7 se describen las caracter´ısticas de los dispositivos que se utilizar´an durante el desarrollo e implementaci´ on de la presente investigaci´on. Tabla 7 Dispositivos. Dispositivo
Especificaciones
Pc
Intel Core i7-5500U U 2.40GHz 4, Intel HD Graphics 5500 (Broadwell GT2), 8GB RAM, Almacenamiento 500 GB Se utilizaran drones comerciales y open sources como : Parrot AR Drone 2.0, Parrot Bebop 2 y Multiwii Unit HPU 1.0 32-bits, 2GB RAM, Sensores: audio, movimiento, almacenamiento 64GB, camara de 2MP photos, HD video, Wi-Fi 802.11ac, Bluetooth 4.1 LE, Micro-USB 2.0 D-Link Router Card King Wifi USB
Drone (Cuadricoptero) HoloLens
Router Antena Fuente: Elaboraci´ on propia.
10.2.
Software
En la tabla 8 se describen las herramientas o frameworks que se utilizar´an durante el desarrollo e implementaci´ on de la presente investigaci´on. Tabla 8 Conjunto de herramientas de desarrollo. Software
Versi´ on
Visual Code Visual Studio Community Unity Blender TeXstudio
1.24.0 2017 2017.30f3 2.7.6 2.10.8
Fuente: Elaboraci´ on propia.
11. 11.1.
FACTIBILIDAD DEL PROYECTO ´ FACTIBILIDAD TECNICA
Las herramientas necesarias para el desarrollo e implementaci´on de la presente investigaci´on son financiadas por el autor. Las herramientas software descritas en la tabla 8 son open source. En conclusi´ on, t´ecnicamente es factible el desarrollo e implementaci´on, dado que las herramientas de hardware y software est´an al alcance.
P´ag. 18/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.2.
FACTIBILIDAD OPERATIVA
La investigaci´ on plantea varios desaf´ıos en el desarrollo e implantaci´on de la misma, sin embargo da lugar a un nuevo paradigma de desarrollo de aplicaciones en un entorno de realidad mixta, mejorando el aprendizaje e interacci´on hombre robot o m´aquina de los s, simplificando controles manuales por interfaces de realidad aumentada facilitando el control de veh´ıculos a´ereos no tripulados UAV.
11.3.
´ FACTIBILIDAD ECONOMICA
Los gastos estar´ an a cargo del investigador. Tabla 9 An´ alisis Econ´ omico. Descripci´on Servicios B´ asicos Papeler´ıa e Impresiones Transporte Licencias de Software PC HoloLens Drone Hora de Desarrollo e Implementaci´ on TOTAL
Costo 120.00 100.00 80.00 0.00 1200.00 3000.00 650.00 4200 9350.00
Fuente: Elaboraci´ on propia.
11.4.
TEMARIO
´ Cap´ıtulo I: INTRODUCCION 1.1 Planteamiento del problema 1.2 Antecedentes 1.3 Justificaci´ on 1.4 Objetivos 1.4.1 Objetivo General 1.4.2 Objetivos Espec´ıficos 1.5 Alcance Cap´ıtulo II: ESTADO DEL ARTE 2.1 Introducci´ on 2.2 Realidad Aumentada 2.2.1 Antecedentes 2.2.2 Caracter´ısticas 2.2.3 Frameworks de Desarrollo de realidad Aumentada 2.3 Microsoft HoloLens 2.3.1 Antecedentes 2.3.2 Caracter´ısticas P´ag. 19/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
2.3.3 Implementaciones realizadas 2.4 Veh´ıculos a´ereos no tripulados 2.1.1 Antecedentes 2.1.2 Caracter´ısticas 2.1.4 Arquitectura 2.5 Proyectos Relacionados Cap´ıtulo III: ARQUITECTURA DE SOFTWARE 3.1 An´ alisis de dispositivos 3.2 Sistemas operativos 3.3 Plataformas y tecnolog´ıas de control 3.4 Tecnol´ ogicas de desarrollo de software “Real-Time” 3.5 Dise˜ no de la arquitectura 3.6 Implementaci´ on de la arquitectura ´ Cap´ıtulo IV: INTERFAZ GRAFICA DE REALIDAD MIXTA 4.1 Arquitectura de Microsoft HoloLens 4.2 Entorno de desarrollo Microsoft HoloLens 4.2.1 Plataforma de Desarrollo de Videojuegos Unity 4.2.2 Frameworks de realidad aumentada 4.2.3 Paquetes y librerias adicionales 4.3 Integraci´ on a la arquitectura de control 4.4 Despliegue e implementaci´ on en el dispositivo 4.5 Pruebas de funcionamiento 4.6 An´ alisis de resultados ´ Cap´ıtulo V: EVALUACION 5.1 Instrumento cuestionario “USE” 5.2 Selecci´ on de s 5.3 Implementacion del cuestionario 5.4 An´ alisis de resultados CONCLUSIONES Y RECOMENDACIONES TRABAJOS FUTUROS
P´ag. 20/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.5.
CRONOGRAMA
Figura 9. Cronograma del proyencto
Figura 10. Tareas del proyencto
P´ag. 21/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
12.
BIBLIOGRAF´IA PRELIMINAR
Referencias Ai, Z., Livingston, M. A., y Moskowitz, I. S. (2016). Real-time unmanned aerial vehicle 3d environment exploration in a mixed reality environment. En Unmanned aircraft systems (icuas), 2016 international conference on (pp. 664–670). Amorim, J. A., Matos, C., Cuperschmid, A. R., Gustavsson, P. M., y Pozzer, C. T. (2013). Augmented reality and mixed reality technologies: Enhancing training and mission preparation with simulations. En Nato modelling and simulation group (msg) annual conference 2013 (msg-111), 2013. Budgen, D., y Brereton, P. (2006). Performing systematic literature reviews in software engineering. En Proceedings of the 28th international conference on software engineering (pp. 1051–1052). Das, A. N., Doelling, K., Lundberg, C., Sevil, H. E., y Lewis, F. (2017). A mixed reality based hybrid swarm control architecture for manned-unmanned teaming (mum-t). En Asme 2017 international mechanical engineering congress and exposition (pp. V014T07A019– V014T07A019). Gartner. (2017). Top trends in the gartner hype cycle for emerging technologies, 2017. Herrmann, R., y Schmidt, L. (2018). Design and evaluation of a natural interface for piloting an unmanned aerial vehicle. i-com, 17 (1), 15–24. Hoenig, W., Milanes, C., Scaria, L., Phan, T., Bolas, M., y Ayanian, N. (2015). Mixed reality for robotics. En Intelligent robots and systems (iros), 2015 ieee/rsj international conference on (pp. 5382–5387). Javornik, A. (2016). Augmented reality: Research agenda for studying the impact of its media characteristics on consumer behaviour. Journal of Retailing and Consumer Services, 30 , 252–261. Kalantari, M., y Rauschnabel, P. (2018). Exploring the early adopters of augmented reality smart glasses: The case of microsoft hololens. En Augmented reality and virtual reality (pp. 229–245). Springer. Karasinski, J. A., Joyce, R., Carroll, C., Gale, J., y Hillenius, S. (2017). An augmented reality/internet of things prototype for just-in-time astronaut training. En International conference on virtual, augmented and mixed reality (pp. 248–260). Kot, T., Nov´ ak, P., y Babjak, J. (2017). Application of augmented reality in mobile robot teleoperation. En International conference on modelling and simulation for autonomous systems (pp. 223–236). Leue, M. C., Jung, T., y tom Dieck, D. (2015). Google glass augmented reality: Generic learning outcomes for art galleries. En Information and communication technologies in tourism 2015 (pp. 463–476). Springer. Li, N., Cartwright, S., Shekhar Nittala, A., Sharlin, E., y Costa Sousa, M. (2015). Flying frustum: A spatial interface for enhancing human-uav awareness. En Proceedings of the 3rd international conference on human-agent interaction (pp. 27–31). Lund, A. M. (2001). Measuring usability with the use questionnaire12. Usability interface, 8 (2), 3–6. Milgram, P., Drascic, D., Grodski, J. J., Restogi, A., Zhai, S., y Zhou, C. (1995). Merging real and virtual worlds. En Proceedings of imagina (Vol. 95, pp. 218–230). Naumann, J. D., y Jenkins, A. M. (1982). Prototyping: the new paradigm for systems development. Mis Quarterly, 29–44. Petersen, K., Feldt, R., Mujtaba, S., y Mattsson, M. (2008). Systematic mapping studies in software engineering. En Ease (Vol. 8, pp. 68–77).
P´ag. 22/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Rauschnabel, P. A., y Ro, Y. K. (2016). Augmented reality smart glasses: An investigation of technology acceptance drivers. International Journal of Technology Marketing, 11 (2), 123–148. S´ebastien, T., Arles, F., SERENA-ALLIER, D., Arlaten, M., SALVETAT, C., y LACOTTE, F. (s.f.). Flying a drone in a museum. Taylor, G. (2017). Natural, multi-modal interfaces for unmanned systems. En International conference on engineering psychology and cognitive ergonomics (pp. 145–158). Tripp, S. D., y Bichelmeyer, B. (1990). Rapid prototyping: An alternative instructional design strategy. Educational Technology Research and Development, 38 (1), 31–44.
P´ag. 23/23
´ CARRERA DE TECNOLOG´IAS DE LA INFORMACION ´ (SISTEMAS E INFORMATICA)
TEMA: “Desarrollo e implementaci´ on de una interfaz de para el control de un veh´ıculo a´ ereo no tripulado en un entorno de realidad aumentada, mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens.”
´ PLAN DE PROYECTO DE INVESTIGACION
´ PREVIO A LA OBTENCION ´ DEL T´ITULO DE TRABAJO DE TITULACION, ´ INGENIERO EN SISTEMAS E INFORMATICA
PROPUESTO: Luis Iv´an Esp´ın Velasco
SANGOLQU´ I 20 de junio de 2018
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
´Indice 1. T´ ITULO DEL PROYECTO
3
´ 2. AREA DE CONOCIMIENTO
3
3. ANTECEDENTES
3
4. PLANTEAMIENTO DEL PROBLEMA
4
5. ESTADO DEL ARTE 4 5.1. Planteamiento de la revisi´ on de literatura . . . . . . . . . . . . . . . . . . . . . . 5 5.2. Conformaci´ on del grupo de control (GC) y extracci´on de palabras relevantes para la investigaci´ on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5.3. Construcci´ on y afinaci´ on de la cadena de b´ usqueda . . . . . . . . . . . . . . . . . 6 5.4. Selecci´ on de estudios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 5.5. Elaborar el estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5.5.1. EP01 : An Augmented Reality/Internet of Things Prototype for Just-intime Astronaut Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 5.5.2. EP02 : Application of Augmented Reality in Mobile Robot Teleoperation 7 5.5.3. EP03 : Flying a drone in a museum an augmented-reality cultural serious game in Provence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.4. EP04 : Natural, Multi-modal Interfaces for Unmanne Systems . . . . . . . 8 5.5.5. EP05 : Mixed reality for robotics . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.6. EP06 : Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5.5.7. EP07 : Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5.5.8. EP08 : Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment . . . . . . . . . . . . . . . . . . . . . . . . . . 9 5.5.9. EP09 : A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T) . . . . . . . . . . . . . . . . . . . 9 5.6. Caracter´ısticas del estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 6. OBJETIVOS 10 6.1. Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 6.2. Objetivos Especificos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 ´ 7. JUSTIFICACION
10
8. ALCANCE
16
´ DE LA INVESTIGACION ´ 9. DEFINICION 9.1. Revisi´ on inicial sistem´ atica de la literatura . . . . . . . . . . . . . . . . . . . . . . 9.2. Prototipado r´ apido: una estrategia alternativa de dise˜ no instruccional . . . . . . 9.3. Medici´ on de usabilidad con el del instrumento cuestionario “USE”. . . . . . . . .
17 17 17 17
10.HERRAMIENTAS 18 10.1. Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 10.2. Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
P´ag. 1/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.FACTIBILIDAD DEL PROYECTO ´ 11.1. FACTIBILIDAD TECNICA . . . . . 11.2. FACTIBILIDAD OPERATIVA . . . ´ 11.3. FACTIBILIDAD ECONOMICA . . 11.4. TEMARIO . . . . . . . . . . . . . . 11.5. CRONOGRAMA . . . . . . . . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
18 18 19 19 19 21
12.BIBLIOGRAF´ IA PRELIMINAR
22
Referencias
22
´Indice de figuras 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Proceso de construcci´ on del estado del arte. . . . . . . . . . . . . . . El continuo de Milgram. . . . . . . . . . . . . . . . . . . . . . . . . . Estacion de control . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gartner Ciclo Hype, Expectativas vs. El paso del tiempo. . . . . . . Las 3 tendecias tecnologicas del Ciclo Hype. . . . . . . . . . . . . . . Gafas Inteligentes de Realidad Aumentada Comerciales. . . . . . . . Ejemplo de escenario de implementaci´on de AR de los robots: UAV, manoide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Propuesta de arquitectura de software de HRI en un entorno de AR. Cronograma del proyencto . . . . . . . . . . . . . . . . . . . . . . . . Tareas del proyencto . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . UGV, . . . . . . . . . . . . . . . .
. . . . . . . . . . . . hu. . . . . . . .
. . . . . .
4 11 11 12 13 14
. . . .
15 15 21 21
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
5 6 6 7 14 16 18 18 19
´Indice de tablas 1. 2. 3. 4. 5. 6. 7. 8. 9.
Grupo de Control. . . . . . . . . . . . . . . . . . . . . . . . . Resultados de busquedas. . . . . . . . . . . . . . . . . . . . . Estudios Seleccionados I. . . . . . . . . . . . . . . . . . . . . . Estudios Seleccionados II. . . . . . . . . . . . . . . . . . . . . Caracteristicas de dispositivos de realidad mixta con forma de Preguntas de investigaci´ on. . . . . . . . . . . . . . . . . . . . Dispositivos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . Conjunto de herramientas de desarrollo. . . . . . . . . . . . . An´alisis Econ´ omico. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . gafas. . . . . . . . . . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
P´ag. 2/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
1.
T´ITULO DEL PROYECTO
“Desarrollo e implementaci´ on de una interfaz de para el control de un veh´ıculo a´ereo no tripulado en un entorno de realidad aumentada, mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens.”
2.
´ AREA DE CONOCIMIENTO Tecnolog´ıas de la informaci´ on y la comunicaci´on. Gesti´on de la Informaci´ on. • Interacci´ on hombre m´ aquina (HCI). • Interacci´ on hombre robot (HRI). • Realidad Aumentada (AR).
3.
ANTECEDENTES
Seg´ un (Hoenig y cols., 2015) la realidad mixta es una herramienta valiosa para la investigaci´on y desarrollo en rebotica. En su investigaci´on mencionan que la Realidad mixta puede reducir la brecha entre la simulaci´ on e implementaci´on en una combinaci´on de objetos f´ısicos y virtuales, incluyendo robots, sensores y humanos. Los robots se pueden mejorar con capacidades virtuales adicionales, o pueden interactuar con los humanos sin compartir espacio f´ısico. En la actulidad (Kalantari y Rauschnabel, 2018) mencionan que no se ha realizado muchas investigaciones para comprender la reaccion de los consumidores ante el uso de tecnolog´ıas m´oviles que combinan el mundo real con el virtual con forma de gafas. (Karasinski, Joyce, Carroll, Gale, y Hillenius, 2017) presentan un prototipo m´ovil para el entrenamiento de astronautas con interacci´on hombre m´ aquina (HCI) y realidad aumentada (AR) como herramienta de entrenamiento. Este prototipo aprovecha las gafas de realidad aumentada Microsoft HoloLens y una red de sensores personalizados de “Internet en las Cosas”que permite que los procesos operativos se muestren e interact´ uen con el en tiempo real. Este visor de procedimientos m´oviles permiten la capacitaci´ on utilizando hologramas para proporcionar informaci´on contextualmente relevante a los s novatos que est´an en pr´actica. (Ai, Livingston, y Moskowitz, 2016) proponen un sistema de interacci´on que puede usar 3D en tiempo real para la exploraci´ on del medio ambiente mediante un veh´ıculo a´ereo no tripulado (UAV). El m´etodo crea un entorno de realidad mixta en el que un puede controlar de forma interactiva un veh´ıculo a´ereo no tripulado y visualizar los datos de exploraci´on en tiempo real. Este m´etodo usa una combinaci´ on de sensores asequibles que transforma el espacio de control y visualizaci´ on desde el veh´ıculo a´ereo no tripulado hasta la perspectiva del controlador con diferentes configuraciones de hardware y software, el sistema desarrollado puede ajustarse para cumplir diferentes necesidades y entornos.
P´ag. 3/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
4.
PLANTEAMIENTO DEL PROBLEMA
Seg´ un (Herrmann y Schmidt, 2018) controlar un veh´ıculo a´ereo no tripulado tiene un cierto grado de dificultad, requiere entrenamiento y experiencia. Una posible causa se origina en el control remoto cuyas funciones resultan complicadas. Controlar un veh´ıculo a´ereo no tripulado (UAV) puede resultar desafiante lo cual requiere de un entrenamiento intensivo para lograr un vuelo estable. Uno de los inconvenientes m´as comunes en los s sin experiencia radica en la carga cognitiva que el control remoto ejerce en el operador, debido al conjunto de funciones que permiten que el veh´ıculo a´ereo no tripulado se desplaze en el aire. Los s dependen de su precisi´on, destreza y habilidad para ejecutar diferentes tipos de movimientos desde el control remoto. Los veh´ıculos a´ereos no tripulados que son utilizados en el ambiente de la ingenier´ıa o la seguridad est´ an sujetos a la experiencia de los operadores y el ambiente en el que se desenvuelven. Un ejemplo son los drones que se utilizan en un levantamiento topogr´afico los cuales tienen un alto costo econ´ omico y requieren de un vuelo estable para cumplir su objetivo. Otro ejemplo en el ´ambito de la seguridad son los drones utilizados para hacer reconocimiento de terrenos en zonas de conflictos armados. La complejidad de los sistemas que interact´ uan en los ejemplos mencionados est´ an propensos a generar una carga de trabajo amplia lo cual puede volverse inmanejable, contraproducente e incluso peligroso.
5.
ESTADO DEL ARTE
Para analizar el estado del arte acerca de la manipulaci´on de veh´ıculos a´ereos no tripulados sin el uso del control remoto y en un entorno de realidad mixta, se realiz´o un proceso de revisi´on de literatura inicial basado en las gu´ıas de revisi´on sistem´atica de literatura propuestas por (Budgen y Brereton, 2006). Las actividades consideradas para este proceso se muestran en la figura 1 y se describen a continuaci´ on.
Figura 1. Proceso de construcci´ on del estado del arte. Fuente: Elaboraci´ on propia
P´ag. 4/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.1.
Planteamiento de la revisi´ on de literatura
En esta fase se realiz´ o una breve descripci´on del problema de investigaci´on para proporcionar un contexto para la b´ usqueda de estudios cient´ıficos; posteriormente se procedi´o a definir un objetivo de b´ usqueda y plantear preguntas de investigaci´on para alinear la b´ usqueda en relaci´on al problema de investigaci´ on y finalmente se definieron los criterios de inclusi´on y exclusi´on.
5.2.
Conformaci´ on del grupo de control (GC) y extracci´ on de palabras relevantes para la investigaci´ on
Seg´ un (Petersen, Feldt, Mujtaba, y Mattsson, 2008) un paso fundamental de un mapeo sistem´atico de literatura es definir o delimitar los art´ıculos que se consideren relevantes para la investigaci´on, eliminando aquellos que solo mencionan enfoque substancia de la tem´atica principal. Fue necesaria la participaci´ on de al menos cuatro investigaciones. Cada investigaci´on propuso estudios que podr´ıan ser parte del grupo de control. Posteriormente se realiz´o una validaci´on cruzada donde se estableci´ o finalmente el grupo de control, el cual se indica en la tabla 1. Tabla 1 Grupo de Control. T´ıtulo
Cita
Palabras Clave
Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle
(Hoenig y cols., 2015)
A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T)
(Das, Doelling, Lundberg, Sevil, y Lewis, 2017)
Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
(Ai y cols., 2016)
Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness
(Li, Cartwright, Shekhar Nittala, Sharlin, y Costa Sousa, 2015)
Natural Interface, Unmanned Aerial Vehicle, Augmented Reality. Mixed Reality, Control Architecture, MannedUnmanned. Unmanned aerial vehicle, Mixed Reality, Real-time. Unmanned aerial vehicle (UAV), augmented reality, human-robot interaction (HRI), situational awareness, computered cooperative work (CSCW).
Fuente: Elaboraci´ on propia.
Tras un an´ alisis de los estudios del grupo de control, se seleccionaron las palabras m´as relevantes respecto al objetivo de la b´ usqueda, en este caso fueron: “Unmanned aerial vehicle”(UAV) y “Mixed Reality”.
P´ag. 5/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.3.
Construcci´ on y afinaci´ on de la cadena de b´ usqueda
Con las palabras clave que fueron obtenidas de los art´ıculos cient´ıficos del grupo de control se conform´o la cadena de b´ usqueda: ((“Unmanned aerial vehicle”) and (“Mixed Reality”)) ´ o ((“Mixed Reality”) and (“Unmanned aerial vehicle”)). Sin embargo, esta cadena obtuvo un gran n´ umero de investigaciones inclusive aquellas que fueron descartadas. Despu´es de realizar varias pruebas con distintas combinaciones de cadenas, se ejecutaron las siguientes: ((“Mixed Reality”) and (“Unmanned aerial vehicle”) and (“ Interface”)) y ((“Mixed Reality”) and (“UAV”) and (“HRI”))). Los resultados obtenidos se muestran en la tabla 2. Tabla 2 Resultados de busquedas. Base Digital
“(Mixed Reality) AND (Unmanned aerial vehicle)”
“(Mixed Reality) AND (Unmanned aerial vehicle) AND ( Interface)”
“(Mixed Reality) AND (UAV) AND (HRI)”
Springer ProQuest Scopus IEEE Xplore
602 271 559 8
237 50 94 87
6 0 37 32
Fuente: Elaboraci´ on propia.
5.4.
Selecci´ on de estudios
Al aplicar las cadenas de b´ usqueda en la base digital IEEE Explore se obtuvo alrededor de 127 resultados relacionados con el tema el cual se consider´o un n´ umero de art´ıculos manejable, adicionalmente los art´ıculos apuntan y se encuentra dentro del grupo de control. Sin embargo de todas las bases digitales presentadas en la tabla 2 se escogieron las cadenas de b´ usqueda con los resultados m´ as bajos y se analizaron de acuerdo al grupo de control. De los 170 resultados obtenidos se seleccionaron los estudios realizados a partir del a˜ no 2015. Debido a que no existen muchas investigaciones con este tipo de tecnolog´ıa implementada, los art´ıculos que m´ as se ajustan a la tem´ atica se muestran en las tablas 3 y 4. Tabla 3 Estudios Seleccionados I. C´odigo
T´ıtulo
Palabras Clave
EP01
An Augmented Reality/Internet of Things Prototype for Just-in-time Astronaut Training Application of Augmented Reality in Mobile Robot Teleoperation
(Karasinski y cols., 2017)
EP02
(Kot, Nov´ak, y Babjak, 2017)
Fuente: Elaboraci´ on propia.
P´ag. 6/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Tabla 4 Estudios Seleccionados II. C´odigo
T´ıtulo
Palabras Clave
EP03
Flying a drone in a museum an augmented-reality cultural serious game in Provence Natural, Multi-modal Interfaces for Unmanned Systems Mixed reality for robotics Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment A Mixed Reality Based Hybrid Swarm Control Architecture for MannedUnmanned Teaming (MUM-T)
(S´ebastien y cols., s.f.)
EP04 EP05 EP06
EP07 EP08
EP09
(Taylor, 2017) (Hoenig y cols., 2015) (Herrmann y Schmidt, 2018)
(Li y cols., 2015) (Ai y cols., 2016)
(Das y cols., 2017)
Fuente: Elaboraci´ on propia.
5.5. 5.5.1.
Elaborar el estado del arte EP01 : An Augmented Reality/Internet of Things Prototype for Just-intime Astronaut Training
En el art´ıculo “An Augmented Reality/Internet of Things Prototype for Just-in-time Astronaut Training”los autores presentan un prototipo m´ovil para entrenamiento de astronautas, con instrucciones iniciales de interacci´ on hombre m´aquina (HCI) y herramientas de entrenamiento con realidad aumentada (AR). El prototipo m´ovil aprovecha las gafas de realidad aumentada Microsoft HoloLens y una red de sensores “Internet of Things”personalizados basados en un conjunto de chips ESP8266. Este prototipo permite visualizar los procedimientos operativos e interactuar con el en tiempo real. Este visor de procedimientos m´oviles permite la capacitaci´on usando hologramas para proporcionar informaci´on relevante los s que est´an en pr´actica (Karasinski y cols., 2017). 5.5.2.
EP02 : Application of Augmented Reality in Mobile Robot Teleoperation
En el art´ıculo “Application of Augmented Reality in Mobile Robot Teleoperation”los autores hacen un estudio de la utilizaci´ on de la realidad aumentada en el de control operativo de un robot m´ ovil teleoperado. Este trabajo es la continuaci´on de una investigaci´on anterior, que result´o en la creaci´ on y la implementaci´on exitosa de una estaci´on de operador virtual basada en un pantalla de realidad virtual (HMD) Oculus Rift. El nuevo enfoque sugiere usar los nuevos dispositivos de realidad aumentada Microsoft HoloLens para agregar los elementos de control virtuales directamente al mundo real, lo que tiene algunos beneficios muy importantes, especialmente el hecho de que el operador no est´a visualmente aislado en un entorno 3D. El dispositivo se introduce al principio del entorno y luego sigue la descripci´on de todas las tareas requeridas para crear la estaci´ on del operador con realidad aumentada (Kot y cols., 2017).
P´ag. 7/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.5.3.
EP03 : Flying a drone in a museum an augmented-reality cultural serious game in Provence
El museo Arlaten, etnogr´ afico dedicado a la preservaci´on del patrimonio de Provenza fundado en 1899 en Arles (Francia) por el poeta y ganador del Premio Nobel para la literatura Fr´ed´eric Mistral. Proporciona una experiencia innovadora que permite al p´ ublico descubrir el Foro Romano en un exclusivo recorrido a trav´es del uso de la tecnolog´ıa digital, permitiendo al museo mantenerse en o con el p´ ublico. El p´ ublico puede volar un peque˜ no dron equipado con una c´amara, permitiendo desplasarse en el interiror del museo y en lugares de exposici´on (S´ebastien y cols., s.f.). 5.5.4.
EP04 : Natural, Multi-modal Interfaces for Unmanne Systems
En el paper “Natural, Multi-modal Interfaces for Unmanned Systems”sus autores describen interfaces naturales multimodales como una alternativa al estado actual de la pr´actica de controlar sistemas no tripulados, con el objetivo de aprovechar a las personas y la comunican entre s´ı, para reducir el desgaste f´ısico y carga cognitiva al interactuar con sistemas no tripulados. Describen aproximaciones, retos y desaf´ıos en el dise˜ no, construcci´on y evaluaci´on de interfaces naturales. Presentan un dispositivo de Interacci´on Inteligente (SID) como un ejemplo de interfaz natural para interacci´ on con sistemas no tripulados, y resaltan algunos casos de uso aplicados a los dominios de aire y tierra (Taylor, 2017). 5.5.5.
EP05 : Mixed reality for robotics
La realidad mixta puede ser una herramienta valiosa para la investigaci´on y el desarrollo en rob´otica. En el art´ıculo “Mixed reality for robotics”los autores hacen referencia a la definici´on de realidad mixta como la acci´ on entre objetos f´ısicos y virtuales en cualquier entorno f´ısico o virtual. En particular, muestran que la realidad mixta puede reducir la brecha entre la simulaci´on y la implementaci´ on en una combinaci´on de objetos f´ısicos y virtuales, incluidos robots, sensores y humanos. Los robots se pueden mejorar con capacidades virtuales adicionales, o pueden interactuar con humanos sin compartir espacio f´ısico. Los autores demuestran con tres experimentos representativos, las ventajas del enfoque planteado. Tambi´en proporcionan un banco de pruebas de Realidad mixta con tres entornos de rob´otica virtual en diferentes combinaciones con el quadcopter Crazyflie 2.0 (Hoenig y cols., 2015). 5.5.6.
EP06 : Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle
Segun (Herrmann y Schmidt, 2018) controlar un veh´ıculo a´ereo no tripulado es desafiante y requiere un entrenamiento intensivo. En el art´ıculo “Design and Evaluation of a Natural Interface for Piloting an Unmanned Aerial Vehicle”presentan un concepto alternativo para la teleoperaci´ on. Su propuesta incluye una pulsera de control de gestos “Thalmic Myo gafas inteligentes Microsoft HoloLens. Estos dispositivos se combinan para implementar una interfaz de realidad aumentada, con respuesta t´actil y una entrada de gestos y habla. Esta implementaci´ on fue evaluada con 30 participantes y se compar´o con el uso del control remoto convencional. Los resultados muestran que la interfaz propuesta es una buena soluci´on pero no alcanza el rendimiento del control remoto. 2
P´ag. 8/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.5.7.
EP07 : Flying Frustum: A Spatial Interface for Enhancing Human-UAV Awareness
El proyecto Flying Frustum, es una interfaz espacial en 3D que permite el control de veh´ıculos a´ereos no tripulados semiaut´ onomos que utiliza la interacci´on de una pluma en un modelo 3D de realidad aumentada (AR) que se ubica espacialmente y transmite informaci´on de los veh´ıculos a´ereos no tripulados en el terreno f´ısico. La interfaz se basa en una impresi´on en 3D del terreno, que permite al operador ingresar metas y rutas a los veh´ıculos a´ereos no tripulados, dibujandolas directamente en el modelo 3D. A su vez, la informaci´on de reconocimiento es transmitida de los veh´ıculos a´ereos no tripulados y se superpone en la impresi´on 3D en forma de vista, que se sit´ ua de acuerdo con la posici´ on y orientaci´on de los veh´ıculos a´ereos no tripulados en el terreno f´ısico. (Li y cols., 2015). 5.5.8.
EP08 : Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
El art´ıculo “Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment”presenta un novedoso sistema de interacci´on entre robots y humanos que permite realizar la exploraci´ on del entorno 3D en tiempo real con un veh´ıculo a´ereo no tripulado (UAV). El m´etodo crea un entorno de realidad mixta, en el que un puede controlar de forma interactiva un veh´ıculo a´ereo no tripulado (UAV) y visualizar los datos de exploraci´on en tiempo real. El m´etodo utiliza una combinaci´on de sensores asequibles que transforma el espacio de control y visualizaci´ on desde un veh´ıculo a´ereo no tripulado (UAV) hasta la perspectiva del controlador. Se estudiaron diferentes configuraciones de hardware y software para que el sistema pueda ajustarse y logre satisfacer diferentes necesidades y entornos. Los autores presentan un sistema prototipo y se discuten los resultados de las pruebas (Ai y cols., 2016). 5.5.9.
EP09 : A Mixed Reality Based Hybrid Swarm Control Architecture for Manned-Unmanned Teaming (MUM-T)
En el art´ıculo “A Mixed Reality Based Hybrid Swarm Control Architecture for MannedUnmanned Teaming (MUM-T)”los autores discuten una arquitectura de autonom´ıa de enjambre h´ıbrida para coordinar un equipo diverso de robots utilizando una tecnolog´ıa de interfaz inmersiva e intuitiva para el control cooperativo de plataformas no tripuladas. Esta novedosa interfaz interactiva ofrece conocimiento situacional y presentaci´on de posibles escenarios para la toma decisiones. El dise˜ no implementado funciona en un entorno de realidad aumentada (AR) y permite hacer una exploraci´ on y evaluaci´ on en tiempo real con el enjambre, as´ı como la interacci´on din´amica entre diferentes operadores humanos. Uno de los principales objetivos de esta investigaci´on es reducir la carga cognitiva en los operadores y permitir la confianza entre los robots y los humanos. Los principales puntos de discusi´on incluyen: personalizaci´on de plataformas no tripuladas para control distribuido y fusi´on de sensores, desarrollo e implementaci´on de una plataforma mixta portal de interfaz de robot humano de realidad e incorporaci´on de un controlador de confianza din´ amico neurocognitivo para la autonom´ıa de enjambre. Los autores mencionan que a trav´es de dicha interconexi´ on entre humanos y robots, la efectividad del enjambre puede ejecutar misiones con velocidad y precisi´on. Este art´ıculo presenta una validaci´on experimental de los modelos anal´ıticos que involucran plataformas reales y virtuales (Das y cols., 2017).
P´ag. 9/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
5.6.
Caracter´ısticas del estado del arte
Existe una m´ınima cantidad de estudios relevantes en cuanto a la manipulaci´on de veh´ıculos a´ereos no tripulados (UAV) sin el uso del control remoto en un entorno de realidad mixta, la mayor´ıa de los resultados encontrados recaen en el n´ umero de tareas que el operador humano tiene que ejecutar para controlar veh´ıculos a´ereos o terrestres no tripulados. Los estudios mencionados anteriormente dependen de sistemas de control electr´onicos digitales basados en sensores los cuales comparten espacio f´ısico con el , estas soluciones proponen arquitecturas de control automatizado enfocado a resolver problemas espec´ıficos en un entorno controlado.
6. 6.1.
OBJETIVOS Objetivo General
Desarrollar e implementar una interfaz de que permita realizar desplazamientos de un veh´ıculo a´ereo no tripulado (UAV) en un entorno de realidad aumentada mediante gestos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens para mejorar la interacci´on hombre robot (HRI).
6.2.
Objetivos Especificos Realizar el an´ alisis del estado del arte mediante una revisi´on sistem´atica de literatura. Proponer una arquitectura de software que permita el control de un veh´ıculo a´ereo no tripulado (UAV) que interact´ ue con interfaces de programaci´on de diferentes aplicaciones. Desarrollar e implementar una interfaz gr´afica de realidad mixta que interact´ ue simult´aneamente con los movimientos de un veh´ıculo a´ereo no tripulado (UAV) y los movimientos corporales, faciales del utilizando gafas inteligentes Microsoft HoloLens. Evaluar la interfaz de desarrollada para obtener ´ındices de satisfacci´on y aceptaci´on a trav´es del instrumento cuestionario “USE”.
7.
´ JUSTIFICACION
El presente estudio tiene como finalidad mejorar la interacci´on hombre robot (HRI) y el aprendizaje del control de un veh´ıculo a´ereo no tripulado utilizando una interfaz gr´afica de realidad mixta, fucionando objetos reales y virtuales que permiten al realizar desplazamientos de un veh´ıculo a´ereo no tripulado (UAV) mediante gestos corporales y faciales. Esta soluci´on permite disminuir la carga cognitiva que normalmente el requiere al controlar un veh´ıculo a´ereo no tripulado por medio del control remoto. La disminuci´on de dicha carga permite que el centre su atenci´on en cumplir objetivos y misiones seg´ un el ´area de expertis, ejemplos: levantamientos topogr´aficos, reconocimiento de terrenos, an´alisis de zonas, etc.
P´ag. 10/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Para comprender las diferencias entre mundos virtuales, reales y la combinaci´on entre ellos, a finales de los 80 y principios de los 90 (Milgram y cols., 1995), profesor de ingenier´ıa de la Universidad de Toronto, presenta el diagrama de la figura 2, que nos ayuda a conceptualizar c´omo crear y desplegar contenido en estos medios relativamente nuevos.
Figura 2. El continuo de Milgram. Segun (Leue, Jung, y tom Dieck, 2015) la realidad aumentada (AR) y la inform´atica en los dispositivos m´ oviles tienen el potencial de crear un entorno de aprendizaje realista. La realidad aumentada se ha convertido en una tecnolog´ıa interactiva la cual complementa el entorno f´ısico con el virtual ofreciendo modos innovadores para acceder a contenido e informaci´on en tiempo real (Javornik, 2016). Los investigadores del Ej´ercito brasile˜ no proponen la preparaci´on de soldados utilizando nuevos enfoques basados en realidad mixta, las tecnolog´ıas que seg´ un (Amorim, Matos, Cuperschmid, Gustavsson, y Pozzer, 2013) mejoran el entrenamiento y la preparaci´on de misiones en un enfoque simulado. En la automatizaci´ on y control se presentan sistemas con alto nivel de complejidad que est´an propensos a generar una carga de trabajo amplia, esto puede volverse inmanejable, imprudente e incluso peligroso. Por lo tanto, la implementaci´on de equipos no tripulados se ha vuelto una estrategia de calidad e innovaci´ on tecnol´ogica. Sin embargo, una arquitectura automatizada basada en el conocimiento recae en el control y monitoreo de los robots, lo cual significa que el operador humano debe ejecutar m´ ultiples tareas en un tablero de control o computadora con varios monitores, como se muestra en la figura 3.
Figura 3. Estacion de control
P´ag. 11/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Seg´ un (Gartner, 2017) las empresas deber´ıan explotar el potencial comercial de las tecnolog´ıas conocidas como; blockchain, la inteligencia artificial y la realidad aumentada. En los u ´ltimos a˜ nos las tecnolog´ıas que surgen o nacen, como el aprendizaje autom´atico, blockchain, drones (UAV comerciales), seguridad definida por software y las interfaces cerebro-computadora se han elevado significativamente desde el 2016, en la figura 4 se presenta el ciclo de Gartner denominado Hype, debido al impacto creciente del avance tecnologico y cientifico la cual da nacimiento a estas nuevas tendencias.
Figura 4. Gartner Ciclo Hype, Expectativas vs. El paso del tiempo. El Ciclo de Gartner denominado Hype, se centra en tres megatendencias tecnol´ogicas: Inteligencia Artificial (IA), experiencias inmersivas y plataformas digitales. Los arquitectos empresariales y los l´ıderes en innovaci´ on tecnol´ ogica exploran estas tres megatendencias para comprender los impactos en sus negocios. En la figura 5 se analiza las tecnolog´ıas que ofrecen un alto grado de ventaja competitiva.
P´ag. 12/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Figura 5. Las 3 tendecias tecnologicas del Ciclo Hype. El an´alisis del ciclo Hype muestra una tendencia creciente de 5 a 10 a˜ nos en la evoluci´on y el desarrollo de tecnolog´ıas con realidad aumentada y m´as de 10 a˜ nos en el desarrollo de ciencia y tecnolog´ıa en veh´ıculos a´ereos no tripulados, las tendencias mencionadas se fusionan entre s´ı, permitiendo que el tiempo de evoluci´ on de estas tecnolog´ıas se prolongue durante varios a˜ nos, lo que ofrece rentabilidad e innovaci´ on a las empresas que lo implementan. La tecnologia con realidad aumentada (AR) han revolucionado el comportamiento de la sociedad (Kalantari y Rauschnabel, 2018). Las gafas inteligentes como Microsoft HoloLens o Google Glass, representan ejemplos destacados; ofreciendo un elevado potencial para la investigaci´on y desarrollo. Seg´ un (Rauschnabel y Ro, 2016) la aceptaci´on de tecnolog´ıa en gafas inteligentes incluye varios factores como: los beneficios funcionales, la facilidad de uso, variables y diferencias individuales las cuales marcan actitudes y normas sociales. Aunque las gafas inteligentes se usan de manera similar a los rios de dispositivos m´oviles capturan diversos datos personales del . En figura 6 muestra diferentes dispositivos de realidad aumentada con forma de gafas.
P´ag. 13/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
(a) Microsoft HoloLens
(b) Google Glass
(c) Sony SmartEyeGlass
(d) Epson Moverio BT-300
Figura 6. Gafas Inteligentes de Realidad Aumentada Comerciales. En la tabla 5 se describe las caracteristicas de los dispositivos presentados en la figura 6. Tabla 5 Caracteristicas de dispositivos de realidad mixta con forma de gafas. Fecha de Lanzamiento
Sistema Operativo
Microsoft HoloLens
2016
Windows Mixed Reality
Intel 32-bit (1GHz)
Google Glass
2014
Glass OS
OMAP 4430
2015
Android
Ninguno
2016
Android 5.0
1.44 GHz Quad Core
Dispositivos
Sony SmartEyeGlass Epson Moverio BT-300
U
Display 2.3 megapixel widescreen stereoscopic head-mounted display Prism projector 640 x 360 pixeles Monochrome (green) OLED display
Entradas de Control
Peso
Sistema Independiente
Gestural commands via sensors and HPU
579g
SI
Touchpad, MyGlass phone mobile app
36g
NO
77g
NO
69g
NO
Android device BT-300FPV controller
Fuente: Elaboraci´ on propia.
La tabla 5 muestra que Microsoft HoloLens es el u ´nico dispositivo independiente. Por lo cual, es una opci´ on viable para el desarrollo de software basado en realidad aumentada (AR) y adecuada para la presente investigaci´ on.
P´ag. 14/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Una soluci´ on propuesta por (Das y cols., 2017) es un sistema de control de realidad aumentada (AR) con lenguaje natural y un interfaz de gestos para istrar de manera eficiente, no solo un robot, sino todo un conjunto o segmento de robots que cumplen uno o varios procesos. En la cual se discute una arquitectura de autonom´ıa de enjambre h´ıbrida para coordinar un equipo diverso de robots, utilizando una tecnolog´ıa de interfaz inmersiva e intuitiva con varios sensores adicionales que permiten el control cooperativo de plataformas no tripuladas. Esta novedosa interfaz interactiva ofrece informaci´on en tiempo real y posibles escenarios que ayuden a la toma decisiones en un entorno de realidad mixta. En la figura 7 se muestra un ejemplo de escenario de implementaci´on de la realidad mixta en la interacci´on de robot humano (HRI), de tres tipos diferentes de robots, es decir, un UAV, un UGV y un robot humanoide, para llevar a cabo una tarea coordinada en conjunto, ejecutando diferentes tareas de forma simultanea.
Figura 7. Ejemplo de escenario de implementaci´on de AR de los robots: UAV, UGV, humanoide Por lo expuesto, la presente investigaci´on propone una soluci´on que permite controlar un veh´ıculo a´ereo no tripulado identificando cuales son los gestos corporales y faciales que faciliten la interacci´on hombre robot (HRI) a trav´es de una interfaz gr´afica de realidad aumentada. En la cual se plantea una arquitectura de software con diferentes aplicaciones que interact´ uan entre s´ı, en tiempo real. El presente estudio dar´ıa lugar a futuras investigaciones, en las que se interact´ ua con varios veh´ıculos a´ereos o terrestres no tripulados con reconocimiento de objetos. Este enfoque da lugar a un nuevo paradigma que permite que simplificar el espacio f´ısico utilizado en control, seguimiento y monitoreo de robots o m´aquinas, en una interfaz de de realidad mixta utilizando gafas inteligentes Microsoft HoloLens. En la figura 8 el autor propone una posible arquitectura.
Figura 8. Propuesta de arquitectura de software de HRI en un entorno de AR.
P´ag. 15/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
8.
ALCANCE
Esta investigaci´ on plantea una arquitectura de software y un conjunto de aplicaciones e interfaces de programaci´ on que interact´ uan entre s´ı, en tiempo real para dar lugar a la interacci´on hombre robot (HRI) utilizando una interfaz gr´afica de realidad mixta, que permite el control de un veh´ıculo a´ereo no tripulado (UAV) por medio de movimientos corporales y faciales utilizando gafas inteligentes Microsoft HoloLens. Para definir de forma adecuada el alcance de la investigaci´on planteada, se proponen varias preguntas de investigaci´ on asociadas a los objetivos espec´ıficos, tal como se muestra en la tabla 6. Tabla 6 Preguntas de investigaci´ on. Objetivo espec´ıfico Realizar el an´ alisis del estado del arte mediante una revisi´on sistem´ atica de literatura.
Pregunta de investigaci´ on
1. ¿Qu´e m´etodo se utilizar´ a para realizar el an´ alisis del estado del arte? 2. ¿Cual es el prop´ osito de realizar el an´ alisis del estado del arte?
Proponer una arquitectura de software que permita el control de un veh´ıculo a´ereo no tripulado (UAV) que interact´ ue con interfaces de programaci´on de diferentes aplicaciones.
1. ¿Cu´ ales son los beneficios de crear una arquitectura de software para le control de un veh´ıculo a´ereo no tripulado? 2. ¿Que tecnolog´ıas permiten el control de un veh´ıculo a´ereo no tripulado mediante interfaces programadas de diferentes programas?
Desarrollar e implementar una interfaz gr´ afica de realidad mixta que interact´ ue simult´ aneamente con los movimientos de un veh´ıculo a´ereo no tripulado (UAV) y los movimientos corporales, faciales del utilizando gafas inteligentes Microsoft HoloLens.
Evaluar la interfaz de desarrollada para obtener ´ındices de satisfacci´ on y aceptaci´ on a trav´es del instrumento cuestionario “USE”
1. ¿Que tipo de dispositivo permite la interacci´ on de movimientos corporales y faciales? 2. ¿Que tecnolog´ıa de desarrollo de software permite crear una interfaz grafica de realidad mixta?
1. ¿Que pretende la evaluaci´ on de la interfaz de de (AR)? 2. ¿Cu´ al ser´ a el instrumento que se utilizar´a para dicha evaluaci´ on?
Fuente: Elaboraci´ on propia.
P´ag. 16/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
9.
´ DE LA INVESTIGACION ´ DEFINICION
La investigaci´ on es de car´ acter bibliogr´afico exploratorio debido a que se centra en analizar e investigar aspectos concretos del tema planteado que a´ un no han sido analizados a profundidad. Y ser´a de m´etodo inductivo debido a que se centra en c´omo se genera el problema para la obtenci´on de datos, t´erminos y conclusiones. Adicionalmente la investigaci´on adopta un car´acter cuantitativo por la evaluaci´ on de satisfacci´on y aceptaci´on propuesta en uno de sus objetivos espec´ıficos.
9.1.
Revisi´ on inicial sistem´ atica de la literatura
Para analizar el estado del arte acerca de la manipulaci´on de veh´ıculos a´ereos no tripulados sin el uso del control remoto y en un entorno de realidad mixta, se realiz´o un proceso de revisi´on de literatura inicial basado en las gu´ıas de revisi´on sistem´atica de literatura propuestas por (Budgen y Brereton, 2006). Las actividades consideradas para este proceso se muestran en la figura 1.
9.2.
Prototipado r´ apido: una estrategia alternativa de dise˜ no instruccional
Es una metodolog´ıa de dise˜ no llamada r´apida creaci´on de prototipos que se ha utilizado exitosamente en ingenier´ıa de software (Tripp y Bichelmeyer, 1990) dado las similitudes entre el dise˜ no del software y dise˜ no instruccional, refiri´endose a las buenas pr´acticas de adquirir conocimiento, los autores argumentan que la r´apida creaci´on de prototipos es un modelo viable para dise˜ no instruccional, especialmente para instrucci´on basada en ciencias de la computaci´on. Dichas teor´ıas tambi´en respaldan que la creaci´on r´apida de prototipos es apropiada para el dise˜ no instruccional. Tambi´en ofrecen pautas para el uso de metodolog´ıa. (Naumann y Jenkins, 1982) describe una breve discusi´ on de varios ejemplos y la creaci´on de prototipos orientado al desarrollo de sistemas inform´ aticos.
9.3.
Medici´ on de usabilidad con el del instrumento cuestionario “USE”.
Seg´ un (Lund, 2001) el cuestionario ha sido utilizado con ´exito por muchas compa˜ n´ıas en todo el mundo, y forma parte de varios proyectos de investigaci´on, el desarrollo del cuestionario a´ un no ha terminado. Este cuestionario es un excelente punto de partida para determinar un ´ındice de usabilidad y lograr ´exito en el mercado. El cuestionario es estandarizado, gratuito y se aplica a varios los dominios de la usabilidad.
P´ag. 17/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
10.
HERRAMIENTAS
10.1.
Hardware
En la tabla 7 se describen las caracter´ısticas de los dispositivos que se utilizar´an durante el desarrollo e implementaci´ on de la presente investigaci´on. Tabla 7 Dispositivos. Dispositivo
Especificaciones
Pc
Intel Core i7-5500U U 2.40GHz 4, Intel HD Graphics 5500 (Broadwell GT2), 8GB RAM, Almacenamiento 500 GB Se utilizaran drones comerciales y open sources como : Parrot AR Drone 2.0, Parrot Bebop 2 y Multiwii Unit HPU 1.0 32-bits, 2GB RAM, Sensores: audio, movimiento, almacenamiento 64GB, camara de 2MP photos, HD video, Wi-Fi 802.11ac, Bluetooth 4.1 LE, Micro-USB 2.0 D-Link Router Card King Wifi USB
Drone (Cuadricoptero) HoloLens
Router Antena Fuente: Elaboraci´ on propia.
10.2.
Software
En la tabla 8 se describen las herramientas o frameworks que se utilizar´an durante el desarrollo e implementaci´ on de la presente investigaci´on. Tabla 8 Conjunto de herramientas de desarrollo. Software
Versi´ on
Visual Code Visual Studio Community Unity Blender TeXstudio
1.24.0 2017 2017.30f3 2.7.6 2.10.8
Fuente: Elaboraci´ on propia.
11. 11.1.
FACTIBILIDAD DEL PROYECTO ´ FACTIBILIDAD TECNICA
Las herramientas necesarias para el desarrollo e implementaci´on de la presente investigaci´on son financiadas por el autor. Las herramientas software descritas en la tabla 8 son open source. En conclusi´ on, t´ecnicamente es factible el desarrollo e implementaci´on, dado que las herramientas de hardware y software est´an al alcance.
P´ag. 18/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.2.
FACTIBILIDAD OPERATIVA
La investigaci´ on plantea varios desaf´ıos en el desarrollo e implantaci´on de la misma, sin embargo da lugar a un nuevo paradigma de desarrollo de aplicaciones en un entorno de realidad mixta, mejorando el aprendizaje e interacci´on hombre robot o m´aquina de los s, simplificando controles manuales por interfaces de realidad aumentada facilitando el control de veh´ıculos a´ereos no tripulados UAV.
11.3.
´ FACTIBILIDAD ECONOMICA
Los gastos estar´ an a cargo del investigador. Tabla 9 An´ alisis Econ´ omico. Descripci´on Servicios B´ asicos Papeler´ıa e Impresiones Transporte Licencias de Software PC HoloLens Drone Hora de Desarrollo e Implementaci´ on TOTAL
Costo 120.00 100.00 80.00 0.00 1200.00 3000.00 650.00 4200 9350.00
Fuente: Elaboraci´ on propia.
11.4.
TEMARIO
´ Cap´ıtulo I: INTRODUCCION 1.1 Planteamiento del problema 1.2 Antecedentes 1.3 Justificaci´ on 1.4 Objetivos 1.4.1 Objetivo General 1.4.2 Objetivos Espec´ıficos 1.5 Alcance Cap´ıtulo II: ESTADO DEL ARTE 2.1 Introducci´ on 2.2 Realidad Aumentada 2.2.1 Antecedentes 2.2.2 Caracter´ısticas 2.2.3 Frameworks de Desarrollo de realidad Aumentada 2.3 Microsoft HoloLens 2.3.1 Antecedentes 2.3.2 Caracter´ısticas P´ag. 19/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
2.3.3 Implementaciones realizadas 2.4 Veh´ıculos a´ereos no tripulados 2.1.1 Antecedentes 2.1.2 Caracter´ısticas 2.1.4 Arquitectura 2.5 Proyectos Relacionados Cap´ıtulo III: ARQUITECTURA DE SOFTWARE 3.1 An´ alisis de dispositivos 3.2 Sistemas operativos 3.3 Plataformas y tecnolog´ıas de control 3.4 Tecnol´ ogicas de desarrollo de software “Real-Time” 3.5 Dise˜ no de la arquitectura 3.6 Implementaci´ on de la arquitectura ´ Cap´ıtulo IV: INTERFAZ GRAFICA DE REALIDAD MIXTA 4.1 Arquitectura de Microsoft HoloLens 4.2 Entorno de desarrollo Microsoft HoloLens 4.2.1 Plataforma de Desarrollo de Videojuegos Unity 4.2.2 Frameworks de realidad aumentada 4.2.3 Paquetes y librerias adicionales 4.3 Integraci´ on a la arquitectura de control 4.4 Despliegue e implementaci´ on en el dispositivo 4.5 Pruebas de funcionamiento 4.6 An´ alisis de resultados ´ Cap´ıtulo V: EVALUACION 5.1 Instrumento cuestionario “USE” 5.2 Selecci´ on de s 5.3 Implementacion del cuestionario 5.4 An´ alisis de resultados CONCLUSIONES Y RECOMENDACIONES TRABAJOS FUTUROS
P´ag. 20/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
11.5.
CRONOGRAMA
Figura 9. Cronograma del proyencto
Figura 10. Tareas del proyencto
P´ag. 21/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
12.
BIBLIOGRAF´IA PRELIMINAR
Referencias Ai, Z., Livingston, M. A., y Moskowitz, I. S. (2016). Real-time unmanned aerial vehicle 3d environment exploration in a mixed reality environment. En Unmanned aircraft systems (icuas), 2016 international conference on (pp. 664–670). Amorim, J. A., Matos, C., Cuperschmid, A. R., Gustavsson, P. M., y Pozzer, C. T. (2013). Augmented reality and mixed reality technologies: Enhancing training and mission preparation with simulations. En Nato modelling and simulation group (msg) annual conference 2013 (msg-111), 2013. Budgen, D., y Brereton, P. (2006). Performing systematic literature reviews in software engineering. En Proceedings of the 28th international conference on software engineering (pp. 1051–1052). Das, A. N., Doelling, K., Lundberg, C., Sevil, H. E., y Lewis, F. (2017). A mixed reality based hybrid swarm control architecture for manned-unmanned teaming (mum-t). En Asme 2017 international mechanical engineering congress and exposition (pp. V014T07A019– V014T07A019). Gartner. (2017). Top trends in the gartner hype cycle for emerging technologies, 2017. Herrmann, R., y Schmidt, L. (2018). Design and evaluation of a natural interface for piloting an unmanned aerial vehicle. i-com, 17 (1), 15–24. Hoenig, W., Milanes, C., Scaria, L., Phan, T., Bolas, M., y Ayanian, N. (2015). Mixed reality for robotics. En Intelligent robots and systems (iros), 2015 ieee/rsj international conference on (pp. 5382–5387). Javornik, A. (2016). Augmented reality: Research agenda for studying the impact of its media characteristics on consumer behaviour. Journal of Retailing and Consumer Services, 30 , 252–261. Kalantari, M., y Rauschnabel, P. (2018). Exploring the early adopters of augmented reality smart glasses: The case of microsoft hololens. En Augmented reality and virtual reality (pp. 229–245). Springer. Karasinski, J. A., Joyce, R., Carroll, C., Gale, J., y Hillenius, S. (2017). An augmented reality/internet of things prototype for just-in-time astronaut training. En International conference on virtual, augmented and mixed reality (pp. 248–260). Kot, T., Nov´ ak, P., y Babjak, J. (2017). Application of augmented reality in mobile robot teleoperation. En International conference on modelling and simulation for autonomous systems (pp. 223–236). Leue, M. C., Jung, T., y tom Dieck, D. (2015). Google glass augmented reality: Generic learning outcomes for art galleries. En Information and communication technologies in tourism 2015 (pp. 463–476). Springer. Li, N., Cartwright, S., Shekhar Nittala, A., Sharlin, E., y Costa Sousa, M. (2015). Flying frustum: A spatial interface for enhancing human-uav awareness. En Proceedings of the 3rd international conference on human-agent interaction (pp. 27–31). Lund, A. M. (2001). Measuring usability with the use questionnaire12. Usability interface, 8 (2), 3–6. Milgram, P., Drascic, D., Grodski, J. J., Restogi, A., Zhai, S., y Zhou, C. (1995). Merging real and virtual worlds. En Proceedings of imagina (Vol. 95, pp. 218–230). Naumann, J. D., y Jenkins, A. M. (1982). Prototyping: the new paradigm for systems development. Mis Quarterly, 29–44. Petersen, K., Feldt, R., Mujtaba, S., y Mattsson, M. (2008). Systematic mapping studies in software engineering. En Ease (Vol. 8, pp. 68–77).
P´ag. 22/23
Departamento de Ciencias de la Computaci´ on Carrera de Tecnolog´ıas de la Informaci´ on (Sistemas e Inform´ atica)
Rauschnabel, P. A., y Ro, Y. K. (2016). Augmented reality smart glasses: An investigation of technology acceptance drivers. International Journal of Technology Marketing, 11 (2), 123–148. S´ebastien, T., Arles, F., SERENA-ALLIER, D., Arlaten, M., SALVETAT, C., y LACOTTE, F. (s.f.). Flying a drone in a museum. Taylor, G. (2017). Natural, multi-modal interfaces for unmanned systems. En International conference on engineering psychology and cognitive ergonomics (pp. 145–158). Tripp, S. D., y Bichelmeyer, B. (1990). Rapid prototyping: An alternative instructional design strategy. Educational Technology Research and Development, 38 (1), 31–44.
P´ag. 23/23
Related Documents 3h463d
Perfil Espe Luis Espin Velasco 28576f
June 2022 0
Luis Alfredo Garavito Perfil Psicologico 6w4b2c
December 2022 0
Caratula Espe 3n1s32
September 2020 0
Espe Ing Civil c1dn
November 2019 39
Historia De La Espe 4265
September 2020 0
Historia De La Espe 4265
September 2020 0More Documents from "Luis Espin" 4w504j
Perfil Espe Luis Espin Velasco 28576f
June 2022 0
Anestesia En Trauma 44q44
June 2022 0
Tesis De Ropa 6h674z
July 2022 0
Como Descargar Datos De Gps Garmin 6n2r1g
April 2021 0
Banco De Preguntas De Mantenimiento Industrial I (mtodos De Trabajo Y Deteccin De Fallas) 4m115r
December 2019 91