Environnement de réalité virtuelle pour l'optimisation de mouvement avec dispositifs haptiques. Application à la simulation des opérations d’Assemblage / Désassemblage par la reconnaissance des gestes manuels

Directeur(s) de thèse : Peter MITROUCHEV (MCF-HDR, SIREP), prof. LU Lixin (Université de Shanghai, Chine), Dr. ZU Houchao (ShangHai Chingmu Visio Company, Chine)
Ecole doctorale : I-MEP2
Date de début  (souhaitée) : 01.10.2018
Financements envisagés – Contexte – Partenaires éventuels : Contrat doctoral. Demande I-MEP2 allocation MESR (Ministère de l'Enseignement Supérieure et de la Recherche) pour 3 ans.

Contexte : Le sujet proposé s’inscrit dans l’une des thématiques principales de recherche du DC SIREP du Laboratoire G-SCOP (http://www.g-scop.grenoble-inp.fr/), relatif à la modélisation, la simulation et l’optimisation des opérations de désassemblage. Il fait suite aux travaux déjà réalisés relatifs à l’identification des contacts et à la génération de trajectoires de désassemblage ainsi que sur l’Optimisation dans la génération de séquences de désassemblage et leur intégration dans un environnement de Réalité Virtuelle.

ailleurs, il s’insère dans une thématique commune de recherche, dans le cadre d’une collaboration, entamée il y a sept ans, avec Shanghai Key Laboratory of Mechanical Automation and Robotics de l’Université de Shanghai, Chine.

Introduction/Contexte : Les plates-formes existantes de simulation des opérations d’Assemblage/Désassemblage (A/D) avec reconnaissance de gestes manuels sont souvent mal intégrées dans le processus de développement de produits (PDP). Certaines approches pour la modélisation de Désassemblage ont été proposées, mais elles ne permettent pas de les valider, car elles ne tiennent pas compte de l'état physiologique de l'opérateur (postures, efforts). Cette dernière décennie la technologie en réalité virtuelle (VR) a considérablement évolué et est devenue de plus en plus sophistiquée. Maintenant, elle combine plusieurs interfaces homme - ordinateur (human – computer interfaces HCI) afin de procurer des sensations visuelles, auditives et tactiles notamment, ce qui permet aux utilisateurs de s'immerger dans une plate-forme générée par l’ordinateur. L’interaction muscle-ordinateur (Muscle-computer interaction muCI), par exemple, représente un outil utile pour appréhender les mouvements de la main avec une reconnaissance des gestes en particulier pour identifier les doigts concernés et le niveau d'épuisement lors de la préhension. Intégrer une telle technique dans HCI afin d’améliorer la plate-forme d'immersion en VR représente un réel défi scientifique pour la recherche aujourd’hui.

Défis scientifiques: Les plates-formes actuelles de simulations n'offrent pas les informations suffisantes pour la simulation complète des opérations d’A/D, y compris la gestion des données opérateur/humain basées sur des données physiologiques (signal-ElectroMyoGraphie EMG). Afin d'améliorer la qualité d'un environnement de simulation d’A/D temps réel, le sujet de recherche proposé se concentre sur deux éléments: une meilleure intégration des dispositifs haptiques et l'évaluation de la mobilité, y compris des données physiologiques sur l'état musculo-squelettique de l’opérateur. Ce dernier doit être en mesure de générer la mobilité d'un composant à partir d'un ensemble, par rapport à son environnement, et les capacités de ses muscles. En conséquence, on obtient un accès plus transparent aux composants dans l'environnement de simulation. De nos jours, les environnements de RV ont considérablement évolué vers la simulation des opérations d’A/D, mettant en évidence de nouvelles exigences pour les phases de préparation, de leur intégration et de leur optimisation. Beaucoup de ces plates-formes utilisent des dispositifs haptiques avec retour d’effort et font apparaître des difficultés lors de la simulation des opérations d'insertion / extraction réalisées par un humain.

Objectifs: Dans ce contexte, l'objectif principal du sujet de recherche proposé est d’intégrer des données physiologiques aux dispositifs haptiques afin d'améliorer la simulation des opérations d’A/D dans un environnement de RV. À cette fin, de tests avec un dispositif haptique à 6 degrés de liberté (ddl) (plate-forme GI-NOVA, AIP Grenoble) seront exécutés tout en intégrant les données EMG nécessaires. Ainsi, l'objectif est: i). de fournir une technologie robuste d’acquisition associée à un traitement approprié du signal EMG (électromyographie), basée sur l'utilisation de réseaux de capteurs EMG (localisation et nombre optimal d'électrodes) ou de nouvelle technologies comme MYO par exemple afin d'améliorer le temps de retard des gestes de la main. ii). de proposer un module de mobilité capable de modéliser les relations de contact entre les composants élémentaires d'un produit et de déterminer les mobilités relatives des composants dans un assemblage. Un modèle dont l'état physiologique de l'opérateur, y compris la quantification de la fatigue musculaire par exemple, pour la planification, la simulation et l’optimisation des opérations d’A/D sera également proposé. Il sera validé par son intégration dans un environnement contraint virtuel permettant la simulation des opérations d’A/D dans le cadre de l'environnement informatique existant, ainsi que son intégration dans le PDP. Les principales questions abordées dans cette proposition sont: i). améliorer l’efficacité des tests de simulation des opérations d’A /D avec un dispositif haptique 6 ddl, ii). introduire muCI comme données supplémentaires dans une simulation d’A/D, iii). évaluer la possibilité de mettre en œuvre un module de simulation des opérations d’A/D dans un environnement de RV temps réel; iv). interagir naturellement avec le monde augmenté par la modélisation et la simulation du mouvement humain.

Contact(s) :

Peter MITROUCHEV (G-SCOP), MCF-HDR 

'04 76 57 47 00, Fax : 04 76 57 46 96, peter.mitrouchev@grenoble-inp.fr