Intitulée : " Création des jumeaux numériques basée sur la vision par ordinateur pour les systèmes de production: de la perception industrielle à la simulation et l’aide à la décision" Vision-based Digital Twins for manufacturing Systems: From Industrial visual perception to simulation and decision support
Direction de thèse :
Les membres du jury :
Invitée:
Résumé :
La transformation numérique de l’industrie manufacturière repose de plus en plus sur la capacité à surveiller les systèmes de production et à exploiter les informations issues de l’atelier pour soutenir la prise de décision opérationnelle. Les jumeaux numériques (JN) offrent un cadre permettant de connecter les systèmes de production physiques à leurs représentations virtuelles ; leur efficacité dépend toutefois de la disponibilité de données de production fiables et actualisées. Dans les environnements d’assemblage, les informations pertinentes ne sont pas toujours directement accessibles à partir des machines ou des systèmes d’information conventionnels. Par ailleurs, l’intégration de la vision par ordinateur aux jumeaux numériques reste confrontée à plusieurs défis, notamment la disponibilité limitée de données industrielles, les écarts entre les domaines des données synthétiques et réelles et la transformation des prédictions visuelles en informations de production exploitables. Cette thèse répond à ces problématiques en développant une approche de jumeau numérique basée sur la vision par ordinateur pour la surveillance, la simulation et l’aide à la décision dans les systèmes de production, appliquée à un cas d’étude d’assemblage d’une hydrolienne. Une méthodologie de données mixtes, combinant des images synthétiques, des acquisitions réelles contrôlées (montage cobotique) et des images spontanées issues des conditions réelles de production, est proposée afin de répondre à la rareté des données et de permettre le développement d’une chaîne de détection d’objets basée sur YOLO-World. Les détections obtenues sont ensuite traitées afin d’extraire des informations de production, notamment les quantités de composants, les états d’assemblage et les informations relatives aux temps de cycle. Ces états de production sont ensuite communiqués via OPC UA et intégrés dans un modèle de simulation à événements discrets représentant le système d’assemblage, ses ressources et ses flux de production. La simulation permet d’évaluer différentes configurations de production à travers des indicateurs de performance et des analyses de scénarios. Le résultat principal de cette thèse est une chaîne complète, de la vision au jumeau numérique, accompagnée d’une application web dédiée à la surveillance visuelle, à l’extraction des états de production et à leur transmission au modèle de simulation, permettant ainsi l’analyse par simulation et l’aide à la décision. L’approche proposée démontre ainsi comment la vision par ordinateur peut constituer une source d’informations issues de l’atelier pour les jumeaux numériques industriels et contribuer à établir le lien entre les états observés du système de production physique et leur représentation virtuelle.
Mots-clés : Jumeau numérique; Vision par ordinateur; Système de production; YOLO; Détection d'objets
Abstract:
The digital transformation of manufacturing increasingly relies on the ability to monitor production systems and exploit shop-floor information for operational decision-making. Digital Twins (DTs) provide a framework for connecting physical manufacturing systems with their virtual representations; however, their effectiveness depends on the availability of reliable and up-to-date production data. In assembly environments, relevant information is not always directly accessible from machines or conventional information systems, while the integration of computer vision into DTs remains challenged by limited industrial datasets, domain differences, and the transformation of visual predictions into meaningful production information. This thesis addresses these challenges by developing a vision-based Digital Twin approach for manufacturing monitoring, simulation, and decision support, demonstrated through a tidal turbine assembly case study. A mixed-data methodology combining synthetic, controlled real, and spontaneous images is used to address data scarcity and support the development of an object detection pipeline based on YOLO-World. The resulting detections are spatially and temporally processed to derive production information, including component quantities, assembly states, and cycle-related information. These production states are then communicated through OPC UA and integrated into a discrete-event simulation model representing the assembly system, its resources, and production flows. The simulation enables the evaluation of alternative production configurations through performance indicators and what-if analysis. The main outcome of this thesis is an end-to-end vision-to-Digital-Twin pipeline, supported by a web application for visual monitoring, production-state extraction, and communication with the simulation model, enabling simulation-based analysis and decision support. The proposed approach demonstrates how computer vision can provide a source of shop-floor information for manufacturing Digital Twins and support the connection between observed physical production states and their virtual representation.
Keywords: Digital Twin; Computer Vision; Manufacturing System; YOLO; Object Detection.