Mixed VR/AR approach, coupled with the digital twin concept, as a support for collaborative remote maintenance operations : application to technical building equipment
Approche mixte RV/RA, couplée au concept de jumeau numérique, comme support d’opérations de maintenance collaborative à distance : application aux équipements techniques de bâtiment
Résumé
Technological advances in Industry 4.0 have paved the way for new methodologies and technologies, including digital twins (DT) and extended reality (XR) tools. While these innovations are already widely exploited in industrial maintenance, their potential in the construction sector remains to be demonstrated. They promise to help decision-making by providing access to specific information, via XR, during maintenance operations, and by enabling behavioral simulations thanks to the DT. However, the growing complexity of installations, combined with the need to call on external expertise during maintenance operations, calls for a rethinking of remote assistance methods, particularly in the light of environmental and health concerns. To explore these challenges, our research work, based on an in-depth review of scientific and technological literature, focuses on exploiting these technologies to improve maintenance procedures. Firstly, a literature review explored how XR tools and digital twins can enrich the information used during maintenance operations. This analysis highlights the value of leveraging BIM (Building Information Modeling) data to create a digital twin, as well as the improvements XR tools bring to the visualization of this data. In addition, a study of existing collaboration solutions revealed the requirements and constraints inherent in collaborative work between a field operation and a remote expert, such as the need for common work environment and difficulties in synchronizing exchanges. In a second phase of our research, based on these findings, we developed an architecture to enhance collaboration during inspections between an on-site operator and a remote expert, using the visualization capabilites of XR tools and data from the system’s digital twin. This led to the creation of the DT-RAMCoRE solution, enabling Information to be shared via indirect manipulation of the system’s digital twin usingthe RAMCoRE method. Aware of the diversity of XR devices and the rapid evolution of the technology, we designed this solution with the aim of ensuring its durability and interoperability between the different media available, thanks to the OpenXR standard. By analyzing a case study, we have demonstrated that using the DT-RAMCoREsolution during a collaborative inspection helps the operator to understand the information transmitted by an expert more quickly than with a conventional approach based on a video call, while reducing errors linked to the identification of system components. In conclusion, we formulate recommendations for optimizing the information provided to collaborative users. Finally, we have developed a simulation concept, a key component of the DT, to provide the field operator and the remote expert with advanced analysis tools to facilitate inspection work. As a perspective to this work, we present a methodology for exploiting DT simulation models via XR tools.
Les avancées technologiques de l’Industrie 4.0 ont ouvert la voie à la mise en place de nouvelles méthodologies et technologies, notamment les jumeaux numériques (DT) et les outils de réalité étendue (XR). Bien que ces innovations soient déjà largement exploitées dans la maintenance industrielle, leur potentiel reste à démontrer dans le secteur de la construction. Elles promettent d’aider à la prise de décision en donnant accès à des informations spécifiques, via la XR, lors d’opérations de maintenance et en permettant des simulations de comportement grâce au DT. Cependant, la complexité croissante des installations, associée à l’impératif de recourir à une expertise externe lors des opérations de maintenance, appelle à repenser les méthodes d’assistance à distance, en particulier à la lumière des préoccupations environnementales et sanitaires. Pour répondre à ces enjeux, nos travaux de recherche basés sur un état de l’art approfondi de la littérature scientifique et technologique, se concentrent sur l’exploitation de ces technologies pour améliorer les procédures de maintenance. Tout d’abord, une revue de littérature a permis d’évaluer comment les outils XR et les jumeaux numériques peuvent enrichir les informations utilisées lors des opérations de maintenance. Cette analyse souligne l’intérêt de tirer parti des données du BIM (Building Information Modeling) pour créer un jumeau numérique, ainsi que les améliorations apportées à la visualisation de ces données par les outils XR. De plus, une étude des solutions de collaboration existantes a révélé les exigences et les contraintes inhérentes au travail collaboratif entre un opérateur sur le terrain et un expert distant, telles que la nécessité d’un environnement de travail commun et les difficultés de synchronisation des échanges. Dans une deuxième phase de notre recherche, en nous appuyant sur ces constats, nous avons développé une architecture permettant d’améliorer la collaboration lors des inspections entre un opérateur sur site et un expert à distance, en utilisant les capacités de visualisation des outils XR et les données du jumeau numérique de l’installation. Cette démarche a abouti à la création de la solution DT-RAMCoRE, permettant le partage d’informations via la manipulation indirecte du jumeau numérique de l’installation par la méthode RAMCoRE. Conscients de la diversité des dispositifs XR et de l’évolution rapide de la technologie, nous avons conçu cette solution avec l’objectif d’assurer sa pérennité et son interopérabilité entre les différents supports disponibles, grâce à la norme OpenXR. En analysant une étude de cas, nous avons démontré que l’utilisation de la solution DT-RAMCoRE lors d’une inspection collaborative permet à l’opérateur de comprendre plus rapidement les informations transmises par un expert par rapport à une approche classique basée sur un appel vidéo, tout en réduisant les erreurs liées à l’identification des composants de l’installation. En conclusion, nous formulons des recommandations pour optimiser les informations fournies aux acteurs de la collaboration. Enfin, nous avons développé un concept de simulation, composant du DT, permettant de fournir à l’opérateur sur le terrain et l’expert à distance des outils d’analyses avancées facilitant le travail d’inspection. En perspectives à ces travaux, nous présentons une méthodologie pour exploiter les modèles de simulation du DT via les outils de XR.
Origine | Version validée par le jury (STAR) |
---|