Analyse, Interprétation et Reconnaissance de Gestes 2D (tactile) et 3D pour de nouvelles interactions homme-machine (AIR)

Description

Analyse, interprétation et reconnaissance des gestes 2D (touch) et 3D pour de nouvelles interactionshomme-machine Avec le développement des écrans tactiles et des technologies de capture de mouvement, de nouvelles interactions homme-machine sont apparues ces dernières années. De nouvelles méthodes d'interaction ont été conçues pour tirer parti du potentiel d'interaction offert par la reconnaissance de gestes 2D et 3D. Ces commandes gestuelles permettent à l'utilisateur d'exécuter de nombreuses actions simplement en faisant des gestes. Aujourd’hui, la reconnaissance de commandes gestuelles 2D et 3D est devenue un sujet de recherche très actif dans les domaines scientifiques suivants : Computer Vision, Pattern Recognition et Man-Machine Interaction.
Dans ce cours, nous abordons ce thème scientifique émergeant: l'analyse, l'interprétation et la reconnaissance des gestes 2D et 3D pour de nouvelles interactions homme-machine. Techniquement, une action est une séquence de gestes générée par un sujet humain pendant l'exécution d'une tâche. La reconnaissance d'action consiste à identifier automatiquement cette séquence de mouvement par rapport à un ensemble de commandes possibles. Ce cours exposera les spécificités des processus de reconnaissance de ces deux types d'actions (gestes 2D et 3D) mais aussi les convergences possibles des approches scientifiques utilisées. Nous voulons également aborder dans ce cours les notions de conception centrée utilisateur, les besoins utilisateurs, l'acceptabilité et les tests utilisateurs pour illustrer l'importance de considérer l'utilisateur lorsque nous développons de telles interactions homme-machine.

Mots-clés

Geste 2D, Geste 3D, classification, Reconnaissance, Analyse, Interaction Homme-Machine, Computer Vision, Pattern Recognition, Man-Machine Interaction

Prérequis

Aucun

Contenu

Acquisition de signaux, prétraitement et normalisation
  • Acquisition de signaux sur écran tactile, orienté stylet et sur surface tangible qui permettent la participation simultanée de plusieurs utilisateurs.
  • Systèmes de capture de mouvement (MoCap) pour extraire des postures corporelles basées sur des positions et des orientations articulaires 3D en utilisant des marqueurs et un ensemble de caméras haute précision.
  • Microsoft Kinect ou Capteur Leap Motion.
  • Prétraitement et normalisation morphologique.
  • Modélisation du squelette humain.Extraction de caractéristiques et espace de représentation
  • Extraction de caractéristiques 2D et 3D ;
  • Modélisation des relations temporelles, spatiales et de mouvement.Approches pour la reconnaissance d'actions en 2D et 3D
  • Reconnaissance à la volée et a posteriori
  • Reconnaissance de geste basée sur le squelette
  • Moteurs de reconnaissance et d'apprentissage automatique:
    • Graph modelling, matching and embedding algorithm
    • Dynamic Time Warping (DTW)
    • Hidden Markov Model (HMM)
    • Support Vector Machine (SVM)
    • Neural Network (NN)
    • Reject Option…
Segmentation et détection d'actions 2D et 3D
  • Commandes directes et indirectes
  • Détection précoce d'une action dans un flux de mouvement non segmenté.
  • Méthodes de segmentation temporelle, fenêtres glissantes...
Conception centrée utilisateur (CCU- ISO 9241-210) et protocole de tests
  • La conception centrée utilisateur vise à rendre les systèmes utilisables en mettant l'accent sur les utilisateurs, leurs besoins et leurs exigences, et en appliquant les facteurs humains, l'ergonomie et les connaissances et techniques d'utilisabilité.
  • Protocole de test
  • Méthodes d'évaluationExemple et démonstration

Compétences acquises

Vision complète d'une chaîne de traitement depuis l'acquisition des signaux, prétraitement, classification, interprétation et feedback utilisateur. Lien entre les problématiques de reconnaissance de formes et l'interaction homme-machine. Lien entre les approches de reconnaissance de gestes 2D et 3D.

Enseignants

Eric Anquetil (responsable), Richard Kulpa, Nathalie Girard