Thèmes de recherche - détails





Images et modèles pour le guidage d’intervention par vidéo-thoracoscopie

Projet Thèse dans le cadre du labex CAMI (2016-2019). Collaboration : TIMC, IMAG, Université Grenoble-Alpes . Force vive : Pablo Alvarez (Thèse, tel-03104312), Simon Rouzé MD (Thèse, tel-03694901), Yohan Payan, Matthieu Chabanas (co-encadrants TIMC).

Projet ANR VATSop (2020-2024). Collaboration : TIMC, IMAG, Université Grenoble-Alpes, MIMESIS, INRIA Strasbourg . Force vive : Pablo Alvarez (Post-Doc, Grenoble), Simon Rouzé MD, Valentin Boussot (Master et Thèse), Miguel Castro (ing.), Tang Hui, Chen Qingmei (Master, SEU Nanjing),  Rebecca Coercio (Master, CEFTG-MG, Brésil)

L'objectif est la localisation per-opératoire de nodules pulmonaires en vidéo-thoracoscopie (VATS). L’idée générale de notre approche est de :
1) Estimer la position du nodule en modélisant la déformation du poumon  subie lors de l'opération. Pour cela, nous connaissont la position du nodule  dans le poumon grace au scanner préopératoire de diagnostic. Nous connaissons également la forme du poumon durant l'intervention grace à un CBCT per-opératoire. L'idée est de coupler et d’intégrer un modèle biomécanique du poumon à la chaîne de traitements d’images nécessaire au guidage afin de simuler les déformations du poumon et reprojeté la position du nodule sur le CBCT interventionnel.
2) Faire de la réalité augmentée en reprojetant sur la vue endoscopique la position du nodule estimée dans le CBCT.

projet VATSup
Localisation du nodule sur image per-opératoire. Procédure VATS entraînant un pneumothorax. Localisation de la tumeur dans le poumon deflaté à l'aide d'un CBCT

Rouzé S., Alvarez P., Delatour B., Flécher E., Dillenseger J.-L., Verhoye J.-P., “Localisation de nodules pulmonaires en réalité augmentée grâce au Cone Beam Computed Tomography (CBCT) en vidéo-thoracoscopie”, Bulletin de l’Académie Nationale de Médecine, 202, 8-9, 2018, pp. 1897-1908, doi: 10.1016/S0001-4079(19)30183-9.
Alvarez P., Rouzé S., Miga M., Payan Y., Dillenseger J.-L., Chabanas M., “A hybrid, image-based and biomechanics-based registration approach to markerless intraoperative nodule localization during video-assisted thoracoscopic surgery”, Medical Image Analysis, 2021, pp. 101983, doi: 10.1016/j.media.2021.101983


Estimation des déformations du poumon entre décubitus dorsal et latéral

Le volume préopératoire est acquis en CT en décubitus dorsal et le volume peroperatoire est acquis en CBCT en décubitus latéral. L'idée est d'analyser et d'estimer les déformations entre ces deux modalités à l'aide de techniques de recalage élastique (Pablo Alvarez, Grenoble). Dans un second temps, nous cherchons a prédire ces déformation par un modèle statistique (Valentin Boussot, Rennes).

VATS position laterale
À gauche : volume CT acquis en décubitus dorsal ; À droite : volume CBCT acquis en décubitus latéral ; Au milieu : recalage rigide entre les deux volumes

Alvarez P., Chabanas M., Rouzé S., Castro M., Payan Y., Dillenseger J.-L., “Lung deformation between preoperative CT and intraoperative CBCT for Thoracoscopic Surgery: a case study”, SPIE Medical Imaging: Image-Guided Procedures, Robotic Interventions, and Modeling, Houston, 2018, pp.S45-S46, doi: 10.1117/12.229393
Alvarez P., Chabanas M., Sikora S., Rouzé S., Payan Y., Dillenseger J.-L., “Measurement and analysis of lobar lung deformation after a change of patient position during video-assisted thoracoscopic surgery”, IEEE Transactions on Biomedical Engineering, 2022, doi: 10.1109/tbme.2022.3205458.
Boussot V., Dillenseger, J.-L., “Modèle statistique pour la prédiction de la déformation du poumon pendant la chirurgie thoracique vidéo-assistée“, RITS 2022, Brest, 2022
Boussot V., Dillenseger J.-L., “Statistical model for the prediction of lung deformation during video-assisted thoracoscopic surgery”, SPIE Medical Imaging, Image-Guided Procedures, Robotic Interventions, and Modeling, SPIE vol. 12466, San Diego, 2023, doi: 10.1117/12.2646983.


Modélisation biomécanique de la déflation (collaboration Grenoble, Rennes)

En partant du modèle précédent, l'idée est de développer un modèle biomécanique simulant la déflation dûe au pneumothorax. Durant la thèse en codirection entre Grenoble et Rennes, nous avons opté pour un modèle biomécanique avec loi biphasique afin de prendre en compte la sortie de l'air lors du pneumothorax.

VATS modèle biomécanique
Maillage du poumon et modélisation de la déflation

Alvarez P., Rouzé S., Chabanas M., Castro M., Payan Y., Dillenseger J.-L., “Modeling lung deflation during video-assisted thoracoscopy surgery for the localization of small nodules", EUROMECH Colloquium 595: Biomechanics and computer assisted surgery meets medical reality, Villeneuve d’Asq, 2017
Alvarez P., Rouzé S., Chabanas M., Castro M., Payan Y., Dillenseger J.-L., “A biomechanical model of lung deflation during VATS for the localization of small nodules”, Surgetica, Strasbourg, 2017.
Alvarez P., Narasimhan S. Rouzé S., Dillenseger J.-L., Payan Y., Miga M., Chabanas M., “Biphasic model of lung deformations for Video-Assisted Thoracoscopic Surgery (VATS)”, IEEE ISBI 2019, Venise, 2019, pp 1367-1371, doi: 10.1109/ISBI.2019.8759219.

Réalité augmentée (Collaboration Grenoble, Rennes)

L'objectif est de  reprojeter  la position du nodule estimée sur le CBCT interventionnel sur la vue de la caméra endoscopique. Cette partie est essentiellement menée par nos collaborateurs de Grenoble (S. Voros, B. Noblet). Notre rôle était de proposer une calibration classique d'un endoscope 3D basée sur des grilles CharUco. et de proposer une segmentation automatique de structures anatomiques (côtes) ou chirurgicales  (Alexis) communs au CBCT et à la vue endoscopique.






Détection de chutes par vision stéréoscopique thermique basse résolution ou par images de profondeur/caméra thermique

Projet  ANR TecSan PRuDENCE (2016-2020). Collaboration : NeoTec Vision (Pacé), ECAM Rennes - Louis de Broglie (Bruz), Living Lab Activ Ageing UTT (Troyes), équipe accueil EA 2694 (Lille). Force vive : Yannick Zoetgnandé (Thèse, tel-03118117), Imen Halima (Thèse à l'ECAM Rennes, tel-03212630), Soumaya Msaad (Thèse  dirigée par Guy Carrault,  tel-03815836), Abderamane Abakar Bechir (Master), Mathis Fleury, Cédric Moubri-Tournès, Oscar Tanguille (Stagiaires ESIR).

L'objectif est de détecter la chute et à estimer l'activté de personnes agées à l'aide soit d'une paire de caméras thermiques basse résolution ou du couplage d'un capteur de profondeur et d'une caméra thermique .

Images Profondeur et Thermique
Image de profondeur (gauche) et image thermique (droite)

Lan Hing Ting K., Voilmy D., Dessinger G., Gauthier V., Dillenseger J-L., Carrault G., Laferté J-M., Fougères A-J., “Co-designing a falls detection device: combining concerns for human motion and elders needs”, Workshop Visual user interfaces for human motion, ACM AVI 2020, 2020.
Lan Hing Ting K., Voilmy D., Dessinger G., Gauthier V., Dillenseger J-L., Carrault G., Laferté J-M., Fougères A-J., “Causes et conséquences de la chute : les comprendre pour informer la conception d’un dispositif de prévention”, Colloque francophone sur la chute de la personne âgée, Valenciennes, 2021.


Tracking de personnes et reconnaissance d'activités par couplage d'un capteur de profondeur et d'une caméra thermique

L'approche qui a été étudié est le tracking de personnes sur une paire d'images (capteur de profondeur/image thermique) par filtre particulaire ou apprentissage profond (Imen Halima).

Particle filter tracking
Filtre particulaire et deux résultats de tracking en utilisant une fusion d'informations provenant de la caméra de profondeur et de la caméra thermique

Halima I., Laferté J.-M., Dillenseger J.-L., Cormier G., Fougères A.-J., "Sensors fusion for head tracking using Particle filter in a context of falls detection”, 1st International Conference on Advances in Signal Processing and Artificial Intelligence (ASPAI' 2019), Barcelona, 2019,pp. 134-139.
Halima I., Laferté J.-M., Cormier G., Fougères A.-J., Dillenseger J.-L., “ Depth and thermal information fusion for head tracking using particle filter in a fall detection context”, Integrated Computer-Aided Engineering, 27, 2, 2020, pp. 195-208, doi: 10.3233/ICA-190615


Nous avons également abordé le suivi d'activité par deep learning. Pour cela nous avons créé une base d'apprentissage d'activités  sur 3 sites différents (une pièce vide, un appartement dans un living lab et un apparteement réel) avec 3 personnes différentes. Nous avons entraîné un résau SSD à estimer 4 postures  (assis, debout, allongé sur le lit et allongé par terre) (Imen Halima).

Reconaissance d'activités
Reconnaissance d'activité à partir d'images thermiques et de profondeur

Halima I., "Suivi de l’activité d’une personne à partir de capteurs multi-modalités préservant l’anonymat dans un cadre de détection et prévention des chutes chez les personnes âgées", Manuscrit de Thèse

Détection de chute par vision stéréoscopique d'images thermiques basse résolution

Calibration et reconstruction stéréoscopique de capteurs thermiques
Les capteurs thermiques choisis (Lepton 2 de FLIR) ; sont de faible prix mais également de très faible résolution (80x60 pixels). Nous avons construit une grille de calibration adaptés aux caméras thermiques à l’aide d’ampoules de voiture (Mathis Fleury, Cédric Moubri-Tournès, Oscar Tanguille). Nous avons également développé un protocole de calibration stéréo robuste pour notre type de caméra de très faible résolution (Yannick Zoetgnandé).
Le contenu de l'image et la faible résolution des capteurs a également un impact sur la reconstruction de la scene par vision stéréoscopique. Nous avons dévellopé un protocole de reconstruction basé sur l'extraction robuste d'indices visuels par congruence de phase, de mise en correspondance de ces indices et d'estimation de la disparité entre ces indices avec une précision sous-pixel par cohérence de phase (Yannick Zoetgnandé).

Thermal stereo calibration
Grille de calibration et vue d'une des caméras thermiques

Zoetgnandé Y., Fougères A.-J., Cormier G., Dillenseger J.-L., “Robust low resolution thermal stereo camera calibration”, 11th International Conference on Machine Vision (ICMV 2018), proc. SPIE 11041, Munich, 2018, pp. 11041-1D, doi: 10.1117/12.2523440 .
Zoetgnandé Y., Fougères A.-J., Cormier G., Dillenseger J.-L., “Sub-pixel matching method for low resolution thermal stereo images”, Infrared Physics and Technology, 105, 2020, pp. 103161, doi: 10.1016/j.infrared.2019.103161.

Super-résolution de capteurs thermiques
L'objectif est d'augmenter la résolution des images thermique (80x60) par un facteur 3 ou 4. naous avons utilisé une approche basée sur les réseaux de neurones convolutionnels avec une saillance sur les contours (Yannick Zoetgnandé lors d'une mobilité à Ryerson University, Toronto, Canada, MITACS Globalink Research Award FR26353n, collaboration avec le Pr Alirezaie).

Super-resolution
Image originale 80x60 (zoomée 3x) - image 320x240 obtenue par interpolation biliéaire - image 320x240 obtenue par super-résolution basée sur les réseaux de neurones convolutionnels avec une saillance sur les contours

Zoetgnandé Y., Dillenseger J.-L., Alirezaie J., “Edge focused super-resolution of thermal images”, International Joint Conference on Neural Networks (IJCNN), Budapest, 2019, doi: 10.1109/IJCNN.2019.8852320.

Détection de chute par apprentissage de points au sol
Malgré la précision sous-pixels, la reconstruction stéréoscopique classique ne permettait pas une reconstruction précise de la scène, en particulier le plan du sol et la personne. (0,5 m d’incertitude en profondeur).Nous avons donc opté pour une solution sans calibration, où un système apprend à classifier des points dans l'espace en appartenant "au sol/pas au sol" (soit par SVM par soit par deep learning). Ensuite, à partir d'une paire d'image stéré-thermique, le dispositif extrait et met en correspondance des indices visuels de la personne et estime si ces indices sont au sol ou non. Cela permet alors de détecter ou non une chute (Yannick Zoetgnandé).


Zoetgnandé Y., Dillenseger J.-L., “A generic interpretable fall detection framework based on low-resolution thermal images”, Journées de la Recherche en Informatique au Burkina Faso (JRI-2021), Bobo Dioulasso, 2021, 13 pages, doi: 10.4108/eai.11-11-2021.2317972.;

Détection d'activités par transfer learning
Nous avons également essayé d'estimer l'activté des personnes agées (marcher, ramper, s'asseoir puis tomber, s'allonger puis tomber, etc.) à partir d'une seule caméra thermique basse résolution. Comme nous n'avions pas assez de données pour l'apprentissage, nous avons exploré plusieurs solutions où l'apprentissage effectués sur des données RGB anotée servait à traiter les données thermiques de nos caméras (Yannick Zoetgnandé).

transfer Learning
Transfert learning : apprentissage sur images RGB (base CMDFALL), inférence sur images thermiques

Zoetgnandé Y., Dillenseger J.-L., “Domain generalization for activity recognition: Learn from visible, infer with thermal”, 11 th International Conference on Pattern Recognition Applications and Methods, 2022, pp.722-729, doi: 10.5220/0010906300003122.

Prévention des chutes et estimation de la fragilité des personnes agées par suivi d'activités.

L'objectif est de récupérer les activités de la personnes agées reconnuées par les techniques précédentes et de faire faire un suivi longitudinal et d'en extraire des statistiques visant à mesurer le degré de fragilité de la personne (Soumaya Msaad).

Msaad S., Dillenseger J.-L., Cormier G., Carrault G., “Detection of changes in the behaviour of the elderly person”, IEEE-EMBS, Guadalajara, 2021, pp. 6995-6998, doi: 10.1109/embc46164.2021.9630971.
Msaad S., Dillenseger J.-L., Carrault G., “Interest of the minimum edit distance to detect behaviour change of the elderly person”, IEEE-EMBS, Guadalajara, 2021, pp. 7377-7380, doi: 10.1109/embc46164.2021.9629665.
Msaad S., Zoetgnandé Y., Dillenseger J.-L., Carrault G., “Detecting change in the routine of the elderly”, Measurement: Sensors, 2022, pp. 100418, doi: 10.1016/j.measen.2022.100418.






Traitement des arythmies cardiaques

Projet ANR TecSan CardioUSgHIFU (2012-2016). Collaboration : Institut Langevin, ESPCI (Paris), LabTau, INSERM U 1032 (Lyon), Vermon (Tours). Force vive : Zulma Sandoval (Thèse, tel-01241529), Pham Chi Hieu (Master).

Projet ANR TecSan Chorus (2018-). Collaboration : LabTau, INSERM U 1032 (Lyon), IHU Lyric (Bordeaux) , Vermon (Tours). Force vive : Batoul Dahman (Master et Thèse, tel-03892658)

Ce projet est axé sur l'isolation des veines pulmonaires pour le traitement de la fibrillation cardiaque à l'aide de solutions en ultrasons haute intensité. Dans le cas d'un traitement par voie transoesophagienne, le LTSI est chargé de proposition de guidage de la thérapie sur les images échographiques.

Guidage de la thérapie par recalage échographie transoesophagienne 2D/volume préopératoire

Évalution de métriques de recalage
Nous nous proposons d'évaluer les métriques de similarités basées sur les intensités pour le recalage entre des données scanner X et échographiques. L'évaluation se fait sur des fantomes numériques.

Simulation de modalités
Coupe du Visible Human. Coupe segmentée. Simulation de scanner X. Simulation d'une échographie transoesophagienne.

Sandoval Z., Dillenseger J.-L., “Intensity-based Similarity Measures Evaluation for CT to Ultrasound 2D Registration”, IRBM, 34, 4-5, 2013, pp. 278-282.
Sandoval Z., Dillenseger J.-L., “Evaluation of Computed Tomography to Ultrasound 2D Image Registration for Atrial Fibrillation Treatment”, Computing in Cardiology, Zaragoza, 2013, pp. 245-248.

Recalage échographie transoesophagienne 2D/volume préopératoire>
ANRCardioUSgHIFU :
L'idée principale est de se servir des contraintes anatomiques de l'oesophage pour guider et accélerer le recalage.

recalage TEE/CT
Extraction de l'oesophage; reconstruction du volume ; recalage US 2D/ CT 2D ; recalage échographie transoesophagienne 2D/volume préopératoire

Sandoval Z., Castro M., Alirezaie J., Lafon C., Bessière F., Dillenseger J.-L., “Transesophageal 2D ultrasound to 3D computed tomography registration for the guidance of a cardiac arrhythmia therapy”, Physics in Medicine and Biology, 63, 15, 2018, pp. 155007, doi 10.1088/1361-6560/aad29a.

ANR Chorus :
Un des objectif de l'ANR Chorus est de proposer une sonde de thérapie avec deux plans perpendiculaires d'imagerie. L'idée est de partir de la position estimée par la méthode précédente et de relacher localement les contraintes anatomiques en se recalant sur deux plans. Des méthodes classiques mais également par Deep Learning (recalage rigide 2D/2D et  2D/3D par apprentissage supervisé et recalage élastique 2D/2D par apprentissage non supervisé) ont été explorées.

recalage biplan/CT
Recalage echographie bi-plan / scannerX

Dahman B., Dillenseger, J.-L., “High Intensity Focused Ultrasound (HIFU) Therapy Guidance System by Image-based Registration for Patients with Cardiac Fibrillation”, Computing in Cardiology, Singapore, 2019, doi: 10.22489/CinC.2019.315.
Dahman B., Dillenseger, J.-L.,“ Transesophogeal HIFU cardiac fibrilation therapy guidance by 2 two perpendicular US images", Surgetica 2019, Rennes, 2019.
Dahman B., Dillenseger J.-L., “Deformable US/CT Image Registration with a Convolutional Neural Network for Cardiac Arrhythmia Therapy”, IEEE-EMBS, Montreal, 2020, pp. 2011-2014, doi: 10.1109/embc44109.2020.9175386.
Dahman B., Bessière F., Dillenseger J.-L., “Ultrasound to CT rigid image registration using CNN for the HIFU treatment of heart arrhythmias”, SPIE Medical Imaging, Image-Guided Procedures, Robotic Interventions, and Modeling, SPIE vol 12034, San Diego, 2022, pp. 246-252, doi: 10.1117/12.2612348.


Segmentation de l'oreillette gauche

La segmentation de la cavité de l'oreillette gauche est effectués sur des volumes scanner X à l'aide d'une méthode multi-atlas.

Méthode multi-altas
Méthode multi-atlas de segmentation de la cavité auriculaire.

Tobon-Gomez C., Geers A. J., Peters J., Weese J., Pinto K., Karim R., Ammar M., Daoudi A., Margeta J., Sandoval Z., Stender B., Zheng Y., Zuluaga M., Betancur J., Ayache N., Chikh M. A., Dillenseger J.-L., Kelm, M., Mahmoudi S., Ourselin S., Schaeffer T., Schlaefer A., Ravazi R., Rhode K. S., “Benchmark for algorithms segmenting the left atrium from 3D CT and MRI datasets”, IEEE transactions on Medical Imaging, 34, 7, 2015, pp. 1460-1473
Sandoval Z., Betancur, J., Dillenseger J.-L., “Multi-Atlas-Based Segmentation of the Left Atrium and Pulmonary Veins”, Statistical Atlases and Computational Models of the Heart - MICCAI 2013, Nagoya, 2013.
Sandoval Z., Dillenseger J.-L., “Thorax tissues segmentation: a first step for a dynamic beating heart digital phantom”, RITS 2015, Dourdan, pp. 158-159





Réalité augmentée pour la chirurgie robotisée de tumeurs

Projet Thèse dans le cadre du labex CAMI (2015-2018). Collaboration : Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM) . Force vive : Shen Jun (Thèse, tel-02570502), Philippe Poignet et Nabil Zemiti (co-encadrants LIRMM).

L'objectif est de proposer des outils de réalité augmentée pour le guidage de la chirurgie robotisée de la base de langue.

Réalité augmentée échographie 3D vers vision binoculaire

La réalité augmentée necessite la calibration 3D de l'échographie dans l'espace (un nouveau modèle d'objet de calibration avec un seul marqueur 3D a été proposé) et la localisation et la calibration stéréoscopique de la caméra. Des essais sur phantoms physiques (insertion d'aiguilles et découpes de cible) sont menés pour valider la chaîne de traitements.

Réalité Augmentée
Expérience de réalité Augmentée : a) Calibration et localisation de l'échographie 3D, b) Acquisition IRM, c) Segmentation de l'échographie et d) détourage de la cible en réalité augmentée

Shen J., Zemiti N., Caravaca, O., Simon A., Dillenseger J.-L., Poignet P., “ Intraoperative 3D ultrasound probe calibration", RITS 2017, Lyon
Shen J., Courtin A., Viquesne, A., Zemiti N., Caravaca, O., Simon A., Dillenseger J.-L., Poignet P., “Augmented perception in transoral robotic surgery for tongue base cancer”, CRAS Workshop, Montpellier, 2017.
Shen J., Zemiti N., Caravaca, O., Simon A., Dillenseger J.-L., Poignet P., “Augmented reality visualization based on 3D ultrasonography”, Surgetica, Strasbourg, 2017.
Shen J., Zemiti N., Dillenseger J.-L., Poignet P., “Fast and simple automatic 3D ultrasound probe calibration based on 3D printed phantom and an untracked marker”, IEEE-EMBC, Honolulu, 2018, pp. 878-882.
Shen J., Zemiti N., Taoum C., Aiche G., Dillenseger J.-L., Rouanet P., Poignet P., "Transrectal ultrasound image-based real-time augmented reality guidance in robot-assisted laparoscopic rectal surgery: a proof-of-concept study", International Journal of Computer Assisted Radiology and Surgery, 15, 3, 2020, pp. 531–543, doi: 10.1007/s11548-019-02100-2







Caractérisation d'images par Mixture de Modèles

Collaboration : CRIBS LIST, SouthEast University, Nanjing. Forces vives : Tang Hui (co-encadrement) Bi Hui (Thèse)

Mixture de Gaussiennes pondérée par une information de frontière

Intégration de l'information de voisinage dans le processus d'estimation des paramètres de la mixture de Gaussiennes.

GMM avec information de voisinnage
Caractérisation d'une image du rein par Mixture de Gaussiennes. a) Sans information de voisinnage. b) En intégrant l'information du voisinage

Tang H., Dillenseger J.-L., Luo L. M., "A vectorial image classification method based on neighborhood weighted Gaussian Mixture model", IEEE-EMBC 2008, Vancouver, 2008, pp. 1922-1925.
Tang H., Dillenseger J.-L., Bao X. D., Luo L. M., " A vectorial image soft segmentation method based on neighborhood weighted Gaussian mixture model", Computerized Medical Imaging and Graphics, 33, 8, 2009, pp. 644-650.

Mixture de Gausiennes et saillance

Ajout d'une information liée à l'image pour guider la Mixture de Gaussiennes

Saliency-guided GMM
Extraction de l'image de saillance, intégration de cette information pour guider l'estimation de la mixture de Gaussiennes

Bi H., Tang H., Yang, G.Y., Li, B.S., Shu, H.Z., Dillenseger J.-L., “ Accurate Image Segmentation Using Gaussian Mixture Model with Saliency Map”, Pattern Analysis and Applications, 27,3, 2018, pp. 869-878, doi 10.1007/s10044-017-0672-1.

Mixture de distributions de Rayleigh pondérée par une information de frontière. Caractérisation d'image échographique

Caractérisation du speckle d'images échographiques à l'aide d'une Mixture de distributions de Rayleigh pondérée par une information de voisinage

Raylegh Mixture model
Caractérisation d'une image échographique de l'abdomen (simulation) a) Mixture de distributions de Rayleigh b) Mixture de distributions de Rayleigh avec information de voisinage

Bi H., Tang H., Shu H.Z., Dillenseger J.-L., “Bounded Rayleigh mixture model for ultrasound image segmentation”, 8th International Conference on Graphic and Image Processing, Tokyo, 2016, pp. 47.1-47.5. Winner of best presentation session 4.
Bi H., Tang H., Yang, G.Y., Li, B.S., Shu, H.Z., Dillenseger J.-L., “Fast Segmentation of Ultrasound Images by Incorporating Spatial Information into Rayleigh Mixture Model”, IET Image Processing, 11, 12, 2017, doi 10.1049/iet-ipr.2017.0166, pp. 1188-1196
Bi H., Yang G.Y., Tang H., Jiang Y.B., Shu H.Z., Dillenseger J.-L., “Fast and accurate segmentation method of Active Shape Model with Rayleigh Mixture Model clustering for prostate ultrasound images”, accepté à Computers Methods and Programs in Biomedicine, 2019, doi: 10.1016/j.cmpb.2019.105097.






Métrique de cardiopathies congénitales

Collaborateurs : Jean-Marc Schleich (PH, CHU Rennes), Tariq Abdulla (Univ. Loughborough), Lucile Houyel (Centre Chirurgical Marie Lannelongue, Le Plessis-Robinson) .

L'objectif est de proposer des outils de classification du type ou du grade de cardiopathies congénitales à partir de la position et l'orientation relative des certains éléments du coeur (anneau aortique et pulmonaire, voies d'entrée des artères coronaires, etc.).

biometrie du coeur
Biometrie du coeur ex vitro sur scanner X : a) outil 2D de localisation de points anatomiques, b) outil 3D de localisation, c) modélisation géométrique de certains éléments du coeurs

Abdulla T., Dillenseger J.-L., Summers R., Paul J.-F., Houyel L., Schleich J.-M., " I point my heart with the tip of my fingers - Biometry for the diagnosis congenital heart defects", IRBM, 34, 4-5, 2013, pp. 311-314.

Projet précédent : Visualisation en embryologie cardiaque

Reconstruction et visualisation du volume de cœurs d'embryons humains de 8 à 13 semaines de conceptions.

coeur embryon

Schleich J.-M., Dillenseger J.-L., Loeuillet L., Moulinoux J.-P., Almange C., "Three-dimensional reconstruction and morphological measurements of human embryonic hearts. A new diagnostic and quantitative method applicable to fetuses younger than 13 weeks of gestation", Pediatric and Developmental Pathology, 8(4), 2005, pp. 463-473.

Ce travail a été fait en collaboration avec le Dr Jean-Marc Schleich qui travaille sur des outils d'apprentissage de la morphogénèse cardiaque à l'aide d'images de synthèse.

septation de l'oreilletteIntroduction à la septation des oreillettes (vidéo)

Schleich J.-M., Dillenseger J.-L., Andru S., Coatrieux J.-L., Almange C., "Understanding Normal Cardiac Development using Animated Models ", IEEE Computer Graphics & Applications, 22, 1, 2002, pp. 14-19.
Schleich J.-M., Dillenseger J.-L., Houyel L., Almange C., Anderson R. H., "A new dynamic 3-D virtual image method for teaching normal human atrial septation", Anatomical Sciences Education, 2, 2, 2009, pp. 69-77.






Traitement focal des tumeurs de la prostate

Projet ANR TecSan MULTIP (2008-2012). Collaboration : Edap (Vaulx en Vellin), LabTau, INSERM U 1032 (Lyon), Imasonic (Voray/l'Ognon). Forces vives : Carole Garnier (post doc) Ke Wu (Thèse, tel-00962028)

MULTIP (Matrice de transducteur Ultrasonore pour La Thérapie et l’Imagerie de la Prostate). Le LTSI est chargé de proposer et de développer des solutions permettant de définir le planning préopératoire d'une thérapie focale du cancer de la prostate et de réaliser le geste planifié en s’aidant de l’information disponible durant la thérapie

Recalage IRM/ultrason de la prostate

L'idée est de reporter l'information des différentes structures de la prostate (zones centrale, pérphérique, etc., tumeur,..) visible en IRM, dans l'image échographioque péropératoire.
Deux approches sont étudiées : un recalage surface/surface après extraction de la surface dans les deux modalités et un essai de recalage volumique après caratérisation du volume par de l'analyse de texture.
Recalage surface/surface
L'extraction de la surface de la prostate en échographie a fait l'objet de la Thèse de Carole Garnier. Cette méthode é été adaptée pour l'extraction conjointe de la vessie, du colon et de la prostate par Detection Optimale de Surface (OSD) en IRM T2 (Thèse de Wu Ke).


a) Maillage de la surface de la prostate extraite de l'échographie 3D par Optimal Surface Detection. b) Maillage de la prostate (vert) et de la vessie (rouge) extrait de l'IRM T2 à l'aide d'un OSD multi-objets

Garnier C., Wu K., Dillenseger J.-L., "Bladder segmentation in MRI images using active region growing model", IEEE-EMBC 2011, Boston, 2011, pp. 5702-5705.
Wu K, Garnier C., Dillenseger J.-L., “Prostate segmentation on T2 MRI using Optimal Surface Detection", IRBM, 34, 4-5, 2013, pp. 287-290.
Wu K., Garnier C., Alirezaie J., Dillenseger J.-L., ”Adaptation and evaluation of the multiple organs OSD for T2 MRI prostate segmentation”, EMBS 2014, Chicago, pp. 4687-4690.

Caractérisation du volume par de l'analyse de texture
La caractérisation du volume en échographie fait l'objet de la Thèse de Wu Ke. Le speckle est considéré comme une texture qui est caractérisée à l'aide de moments invariants. Nous avons constaté que certains ordre ou répétition de moments étaient sensible aux régions de speckle de même nature alors que d'autres etaient sensibles aux ruptures entre régions (contours). Cette propriété a été utilisée dans un contexte de segmentation par Graph Cut.


a) Coupe axiale de la prostate en échographie 3D. Image de moments sensibles a) aux région de speckle de même nature et c) aux ruptures entre régions

Wu K., Shu H.Z., Dillenseger J.-L., “Region and boundary feature estimation on ultrasound images using moment invariants”, Computers Methods and Programs in Biomedicine, 113, 2, 2014, pp. 446-455.





Traitement interstitiel des carcinomes hépatocellulaires

Projet< RNTS SUTI (2008-2012). Collaboration : LabTau, INSERM U 1032 (Lyon), FEMTO-LPMO CNRS UMR6174, (Besançon), Edap (Vaulx en Vellin), Imasonic (Voray/l'Ognon), Theraclion (Paris) IGT (Pessac). Forces vives : Carole Garnier (Master), Simeon Esneault (Thèse, tel-00497749), Zheng Yang (Master).

Projet RNTS SUTI (Sondes Ultrasonores pour la Thérapie et l'Imagerie). Le LTSI a été chargé de proposer et de développer des solutions de planning préopératoire. Ce planning comporte deux aspects : la mise en place de la sonde dans l'anatomie du patient et la prévision de l'effet de la thérapie en fonction des paramètres de tirs.

Mise en place de la sonde dans l'anatomie du patient

Extraction de la vascularisation hépatique par l'algorithme Graph Cut Min-cut/Max-flow (S. Esneault, T. Pham, K. Torres)

graph cut vasculaire
a) Ajustement de modèles locaux (identifiés par moments géométriques) dans le graph cut. b) Tumeur et vascularisation environnante.

Esneault S., Hraiech N., Delabrousse E., Dillenseger J.-L., "Graph cut liver segmentation for interstitial ultrasound therapy", IEEE-EMBC 2007, Lyon, 2007, pp. 5247-5250.
Esneault S., Lafon C., Dillenseger J.-L., " Liver vessels segmentation using a hybrid geometrical moments/graph cuts method", IEEE transactions on Biomedical Engineering, 57, 2, 2010, pp. 276-283.

Prévision de l'effet de la thérapie en fonction des paramètres de tirs

3D des effets d'une sonde plane (C. Garnier, S. Esneault). Le champ de pression est estimé à l'aide de l'équation de Rayleigh. Les variations des paramètres en fonction de la température sont intégrés dans ce calcul. L'équation de chaleur permettant d'estimer le champ de température est résolu soit par différences finies, soit algebriquement dans le domaine des fréquences spatiales. Dans le cas de sonde multiéléments, la focalisation dynamique est obtenues par un calcul optimal de la phase du signal pourchaque élément (Z.H. Yang).


modeleHIFU
Simulation du champ de pression, du champ de température et de la nécrose

Garnier G., Lafon C., Dillenseger J.-L., "3D modeling of the thermal coagulation necrosis induced by an interstitial ultrasonic transducer", IEEE transactions on Biomedical Engineering, 55, 2, 2008, pp. 833-837.
Dillenseger J.-L., Garnier G., " Acoustical power computation acceleration techniques for the planning of ultrasound therapy", ISBI'08, Paris, 2008, pp. 1203-1206.
Dillenseger J.-L., Esneault S., " Fast FFT-based bioheat transfer equation computation ", Computers in Biology and Medicine, 40, 2, 2010, pp. 119-123.
Yang Z.H., Dillenseger J.-L., "Phase estimation for a phased array therapeutic interstitial ultrasound probe", IEEE-EMBC 2012, San Diego, 2012, pp. 472-475.






Assistance chirurgicale en urologie


Collaboration :J-J Patard (PU-PH CHU Rennes). Forces vives : Hélène Guillaume (Thèse), Hui Tang (Thèse, tel-00355629), Philippe Rolland (stage UTC), Soizic Laguitton (DEA), Hamza Khene (DEA)

Définition du cadre anatomique spécifique au patient

Recalage intrapatient d'uroscans
Recalage/modélisation par harmoniques sphériques appliquées sur des données partielles (H. Guillaume)

Recalage opar harmoniques sphériques

Dillenseger J.-L., Guillaume H., Patard J.-J., " Spherical harmonics based intra subject 3D kidney modeling/registration technique applied on partial information", IEEE transactions on Biomedical Engineering, 53, 11, 2006, pp. 2185-2193.

Recalage local par maximisation de l'Information Mutuelle (H. Tang)


Tang H., Dillenseger J.-L., Luo L. M., "Intra subject 3D/3D kidney registration using local Mutual Information maximization", IEEE-EMBC 2007, Lyon, 2007, pp. 6379-6382.
Segmentation du volume rénal
Segmentation par Mixture de Gausiennes pondérées par une information de frontière (H. Tang)


Tang H., Dillenseger J.-L., Luo L. M., "A vectorial image classification method based on neighborhood weighted Gaussian Mixture model", IEEE-EMBC 2008, Vancouver, 2008, pp. 1922-1925.
Tang H., Dillenseger J.-L., Bao X. D., Luo L. M., " A vectorial image soft segmentation method based on neighborhood weighted Gaussian mixture model", Computerized Medical Imaging and Graphics, 33, 8, 2009, pp. 644-650.
Visualisation du volume rénal
Rendu de volume des données issues de la segmentation par Mixture de Gausiennes pondérées par une information de frontière (H. Tang).


Tang H., Dillenseger J.-L., Bao, X. D., Luo, L. M. , "A multi-volume visualization method for spatial aligned volumes after 3D/3D image registration", IRBM, 32, 3, 2011, pp. 195-203.

Définition du planning préopératoire

Définition visuelle de la trajectoire optimale d'une aiguille de ponction pour la nephrolithotomie ou le traitement de cancer par radiofréquence (P. Rolland).

planning préopératoire

Dillenseger J.-L., Rolland P., Patard J.-J., "A Visual Computer Tool for Percutaneous Nephrolithotomy Preoperative Planning", IEEE-EMBC 2003, Cancun, 2003, pp. 1141-1144.

Simulation de l'intervention

Simulation d'images échographiques à partir de volume scanner X (S. Laguitton).

Simulation images échographiques

Laguitton S., Patard J.-J., Dillenseger J.-L., "Fast simulation of ultrasound images from a CT volume", EMBEC’05, Prague, Nov. 2005, papier 1433, 4 pages.
Dillenseger J.-L., Laguitton S., Delabrousse E, "Fast Simulation of Ultrasound Images from a CT volume", Computers in Biology and Medicine, 39, 2, 2009, pp. 180-186.

Fusion préopératoire/per-opératoire
Recalage 2D/3D et suivi de ponction (H. Khene)

Recalage 2D/3D





Visualisation en épilepsies

Élaboration d'outils complémentaires permettant une analyse progressive des mécanismes et structures impliqués dans la crise.


visulisation en épilepsie

Rocha C., Dillenseger J.-L., Coatrieux J.-L., "Multi-Array EEG Signals Mapped with Three Dimensional Images for Clinical Epilepsy Studies", Lecture Notes in Computer Science 1131, Visualization in Biomedical Computing, Höhne and Kikinis Eds., Springer Verlag, 1996, pp. 467-476.





Visualisation scientifique et visualisation en anatomie

Formalisation de l'élaboration d'un outil de visualisation

Structure de base d'un outil de visualisation.
Collaboration : Beatriz Souza santos (Univ Aveiro, Portugal).

Dillenseger J.-L., "Visualisation Scientifique en médecine. Application à la visualisation de l'anatomie et à la visualisation en épileptologie clinique", Habilitation à Diriger des Recherches, Juin 2003.

Évaluation d'un outil de visualisation

Classification des méthodes d'évaluation des solutions de visualisation 3D. Évaluation de la pertinence des indices visuels : échelle de grandeurs. Collaboration : Beatriz Souza santos (Univ Aveiro, Portugal).

évaluation de la visualisation

Sousa Santos B., Dillenseger J.-L., "Quality evaluation in medical visualization: some issues and a taxonomy of methods", Medical Imaging 2005: Image-Guided Procedures and Display, San Diego, Proceedings of SPIE Vol. 5744, Feb. 2005, pp. 612-620.
Sousa Santos B., Dillenseger J.-L., Ferreira C., "Experimental Methodology for the Evaluation of the 3D Visualization of Quantitative Stereoelectroencephalographic Information", Journal of Computing and Information Technology, 10, 2, 2002, pp. 93-103.

Lancer de rayons multifonctions

Implantation durant le processus de visualisation des fonctionnalités de base de l'imagerie médicale.

Lancer de rayons multi-fonctionsPrincipe de base - segmentation durant la visualisation - débruitage durant la visualisation

Dillenseger J.-L., Hamitouche C., Coatrieux J.-L., "An Integrated Multi-purpose Ray Tracing Framework for the Visualization of Medical Images", proc. IEEE-EMBS, Orlando, Nov. 1991, pp. 1125-1126.
Dillenseger J.-L., "Imagerie Tridimensionnelle Morphologique et Fonctionnelle en Multimodalité", Thèse de l'Université François Rabelais, Tours, Décembre 1992, Directeur de Thèse : Jean-Louis Coatrieux.

Intégration de modèles de connaissances dans la visualisation

Intégration des connaissances spécifiques dans le processus de visualisation.

Architecture multi-agentsArchitecture multi-agents. Prépositionnement automatique en fonction des entités anatomiques. Segmentation du cortex à l'aide de connaissances sur la modalité d'acquisition et sur les propriétés morphologiques

Dillenseger J.-L., Le Merrer M.-A., Haigron P., Garreau M., Coatrieux J.-L, "Modèle de connaissance et lancer de rayons pour le traitement d'images volumiques multimodales", Innov. et Tech. en Biol. et Med., 16, 1, 1995, pp. 1-11.