Informatik aktuell Herausgeber: W. Brauer im Auftrag der Gesellschaft für Informatik (GI)
H. Handels J. Ehrhardt A. Horsch H.-P. Meinzer T. Tolxdorff (Hrsg.)
Bildverarbeitung für die Medizin 2006 Algorithmen Systeme Anwendungen Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg
1 23
Herausgeber Heinz Handels Jan Ehrhardt Universitätsklinikum Hamburg-Eppendorf Institut für Medizinische Informatik Martinistraße 52, 20246 Hamburg Alexander Horsch Technische Universität München, Klinikum rechts der Isar Institut für Medizinische Statistik und Epidemiologie Ismaninger Straße 22, 81675 München Hans-Peter Meinzer Deutsches Krebsforschungszentrum Abteilung für Medizinische und Biologische Informatik / H0100 Im Neuenheimer Feld 280, 69120 Heidelberg Thomas Tolxdorff Charité – Universitätsmedizin Berlin Institut für Medizinische Informatik, Biometrie und Epidemiologie Campus Benjamin Franklin Hindenburgdamm 30, 12000 Berlin
Bibliographische Information der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.ddb.de abrufbar.
CR Subject Classification (2001): A.0, H.3, I.4, I.5, J.3, H.3.1, I.2.10, I.3.3, I.3.5, I.3.7, I.3.8, I.6.3 ISSN 1431-472-X ISBN-10 3-540-32136-5 Springer Berlin Heidelberg New York ISBN-13 978-3-540-32136-1 Springer Berlin Heidelberg New York Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Springer Berlin Heidelberg New York Springer ist ein Unternehmen von Springer Science+Business Media springer.de © Springer-Verlag Berlin Heidelberg 2006 Printed in Germany Satz: Reproduktionsfertige Vorlage vom Autor/Herausgeber Gedruckt auf säurefreiem Papier SPIN: 11616719 33/3142-543210
Veranstalter IMI
Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf, Hamburg GMDS Arbeitsgruppe Medizinische Bildverarbeitung der Gesellschaft f¨ ur Medizinische Informatik, Biometrie und Epidemiologie GI Fachgruppe Imaging und Visualisierungstechniken der Gesellschaft f¨ ur Informatik DGBMT Fachgruppe Medizinische Informatik der Deutschen Gesellschaft f¨ ur Biomedizinische Technik im VDE IEEE Joint Chapter Engineering in Medicine and Biology, German Section DAGM Deutsche Arbeitsgemeinschaft f¨ ur Mustererkennung BVMI Berufsverband Medizinischer Informatiker e.V. Lokaler Veranstalter Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf, Hamburg Tagungsleitung und -vorsitz Prof. Dr. Heinz Handels Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf Lokale Organisation Dipl.-Ing. Martin Dalladas Dr. Jan Ehrhardt Dipl.-Inform. Matthias F¨ arber Dipl.-Geogr. Dipl.-Systemwiss. Silke Hacker Priv.-Doz. Dr. Claus-J¨ urgen Peimann Dr. Andreas Pommert Renate Reche Dipl.-Ing. Martin Riemer Dipl.-Inform. Dennis S¨ aring Institut f¨ ur Medizinische Informatik Universit¨ atsklinikum Hamburg-Eppendorf
VI
Organisation
Verteilte BVM-Organisation Prof. Dr. Heinz Handels, Dipl.-Ing. Martin Riemer Universit¨ at Hamburg und Universit¨ at zu L¨ ubeck (Begutachtung) Prof. II Dr. Alexander Horsch, Dipl.-Phys. Andreas Enterrottacher Technische Universit¨ at M¨ unchen (Tagungsband) Prof. Dr. Hans-Peter Meinzer und Dipl.-Ing. Matthias Baumhauer Deutsches Krebsforschungszentrum Heidelberg (Anmeldung) Prof. Dr. Thomas Tolxdorff, Dagmar Stiller Charit´e – Universit¨ atsmedizin Berlin (Internetpr¨asenz)
Programmkomitee Prof. Dr. Til Aach, RWTH Aachen Prof. Dr. Dr. Johannes Bernarding, Universit¨ at Magdeburg Prof. Dr. Thorsten M. Buzug, Rhein Ahr Campus Remagen Prof. Dr. Hartmut Dickhaus, Fachhochschule Heilbronn Prof. Dr. Dr. Karl-Hans Englmeier, GSF Forschungszentrum Neuherberg Prof. Dr. Bernd Fischer, Universit¨ at zu L¨ ubeck Prof. Dr. Heinz Handels, Universit¨ at Hamburg Priv.-Doz. Dr. Peter Hastreiter, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Joachim Hornegger, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Ulrich Hoppe, Technische Universit¨ at Ilmenau Prof. II Dr. Alexander Horsch, TU M¨ unchen & Universit¨at Tromsø, Norwegen Priv.-Doz. Dr. Frithjof Kruggel, MPI f¨ ur neuropsychologische Forschung Leipzig Priv.-Doz. Dr. Thomas M. Lehmann, RWTH Aachen Prof. Dr. Dr. Hans-Gerd Lipinski, Fachhochschule Dortmund Prof. Dr. Tim L¨ uth, Technische Universit¨ at M¨ unchen Prof. Dr. Hans-Peter Meinzer, Deutsches Krebsforschungszentrum Heidelberg Prof. Dr. Heinrich M¨ uller, Universit¨ at Dortmund Prof. Dr. Heinrich Niemann, Universit¨ at Erlangen-N¨ urnberg Prof. Dr. Heinrich Martin Overhoff, Fachhochschule Gelsenkirchen Prof. Dr. Dietrich Paulus, Universit¨ at Koblenz-Landau Prof. Dr. Heinz-Otto Peitgen, Universit¨ at Bremen Prof. Dr. Dr. Siegfried J. P¨ oppl, Universit¨ at zu L¨ ubeck Prof. Dr. Bernhard Preim, Universit¨ at Magdeburg Dr. Karl Rohr, Universit¨ at Heidelberg Prof. Dr. Georgios Sakas, Fraunhofer Institut Darmstadt Prof. Dr. Dietmar Saupe, Universit¨ at Konstanz Prof. Dr. Rainer Schubert, UMIT Innsbruck Prof. Dr. Hans-Siegfried Stiehl, Universit¨ at Hamburg Prof. Dr. Thomas Tolxdorff, Charit´e – Universit¨atsmedizin Berlin Prof. Dr. Herbert Witte, Universit¨ at Jena Dr. Thomas Wittenberg, Fraunhofer Institut Erlangen
Organisation
VII
Preistr¨ ager des BVM-Workshops 2005 in Heidelberg Die BVM-Preise zeichnen besonders hervorragende Arbeiten aus. In 2005 wurden vom Programmkomitee folgende Preistr¨ ager ausgew¨ahlt: BVM-Preis 2005 f¨ ur die beste wissenschaftliche Arbeit 1. Preis: Eldad Haber und Jan Modersitzki Beyond Mutual Information: A Simple and Robust Alternative 2. Preis: Marcus Vetter, Martin Libicher, Ivo Wolf, Mehmet Ucar, Jochen Neuhaus, Mark Hastenteufel, G¨otz Martin Richter und Hans-Peter Meinzer Navigationssystem f¨ ur die perkutane CT-gesteuerte Radiofrequenz-Ablationstherapie von Lebertumoren 3. Preis: Sven Kabus, Astrid Franz und Bernd Fischer On Elastic Image Registration with Varying Material Parameters BVM-Preis 2005 f¨ ur den besten Vortrag 1. Preis: Eldad Haber und Jan Modersitzki Beyond Mutual Information: A Simple and Robust Alternative 2. Preis: Sven-Olaf Ropers, Thomas W¨ urflinger, Andr´e Alexander Bell, Alfred B¨ocking und Dietrich Meyer-Albrecht Automatische mikroskopische Relokalisation von Zellkern-Ensembles mit Hilfe eines multimodalen Szenenvergleichs 3. Preis: Sven Kabus, Astrid Franz und Bernd Fischer On Elastic Image Registration with Varying Material Parameters BVM-Preis 2005 f¨ ur die beste Poster- bzw. Softwarepr¨ asentation 1. Preis: Stephan Bischof, Tobias Weyand und Leif Kobbelt Snakes on Triangle Meshes 2. Preis: Silke Bommersheim, Ulf Tiede, Eike Burmester, Martin Riemer und Heinz Handels Simulation von Ultraschallbildern f¨ ur ein virtuelles Trainingssystem f¨ ur endoskopische Longitudinal-Ultraschalluntersuchungen 3. Preis: Caroline Langer, Markus Hardwiger und Katja B¨ uhler Interaktive diffusionsbasierte Volumensegmentierung auf Grafikhardware
Vorwort
In diesem Jahr findet der Workshop Bildverarbeitung f¨ ur die Medizin zum ersten Mal in der Freien und Hansestadt Hamburg statt. Er ist in dieser Form die neunte Veranstaltung. Die Bedeutung des Themas Bildverarbeitung f¨ ur die Medizin hat u ¨ ber die Jahre deutlich zugenommen. Die Bildverarbeitung ist eine Schl¨ usseltechnologie in verschiedenen medizinischen Bereichen wie der Diagnoseunterst¨ utzung, der OP-Planung und der bildgef¨ uhrten Chirurgie. Der BVM-Workshop konnte sich durch erfolgreiche Veranstaltungen in Freiburg, Aachen, Heidelberg, M¨ unchen, L¨ ubeck, Leipzig, Erlangen und Berlin als ein zentrales interdisziplin¨ ares Forum f¨ ur die Pr¨asentation und Diskussion von Methoden, Systemen und Anwendungen im Bereich der Medizinischen Bildverarbeitung etablieren. Ziel des Workshops ist die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr¨ ache zwischen Wissenschaftlern, Industrie und Anwendern. Der Workshop richtet sich ausdr¨ ucklich auch an Nachwuchswissenschaftler, die u ¨ ber ihre Diplom-, Promotions- und Habilitationsprojekte berichten wollen. Der Workshop wird vom Institut f¨ ur Medizinische Informatik des Universit¨ atsklinikums Hamburg-Eppendorf ausgerichtet. Die Organisation ist wie in den vergangenen Jahren auf Fachkollegen aus Hamburg, M¨ unchen, Heidelberg und Berlin verteilt, so dass die Organisatoren der vergangenen Jahre ihre Erfahrungen mit einfließen lassen k¨ onnen. Diese Aufgabenteilung bildet nicht nur eine starke Entlastung des lokalen Tagungsausrichters, sondern f¨ uhrt auch insgesamt zu einer Effizienzsteigerung. Die etablierte webbasierte Einreichung und Begutachtung der Tagungsbeitr¨ age hat sich auch diesmal wieder bew¨ ahrt. Anhand anonymisierter Bewertungen durch jeweils drei Gutachter wurden aus 130 eingereichten Beitr¨agen 92 zur Pr¨ asentation ausgew¨ ahlt: 52 Vortr¨ age und 40 Poster. Die Qualit¨at der eingereichten Arbeiten war insgesamt sehr hoch. Die besten Arbeiten werden auch im Jahr 2006 mit BVM-Preisen ausgezeichnet. Am Tag vor dem wissenschaftlichen Programm werden drei Tutorien angeboten: Prof. Dr. Bernd Fischer und Priv.-Doz. Dr. Jan Modersitzki vom Institut f¨ ur Mathematik der Universit¨ at zu L¨ ubeck werden ein Tutorium zum Thema Medizinische Bildregistrierung halten. Dieses hochaktuelle Thema der Bildverarbeitung hat in den letzten Jahren eine st¨ urmische Entwicklung genommen. Ziel dieses Tutorials ist es, allgemeine Konzepte vorzustellen, die eine inhaltliche Einordnung von modernen medizinischen Bildregistrierungsverfahren erlauben. Insbesondere sollen die g¨ angigen Verfahren u ¨bersichtlich dargestellt werden. Das zweite Tutorium tr¨ agt den Titel Visualisierung f¨ ur die bildbasierte Diagnostik und Therapieplanung. Die Referenten der Universit¨at Magdeburg, Prof. Dr.-Ing. Bernhard Preim, Dipl.-Ing. Steffen Oeltze und Christian Tietjen werden grundlegende Methoden der medizinischen Visualisierung vorstellen und ihre Anwendungsm¨ oglichkeiten demonstrieren. Hierbei wird erl¨autert, welche Vor-
X
Vorwort
und Nachteile 2D- und 3D-Visualisierungen bieten und wie beide Darstellungsarten bei komplexen Problemstellungen in der Therapieplanung integriert werden k¨onnen. Der Schwerpunkt liegt auf der direkten Visualisierung medizinischer Volumendaten (Volume Rendering). In einem dritten Tutorium wird Herr Dr. Ph. Lahorte vom Europ¨aischen Patentamt in M¨ unchen u ¨ber das Patentrecht und geistiges Eigentum in der Forschung im Bereich der Medizinischen Bildverarbeitung referieren. Ziel dieses Tutoriums ist es, eine Einf¨ uhrung in das Gebiet des geistigen Eigentums allgemein und des Patentwesens im Besonderen zu geben und deren Bedeutung f¨ ur die Forschung in der Medizinischen Bildverarbeitung aufzuzeigen. Es wird ein ¨ Uberblick u ¨ber verschiedene Formen geistigen Eigentums mit dem Schwerpunkt Patente gegeben. Die gesetzliche Bedeutung eines Patents wird ebenso diskutiert wie verschiedene Verfahren, ein Patent zu erlangen. Anhand der Bewertungen der Gutachter wurden 95 Beitr¨age f¨ ur den Workshop in Vortrags- und Postersession sowie Softwaredemonstrationen ausgew¨ahlt und in diesem Tagungsband abgedruckt. Die Internetseiten des Workshops bieten ausf¨ uhrliche Informationen u ¨ber das Programm und organisatorische Details rund um den Workshop. Sie sind abrufbar unter der Adresse: http://www.bvm-workshop.org Wie schon in den letzten Jahren, wurde der Tagungsband auch diesmal als LATEXProjekt erstellt und in dieser Form an den Verlag u ¨bergeben. Von den 92 Beitr¨ agen wurden erfreulicherweise 82 von den Autoren bereits im LATEX-Format eingereicht (das sind 89% und damit 11% mehr als im Vorjahr). Die 10 im Winword-Format abgefassten Arbeiten wurden konvertiert und nachbearbeitet. Die Vergabe von Schlagworten nahmen die Autoren selbst vor. Die Literaturverzeichnisse s¨ amtlicher Beitr¨ age wurden wieder mit BibTEX generiert. Der gesamte Erstellungsprozess erfolgte ausschließlich u ¨ber das Internet. Die Herausgeber dieser Proceedings m¨ ochten allen herzlich danken, die zum Gelingen des BVM-Workshops 2006 beigetragen haben: Den Autoren f¨ ur die rechtzeitige und formgerechte Einreichung ihrer qualitativ hochwertigen Arbeiten, dem Programmkomitee f¨ ur die gr¨ undliche Begutachtung, den Referenten der Tutorien sowie den Mitarbeitern des Instituts f¨ ur Medizinische Informatik der Universit¨ at Hamburg f¨ ur ihre tatkr¨ aftige Unterst¨ utzung bei der Organisation und Durchf¨ uhrung des Workshops. Frau Dagmar Stiller vom Institut f¨ ur Medizinische Informatik, Biometrie und Epidemiologie der Charit´e, Universit¨ atsmedizin Berlin, danken wir f¨ ur die engagierte Mithilfe bei der Erstellung und Pflege der Internetpr¨ asentation. Herrn Andreas Enterrottacher vom Institut f¨ ur Medizinische Statistik und Epidemiologie der Technischen Universit¨ at M¨ unchen danken wir f¨ ur die tatkr¨ aftige Mitarbeit bei der Erstellung der Workshop-Proceedings. Dem Springer-Verlag, der nun schon den neunten Tagungsband zu den BVM-Workshops herausbringt, wollen wir f¨ ur die gute Kooperation ebenfalls unseren Dank aussprechen. F¨ ur die webbasierte Durchf¨ uhrung des Reviewingprozesses geb¨ uhrt Herrn Dipl.-Ing. Martin Riemer vom Institut f¨ ur Medizinische Informatik der Universit¨ at Hamburg unser Dank.
Vorwort
XI
F¨ ur die finanzielle Unterst¨ utzung bedanken wir uns bei den Fachgesellschaften und der Industrie. Wir w¨ unschen allen Teilnehmerinnen und Teilnehmern des Workshops BVM 2006 lehrreiche Tutorials, viele interessante Vortr¨age, Gespr¨ache an den Postern und der Industrieausstellung sowie interessante neue Kontakte zu Kolleginnen und Kollegen aus dem Bereich der Medizinischen Bildverarbeitung.
Januar 2006 Heinz Handels, Jan Ehrhardt (Hamburg) Alexander Horsch (M¨ unchen) Hans-Peter Meinzer (Heidelberg) Thomas Tolxdorff (Berlin)
Inhaltsverzeichnis
Die fortlaufende Nummer am linken Seitenrand entspricht den Beitragsnummern, wie sie im endg¨ ultigen Programm des Workshops zu finden sind. Dabei steht V f¨ ur Vortrag, P f¨ ur Poster.
Bildanalyse V01 Thies C, Schmidt-Borreda M, Lehmann T: Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen aus hierarchisch partitionierten Bildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
V02 Werner R, Ehrhardt J, Frenzel T, S¨aring D, Low D, Handels H: Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CTSegmentfolgen zur Analyse atmungsbedingter Organbewegungen . . .
6
V03 J¨ager P, Vogel S, Knepper A, Kraus T, Aach T: 3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen in CT-Daten . . .
11
V04 Hensel M, Pralow T, Grigat R-R: LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences in Real-Time . . . . . . . . . .
16
V05 Hahn T, Condurache AP, Aach T, Scharfschwerdt M, Misfeld M: Automatic In-Vitro Orifice Area Determination and Fluttering Analysis for Tricuspid Heart Valves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
V06 Lamecker H, Wenckebach TH, Hege H-C, Duda GN, Heller MO: Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
V07 Menze BH, Kelm BM, Heck D, Lichy MP, Hamprecht FA: Machine-Based Rejection of Low-Quality Spectra and Estimation of Brain Tumor Probabilities from Magnetic Resonance Spectroscopic Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
V08 Oehler M, Buzug TM: Maximum-Likelihood-Ansatz zur Metallartefaktreduktion bei der Computertomographie . . . . . . . . . . . .
36
V09 Kier C, Meyer-Wiethe K, Seidel G, Aach T: UltraschallPerfusionsbildgebung f¨ ur die Schlaganfalldiagnostik auf Basis eines Modells f¨ ur die Destruktionskinetik von Kontrastmittel . . . . . . . . . . . .
41
XIV
Inhaltsverzeichnis
P01 Hensel M, Lundt B, Pralow T, Grigat R-R: Robust and Fast Estimation of Signal-Dependent Noise in Medical X-Ray Image Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
46
P02 Kelm BM, Menze BH, Neff T, Zechmann CM, Hamprecht FA: CLARET: A Tool for Fully Automated Evaluation of MRSI with Pattern Recognition Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
P03 S¨aring D, Ehrhardt J, Stork A, Bansmann MP, Lund GK, Handels H: Analysis of the Left Ventricle After Myocardial Infarction Combining 4D Cine-MR and 3D DE-MR Image Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
P04 Lessmann B, Nattkemper TW, Huth J, Loyek C, Kessar P, Khazen M, Pointon L, Leach MO, Degenhard A: Content Based Image Retrieval for Dynamic Time Series Data . . . . . . . . . . . . . . . . . . . .
61
P05 Varini C, Lessmann B, Degenhard A, Hans V, Nattkemper T: Visual Exploration of Pathology Images by a Discrete Wavelet Transform Preprocessed Locally Linear Embedding . . . . . . . . . . . . . . . .
66
P06 Fischer B, Winkler B, Thies C, G¨ uld MO, Lehmann TM: Strukturprototypen zur Modellierung medizinischer Bildinhalte . . . .
71
P07 Wirjadi O, Breuel TM, Feiden W, Kim Y-J: Automated Feature Selection for the Classification of Meningioma Cell Nuclei . . . . . . . . . .
76
P08 Iserhardt-Bauer S, Schoell S, Hammen T, Stefan H, Doerfler A, Hastreiter P: Efficient Atlas-Based Analysis of the Hippocampus . . .
81
Segmentierung V10 Brox T, Kim Y-J, Weickert J, Feiden W: Fully-Automated Analysis of Muscle Fiber Images with Combined Region and Edge-Based Active Contours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
86
V11 Gr¨ unerbl A, Fritscher K, Blauth M, Kuhn V, Schubert R: Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
91
V12 Dornheim L, Dornheim J, Seim H, T¨onnies K: Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
96
V13 Stehle TH, Ecabert O: Vergleich von Geschwindigkeitsfunktionen zur Segmentierung der Koronararterien aus CT-Volumina mit Front-Propagation-Algorithmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Inhaltsverzeichnis
XV
V14 Seim H, Dornheim J, Preim U: Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses . . . . . 106 V15 Schreiber J, Schubert R, Kuhn V: Femur Detection in Radiographs Using Template-Based Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 V16 von Berg J, Lorenz C: A Statistical Geometric Model of the Heart . 116 V17 Jetzek F, Rahn C-D, Dreschler-Fischer L: Ein geometrisches Modell f¨ ur die Zellsegmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 V18 Br¨ uß C, Strickert M, Seiffert U: Towards Automatic Segmentation of Serial High-Resolution Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 V19 Chen L, Wagenknecht G: Topology Correction for Brain Atlas Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 V20 Rink K, T¨orsel A-M, T¨onnies K: Segmentation of the Vascular Tree in CT Data Using Implicit Active Contours . . . . . . . . . . . . . . . . . . 136 V21 Bruijns J, Peters FJ, Berretty RPM, Barenbrug B: Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling . . . . . . . . . . . . . . . . 141 P09 Sch¨onmeyer R, Rotarska-Jagiela A, Prvulovic D, Haenschel C, Linden DEJ: Vollautomatische Segmentierung der weißen Hirnsubstanz oberhalb der Seitenventrikel aus kernspintomographischen Datens¨ atzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 P10 Popovic A, Engelhardt M, Radermacher K: Knowledge-Based Segmentation of Calvarial Tumors in Computed Tomography Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 P11 Zerfaß T, Mues-Hinterw¨aller S, Paulus D, Wittenberg T: Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder mit optimierter Graphensuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 P12 Kov´ acs T, Cattin P, Alkadhi H, Wildermuth S, Sz´ekely G: Automatic Segmentation of the Vessel Lumen from 3D CTA Images of Aortic Dissection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 P13 Heimann T, Wolf I, Meinzer H-P: Automatische Erstellung von gleichm¨ aßig verteilten Landmarken f¨ ur statistische Formmodelle . . . 166 P14 B¨ohler T, Boskamp T, M¨ uller H, Hennemuth A, Peitgen H-O: Evaluation of Active Appearance Models for Cardiac MRI . . . . . . . . . 171
XVI
Inhaltsverzeichnis
P15 G¨ob S, Maier T, Benz M, Lowitzsch S, Wittenberg T, Kullmann W, Nkenke E, Neukam FW, H¨ausler G: Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten aus der Mund-, Kieferund Gesichtschirurgie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 P16 Riegg T, Zucker U, Horsch A: Intelligente Kantendetektion in endoskopischen Ultraschallbildern mit dem Centered-CompassFilter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 P17 W¨orz S, Rohr K: Limits on Estimating the Width of Thin Vessels in 3D Medical Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 P18 Wilharm S, Maier T, Benz M, Sußner G, Lowitzsch S, H¨ausler G, Greiner G: Weichgewebemodellierung durch Fl¨acheninterpolation heterogen verteilter Messdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Registrierung V22 Winter S, Brendel B, Pechlivanis I, Schmieder K: Registrierung verschiedener Knochenstrukturen in Ultraschall- und CT-Daten anhand von pr¨ a- und intraoperativen Patientendatens¨atzen . . . . . . . . 196 V23 Franz A, Carlsen IC, Renisch S: An Adaptive Irregular Grid Approach Using SIFT Features for Elastic Medical Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 V24 W¨orz S, Rohr K: New Approximating Gaussian Elastic Body Splines for Landmark-Based Registration of Medical Images . . . . . . . 206 ˇ V25 Cech P, Andronache A, Wang L, Sz´ekely G, Cattin P: Piecewise Rigid Multimodal Spine Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 V26 Mattes J, Steingruber I, Netzer M, Fritscher K, Kopf H, Jaschke W, Schubert R: A Robust Semi-automatic Procedure for Motion Quantification of Aortic Stent Grafts Using Point Set Registration . 216 P19 Hahn D, Wolz G, Sun Y, Sauer F, Hornegger J, Kuwert T, Xu C: Utilizing Salient Region Features for 3D Multi-modality Medical Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 P20 Feldmann T, Bouattour S, Paulus D, Deinzer F: Kombination ¨ verschiedener Ahnlichkeitsmaße f¨ ur die 2D/3D-Registrierung von R¨ ontgenbildern mittels Demokratischer Integration . . . . . . . . . . . . . . . . 226 P21 Braumann U-D, Einenkel J, Horn L-C, Kuska J-P, L¨offler M, Scherf N, Wentzensen N: Registration of Histologic Colour Images of Different Staining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
Inhaltsverzeichnis
XVII
P22 J¨ager F, Han J, Hornegger J, Kuwert T: Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨atzen . . . . . . . . . . . 236 P23 Erbacher M, Korosoglou G, Dickhaus H: Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen hinsichtlich des Myocardialen Blushgrades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 P24 Han J, Berkels B, Rumpf M, Hornegger J, Droske M, Fried M, Scorzin J, Schaller C: A Variational Framework for Joint Image Registration, Denoising and Edge Detection . . . . . . . . . . . . . . . . . . . . . . . 246 P25 Palm C, Vieten A, Bauer D, Pietrzyk U: Evaluierung von Registrierungsstrategien zur multimodalen 3D-Rekonstruktion von Rattenhirnschnitten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 P26 Ehrhardt J, S¨aring D, Handels H: Interpolation of Temporal Image Sequences by Optical Flow Based Registration . . . . . . . . . . . . . . . . . . . . . 256 P27 K¨ohn A, Drexl J, Ritter F, K¨onig M, Peitgen HO: GPU Accelerated Image Registration in Two and Three Dimensions . . . . . 261
Visualisierung V27 Baer A, Tietjen C, Spindler M, Preim B: Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen . . . . . . . . . . . . . . . . . . 266 V28 Merhof D, Sonntag M, Enders F, Nimsky C, Hastreiter P, Greiner G: Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 V29 Hacker S, Handels H: Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen f¨ ur die medizinische Ausbildung . . . 276 V30 Bischoff S, Kobbelt L: Extracting Consistent and Manifold Interfaces from Multi-valued Volume Data Sets . . . . . . . . . . . . . . . . . . . . 281 V31 Mang A, Wagner M, M¨ uller J, Fuchs M, Buzug TM: Restoration of the Sphere-Cortex Homeomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 P28 Oeltze S, Kuß A, Hennemuth A, K¨ uhnel C, Preim B: Integrierte Visualisierung von Anatomie und Perfusion des Myokards zur Fr¨ uherkennung der Koronaren Herzkrankheit . . . . . . . . . . . . . . . . . . . . . . 291 P29 M¨ uhler K, Bade R, Preim B: Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
XVIII Inhaltsverzeichnis
P30 Wegner I, Wolber P, Gebhard B, Vetter M, Meinzer H-P: Verzerrung einer virtuellen Szene zur Erweiterung der Realit¨at eines Endoskopiebildes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 P31 Seitel M, Vaidya V, Raghu K, Mullick R: Modeling Dynamic Aspects in Virtual Interactive Environments . . . . . . . . . . . . . . . . . . . . . . . 306 P32 M¨onch T, Bernarding J: Simulation und kombinierte Visualisierung von aktivierten Hirnarealen, Diffusionstensordaten und Magnetenzephalographie (MEG)-Signalverl¨aufen . . . . . . . . . . . . . . . . . . . 311
Navigation und Tracking V32 Richter D, Egger J, Straßmann G: Ein Algorithmus zur Positionsbestimmung von Patienten und Biopsienadeln mit einem Vierkamerasystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 V33 Riefenstahl N, Walke M, Michaelis B, Gademann G: Multimodale Bilddatenfusion zur verbesserten Patientenlagerung und -¨ uberwachung in der Strahlentherapie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 V34 Baumhauer M, Richter G, Gutt C, Rassweiler J, Meinzer H-P, Vetter M: Entwicklung eines Navigationssystems f¨ ur die laparoskopische Prostatektomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 V35 Kenngott H, Neuhaus J, Gutt C, Wolf I, Meinzer H-P, Vetter M: Entwicklung eines Navigationssystems f¨ ur die telemanipulatorgest¨ utzte Oesophagektomie . . . . . . . . . . . . . . . . . . . . . . . . 331 P33 Meyer B, Tietjen C, Preim B: Schichtbasierte Illustration medizinischer Volumendaten zur intraoperativen Navigation . . . . . . . 335 P34 Kahrs LA, Raczkowsky J, W¨orn H: Optische Vermessung mittels kodierten Lichts von variabel reflektierenden Oberfl¨achen zur Registrierung oder Dokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 P35 Krause UHW, Nagel M, Seibel RMM: IGS (Image Guided Surgery) – Phantomversuche und erste klinische Erfahrungen mit einem neuartigen CT-basierten Navigationssystem . . . . . . . . . . . . . . . . . . . . . . . 345 P36 Richter D, Bekkaoui F, Mostarkic Z, Straßmann G: Tetraoptisches Kamerasystem zur rahmenlosen Repostionierung und respirativen ¨ Uberwachung in der extrakraniellen Hochpr¨azisionsbestrahlung . . . . 350 P37 Gr¨oger M, Arbter K, Hirzinger G: Analysis of Colour Distributions of Anodised Titanium Clips and the Heart Surface for Tracking . . . . 355
Inhaltsverzeichnis
XIX
Visible Light V36 Tscherepanow M, Z¨ollner F, Kummert F: Segmentierung ungef¨ arbter, lebender Zellen in Hellfeld-Mikroskopbildern . . . . . . . . . . 359 V37 Yang S, K¨ohler D, Teller K, Cremer T, Eils R, Rohr K: Non-rigid Registration of 3D Microscopy Images for the Normalization of Different Cell Nuclei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 V38 Fehr J, Sauer C, Kurz H, Ronneberger O, Burkhardt H: Identifikation von Zellen in intaktem Gewebe . . . . . . . . . . . . . . . . . . . . . . 369 V39 Harder N, Neumann B, Held M, Liebel U, Erfle H, Ellenberg J, Eils R, Rohr K: Automated Analysis of Mitotic Phenotypes in Fluorescence Microscopy Images of Human Cells . . . . . . . . . . . . . . . . . . . 374 V40 Braumann U-D, Franke H, Hengstler J, Kuska J-P, Weber M: Graph-Based Quantification of Astrocytes . . . . . . . . . . . . . . . . . . . . . . . . . 379 P38 Gladilin E, Eils R, Rohr K: 3D Formnormalisierung von Zellkernen mit Hilfe einer elastischen Kugelabbildung . . . . . . . . . . . . . . . . . . . . . . . . . 384
Simulation und Planung V41 Gladilin E, Ivanov A, Roginsky V: Biomechanische Optimierung individueller craniofazialer Implantate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 V42 Tropp A, Giesel FL, Dickhaus H, Bendl R, Neff T: Integration der T2*-Perfusionsmessung niedergradiger Gliome in die Strahlentherapieplanung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 V43 von Jan U, Sandk¨ uhler D, Kirsch L, Maas S, R¨ uhmann O, Overhoff HM: Ultrasound Volume Guided Navigated Implantation of the Humeral Part of a Shoulder Prosthesis . . . . . . . . . . . . . . . . . . . . . . 399 V44 Valvoda JT, Ullrich S, Kuhlen T, Bischof CH: Interactive Biomechanical Modeling and Simulation of Realistic Human Musculature in Virtual Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 P39 Bade R, Riedel I, Schmidt L, Oldhafer KJ, Preim B: Combining Training and Computer-Assisted Planning of Oncologic Liver Surgery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
XX
Inhaltsverzeichnis
Endoskopie und minimalinvasive Chirurgie V45 Rilk ME, Winkelbach S, Wahl FM: Partikelfilter-basiertes Tracking chirurgischer Instrumente in Endoskopbildern . . . . . . . . . . . . . . . . . . . . . . 414 V46 Wengert C, Reeff M, Cattin PC, Sz´ekely G: Fully Automatic Endoscope Calibration for Intraoperative Use . . . . . . . . . . . . . . . . . . . . . . 419 V47 Rupp S, Winter C, Wittenberg T: Camera Calibration from Fiberscopic Views with Accuracy Evaluation . . . . . . . . . . . . . . . . . . . . . . 424 V48 Winter C, Weisensel S, Rupp S, Wittenberg T: Aufl¨ osungssteigerung von fiberskopischen Bildsequenzen im Ortsraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
Freie Themen V49 Baron S, Orhan G, Hornung O, Blume H, Misske J, Norozi K, Wessel A, Yelbuz TM, Heimann B: Konstruktion und Etablierung einer Klimakammer f¨ ur die Untersuchung der embryonalen Herzentwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 V50 Weber M, Ruiter NV, Schwarzenberg G, Zapf M, M¨ uller TO: Ultraschallsimulation f¨ ur die Ultraschall-Computertomographie . . . . 439 V51 Krings M, Mahnken A, Schroer C, Patommel J, Kalender W, Glasmacher B: CT, µ-CT und µ-Tomographie (Synchrotron) der in vitro Kalzifizierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 V52 Weichert F, Linder R, Landes CA, Groh A, W¨ underlich R, Wagner M: Photorealistische Generierung histologischer und histopathologischer Schnittpr¨ aparate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 P40 Rink E, D¨ urschmied D, Harder D, Zhou Q, Freund G, Rossknecht A, Hehrlein C: Contrast Enhanced Ultrasound Perfusion Imaging . . . . . 454
Kategorisierung der Beitr¨ age . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 Autorenverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461 Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen aus hierarchisch partitionierten Bildern Christian Thies, Marcel Schmidt-Borreda und Thomas Lehmann Institut f¨ ur Medizinische Informatik, RWTH Aachen, 52057 Aachen Email:
[email protected]
Zusammenfassung. Die automatisierte explizite Extraktion von Objekten aus Bildserien, erfordert eine reproduzierbare Beschreibung der entsprechenden Bildregionen. Ein hierarchisches Partitionierungsverfahren zerlegt dazu ein Bild in seine visuell plausiblen Regionen, f¨ ur die dann ein Vektor mit beschreibenden ordinalen Merkmalen berechnet wird. Objektextraktion entspricht damit der Klassifikation entsprechender Merkmalsvektoren, die vom Anwender durch markieren, trainiert werden. Da f¨ ur die Klassifikation das “No-Free-Lunch-Theorem” gilt, m¨ ussen Klassifikator und Merkmalsauswahl f¨ ur jede Dom¨ ane experimentell ermittelt werden. Beim Vergleich des Nearest-Neighbor Klassifikators mit dem Bayes Klassifikator mit Gaußschen Mischverteilungen und der Supportvektormaschine liefert letztere f¨ ur die Handknochenextraktion aus R¨ ontgenaufnahmen das beste Ergebnis.
1
Einleitung
In der medizinische Bildverarbeitung w¨ achst die Menge der digital erfassten Bilder, sowie die Arten von Objekten, die in ihnen gesucht werden, in einem Maße, dass eine rein manuelle Auswertung mittelfristig nicht mehr m¨oglich sein wird. Daher werden Verfahren immer wichtiger, mit denen a-priori unbekannte Objektbeschreibungen flexibel und effizient formulierbar sind. Hierzu ist in erster Linie eine anwenderorientierte Benutzerschnittstelle erforderlich, in der das Lernen anwendungsangepasst und mit kleinen Stichproben erfolgt. Hierarchische Partitionierungen liefern eine vollst¨andige Bildzerlegung in visuell plausible Regionen, die sich durch einen Merkmalsvektor beschreiben lassen [1]. Um eine solche Region als Objekt zu identifizieren, muss der regionenbeschreibende Merkmalsvektor analysiert werden, was einer Klassifikationsaufgabe entspricht. Mit diesem Ansatz l¨ asst sich die komplexe Formalisierung von a-priori unbekannten Objekten als anwenderorientiertes “Point & Click”- Training realisieren. Problem dabei ist die Auswahl des geeigneten Klassifikators und dessen Integration in einen Workflow. In der Literatur existieren zahlreiche Klassifikatoren, sowie Methoden zur Merkmalsreduktion, Sampling der Daten und Parametersuche [2]. Ferner gibt es Verfahren, die Bilder vollst¨ andig und hierarchisch in die visuell plausiblen
2
C. Thies, M. Schmidt-Borreda und T. Lehmann
Regionen aller Skalen partitionieren [1]. Die Auswahl des Klassifikators h¨angt allerdings von der Struktur des verwendeten Merkmalsraums ab und l¨asst sich nach dem “No-Free-LunchTheorem” nicht generisch beantworten, sondern muss experimentell ermittelt werden [2]. Die mit dem hier vorgestellten Framework durchgef¨ uhrten Experimente dienen dazu, die Abh¨ angigkeit der Klassifikationsergebnisse vom Merkmalsraum, den verwendeten Parametern und dem gew¨ ahlten Klassifikationsparadigma f¨ ur hierarchisch partitionierte Bilder zu verstehen. Auf diese Weise wird untersucht, ob es m¨ oglich ist, Anwenderwissen durch simples Markieren relevanter Beispielregionen ohne formale Interaktion zu lernen, und dieses Wissen automatisiert zu reproduzieren. Dabei werden reale Daten der klinischen Routine verwendet.
2
Klassifikatoren fu ¨r die Objektsuche
Als Werkzeug dient ein Framework, das den Datenfluss der Klassifikation modelliert und so effiziente Experimente erm¨ oglicht. Zur Merkmalsreduktion stehen die Lineare Diskriminanz Analyse (LDA), die Hauptkomponenten Analyse (PCA) sowie das auf- und absteigende Greedy-Verfahren zur Verf¨ ugung. Als Klassifikatoren wurden die Supportvektormaschine (SVM), der Bayes Klassifikator mit Gaußschen Mischverteilungen (GMM) und das k-Nearest-Neighbor¨ Ahnlichkeitsmaß (KNN) gew¨ ahlt. SVM und GMM sind modellbasiert, wobei die SVM versucht, strukturelles und empirisches Risiko zu minimieren, w¨ahrend GMM zwar theoretisch durch empirische Risikominimierung immer das beste Resultat liefert, dieses aber mit Overfitting einhergeht. Im Vergleich dazu wird der KNN-Klassifikator als modellfreier Ansatz verwendet. Die Tests werden mit unterschiedlich gesampelten Test- und Trainingsdaten durchgef¨ uhrt. Dazu steht das Bootstrapping zur Verf¨ ugung. Beim GMM kann zus¨atzlich Varianz-Pooling verwendet werden. Aus Anwendersicht ist bei der Klassifikation die Zahl der korrekt identifizierten Objekte entscheidend. Dies sowohl im Verh¨altnis zur Gesamtzahl aller R¨ uckgaben (Precision) als auch in Bezug zu allen im Datensatz vorhandenen Werten (Recall). Die Accuracy als Maß der Klassifikationsg¨ ute ist f¨ ur die Objektsuche von untergeordneter Bedeutung. Daher wird das F-Measure als harmonisches Mittel aus Precision und Recall als Qualit¨atsmaß verwendet [3]. 2 · Recall · Precision (1) Recall + Precision Ziel der Experimente ist also die Bestimmung des Klassifikators, der ein maximales F-Measure (Gl. 1) f¨ ur die gegebene Ground-Truth liefert. F-Measure =
3
Experimente
Die Experimente werden auf 105 zuf¨ allig ausgew¨ahlten Handradiographien aus der klinischen Routine durchgef¨ uhrt. Diese Bilder werden z.B. f¨ ur die vergleichende Auswertung von Handknochen zur Maturit¨atsbestimmung bei Heranwachsenden eingesetzt. In dieser Anwendung w¨ urde eine automatisierte Extraktion der Knochen dem befundenden Radiologen reproduzierbare Abmessungen
Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen
3
der Objekte liefern. F¨ ur die Experimente wurden die Mittelhandknochen als Referenzobjekte gew¨ ahlt. Die Bilder werden auf eine maximale Kantendimension von 256 Pixeln unter Beibehaltung der Aspect-Ratio verkleinert. In dieser Gr¨oße sind die gesuchten Handknochen immer noch erkenn- und vermessbar, wobei der Raum der zu durchsuchenden Daten beschr¨ ankt bleibt. Die Partitionierung erfolgt mittels eines hierarchischen Bereichswachstumsverfahrens [1], das die Verschmelzung von Pixeln u ur al¨ ber Regionen hin zum gesamten Bild protokolliert. Dabei werden f¨ le Regionen 38 beschreibende Merkmale (Rundheit, Gr¨oße, Grauwertvarianz,...) berechnet. F¨ ur jedes Bild ergeben sich ca. 2.500 Regionen, was wiederum f¨ ur die gesamte Bildmenge einen 43-dimensionalen Merkmalsraum mit ca. 265.000 Elementen ergibt. Als Ground-Truth wurden manuell 372 Vektoren bestimmt, die die erkennbaren Mittelhandknochen im Datenraum repr¨asentieren. Alle anderen Vektoren fallen in die R¨ uckweisungsklasse. 3.1
Merkmalsauswahl
Im ersten Schritt wird die Abh¨ angigkeit des Ergebnisses von der Merkmalsauswahl und damit ein optimaler Merkmalssatz bestimmt. Die Tests erfolgen dabei u allige Auswahl von 10 Trainings- und 53 Testbilder aus der ¨ ber eine zuf¨ Ground-Truth von 105 Bildern, also etwa 130.000 Merkmalsvektoren und 50 Trainigsobjekte. Greedy-Verfahren. F¨ ur alle drei Klassifikatoren wird jeweils das auf- und absteigende Greedy-Verfahren, zur Merkmalsauswahl angewandt. Die Parametersuche f¨ ur die SVM erfolgt dabei mittels Grid-Suche und Gaußschem Kernel (RBF), f¨ ur den GMM-Klassifikator wird ein Cluster sowie Varianz-Pooling verwendet. Der KNN wird f¨ ur den ersten Nachbarn (1-NN) mit minimaler Euklidischer Norm (L2), Mahalanobis-Distanz (MAH) sowie Cosinusnorm (COS) untersucht. Korrelationsanalyse. Zum Vergleich mit den beiden Greedy-Verfahren werden die PCA und die LDA f¨ ur eine bis 38 Zieldimensionen jeweils f¨ ur alle drei Klassifikatoren getestet. 3.2
Anwendungsszenario
Im zweiten Schritt wird das Anwendungsszenario simuliert. Es entspricht dem Markieren von gesuchten Objekten in einer kleinen und zuf¨alligen Auswahl von Bildern durch den Anwender. Mit den markierten Vektoren wird dann der Klassifikator trainiert, und auf die verbleibende Testmenge angewandt. Es werden 5, 10, 20 und 40 Mittelhandknochen gew¨ ahlt, was 1,2,4, bzw. 8 aus 105 Bildern zum Training entspricht. Um die statistische Verteilung der Auswahl zu simulieren, werden jeweils 20 Samples mittels Bootstrapping gezogen.
4
C. Thies, M. Schmidt-Borreda und T. Lehmann
Tabelle 1. F-Measure, Precision und Recall f¨ ur das aufsteigende Greedy-Verfahren im Vergleich der untersuchten Klassifikatoren Klassifikator # Merkmale Recall Precision F-Measure 1-NN, L2 7 0,36 0,28 0,31 1-NN, COS 12 0,52 0,28 0,36 1-NN, MAH 4 0,36 0,28 0,32 GMM 12 0,58 0,37 0,45 SVM 14 0,58 0,67 0,62
4 4.1
Ergebnisse Merkmalsauswahl
Greedy-Verfahren aufsteigend. Bei der Berechnung der Merkmalsreduktion mit dem aufsteigenden Greedy-Verfahren war die SVM mit einem F-Measure von 0.62 und 14 Merkmalen der Klassifikator mit der h¨ochsten erzielbaren Genauigkeit w¨ ahrend der modellfreie 1-NN Klassifikator mit der L2-Norm das schlechteste Ergebnis liefert(Tab. 1).Von den 38 verf¨ ugbaren Merkmalen wurden maximal 14 ausgew¨ ahlt. Precision und Recall variieren f¨ ur die einzelnen Klassifikatoren. Greedy-Verfahren absteigend. Mit dem absteigenden Greedy-Verfahren lieferte ebenfalls die SVM bei 32 Merkmalen das beste Ergebnis allerdings nur mit einem F-Measure von 0.46. F¨ ur den 1-NN ergaben sich mit COS bei 12 Merkmalen ein F-Measure von 0.36. PCA. Die zum Vergleich durchgef¨ uhret PCA lieferte mit einem F-Measure von 0.21 ihr bestes Ergebnis bei einer Zieldimension von 26 f¨ ur GMM. Dabei verbessert sich das Ergebnis mit wachsender Zieldimension. LDA. Bei der LDA liefert 1-NN mit der L2 Norm das beste Ergebnis mit einem F-Measure von 0.31 bei einer Zieldimension von 23. Dabei variieren die Werte f¨ ur die Zieldimensionen von 1 bis 38 nicht monoton zwischen 0.2 und 0.3. 4.2
Anwendungsszenario
Die Simulation des Anwendungsszenarios liefert f¨ ur die SVM bei 20 unterschiedlichen Trainings-Samples von jeweils 40 Knochen ein bestes mittleres F-Measure von 0.42 (Tab. 2). Die angegebenen Werte sind dabei jeweils eine Mittelung aus 20 Einzelklassifikationen. Precision und Recall weisen f¨ ur die SVM und den GMM Klassifikator hohe Differenzen auf, aber man erkennt einen monotonen Anstieg mit wachsender Anzahl Trainingsobjekte Ein Wilcoxon-Test auf dem 5% Niveau best¨ atigt außerdem das signifikant bessere Abschneiden der SVM u ur den Grenzwert von ¨ ber die 20 Samples im Vergleich zu 1-NN und GMM. F¨ 80 Trainingsvektoren ergeben sich keine h¨ oheren Werte.
5
Diskussion
Die SVM liefert f¨ ur die gestellte Aufgabe das beste Ergebnis hierbei dient die Kombination aus hoher Generalisierungsf¨ ahigkeit bei gleichzeitiger Minimierung
Einsatz von Klassifikatoren zum Lernen von Objektbeschreibungen
5
Tabelle 2. Ergebnisse der Klassifikatoren bei wachsender Anzahl von Trainigsobjekten. # Trainingobjekte Klassifikator 5 Knochen 1-NN L2-Norm GMM (1) SVM 10 Knochen 1-NN L2-Norm GMM (1) SVM 20 Knochen 1-NN L2-Norm GMM (1) SVM 40 Knochen 1-NN, L2-Norm GMM (1) SVM
Recall Precision F-Measure 0,25 0,26 0,25 0,28 0,26 0,25 0,26 0,29 0,25 0,27 0,28 0,28 0,50 0,22 0,30 0,24 0,44 0,28 0,29 0,29 0,29 0,30 0,30 0,30 0,35 0,43 0,37 0,32 0,33 0,33 0,60 0,28 0,38 0,38 0,52 0,42
des empirischen Risikos dem Ausgleich der extremen Klassenschieflage zwischen Objekt- und R¨ uckweisungsklasse. Die Greedy-Heuristik liefert die Merkmalsauswahl, die zum besten Ergebnis f¨ uhrt. Dies liegt an der nichtlinearen Korrelation der Merkmalsverteilungen, die von LDA und PCA nicht modelliert wird. Diese Beobachtungen lassen sich jedoch nach dem “No-Free-Lunch-Theorem” nicht ohne weiteres verallgemeinern. F¨ ur andere Aufgabenstellungen, d.h. Merkmalsr¨ aume, m¨ ussen die Experimente entsprechend wiederholt werden, wozu das vorgestellte Framework ein nachvollziehbares Werkzeug bietet. Die Erkennungsrate f¨ ur die vorgestellte Anwendung der lokalen Bildanalyse ist in jedem Fall verbesserungsf¨ ahig, sie liegt allerdings in einer Gr¨oßenordnung wie sie auch aktuelle und von der Komplexit¨ at vergleichbare Ans¨atze zum globalen inhaltsbasierten Bilddatenbankzugriff liefern [4]. Die Experimente zeigen, das ein “Point & Click”-Training zur Beschreibung und Extraktion a-priori unbekannter Objekte mittels Klassifikation prinzipiell m¨oglich ist. Um die Genauigkeit zu verbessern, m¨ ussen die verwendeten Merkmale und ihre Variationen jedoch weitergehend untersucht werden.
Literaturverzeichnis 1. Beier D, Thies C, G¨ uld MO, Fischer B, Kohnen M, Lehmann TM. Ein lokal¨ adaptives Ahnlichkeitsmaß als Kriterium der hierarchischen Regionenverschmelzung. In: Procs BVM; 2004. p. 100–4. 2. Duda RO, Hart PF, Stork DG. Pattern Classification. 2nd edition, Wiley Interscience, New York; 2001. 3. van Rijsbergen CJ. Information Retrieval. 2nd edition, Butterworths, London; 1979. 4. Clough P, M¨ uller H, Sanderson M. The CLEF 2004 Cross-Language Image Retrieval Track. LNCS 2005;3491:597–613.
Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen zur Analyse atmungsbedingter Organbewegungen Ren´e Werner1 , Jan Ehrhardt1 , Thorsten Frenzel2 , Dennis S¨ aring1 , Daniel Low3 und Heinz Handels1 1 Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg-Eppendorf, 20246 Hamburg 2 Hermann-Holthusen-Institut f¨ ur Strahlentherapie, Allgemeines Krankenhaus St. Georg, 20099 Hamburg 3 Mallinckrodt Institute of Radiology, Washington University, St. Louis, USA Email:
[email protected]
Zusammenfassung. Atmungsbedingte Organbewegungen stellen eines der Hauptprobleme der Strahlentherapie thorakaler und abdominaler Tumoren dar. Die Entwicklung von L¨ osungsans¨ atzen bedarf der Analyse des r¨ aumlich-zeitlichen Verhaltens der strahlentherapeutisch relevanten Volumina, z.B. auf Basis von 4D-CT-Daten. Moderne CT-Scanner gestatten allerdings lediglich die simultane Aufnahme einer begrenzten Anzahl benachbarter K¨ orperschichten. Um dennoch Bewegungen gr¨ oßerer Volumina untersuchen zu k¨ onnen, werden durch wiederholtes Scannen der entsprechenden anatomischen Segmente r¨ aumlich-zeitliche CT-Segmentfolgen generiert. Es kann jedoch nicht sichergestellt werden, dass f¨ ur die Scans der unterschiedlichen anatomischen Segmente die Zeitpunkte relativ zum Atemzyklus des Patienten einander entsprechen. Werden 3DCT-Daten zu einem vorgegebenen Zeitpunkt des Atemzyklus ausschließlich aus den aufgezeichneten Datensegmenten zusammengesetzt, treten folglich Bewegungsartefakte an den Segmentgrenzen auf. Dieser Beitrag pr¨ asentiert ein Verfahren zur Rekonstruktion von (3D+t)-CT-Daten (4DCT-Daten), das zur Reduktion der Artefakte f¨ uhrt. Hierzu wird der Optische Fluss zwischen den aufgezeichneten Datensegmenten bestimmt und zur Interpolation von Datensegmenten f¨ ur vorgegebene Zeitpunkte des Atemzyklus eingesetzt. Die rekonstruierten 4D-CT-Daten bilden die Grundlage der Analyse und Visualisierung der Bewegungen der dargestellten Bildstrukturen (Lungenfl¨ ugel, Bronchialbaum, Lungentumoren).
1
Problemstellung
Atmungsbedingte Organbewegungen stellen eines der Hauptprobleme im Kontext der Strahlentherapie thorakaler und abdominaler Tumoren dar. Derzeitig werden m¨ ogliche Bewegungen des Tumors durch Addition statischer Sicherheitss¨ aume zu dem Volumen ber¨ ucksichtigt, das auf Basis eines 3D-CT-Datensatzes als tats¨ achlich bzw. sehr wahrscheinlich tumorhaltig identifiziert wird.
Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen
7
Aufgrund der großen Amplituden atmungsbedingter Organbewegungen kann ein solches Vorgehen stark zu Lasten des gesunden Gewebes gehen. Eine explizite Ber¨ ucksichtigung der atmungsbedingten Dynamik ist demnach erstrebenswert, bedarf allerdings einer detaillierten Kenntnis bzw. der Analyse des r¨aumlichzeitlichen Verhaltens der strahlentherapeutisch relevanten Volumina. Zur Durchf¨ uhrung entsprechender Analysen werden mittels eines MehrzeilenCT r¨ aumlich-zeitliche CT-Segmentfolgen aufgenommen (siehe [1]): Die derzeitige Mehrzeilen-Computertomographie gestattet lediglich die simultane Aufnahme einer begrenzten Anzahl benachbarter K¨ orperschichten. Um dennoch Bewegungen gr¨ oßerer Volumina untersuchen zu k¨ onnen, werden die das zu untersuchende Volumen abdeckenden Couchpositionen wiederholt gescannt. Zeitgleich wird mittels Spirometrie das Atemvolumen des Patienten gemessen. Hierauf basierend werden den aufgezeichneten Datensegmenten das zugeh¨orige Atemvolumen und die Atemphase (Ein- oder Ausatmung) zugeordnet. Die Gesamtheit der Datensegmente stellt somit eine r¨ aumlich-zeitliche CT-Segmentfolge dar. Gesucht ist nun ein Verfahren, das es erlaubt, auf Basis der CT-Segmentfolgen (3D+t)-CT-Daten (d.h. 4D-CT-Daten) zu rekonstruieren. Als problematisch erweist sich hierbei, dass bei Aufzeichnung der Segmentfolgen, insbesondere bei freier Atmung des Patienten, f¨ ur unterschiedliche Couchpositionen die Datensegmente zumeist zu verschiedenen Zeitpunkten des Atemzyklus erfasst werden. Setzt man die 3D-CT-Daten des gesuchten 4D-Datensatzes aus den aufgezeichneten Datensegmenten zusammen, treten Bewegungsartefakte auf, die sich durch Konturspr¨ unge an den Segmentgrenzen manifestieren (siehe Abb. 1, oben). Eine Minimierung der Bewegungsartefakte bildet die Grundlage f¨ ur eine computergest¨ utzte Analyse und Visualisierung der atmungsbedingten Organbewegungen.
2
Methodik
Durch Vorgabe einer sortierten Sequenz von Zeitpunkten des Atemzyklus (= ˆ Wertepaaren, je bestehend aus Atemvolumen und Atemphase) wird die zeitliche Aufl¨ osung des zu generierenden (3D+t)-CT-Datensatzes festgelegt. Zu jedem der Zeitpunkte ist ein korrespondierender 3D-CT-Datensatz zu rekonstruieren. 2.1
Rekonstruktion durch N¨ achster-Nachbar-Interpolation
Bislang eingesetzte Verfahren zur Rekonstruktion von (3D+t)-CT-Daten aus bei freier Atmung des Patienten aufgenommenen, r¨aumlich-zeitlichen CT-Segmentfolgen beruhen auf dem Prinzip der N¨achster-Nachbar-Interpolation: Um einen 3D-CT-Datensatz zu einem vorgegebenen Zeitpunkt des Atemzyklus des Patienten zu rekonstruieren, wird auf Basis der spirometrischen Daten zu jeder Couchposition dasjenige aufgezeichnete Datensegment ermittelt, dessen zugeordneter Zeitpunkt dem Vorgegebenen am n¨ achsten kommt. Der 3D-CT-Datensatz wird dann generiert, indem diese Datensegmente entsprechend ihrer r¨aumlichen Positionen zusammengesetzt werden. Aufgrund der dargestellten Problematik f¨ uhrt dieses Vorgehen zu den beschriebenen Bewegungsartefakten.
8
2.2
R. Werner et al.
Rekonstruktion durch Interpolation unter Verwendung des Optischen Flusses
Um eine Minimierung dieser Bewegungsartefakte zu erzielen, wurde ein neues Rekonstruktionsverfahren entwickelt und umgesetzt. Zur Rekonstruktion eines 3D-Datensatzes zu einem gegebenen Atemvolumen werden hierbei f¨ ur jede zu ber¨ ucksichtigende Couchposition Datensegmente interpoliert, die dem zur Rekonstruktion vorgegebenen Atemvolumen entsprechen. Hierzu werden auf Basis der spirometrischen Informationen f¨ ur die einzelnen Couchpositionen je die beiden aufgezeichneten Datensegmente ermittelt, die dem vorgegebenen Zeitpunkt am n¨ achsten kommen (zeitlich vorhergehend, zeitlich nachfolgend). Zwischen diesen wird durch Anwendung der d¨amonenbasierten Registrierung nach Thirion [2] der Optische Fluss [3] gesch¨ atzt. Das resultierende Geschwindigkeitsfeld repr¨ asentiert die auftretenden Bewegungen innerhalb des zeitlichen Intervalls, das durch die den Datensegmenten zugeordneten Zeitpunkte definiert wird, und wird in Analogie zu [4] zur Erzeugung eines interpolierten Datensegmentes zum vorgegebenen Zeitpunkt herangezogen. Durch auftretende Bewegungen u ¨ ber die Segmentgrenzen hinaus k¨ onnen hierbei allerdings Registrierungsartefakte an den Segmentgrenzen auftreten. Diesen wird entgegengewirkt, indem die origin¨ar zu verarbeitenden Datensegmente um die zeitlich ann¨ahernd korrespondierenden Datensegmente benachbarter Couchpositionen erweitert werden. Die beschriebene Methodik wird auf diese erweiterten Datensegmente“ angewendet. Indem ” somit w¨ ahrend des Registrierungsprozesses Voxelkorrespondenzen u ¨ber die Grenzen der origin¨ aren Datensegmente hinaus definiert werden k¨onnen, werden die Artefakte reduziert. 2.3
Evaluation der Rekonstruktionsverfahren
Die Rekonstruktionsverfahren werden evaluiert, indem die innerhalb der generierten 4D-CT-Datens¨ atze auftretenden Spr¨ unge quantifiziert werden. Hierzu ¨ wird das Verh¨ altnis der mittleren Ahnlichkeit der Schichten eines Segment¨ uberganges (unterste Schicht des oberen Segmentes, oberste Schicht des unteren Seg¨ mentes) und der mittleren Ahnlichkeit der innerhalb eines Segmentes benachbarten Schichten betrachtet. Gemittelt wird u uber¨ber alle entsprechenden Schicht¨ ¨ g¨ange s¨ amtlicher 3D-Datens¨ atze des betrachteten 4D-Datensatzes. Als Ahnlichkeitsmaß wird die SSD-Metrik (SSD: Summed Squared Deviation) eingesetzt. 2.4
Analyse und Visualisierung von Organbewegungen auf Basis der rekonstruierten 4D-CT-Daten
Die rekonstruierten 4D-CT-Datens¨ atze werden zur Analyse und Visualisierung atmungsbedingter Organbewegungen eingesetzt. Hierzu werden die interessierenden Strukturen (hier: Lungenfl¨ ugel, Bronchialbaum, Lungentumoren) segmenardaten wird dann f¨ ur die einzelnen 3D-CTtiert. Unter Verwendung der Bin¨ Datens¨ atze u uft, ob das Volumen der in der Lunge enthaltenen Luft (die ¨ berpr¨ Bestimmung des Volumens erfolgt in Anlehnung an [5]) und die spirometrisch
Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen
9
Abb. 1. Schnitt eines rekonstruierten 3D-CT-Datensatzes zu einem Atemvolumen von 800 ml (Ausatmung). Oben: Rekonstruktion durch N¨ achster-Nachbar-Interpolation. Unten: Rekonstruktion durch Interpolation unter Verwendung des optischen Flusses.
gemessenen Atemvolumenwerte korrelieren. Weitergehend werden organspezifische Landmarken verfolgt und deren Trajektorien analysiert. 4D-Darstellungen der Bewegungen der Strukturen werden erzeugt, indem zeitliche Sequenzen von Oberfl¨ achenmodellen generiert werden.
3
Ergebnisse
Die Rekonstruktionsverfahren wurden jeweils auf vier r¨aumlich-zeitliche CTSegmentfolgen (Lungentumor-Patienten) angewendet, aufgenommen mittels eines 12-Zeilen-CT (r¨ aumliche Aufl¨ osung: 0.9 x 0.9 x 1.5 mm bei 512 x 512 x 12 Voxel pro Couchposition; Datens¨ atze umfassen 16-19 Couchpositionen). F¨ ur jede Couchposition liegen 15 Datensegmente vor, die jeweils im Abstand von 0.75 s aufgezeichnet wurden. Die Datens¨ atze umfassen den Thorax sowie das obere Abdomen und bestehen je aus mehr als 2880 transversalen Schichtbildern. Die visuelle Pr¨ ufung der Datens¨ atze, die aus der Rekonstruktion durch Interpolation unter Verwendung des optischen Flusses resultieren, ergibt im Vergleich
10
R. Werner et al.
zu den Daten, die mittels der N¨ achster-Nachbar-Interpolation erzeugt sind, eine deutliche Reduktion der Bewegungsartefakte (siehe Abb. 1). Anhand der zur Evaluation der Verfahren eingef¨ uhrten Kenngr¨ oße werden f¨ ur die vier Patientendatens¨ atze Reduktionen der Spr¨ unge um 32.7 %, 23.3 %, 24.6 % und 27.3 % erzielt. Die Bewegungsanalyse der rekonstruierten 4D-CT-Daten erbringt f¨ ur den Zusammenhang zwischen dem spirometrisch gegebenen Atemvolumen und dem in der Lunge enthaltenen Luftvolumen f¨ ur die Patienten jeweils einen Korrelationskoeffizienten von 0.99. Die ermittelten Bewegungsamplituden organspezifischer Landmarken stimmen mit verf¨ ugbaren Literaturwerten [6] u ¨ berein (z.B. Bifurkation und Lungenbasis: 1-2 cm). F¨ ur Lungentumoren wird eine starke Abh¨ angigkeit des Bewegungsausmaßes von der Lage des Tumors beobachtet.
4
Diskussion
Die Rekonstruktion von 4D-CT-Daten aus r¨ aumlich-zeitlichen CT-Segmentfolgen durch Interpolation von Datensegmenten unter Verwendung des optischen Flusses erlaubt es, zu vorgegebenen Zeitpunkten des Atemzyklus 3D-CT-Datens¨atze zu generieren. Insbesondere bei Anwendung auf Segmentfolgen, die bei freier Atmung des Patienten aufgenommen werden, zeichnet sich das Verfahren im Vergleich zu der bisher eingesetzten N¨ achster-Nachbar-Interpolation durch eine ¨ deutliche Reduktion atmungsbedingter Bewegungsartefakte an den Uberg¨ angen zwischen r¨ aumlich benachbarten Datensegmenten der 3D-CT-Datens¨atze aus. Die resultierenden 4D-CT-Daten sollen zu weiterf¨ uhrenden computergest¨ utzten Analysen atmungsbedingter Bewegungen anatomischer Strukturen verwendet werden. Der Schwerpunkt wird hierbei auf dem Auffinden von Korrelationen zwischen Bewegungen k¨ orperinterner Strukturen und Bewegungen der K¨orperoberfl¨ ache liegen, um z.B. Regionen der K¨ orperoberfl¨ache zu identifizieren, die ein nicht invasives Tracking der Bewegungen strahlentherapeutisch relevanter Volumina erlauben.
Literaturverzeichnis 1. Low DA, Nystrom M, Kalinin E, et al. A method for the reconstruction of fourdimensional synchronized CT scans acquired during free breathing. Med Phys 2003;30(6):1254–1263. 2. Thirion JP. Image matching as a diffusion process: an analogy with Maxwell’s demons. Med Image Anal 1998;2(3):243–260. 3. Horn BKP, Schunck BG. Determining optical flow. Artif Intell 1981;17:185–203. 4. Ehrhardt J, S¨ aring D, Handels H. Optical Flow-based Interpolation of Temporal Image Sequences. In: Procs BVM; 2006, accepted. 5. Lu W, Parikh PJ, Naqa IMEl, et al. Quantitation of the reconstruction quality of a four-dimensional computed tomography process for lung cancer patients. Med Phys 2005;32(4):890–901. 6. Langen KM, Jones DT. Organ motion and its management. Int J Radiat Oncol Biol Phys 2001;50(1):265–278.
3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen in CT-Daten Patrick J¨ ager1, Stefan Vogel3 , Achim Knepper1 , Thomas Kraus2 und Til Aach1 1
Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen Templergraben 55, 52056 Aachen 2 Institut f¨ ur Arbeitsmedizin, Universit¨ atsklinikum der RWTH Aachen, 52057 Aachen 3 Lehrstuhl f¨ ur medizinische Informationstechnik, RWTH Aachen Templergraben 55, 52056 Aachen Email:
[email protected] Internet: www.lfb.rwth-aachen.de/mesotheliom
Zusammenfassung. Aufbauend auf fr¨ uheren Arbeiten wurde ein Bildverarbeitungssystem entwickelt, welches pleurale Verdickungen automatisch lokalisiert und visualisiert. Es liefert reproduzierbare, quantitative Daten, die eine genauere Beobachtung der Verdickungen erm¨ oglichen als die konventionelle Befundungsmethode, und reduziert den f¨ ur die Befundung n¨ otigen Zeitaufwand. Die automatische Detektion findet innerhalb eines zweistufigen Algorithmus statt, der zuerst aus allen Schichten des Datensatzes die Pleurakonturen extrahiert und darauf aufbauend die ¨ Verdickungen in den Pleurakonturen detektiert. Da die Anderung der Form einer Verdickung ein wichtiges Kriterium bei der Entscheidung ist, ob eine Verdickung entartet, wurde eine M¨ oglichkeit zur Visualisierung der Verdickungen und der Lungenfl¨ ugel implementiert. Diese k¨ onnen nun aus allen Perspektiven betrachtet werden. Unterschiede in den Verdickungen zweier aufeinanderfolgender Scans k¨ onnen so erkannt werden.
1
Problemstellung
Asbest ist ein Sammelbegriff f¨ ur nat¨ urlich vorkommende, faserf¨ormige, mineralische Silikatmaterialien, die dank ihrer guten thermischen, mechanischen und isolatorischen Eigenschaften in vielen Anwendungsbereichen eingesetzt wurden. Asbest ist eine gesicherte humankanzerogene Substanz und kann Lungen- und Pleurafibrosen, Lungen- und Kehlkopfkrebs sowie maligne Mesotheliome verursachen. Die Asbestfasern gelangen u ¨ber die Atemluft in die Lunge und lagern sich an der Pleura ab, wo sich gutartige und b¨osartige Ver¨anderungen ausbilden k¨ onnen. Die Latenzzeit zwischen der Asbestexposition und dem Entstehen eines Mesothelioms kann 10 bis 65 Jahre betragen [1, 2, 3]. Der H¨ohepunkt des Asbesteinsatzes wurde in Deutschland Ende der 70er Jahre erreicht. Daher geht man von einem weiteren Anstieg der Neuerkrankungen auf u ¨ ber 1000 F¨alle pro Jahr aus. Bei den Todesf¨ allen Berufserkrankter ist Asbest die weitaus h¨aufigste
12
P. J¨ ager et al.
Todesursache und stellt damit in der Arbeitsmedizin ein großes Problem dar. In anderen europ¨ aischen L¨ andern sind die Fallzahlen noch deutlich h¨oher [4]. Daher werden in den kommenden 30 Jahren in Westeuropa etwa 250.000 Mesotheliomtote prognostiziert [5].
2
Stand der Forschung
Eine Heilung des Mesothelioms ist bisher nur in Einzelf¨allen m¨oglich, wenn eine ¨ Fr¨ uherkennung erfolgte. Zurzeit betr¨ agt die mittlere Uberlebenszeit nach Dia¨ gnosestellung ca. 9 Monate. In dem Bestreben, die Uberlebenszeit Betroffener zu erh¨ ohen, kommt der Fr¨ uherkennung des malignen Tumors eine entscheidende Rolle zu. Eine Wachstumstendenz pleuraler Verdickungen im zeitlichen Verlauf stellt ein wesentliches Kriterium zur Differenzierung zwischen gutartigen und b¨ osartigen Ver¨ anderungen dar. Zur Diagnosestellung von gutartigen und b¨ osartigen Ver¨ anderungen wird die Pleura mittels CT auf Verdickungen untersucht, die dabei vom befundenden Arzt nach Gr¨oße und Form in Klassen eingeteilt werden. Die Ergebnisse werden in einen standardisierten Erfassungsbogen eingetragen. Dies ist zum einen mit sehr hohem zeitlichen Aufwand verbunden, zum anderen unterliegen die Auswertungsergebnisse aufgrund der subjektiven visuellen Beurteilung hohen Schwankungen. Intra- und Interreadervariabilit¨ atsuntersuchungen zeigen, dass eine genaue und reproduzierbare Aussage u ¨ ber die quantitative Ausdehnung einer Pleuraverdickung schwer zu treffen ist. Heute zur Befundung eingesetzte, kommerziell erh¨ altliche Workstations werden momentan lediglich als Werkzeug zur Visualisierung der CT-Scans eingesetzt und erleichtern es dem Befunder, die Ergebnisse in Formulare einzutragen. In [6] wird von einem System berichtet, das semiautomatisch zur eindimensionalen Vermessung von Mesotheliomen in der Lage ist. Systeme, welche pleurale Verdickungen automatisiert erfassen und vermessen, sind zurzeit noch nicht verf¨ ugbar.
3
Wesentlicher Fortschritt durch den Beitrag
Die Verwendung eines vollautomatischen Bildverarbeitungssystems bei der Befunderhebung hat zum einen das Ziel, die zeitliche Belastung des befundenden Arztes zu verringern. Zum anderen soll sie zu exakten, reproduzierbaren Messwerten f¨ uhren, die eine einfache, m¨ oglichst objektive Verlaufsdokumentation der pleuralen Verdickungen erm¨ oglichen. Die vom System dargestellten Ergebnisse k¨ onnen dabei jederzeit vom untersuchenden Arzt korrigiert werden. So k¨ onnen Ver¨ anderungen der Verdickungen, die auf die Bildung eines malignen Tumors hinweisen, fr¨ uher erkannt und schon im Fr¨ uhstadium geeignete Therapiemaßnahmen ergriffen werden, welche sowohl die Lebenserwartung als auch die Lebensqualit¨ at des Patienten erh¨ ohen.
3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen
13
Abb. 1. Extraktion und Visualisierung der Pleurakonturen.
(a) Alle im Bild gefundenen Konturen
4
(b) Gefundene Pleurakontur, Bronchialbaum herausgeschnitten
(c) Visualisierung Lungen߬ ugels
eines
Methoden
Im CT-Scan werden zuerst die Pleurakonturen extrahiert, daraufhin nach vordefinierten Kriterien die Verdickungen lokalisiert und deren charakteristische Abmessungen bestimmt. Unser Verfahren arbeitet wie folgt: Der Anwender l¨adt zu Beginn einen CT-Scan zur Befundung in den Arbeitsbereich. Per Knopfdruck startet er die Detektion der Pleurakonturen. Dabei wird jedes DICOM-Bild mit einer Schwellwert-Operation (-550 HU) [7] in ein Bin¨arbild umgewandelt. In diesem Bin¨ arbild werden mittels eines Konturfindungsalgorithmus [8] alle geschlossenen Konturen gefunden. Diese werden nach vordefinierten Kriterien sortiert, so dass am Ende die Konturen der Pleura u ¨brig bleiben. Da im Bereich des Bronchialbaumes und mediastinaler Strukturen keine Verdickungen zu erwarten sind, werden diese Bereiche im Scan nicht betrachtet. Mit Hilfe der so gefundenen Pleurakonturen lassen sich die Lungenfl¨ ugel in einem gesonderten Fenster in einer 3D-Ansicht visualisieren und von allen Seiten betrachten. Dabei sind die Bereiche der Verdickungen gut erkennbar (Abb. 1c). Mit einem weiteren Knopfdruck startet der Anwender den Algorithmus zum Auffinden der Verdickungen. Verdickungen stellen sich immer als nichtkonvexe Bereiche in der konvex modellierten Kontur der Lunge dar. Daher werden in den gefundenen Konturen der Pleura alle Punkte identifiziert, welche die Pleurakontur vollst¨ andig umschließen, wenn sie mit Geraden verbunden werden. Aus je zweien dieser Punkte wird nun mit Hilfe ihrer Verbindungsgerade und dem zwischen ihnen liegenden Konturst¨ uck eine neue, kleine Kontur erstellt (Abb. 2). Diese neuen Konturen werden als potentielle Verdickungen angesehen und nach drei Kriterien beurteilt: Sie werden nur weiter betrachtet, wenn sie mindestens ein Pixel umschließen, sich mindestens eine Kontur im selben Bereich des Schichtbildes dar¨ uber oder darunter befindet und sich in ihrem Innern ein bestimmter Anteil an Pixeln befindet, deren Hounsfield-Werte denen von Tumorgewebe (gr¨ oßer 40 HU) entsprechen. Ist eine dieser Bedingungen nicht erf¨ ullt, wird die Kontur verworfen. Die gefundenen Verdickungen (Abb. 3) werden mit
14
P. J¨ ager et al. Abb. 2. Erstellen der Differenzkonturen
(a) Knotenpunkte der konvexen H¨ ulle
¨ (b) Uberlagerung von Kontur und konvexer H¨ ulle
(c) Differenz Fl¨ achen
der
den sich im selben Bereich befindenden Konturen aus den Schichten dar¨ uber und darunter vervollst¨ andigt. Zur Bestimmung des idealtypischen Verlaufs der Pleura wird ein thin plate model“ verwendet, das mit Hilfe einiger Pixel außerhalb ” des Beginns der Nichtkonvexit¨ aten eingepasst wird. Dadurch wird zum einen die zur Volumenbestimmung n¨ otige R¨ uckwand“ der Verdickung realistisch nachge” bildet und zum anderen der Anfangs- und Endpunkt der Verdickungen in jeder Schicht unter Hinzunahme der 3D-Information optimal bestimmt [9]. Die so gefundenen Verdickungen k¨ onnen ¨ ahnlich wie die Lungen in einem eigenen Fenster in 3D visualisiert und von allen Seiten betrachtet werden. Mittels eines Justage-Verfahrens [7] werden charakteristische Punkte des K¨orpers und ihre Lage relativ zum CT ermittelt. Dies erm¨oglicht eine Koregistrierung der Verdickungen und damit die automatisierte Erstellung einer Verlaufsdokumentation f¨ ur jede Verdickung. Die Ergebnisse der Verarbeitung (Konturen, charakteristische Werte der Verdickungen) werden bei deutlich erh¨ohter Sensitivit¨at des Untersuchungsverfahrens gespeichert und stehen so jederzeit zum Vergleich mit neuen Aufnahmen des Patienten zur Verf¨ ugung.
5
Ergebnisse
Die Algorithmen zum Auffinden der Pleurakonturen, der Verdickungen und die Funktionalit¨ at zur 3D-Visualisierung sowohl der Lungen als auch der Verdickungen funktionierten auf dem zur Verf¨ ugung stehenden Bildmaterial zuverl¨assig. Als n¨ achster Schritt steht eine Validierung der Ergebnisse des Systems in der Praxis im Vergleich zu den Ergebnissen erfahrener Befunder an, ebenso eine Beurteilung der Anwendbarkeit durch Befunder im t¨aglichen Betrieb.
6
Ausblick
Um das System im klinischen Routinebetrieb einsetzen zu k¨onnen, muss eine Validierung der gelieferten Ergebnisse stattfinden. Um dem Ziel eines vollautoma-
3D-Erkennung, Analyse und Visualisierung pleuraler Verdickungen
15
Abb. 3. Verdickungen - rot: HU > 10, blau: HU < 10
(a) Spindelf¨ ormige ckung
Verdi-
(b) Tafelbergf¨ ormige Verdickung
tischen Systems zur Erfassung und Vermessung pleuraler Verdickungen n¨aher zu kommen, ist neben einer Integration der entwickelten Algorithmen in die schon bestehende Benutzeroberfl¨ ache eine Automatisierung der Koregistrierung und die Implementierung einer Verlaufsdokumentation n¨otig.
Literaturverzeichnis 1. Kraus T, Raithel HJ. Fr¨ uhdiagnostik asbeststaubverursachter Erkrankungen. Hauptverband der gewerbl. Berufsgenossenschaften, Sankt Augustin; 1998. 2. R¨ uhle KH. Pleurale Erkrankungen: Diagnostik und Therapie. Kohlhammer, Stuttgart; 1997. 3. Sugarbaker DJ, Norberto JJ, Bueno R. Current Therapy of Mesothelioma. Cancer Control Journal 1997;4(4):326–334. 4. Deriot G, Godefroy JP. Rapport d’information fait au nom de la mission commune d’information sur le bilan et les cons´equences de la contamination par l’amiante. Senat de la republique francaise; 2005. 5. Dami˜ ao. Bericht u ur eine Richtlinie des Europ¨ aischen Parlaments ¨ ber den Vorschlag f¨ ¨ und des Rates zur Anderung der Richtlinie 83/477/EWG des Rates u ¨ber den Schutz der Arbeitnehmer gegen Gef¨ ahrdung durch Asbest am Arbeitsplatz. Europ¨ aisches Parlament; 2002. 6. Armato SG, Oxnard GR, et al. Evaluation of Semiautomated Measurements of Mesothelioma Tumor Thickness on CT Scans. Academic Radiology 2005;12(10):1301– 1309. 7. Vogel S. Semiautomatische Segmentierung, quantitative Vermessung und Verlaufsdokumentation von Pleuramesotheliomen in Spiral-CT-Bildsequenzen. Lehrstuhl f¨ ur Messtechnik und Bildverarbeitung, RWTH Aachen; 2003. 8. Suzuki S, Abe K. Topological Structural Analysis of Digital Binary Images by Border Following. CVGIP 1985;30(1):32–46. 9. J¨ ager P. 3D-Analyse und Visualisierung pleuraler Verdickungen in Spiral-CT-Daten. Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen; 1997.
LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences in Real-Time Marc Hensel1 , Thomas Pralow2 and Rolf-Rainer Grigat1 1 2
Vision Systems, TU Hamburg-Harburg, 21079 Hamburg General X-Ray, Philips Medical Systems, 22335 Hamburg Email:
[email protected]
Abstract. We present a spatio-temporal filter for real-time noise reduction of strongly corrupted X-ray image sequences. It possesses efficient noise reduction while, at the same time, preventing typical artifacts of state-of-the-art methods. Decisive for these features are, in particular, innovative motion detection as well as noise-adaptive filter parametrization. Motion detection based on twofold signed binarization proved to be a powerful method for pixelwise separation of motion and strong noise. Drawbacks of threshold determination by Euler curve analysis as applied previously were eliminated by integration of signal-dependent noise estimation.
1
Introduction
Real-time noise reduction, enhancement, and visualization of X-ray image sequences is the basis of several established clinical applications. For instance, in angiography, medical instruments are navigated and the distribution processes of contrast agents are observed. As medical staff and patients are exposed over a long period, very low X-ray doses are applied in these examinations. Consequently, images exhibit severe noise. The advance of digital technologies and powerful computers enables us to apply image processing methods of increasing complexity. State-of-the-art in real-time noise reduction is spatio-temporal filtering. Temporal filtering is well suited for noise reduction of static image regions. Motion, however, generates perturbing artifacts. Hence, moving structures should be detected and temporal filtering reduced at these structures. Motion detection is complicated significantly by severe signal-dependent noise in the image data at hand. In last year’s BVM workshop our groups have presented motion detection based on independent binarization of positive and negative values in temporal difference images [1]. In this paper we report on the development status of the enhanced noise reduction method, which we named – for lack of better ideas – LAST (Local Adaptive Spatio-Temporal ) filter. Following a brief description of the filter, we focus on advances in motion detection and filter parametrization. In particular, we replaced blockwise processing based on Euler curves by a pixelwise motion probability that is motivated by an appropriate noise model.
LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences
17
Fig. 1. Temporal recursive filter structure (α + β + γ = 1)
2
State-of-the-Art
Typically, temporal recursive filters [2] are applied for real-time noise reduction of X-ray image sequences exhibiting severe noise [3, 4]. In static image regions, temporal filtering significantly improves image quality and preserves fine structures far better than spatial filters of comparable complexity. However, motion generates distracting artifacts (motion shadows). Motion artifacts can be prevented by detecting motion and reducing the strength of temporal filtering in favor of spatial filtering at these locations. As motion generates strong signal in temporal difference images, motion detection is commonly based on the current and the last filtered image [5]. However, pixelbased motion detection without consideration of the neighborhood yields artifacts as frayed edges or salt-and-pepper noise in very noisy images. Aufrichtig and Wilson [4] assume motion artifacts in non-cardiac angiography to be caused predominantly by long, thin objects like catheters or guide-wires rather than organic structures. They use templates of small line segments to identify these objects and control spatio-temporal filtering. However, at least in angiography, large vessels brought out by contrast agents and, in general, bone structures are likely to produce artifacts as well. Recently, we have presented a method to detect strong noise and motion by independent binarization and postprocessing of positive and negative gray value differences [1]. For binarization, images are divided into blocks and a threshold for each block is determined in a noise-adaptive way by Euler curve analysis. Problems are, in particular, blocking artifacts and the complexity of Euler curve generation and analysis.
3
Methods
The filter is composed of a recursive spatio-temporal filter structure (Fig. 1) and a control unit determining local filter parameters. Latter includes a shutter, noise estimation, motion detection (twofold signed binarization and binary postprocessing) and automatic parametrization. The shutter determines the region of X-ray (ROX). Outside this region no motion is expected. Thus, maximal temporal filtering is applied. The integrated noise estimator is subject to a further paper presented by our groups [6].
18
M. Hensel, T. Pralow and R.-R. Grigat
Main features of the proposed motion detection and filter control are: 1. Twofold Signed Binarization: Independent binarization of positive and negative temporal gray value differences generates two binary images. 2. Postprocessing: By means of morphological operations, both binary images are divided into two masks representing motion and strong noise, each. Positive and negative motion masks are combined to one binary image. The proceeding for the noise masks is analogous. 3. Local adaptive control of spatial and temporal filter strengths via motion and noise masks as well as a motion probability based on local noise estimation. 3.1
Twofold Signed Binarization and Postprocessing
By independent binarization of positive and negative gray value differences, motion forms connected objects in the binary images while strong noise above the threshold does not form objects of significant size. Consequently, motion and noise can be separated into binary motion and noise masks bmotion and bnoise with bmotion ∩ bnoise = ∅ by simple morphological operations [1]. For each pixel, thresholds are determined based on an estimation of the local signal-dependent additive noise [6]. For this purpose, gray value differences g∆ (x, t) = g(x, t)−gst (x, t−1) of the current (g) and the last spatio-temporal filtered (gst ) image are normed to the signal-dependent standard deviation σηe (x, t) of the estimated noise ηe : |g∆ (x, t)| q(x, t) = (1) σηe (x, t) Absolute differences above three times the estimated noise level (q > 3) are interpreted as being caused by structure, i.e. motion. Further, by applying a sigmoid function, the normed differences are mapped to a continuous motion probability: c2 prob(q) = c1 + (2) 1 + exp c3c−q 4 Extremely noisy pixels wrongly classified as motion are not problematic as these are detected and collected in the noise mask in postprocessing. 3.2
Control
The overall goal of filter parametrization is to maximize the temporal filter strength, i.e. parameter β, while, at the same time, preventing motion artifacts. Pixels identified as representing motion are predominantly filtered spatially, noise pixels are mainly filtered temporally. The spatio-temporal weighting w( · ) of the remainder is carried out on basis of the calculated motion probability: ⎧ : bmotion (x, t) = 1 ⎨ βmotion (3) β(x, t) = βnoise : bnoise (x, t) = 1 ⎩ w prob q(x, t) : else
LAST Filter for Artifact-Free Noise Reduction of Fluoroscopic Sequences
19
Table 1. Coefficients a1 and a2 for correlated αβγ-filtering Filter Binomial 3 × 3 Binomial 5 × 5 Binomial 7 × 7
a2 0.6406 0.7935 0.8556
a1 1.5 1.7188 1.8047
The remaining parameters α and γ = 1 − (α + β) are optimized in such way to maximize noise reduction performance for given β. For observed medical X-ray images g, the true signal s being corrupted by additive zero-mean uncorrelated Gaussian noise η with signal-dependent variance, i.e. g = s + η(s), is a valid assumption [6]. The signal is modeled to be approximately homogeneous in a small neighborhood. Furthermore, in practice, the spatial filter is a (linear) binomial filter h of small size (3 × 3 to 7 × 7 pixels). Assume the neighborhood of a pixel to be corrupted with noise of standard deviation σ0 . Then the spatio-temporal filtered image exhibits noise of strength
a2 2 α + a1 α + (β − 1) · σ0 σst (t) = β 2t + (β 2t − 1) (4) β−1 with: a1 = 2(1 − h0,0 ) a2 =
K
K
(5) [1 − δ(i)δ(j)] h2i,j + (1 − h0,0 )2
(6)
i=−K j=−K
For static regions (t → ∞) and constant β < 1, the optimum parameters are given by a1 α= (1 − β) (7) 2a2 and γ = 1 − (α + β). Table 1 shows parameters a1 and a2 for typical filters used.
4
Results
Diverse clinical sequences as well as a X-ray image sequence showing a dynamic test object were used in the evaluation. For quantification in terms of signal-tonoise-ratio (SNR), only the ROX was evaluated as the clinical irrelevant shuttered regions falsified the results by approximately 5 to 10 dB. State-of-the-art filtering without noise estimation or motion detection generated perceivable motion artifacts even for low temporal filter portions of about 5% (β = 0.05). At the same time, static image regions were hardly denoised with these parameter settings. Contrarily, even for strong noise reduction settings no temporal or spatial artifacts were observed when applying the presented
20
M. Hensel, T. Pralow and R.-R. Grigat
Fig. 2. Original image detail (left), motion artifacts due to temporal averaging at dark structures (middle), processed with proposed method (right)
method. Due to strong temporal filtering of broadly static image regions, clearly improved image quality and good temporal stability was notable in large image regions (Fig. 2). Objective evaluation of frames exhibiting about 18.5 dB SNR resulted in SNR improvement (SNRI) of about 9.1 dB.
5
Discussion
The presented method exhibits efficient noise reduction while, at the same time, preventing artifacts. Motion artifacts, typical for temporal averaging, are prevented by motion detection based on processing positive and negative instead of absolute gray value differences. Artifacts due to blockwise binarization were eliminated by integration of a motion probability based on signal-dependent noise estimation. By this, improved adaptation of the method to signal-dependent noise has been achieved and the former discrete filter parametrization could be replaced by a continuous parametrization.
References 1. Hensel M, Wiesner G, Kuhrmann B, et al. Motion Detection for Adaptive SpatioTemporal Filtering of Medical X-Ray Image Sequences. In: Procs BVM; 2005. p. 68–72. 2. Lagendijk RL, van Roosmalen PMB, Biemond J, et al. Video Enhancement and Restoration. In: Bovik A, editor. Handbook of Image and Video Processing. 2nd ed. Elsevier Academic Press; 2005. p. 275–294. 3. Sanchez-Marin FJ, Srinivas Y, Jabri KN, Wilson DL. Quantitative Image Quality Analysis of a Nonlinear Spatio-Temporal Filter. IEEE Trans Image Proc 2001;10(2):288–295. 4. Aufrichtig R, Wilson DL. X-Ray Fluoroscopy Spatio-Temporal Filtering with Object Detection. IEEE Trans Med Imaging 1995;14(4):733–746. 5. Konrad J. Motion Detection and Estimation. In: Bovik A, editor. Handbook of Image and Video Processing. 2nd ed. Elsevier Academic Press; 2005. p. 253–274. 6. Hensel M, Lundt B, Pralow T, Grigat RR. Robust and Fast Estimation of SignalDependent Noise in Medical X-Ray Image Sequences. In: Procs BVM; 2006.
Automatic In-Vitro Orifice Area Determination and Fluttering Analysis for Tricuspid Heart Valves Tobias Hahn1 , Alexandru Paul Condurache1 , Til Aach2 , Michael Scharfschwerdt3 and Martin Misfeld3 1 Institute for Signal Processing, University of Luebeck Institute of Imaging and Computer Vision, RWTH Aachen University 3 Department of Cardiac Surgery, University Clinic of Schleswig-Holstein, Luebeck Email:
[email protected] 2
Abstract. Patients suffering from a tricuspid heart valve deficiency are often treated by replacing the valve with artificial or biological implants. In case of biological implants, the use of porcine heart valves is common. To supply patients with the best such xenograft implants, quality assessment and inspection methods for biological heart valves are necessary. We describe initial approaches to automatically testing tricuspid heart valves in-vitro in an artificial circulation system. We use two criteria to judge the quality of the valve, i.e. the evolution of the orifice area during a heart cycle and the fluttering of the valve leaflets in the stream.
1
Introduction
Replacing a deficient tricuspid heart valve with a xenograft implant is a common procedure in cardiac surgery [1]. Porcine heart valves (see Figure 1) are favoured for this procedure because of their similarity to the human heart valve and the easy access to these valves due to food production. With the high number of available porcine valves quality assessment becomes a vital task to provide the surgeons with the best material only. Major quality criteria of these valves are the orifice area, the opening and closing behaviour and the fluttering of the leaflets in the blood stream. The determination of the orifice area currently is done - if at all - manually by the researcher. An assessment of the fluttering behaviour is provided only by visual observation. In our work we test and compare different algorithms that automatically determine the orifice area. We have implemented three threshold based methods for this task. We first segment the orifice and then compute its area by counting all object pixels. Using the segmented orifice we perform a quantification of the leaflet fluttering. Section 2 of this paper explains the test apparatus and the state of the art. In section 3 we describe our algorithms. Results are shown in section 4, and section 5 closes with conclusions.
2
The Test Apparatus
Figure 2 a) depicts the test environment as described in [2]. From a reservoir (1) a transparent fluid is transported through a disc valve(4) by a piston pump
22
T. Hahn et al.
Fig. 1. Frames 47 and 124 from heart valve sequences A and B respectively showing boundary outlines, projection lines and anchor points
a)
b)
(2), which is driven by a waveform adapted cam plate (3). After passing an input compliance (5) the fluid is pressed through the inspected heart valve (11) into a visualization chamber (7) located in another fluid reservoir (6). Pressure sensors (10) are installed below and above the heart valve. Passing an aortic compliance (9) the fluid reaches a height variable column and flows back to the first reservoir. The heart valve is illuminated by light sources (12) outside the fluid tank (6) made from perspex. A high-speed video camera (13) takes images of the heart valve. The digitized images are stored on a PC (14). Images of the heart valve are taken with 500 fps and an interlaced resolution of 480x420 gray pixels. An image sequence of one valve cycle has a duration of half a second leading to 250 frames. Figure 1 shows two heart valve images. Determing the orifice area is done manually for each frame so far. The researcher has to select a set of points at the leaflet’s tips and the leaflet’s connections to define six triangles. Their summed areas give an approximation to the orifice area. An evaluation of the leaflet fluttering is currently done only qualitively by visual inspection. The orifice approximation neglects the rather curved boundary of the leaflets. The methods we propose here are intended to give the researcher a more precise and reproducible way to calculate the area. The fluttering analysis of the leaflets offers a new way to quality inspection and is more reproducible than just human inspection.
3
Methods and Algorithms
Algorithm Overview In Figure 2 b) an overview of our algorithm is shown. In the preprocessing part we perform Tophat filtering, equalize illumination variations and by user interaction obtain once for the whole sequence three anchor points situated at the intersections between the leaflets and the valve’s fixation ring (see Figure 1). The orifice area is determined by one of three threshold methods. These methods include a user-defined threshold, a threshold automatically selected with the method proposed by Otsu in [3] and a threshold derived from the Finite mixture models algorithm proposed by Figueiredo and Jain in [4]. For each image we obtain the orifice area by binarizing it with the threshold. To quantify the fluttering of the heart valve leaflets we first obtain the orifice area
Automatic In-Vitro Orifice Area Determination and Fluttering Analysis
23
Fig. 2. Scheme of test apparatus (a) and overiew of algorithm (b)
a)
b)
boundary by subtracting the eroded area segmentation from the result itself. As the tricuspid heart valve consists of three leaflets we split up the boundary at those contour points closest to the anchor points. This results in three segments each of which belonging to one leaflet. For each segment we perform a Fourier analysis of the contour points. The contour points coordinates are either treated as complex numbers (2-D data) or are projected to the connection lines between the splitting points leading to 1-D data and also offering better control over the sampling rate. In Figure 1 the orifice boundary outlines, the splitting points and the projection lines are depicted for both valves. Orifice Area Determination Using Thresholds User-defined threshold: The threshold used for binarization can be directly specified by the user as a certain percentile of the histogram of the heart valve image. Although we were able to obtain good results, this method has the downside that one has to pick the right threshold by trial and error. Otsu threshold: The threshold can be automatically selected using the method from Otsu [3]. It is histogram-based and assumes the histogram to be bimodal. It selects the threshold by maximizing the separability between the two resulting classes, i.e. dark ’orifice area’ and bright ’leaflet area’. Finite mixture models threshold: In our case the histogram turned out not to be bimodal, thus a method is needed that can separate multiple classes, i.e. generate multiple thresholds. Knowing that the orifice area is the darkest structure in our images we can select the threshold that separates the histogram peak with the smallest mean from the rest. We use the Finite Mixture Models [4] for this purpose. For a histogram with n samples consisting of multiple distributions the FMM algorithm returns estimates for the number k of distributions in the histogram, the mean values µi and the variances σi2 . Initialized with a random set of m Gaussian distributions having the probabilities αi the algorithm fits the estimates iteratively to the histogram data y using an expectation maximization method and a quality criterion for de-
24
T. Hahn et al.
Fig. 3. Orifice areas for five sequences (a) and fluttering energies for sequences A (solid line) and B (dashed line) (b)
a)
b)
terming the number of distributions. For each distribution pi and sample yj we calculate the probability wij that this sample was generated by this distri−1(
yj −µi 2
)
. In each iteration step t the mean valbution as pi (yj ) = αi σ √1 2π e 2 σi i ues and variances are updated for each distribution according to µi (t + 1) = n −1 n j j −1 n 2 2 j ( nj=1 wij ) j=1 yj wi and σi (t + 1) = ( j=1 wi ) j=1 (yj − µi (t + 1)) wi . Furthermore the distribution probabilities α are evaluated and eventually set to 0 if the current distribution does not fit onto the data. To determine the number of distributions hidden in the histogram in each iteration step the criterion knz (N +1) knz n i − log(p(Y |µ, σ 2 )) is L(µ, σ 2 , α, Y ) = N2 i:αi >0 (log( nα 12 )) + 2 log 12 + 2 calculated. With Y being the complete set of samples, N being the number of parameters defining the distributions (2 for 1-dimensional Gauss distributions) and knz being the number of non-zero (i.e. α > 0) distributions this criterion reaches its minimum at that iteration where the number k of distributions fits optimal to the histogram data. Assuming that our histogram consists of at least two classes and that the darkest class, i.e. the distribution with the lowest mean, represents the orifice, we obtain the threshold by calculating the intersection point of the two distributions with the lowest mean values. Fluttering Analysis We apply a Fourier transform to the orifice boundary obtained from thresholding to analyze the fluttering behaviour of the heart valve leaflets. High-pass filtration suppresses the frequencies corresponding to the leaflets’ curved shape showing only frequencies characteristic for the leaflet fluttering. Then we compute the energy in the spectrum thus obtained. Only images where the orifice area is above a certain minimum value are considered.
4
Results
Figure 3 a) shows the area over time plot for five of our test sequences. The plot exhibits the typical plateau-like form for heart valve orifice areas. Beginning in the closed state the heart valves open rapidly, remain open for a while and then
Automatic In-Vitro Orifice Area Determination and Fluttering Analysis
25
Fig. 4. Projected boudary (a) and magnitude spectra (b) for frame 124 of sequence B
a)
b)
close again. The plateau is slightly falling to the right side. It is also exhibits some variations due to the heart valves’ leaflets fluttering in the blood stream thus altering the orifice area to some extent. Figure 4 a) shows the contour coordinates projected to 1D and freed from the mean for each of the three heart valve leaflets. This data was taken from our test sequence B, frame 124. Figure 4 b) shows the corresponding energy of the data. We used high-pass filtration to cut off the frequencies belonging to the leaflets’ natural curvature. Figure 3 b) shows the fluttering energies for sequences A (solid) and B (dashed). The strong fluttering of B is clearly visible in the plot.
5
Conclusions and Outlook
We tested three threshold based approaches to determine the orifice area of heart valves automatically. Although these were only first tests the methods showed good results. We were able to derive typical orifice plots from the given data. This provides the researcher with a tool to perform the so far tedious work automatically. The fluttering analysis we introduced here is a novel approach giving information about the behaviour of the leaflets floating in the blood stream. Further work on this subject may include snakes as an alternative approach to determine the orifice area. The selection of the anchor points may be automated using a Hough transform.
References 1. Vongpatanasin W, Hillis LD, Lange RA. Prosthetic Heart Valves. MP 1996;355(6):407–416. 2. Scharfschwerdt M, Misfeld M, Sievers HH. The Influence of a Nonlinear Resistance Element upon In-Vitro Aortic Pressure Tracings and Aortic Valve Motions. ASAIO 2004;. 3. Otsu N. A Threshold Selection Method from Gray-Level Histograms. IEEE TSMC 1979;9(1):62–66. 4. Figueiredo MAT, Jain AK. Unsupervised Learning of Finite Mixture Models. IEEE TPAMI 2002;24(3):381–396.
Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern Hans Lamecker1, Thomas H. Wenckebach1 , Hans-Christian Hege1 , Georg N. Duda2 und Markus O. Heller2 1
2
Visualisierung und Datenanalyse, Zuse Institut Berlin, 14195 Berlin Centrum f¨ ur Muskuloskeletale Chirurgie, Charit´e-Berlin, 13353 Berlin Email:
[email protected]
Zusammenfassung. H¨ aufig liegt einer computergest¨ utzten Operationsplanung lediglich ein Satz von wenigen 2D-R¨ ontgenbildern zugrunde. Dennoch ist es ein Anliegen, auf Basis solcher Daten R¨ uckschl¨ usse auf die dreidimensionale Anatomie des Patienten zu ziehen. In dieser Arbeit wird ein Verfahren vorgestellt, das mithilfe eines statistischen 3DFormmodells (SFM) des Beckens die geometrisch sowie toplogisch komplexe 3D-Form aus wenigen R¨ ontgenbildern rekonstruiert. Dies geschieht durch eine Optimierung, welche den Abstand der Silhouette des Modells in den Projektionsebenen zur Silhouette des Objekts in den R¨ ontgenbildern minimiert. Das Verfahren wird an 23 synthetisch erzeugten Datens¨ atzen validiert.
1
Einleitung
Der k¨ unstliche Gelenkersatz der H¨ ufte ist ein Standardverfahren zur Behandlung degenerativer Gelenkerkrankungen. Allein in Deutschland werden j¨ahrlich ca. 120.000 H¨ uftendoprothesen implantiert. Aufgrund der Alterung der Bev¨olkerung ist in Zukunft mit einem starken Anstieg der Zahl der Implantationen zu rechnen. Obwohl bekannt ist, dass die Belastungen des H¨ uftgelenkes eine wesentliche Rolle f¨ ur die langfristige Funktion und den Erfolg des k¨ unstlichen Gelenkersatzes spielen, stehen dem Chirurgen bei der Planung des Eingriffes derzeit keine validen Informationen zur erwarteten Gelenkbelastung zur Verf¨ ugung. Die computergest¨ utzte Planung soll daher helfen, den Erfolg der Behandlung zu verbessern. Dazu sollen die auftretenden Kr¨ afte und Belastungen des Gelenkes vor und nach dem Eingriff mit Hilfe validierter biomechanischer Modelle berechnet werden, um eine m¨ oglichst optimale biomechanische Rekonstruktion des H¨ uftgelenkes f¨ ur jeden Patienten gew¨ ahrleisten zu k¨ onnen. Die Grundlage f¨ ur die Operationsplanung sind in der Regel R¨ontgenbilder. W¨ahrend aus einer Becken¨ ubersichtsaufnahme (koronale Projektion) bereits wesentliche Daten f¨ ur eine Anpassung biomechanischer Modelldaten zur Berechnung der Belastungsbedingungen der H¨ ufte gewonnen werden k¨onnen [1], erfordert eine genauere Belastungsanalyse die Kenntnis der 3D-Geometrie der Anatomie, insbesondere der Knochen und Muskeln. Die Herausforderung besteht somit darin, aus R¨ ontgenbildern eine 3D-Rekonstruktion der anatomischen Objekte als Grundlage f¨ ur die nachfolgende Berechnung der Belastungen zu bestimmen.
Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern
27
Abb. 1. Registrierung eines 3D-Formmodells mit zwei R¨ ontgenbildern.
Ein Großteil der Literatur zum Thema 2D/3D-Registrierung (siehe [2] und enthaltene Referenzen) geht davon aus, dass ein pr¨a-operativer 3D-Datensatz des Patienten vorliegt, der dann mit intra- oder post-operativ gewonnene Daten registriert werden muss. In unserem Fall ist jedoch kein 3D-Referenzdatensatz vorhanden. Der Einsatz eines SFM erscheint daher sinnvoll f¨ ur die Rekonstruktion einer unbekannten 3D-Anatomie aus 2D-R¨ ontgenbildern. Verschiedene Arbeiten verfolgen einen ¨ ahnlichen Ansatz: Fleute et al. [3] verwenden ein SFM des distal gelegenen Teils des Femur zur Registrierung mit R¨ ontgenbildern aus einem C-Arm. Dazu werden die Abst¨ande zwischen den Konturen der SFM-Oberfl¨ ache und einer diskreten Anzahl von Projektionsstrahlen der R¨ ontgenbilder mittels eines ICP-Algorithmus minimiert. Benameur et al. [4] benutzen ein SFM der Wirbelknochen zur Registrierung und Segmentierung von R¨ ontgenbildern. Die Registrierung besteht in der Minimierung eines Kantenpotentials, das den Abstand der projizierten Konturen von den Konturen der R¨ ontgenbilder misst. Yang et al. [5] bauen auf ein hybrides Formmodell zur Rekonstruktion von Femuren aus R¨ ontgenbildern. Als Abstandsmaß dient die Korrelation zwischen simulierten Dickenbildern des Formmodells und den R¨ ontgenbildern.
2
Methoden
Das verwendete SFM wird aus einem Satz von individuellen Trainingsdaten erzeugt. Die Herausforderung dabei liegt in der Identifizierung von korrespondierenden Punkten auf den Trainingsoberfl¨ achen. Hierzu wurde das von Lamecker et al. [6, 7] beschriebene Verfahren verwendet. Als Ergebnis lassen sich alle Trainingsformen in einem gemeinsamen Vektorraum darstellen. Eine Hauptkomponentenzerlegung (PCA) dieses Ensembles liefert ein lineares Modell f¨ ur die zuge lassene Formvariabilit¨ at: S(b, T ) = T (v + nk=1 bk pk ), wobei v das Formmittel, pk die Eigenmoden der Formvariabilit¨ at, bk die Formgewichte und T eine affine Transformation darstellen (vgl. Abb. 2, links).
28
H. Lamecker et al.
Abb. 2. Links: Statistisches Formmodell des Beckens aus einer Trainingsmenge, Mitte: Kantenerkennung in R¨ ontgenbildern, Rechts: Silhouette des Beckens in R¨ ontgenbildern.
F¨ ur eine gegebene Kamerakalibrierung K (Lage und Ort der R¨ontgenquelle relativ zu den Projektionsebenen) und eine gegebene Instanz des Formmodells S(b, T ) wird die Silhouette des Modells in den Projektionsebenen berechnet und als 2D-Bild gerastert. Die Silhouette des Objektes in den R¨ontgenbildern wird einmalig interaktiv bestimmt: Nach einer automatischen Kantenbestimmung (Canny-Filter) werden unbrauchbare Konturen entfernt bzw. zur Silhouette vervollst¨ andigt (vgl. Abb. 2, mitte und rechts). Gegeben zwei Silhouetten s und s , sei d(x, s ) = minx ∈s x − x der Abstand zwischen einem Punkt x ∈ s und der Silhouette s . Das zu minimierende ¨ Ahnlichkeitsmaß ist der symmetrische quadratische Abstand
d = x∈s d(x, s )2 dx + x∈s d(x, s)2 dx. Zur effizienten Bestimmung des Abstandes zwischen den Silhouetten werden sowohl f¨ ur die Modell- als auch die R¨ ontgensilhouetten Distanzfelder berechnet. Die Berechnung von d besteht dann in der Abtastung und Summierung der Distanzen der Punkte einer Silhouette zur jeweils anderen Silhouette. Das Distanzfeld der Modellsilhouette muss dabei st¨ andig aktualisiert werden. Die gesuchte Rekonstruktion ist die L¨ osung des Optimierungsproblems (T ∗ , b∗ , K ∗ ) = arg min(T,b,K) d. Zur Minimierung wird ein Suchverfahren verwendet, das einem Gradientenabstieg mit Liniensuche ¨ahnelt. Die Suchrichtung wird nicht mittels einer numerischen Approximation der partiellen Ableitungen ¨ berechnet, sondern mit einem Verfahren, welches das Ahnlichkeitsmaß an den Grenzen eines sehr großen Intervalls auswertet. Iterativ werden die Intervalle verkleinert, wodurch eine quasi-globale Optimierung erzielt wird. Zur Vermeidung von lokalen Minima und zur Steigerung der Effizienz wird die Registrierung in einer Datenpyramide durchgef¨ uhrt, d.h. die Silhouetten werden in verschiedenen Aufl¨ osungen in der Optimierung ber¨ ucksichtigt [8].
3
Ergebnisse
Zur Validierung wurden 23 CT-Datens¨ atze des Abdomens ohne Knochendefekte verwendet (Schichtabstand 5mm). Zu allen Datens¨atzen lagen manuelle Segmentierungen des Beckens als Goldstandard zur Auswertung vor. Das SFM des Beckenknochens wurde ebenfalls aus diesen Daten erzeugt [6]. Aus den Datens¨ atzen wurden mittels eines Volume Renderings k¨ unstliche R¨ontgenbilder be-
Atlas-basierte 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern
29
Tabelle 1. Quantitative Ergebnisse der verschiedenen Experimente. Experiment Leave-All-In (KO) Leave-All-In (KO-SA) Leave-One-Out (KO) Leave-One-Out (KO-SA) Leave-One-Out (DFM)
Mittelwert [mm] 1, 5 ± 0, 5 1, 3 ± 0, 5 2, 6 ± 0, 4 2, 4 ± 0, 4 2, 0 ± 0, 2
Median [mm] 1, 2 ± 0, 3 1, 1 ± 0, 5 2, 1 ± 0, 3 2, 0 ± 0, 3 1, 6 ± 0, 2
Maximum [mm] 8, 8 ± 3, 3 7, 9 ± 2, 6 17, 6 ± 6, 5 14, 9 ± 3, 1 13, 3 ± 2, 6
rechnet. Diese sind hier allerdings lediglich f¨ ur die Definition geeigneter Projektionsebenen erforderlich. Die Silhouetten dieser R¨ontgenbilder wurden direkt aus den manuellen Segmentierungen berechnet. Ziel der Validierung ist, die erreich¨ bare Genauigkeit des Verfahrens mit dem vorgeschlagenen Ahnlichkeitsmaß zu untersuchen. F¨ ur die konventionelle Operationsplanung werden bisher außerdem bereits kalibrierte R¨ ontgenbilder unter standardisierten Aufnahmebedingungen erstellt [9]. Daher wurden in der Optimierung hier nur die Formgewichte b optimiert (T, K sind bekannt). Bei Unkenntnis von T, K ist mit einer Verschlechterung der Ergebnisse zu rechnen. Die Experimente wurden f¨ ur den Fall einer R¨ ontgenaufnahme (koronal, KO) und zweier Aufnahmen (koronal und sagittal, KO-SA) durchgef¨ uhrt (vgl. Abb. 1). Als Fehler wurde der mittlere symmetrische Fl¨ achenabstand zwischen Optimierungsergebnis und Goldstandard gemessen. Den geringsten Wert f¨ ur den Fehler erreicht man durch direktes Fl¨ achenmatching (DFM) des SFM an den Goldstandard in 3D (Minimierung des mittleren quadratischen Fehlers, vgl. [6]). Als Test der Optimierungsstrategie wurde das Verfahren mit einem SFM durchgef¨ uhrt, das die Formen der zu rekonstruierenden R¨ontgenbilder enth¨alt (Leave¨ All-In-Test). Hier wird optimale Ubereinstimmung erwartet. Im Leave-One-OutTest ist der zu rekonstruierende Datensatz nicht im SFM enthalten. Dies stellt den realistischen Fall dar. Die Ergebnisse sind in Tabelle 1 zusammengefasst.
4
Diskussion
Ziel der Arbeit ist die Validierung eines neues Verfahrens zur 3D-Rekonstruktion des Beckens aus 2D-Projektionsbildern anhand synthetischer Datens¨atze. Die Mittelwerte der gemessenen Fehler liegen mit einer Gr¨oßenordnung von wenigen Millimetern in einem Bereich der erwarten l¨ asst, dass evtl. bereits aus einer einzigen Projektion eine f¨ ur die Berechnung der Belastungsbedingungen hinreichende Absch¨ atzung der 3D-Geometrie m¨ oglich ist [1]. Der Leave-One-Out-Test zeigt weiter, dass der gr¨ oßte Anteil des Fehlers in der Unvollst¨andigkeit des SFM liegt. Dieses gilt es daher in Zukunft um weitere Trainingsdaten zu erweitern. F¨ ur die klinische Anwendung bleibt zu kl¨ aren, wie das Verfahren durch degenerative Ver¨ anderungen der H¨ uftknochen beeinflusst wird. Hierzu muss in Zukunft untersucht werden, inwiefern die Methode bei unvollst¨andigen Silhouetten eine ausreichende Genauigkeit liefert. Der Einsatz eines Formmodells normaler
30
H. Lamecker et al.
Becken ist jedoch auch f¨ ur eine solche Situation sinnvoll, da das Ziel der Rekonstruktion vor allem diejenigen Bereiche sind, in denen wichtige Muskeln ansetzen. Solche Bereiche sind h¨ aufig nicht degenerativ ver¨andert. Eine m¨ ogliche Steigerung der Genauigkeit besteht darin, mehr Information aus ¨ den Bilddaten und dem Modell in das Ahnlichkeitsmaß zu integrieren. Versuche mit weiteren aus der Kantendetektion berechneten Konturen zu arbeiten, wie Benameur et al. [4] es vorschlagen, schlugen fehl, da die Konturberechnung im Allgemeinen nicht robust genug ist. R¨ ontgenbilder messen die Dichte des Knochens entlang eines Projektionsstrahls. Allerdings brachten Versuche, in denen ausschließlich Dickenbilder des SFM mit den R¨ontgenbildern registriert wurden (¨ahnlich [5]), unbefriedigende Ergebnisse, da der Inhomogenit¨at des Knochens im Dickenbild nicht Rechnung getragen wird. Zuk¨ unftig sollen daher Silhouettenund Dickeninformation im Registrierungsprozess kombiniert werden. Zusammenfassend muss man davon ausgehen, dass mit dem hier vorgeschlagenen Ansatz eine f¨ ur die Absch¨ atzung der Belastungen des Gelenkes hinreichend genaue 3D-Rekonstruktion des Beckens erzielt werden kann. Dies soll auch an klinischen Daten evaluiert werden. F¨ ur die vollst¨andige Analyse der Belastungen im Rahmen des H¨ uftgelenkersatzes wird das Verfahren in einem n¨achsten Schritt auf das Femur erweitert werden. Danksagung. Hans Lamecker wird gef¨ ordert durch das DFG Forschungszentrum Matheon “Mathematik f¨ ur Schl¨ usseltechnologien” in Berlin. Die Autoren danken Olaf Etzmuss f¨ ur erste Untersuchungen und Implementierungen.
Literaturverzeichnis 1. Heller MO, Bergmann G, Deuretzbacher G, et al. Musculo-skeletal loading conditions at the hip during walking and stair climbing. J Biomech 2001;34(7):883–893. 2. van de Kraats EB, Penney GP, et al. Standardized Evaluation Methodology for 2D-3D Registration. IEEE Trans Med Imaging 2005;24(9):1177–1190. 3. Fleute Markus, Lavall´ee St´ephane. Nonrigid 3-D/2-D Registration of Images Using Statistical Models. In: Procs MICCAI. vol. 1679; 1999. p. 138–147. 4. Benameur S, Mignotte M, Parent S, et al. 3D/2D Registration and segmentation of scoliotic vertebrae using statistical models. Computerized Medical Imaging and Graphics 2003;27(5):321–337. 5. Tang ThomasSY, Ellis RandyE. 2D/3D Deformable Registration Using a Hybrid Atlas. In: Procs MICCAI. vol. 3750; 2005. p. 223–230. 6. Lamecker Hans, Seebaß Martin, Hege HansChristian, Deuflhard Peter. A 3D Statistical Shape Model of the Pelvic Bone For Segmentation. In: Procs SPIE Medical Imaging: Image Processing. vol. 5370; 2004. p. 1341–1351. 7. Lamecker Hans, Lange Thomas, Seebaß Martin. Erzeugung statistischer 3DFormmodelle zur Segmentierung medizinischer Bilddaten. In: Procs BVM; 2003. p. 398–403. 8. Wenckebach ThomasH. Volumetrische Registrierung zur medizinischen Bildanalyse. Master’s thesis. Institut f¨ ur Informatik, Humboldt-Universit¨ at zu Berlin; 2005. 9. The B, Diercks RL, Stewart RE, et al. Digital correction of magnification in pelvic x-rays for preoperative planning of hip joint replacements: theoretical development and clinical results of a new protocol. Med Phys 2005;32(8):2580–2589.
Machine-Based Rejection of Low-Quality Spectra and Estimation of Brain Tumor Probabilities from Magnetic Resonance Spectroscopic Images Bjoern H. Menze1 , B. Michael Kelm1 , Daniel Heck1 , Matthias P. Lichy2,3 and Fred A. Hamprecht1 1
Interdisziplin¨ ares Zentrum f¨ ur Wissenschaftliches Rechnen (IWR), Universit¨ at Heidelberg, 69120 Heidelberg 2 Abteilung Radiologie, Deutsches Krebsforschungszentrum (dkfz), 69120 Heidelberg 3 currently: Diagnostische Radiologie, Universit¨ at T¨ ubingen, 72076 T¨ ubingen
Abstract. Magnetic resonance spectroscopic images (MRSI) carry spatially resolved information about the in vivo metabolism, however, their evaluation is difficult. Problems arise especially from artifacts and noise, yielding non-evaluable signals in many voxels. We propose a two-step approach to the processing of MRSI. In the first step a non-linear classifier is employed in every voxel to determine whether the spectral signal is evaluable, and if so, the tumor probability is computed in the second step. Thus, the quality control is strictly separated from the diagnostic evaluation of the spectrum. For an assessment of the proposed approach we consider MRSI-based brain tumor detection and localization and a tumor probability mapping by pattern recognition. In a quantitative comparison against the standard operator-controlled processing our interaction-free approach shows similar to superior performance.
1
Introduction
Magnetic resonance spectroscopy (MRS) allows the study of physiological and patho-physiological processes in the living tissue. Thus, characteristic changes in the relative concentration of a number of metabolites can be detected by MRS. Magnetic resonance spectroscopic imaging (MRSI) also allows for a spatial mapping of their occurrence. – One of the major applications of MRSI in clinical routine is in the diagnosis of tumor, in particular in the brain, but also in the breast or prostate. MRSI in Tumor Diagnosis The standard approach in the analysis of MR spectra is a fitting of resonanceline shaped template functions to the spectral pattern. The parameters of these (amplitude, line width, area) provide the basis for the following diagnostic interpretation of the spectrum, e.g. using the value of the resonance line integral
32
B.H. Menze et al.
of Choline relative to the integral of Creatine as an indicator for the malignity of a tissue change. Unfortunately, the robustness of this resonance line “quantitation” is limited in the presence of noise or artifacts within the spectra, and a visual control by the operator is always required. This effort hampers the routine use of MRSI, but is compulsory to assess the diagnostic value of an MR spectrum. An alternative approach, which is primarily suited for highly resolved (short echo time) spectra, bypasses the quantitation and uses algorithms from pattern recognition and machine learning. Tissue type and state of disease are directly inferred on the spectral pattern, without a model based reduction of the spectral information. Pattern recognition on the full spectrum, e.g. by a projection of the spectral image to a “nosologic” or diagnostic map, is more robust than the fitting of adaptive resonance line functions [1]. Nevertheless, this method also fails in the presence of spectral artifacts or at low signal-to-noise ratio. So, an inspection of the spectra is also required here and is limiting a fully automated analysis also for this approach. Published examples for the use of MRSI in tumor diagnostic can be found for both analysis approaches, e.g. in the non-linear classification of brain tumor [2] (EU-project INTERPRET), or in the quantitation of MR spectroscopic images in the detection of recurrent tumors after radiation therapy [3]. The most important obstacle for an application of these automated routines is the lack of a specific assessment about the confidence in the diagnostic analysis of a spectrum. While a number of algorithms are available for the diagnostic interpretation of MR spectra [2, 3, 4], quality control and the evaluation of confidences still demand a large amount of operator time and bind the resources of the human expert. Two Step Analysis Using the example of the detection and localization of brain tumor, we propose in the following a two-step procedure which is able to overcome some of the mentioned limitations in the automated analysis of MR spectra. In the first step, we demonstrate the applicability of pattern recognition in the classification of evaluable and non-evaluable (“nice vs. noise”) spectra. In the following diagnostic analysis, we use regression methods from chemometrics for pattern recognition and the generation of probabilistic tumor-maps with confidence assessment. Overall, we present an automated processing of MR spectroscopic images which yields a data product similar to any other standard imaging modality. Most important in comparison to the standard processing of MRSI, it is not a collection of localized spectra that need to be interpreted laboriously, but the mapping of the tumor-related information within the spectral image. Results of this approach will be compared against the outcome of a operatorcontrolled analysis. In order to allow a direct application, the algorithms can be integrated into the radiation therapy planning software at the German Cancer Research Center (dkfz) [5].
Machine-Based Rejection of Low-Quality Spectra
2
33
Methods
Data The data was acquired on a standard MR scanner (Siemens, Magnetom Vision, 1.5T, 1 H-MRS, TE 135 ms) at the dkfz. Spectral images of 31 patients with tumor diagnosis (astrocytoma, meningioma, glioma, metastases – confirmed during follow-up) were available at a spatial resolution of 322 and under a spatial resolution of approx. 1 cm voxel side-length (fig. 1a). Within this data 269 spectra could be labeled as “tumor”, “tumor border” or “normal state” (69/49/151, fig. 1d). – Spectral images of another 36 patients were classified completely by visual inspection according to the signal quality and resulted in approx. 37000 spectra (10% “nice”) for the training of the “nice vs. noise” classifier. Classifier – Quality Assessment While the signal-to-noise ratio can be assessed easily by linear methods, the separation of the various artifacts demands for the training of a non-linear classifier (“randomForest” decision tree ensemble [1]). RandomForests extend the idea of bagging tree ensembles by seeking optimal splits for each tree node on random subspaces of the data. Outcome of a randomForest classification is either the binary class membership, or the normalized number of votes from the tree ensemble, which allows for a subjective readjustment of the rejection threshold.– Different feature representations of the data (different normalization strategies, data binning) were tested and optimized according to the classification error. As the “noise” class of the training data only contained the most frequent artifacts, it was extended by uniformly distributed random samples of the spanned feature space of all spectra. This nonparametric outlier detection ensures a proper signal classification even in the presence of previously unknown artifacts. Classifier – Tumor Detection The character of the binary “normal state vs. tumor” classification problem allows the application of linear models on the data. In order to overcome the sparseness of the training problem (256 spectral channels (P ) in the spectral region of Choline, Creatine and NAA, 269 (N ) highly collinear spectra), the spectral regions relevant for the classification were identified in a first feature selection by help of the randomForest Gini importance measure (fig. 1d), the accumulated Gini decrease for all nodes of all trees within the ensemble. A partial least squares regression (PLS) [1] on these variables was used for the discrimination of the two tissue types. To allow an assessment of the tumor probability, a logistic model was build on the score of the PLS subspace (fig. 1c). The leave-‘one-patient’-out cross-validated PLS score was compared by means of the receiver-operator-characteristic (ROC) against the results of different standard approaches [5], all based on resonance line quantitation (line integral ratios and linear combinations thereof, fig. 1b).
34
3
B.H. Menze et al.
Results
Areas with high signal-to-noise ratio were reliably identified, virtually all artifacts being present in the data set were separated. An inspection of the leave-’one patient’-out shows that the cross-validated test error of 1.04 % is most probably due to ambivalent training labels. The classifier proposed to reject 60 low quality spectra (16/10/34) from the data set for the tumor classification. Within that data set, the randomForest Gini importance identified the spectral regions of the metabolites choline and NAA to be relevant for the classification. Thus a subset of Psubset = 14 out of the 256 spectral channels was used for training and evaluation of the binomial PLS model (fig. 1d). The resulting tumor classifier reached an accuracy of 95.5% in the differentiation between normal state and both tumor groups, normal and tumor were separated without error (100% accuracy). These values, however, reduce to 92.5% and 93.3% when the 60 low quality spectra are included. Comparing the ROC of this approach with other methods as described in [5], we find that the automated pattern recognition performs comparable to the outcome of a quantitation by a human operator (fig. 1b with noise) or better (fig. 1b without noise). All studied methods tend to show a higher reliability when low quality spectra are separated by the first step classifier.
4
Discussion
The proposed application of a specific, non-linear classifier for the the separation of non-reliable spectra is independent from the diagnostic question and the examined organ. Although we observe optimal results in conjunction with our pattern recognition approach, such a quality assessment prior to the diagnostic analysis shows to be beneficial also in conjunction with traditional resonance line quantitation. So far, only information theoretic criteria (e.g. Cramer-Rao-bounds) were used to assess the quality of a spectrum. Explicit and easily available knowledge about frequent artifacts which is the base of our noise classifier are disregarded by these traditional quality measures. In the specific task of brain tumor detection and localization, we can show that the fully automated pattern recognition operates as reliably as the operatorsupervised resonance line quantitation. The high degree of automation of both steps, the trained quality control and the chemometrical tumor recognition, allows for the application of further image processing and the exploitation of spatial relations within the MR spectroscopic image. Promising extensions might be the automated segmentation of tumor regions or the combination of MRSI nosologic images with other diagnostic imaging modalities. The operator-free data processing is a prerequisite for the clinical application of spectral images with high spatial resolution and therefore thousands of spectra in each acquisition.
Machine-Based Rejection of Low-Quality Spectra
35
1.0 0.8 0.6 0.4
True positive rate
pred cho/cr cho/naa cho/cr + a*cho/naa
0.0
0.0
0.2
0.4
0.6
pred cho/cr cho/naa cho/cr + a*cho/naa
0.2
True positive rate
0.8
1.0
Fig. 1. a) Tumor probability map; left: PRESS box indicated, right: gold standard (T (t) - tumor (-border), N - normal), regions which were classified as low quality spectra were disregarded for display. b) Receiver-operator-characteristic of the presented PLS based pattern recognition and other methods as described in [5], including(left) and excluding (right) low quality spectra. c) Transformation of class densities and binomial tumor-probability in red-green color scale. (here: normal vs. both tumor groups) d): Average spectral patterns of healthy and tumorous tissue.
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0.2
0.8
1.0
(b) tumor
healthy
0.6
normal
Cho
NAA Cr
3 2
tumor border tumor
1
1
0.5
2.2 ppm
randomForest Gini importance
Median Quartiles Outlier
4
6
8
healthy
10 12 14
3.3 ppm tumor tumor−border
2
0
0
tumor probability
class densities
(a) 4
0.4
False positive rate
False positive rate
0
20
40
60
80
100
PLS score
(c)
(d)
References 1. Menze BH, Lichy MP, Bachert P, et al. Optimal classification of Lonag Echo Time In Vivo Magnetic Resonance Spectra in the Detection of Recurrent Brain Tumors. NMR in Biomedicine submitted;. 2. Devos A, Lukas L, Suykens JA, et al. Classification of brain tumor using short echo time 1 H MR spectra. J Magn Reson 2004;p. 164–175. 3. Lichy MP, Pathow C, Schultz-Ertner D, et al. Follow-up of gliomas after radiotherapy: 1 H MR spectroscopic imaging for increasing diagnostic accuracy. Neuroradiology 2005;p. 1–12. 4. Kelm BM, Menze BH, Neff T, et al. CLARET: a tool for fully automated evaluation of MRSI with pattern recognition methods. In: Procs BVM; 2006. . 5. Neff T, Bachert P, Lichy MP, et al. Einsatz der Protonten-MR-spektroskopischen Bildgebung zur Zielvolumenbestimmung in der Strahlentherapieplanung bei glialen Hirntumoren. In: Procs BVM; 2004. p. 145–149.
Maximum-Likelihood-Ansatz zur Metallartefaktreduktion bei der Computertomographie May Oehler und Thorsten M. Buzug Department of Mathematics and Technology, RheinAhrCampus Remagen, 53424 Remagen, Deutschland Email:{moehler,buzug}@rheinahrcampus.de
Zusammenfassung. Aufgrund der Aufh¨ artung des R¨ ontgenspektrums treten besonders bei Metallen Artefakte in der CT-Bildrekonstruktion auf. Mathematisch liegt die Ursache in der Inkonsistenz der Daten des Radonraums. Zur Unterdr¨ uckung der Bildfehler werden die inkonsistenten Daten mit polynomialer Interpolation u uckt und anschließend ¨berbr¨ mit einem gewichteten Maximum-Likelihood-Expectation-MaximizationAlgorithmus rekonstruiert. Dieses Verfahren wird als λ-MLEM Algorithmus bezeichnet.
1
Einleitung
Die Computertomographie (CT) z¨ ahlt heute zu einem der wichtigsten bildgebenden Verfahren in der Medizin. Ein Problem bei der Beurteilung von CT-Bildern stellen Metallartefakte dar. Metalle in Form von Zahnf¨ ullungen, wie Amalgam oder Gold, sowie H¨ uftprothesen aus Stahl absorbieren auch die hochenergetische R¨ontgenstrahlung st¨ arker als das umliegende Gewebe und f¨ uhren zu falschen Schw¨ achungswerten. Im rekonstruierten Bild f¨ uhrt dies h¨aufig zu dunklen Streifen zwischen den Metallobjekten und zu nadelstrahlf¨ormigen, von den Objekten ausgehenden Streifen, die das umliegende Gewebe u ¨ berlagern und hierdurch die diagnostische Beurteilung erschweren. Zur¨ uckzuf¨ uhren sind diese Probleme auf ein niedriges SNR im Bereich des Metallschattens, ein erh¨ohtes Verh¨altnis von Streustrahlung zu Prim¨ arstrahlung und auf Strahlaufh¨artungsartefakte [1]. Um die diagnostische Beurteilung der Bilder, sowie die Planung von Operationen im Kieferbereich oder nach H¨ uftimplantatoperationen zu erleichtern, besteht ein Interesse an der Reduktion der Artefakte.
2
Material und Methoden
Als Standardrekonstruktion wird in der Computertomographie auf Grund ihrer Geschwindigkeit die gefilterte R¨ uckprojektion (FBP) eingesetzt. Dieses Verfahren stellt jedoch keine ad¨ aquate Methode im Umgang mit den inkonsistenten Daten im Radonraum dar. Einen besseren Ansatz hierf¨ ur stellt das 1984 eingef¨ uhrte
Maximum-Likelihood-Ansatz zur Metallartefaktreduktion
37
Maximum-Likelihood-Expectation-Maximization-Verfahren (MLEM) f¨ ur die Computertomographie dar [2]. Der Vorteil des MLEM-Verfahrens im Vergleich zur Rekonstruktion mit der gefilterten R¨ uckprojektion liegt darin, dass w¨ahrend der Rekonstruktion in geeigneter Weise Einfluss auf die aufgenommenen Rohdaten genommen werden kann. Weiterhin hat das MLEM-Verfahren das Potenzial die zur Aufnahme von CT-Bildern ben¨ otigte Dosis zu reduzieren, denn es ist in der Lage, Bilder aus Rohdaten zu rekonstruieren, die eine schlechte Statistik aufweisen und nur aus einer geringen Anzahl an Projektionen bestehen. Aus diesem Grund stellt es in der Nuklearmedizin das Standardverfahren zur Rekonstruktion dar. Zentrale Vorteile gegen¨ uber der FBP sind weiterhin das Fehlen der streifenf¨ ormigen Artefakte im Bild und ein exakteres betonen der Organ und K¨ orperkonturen [3]. Zun¨ achst werden die Rohdaten eines Torsophantoms der Firma CIRS Inc. mit dem Scanner Tomoscan M/EG der Firma Philips aufgenommen (Abb. 1a). Das Torsophantom wird mit zwei Stahlmarkern versehen. Die Vergleichsgrundlage bilden jeweils die rekonstruierten Bilder der Rohdaten dieses Torsophantoms ohne Stahlmarker in derselben Schnittlage. Den ersten Schritt zur Reduktion der entstehenden Metallartefakte stellt ein einfaches Reparaturverfahren des Rohdatenraumes dar (Abb. 1b). Hierzu werden zun¨achst die Metallmarker in einem vorl¨ aufigen, mit der FBP rekonstruierten Bild mit Hilfe eines Schwellwertes detektiert. Durch Vorw¨ artsprojektion der segmentierten Marker erh¨alt man ein reines Metallmarker-Sinogramm, das den Verlauf der Metallprojektionen im Rohdatenraum liefert. Alle Werte innerhalb dieses Sinogramms, die verschieden von Null sind, werden als inkonsistente Daten bezeichnet. In der Literatur [4], [5] und [6] finden sich verschiedene Ans¨ atze, die inkonsistenten Daten zu u ucken. In ¨ berbr¨ dieser Arbeit werden die inkonsistenten Daten mit polynomialer Interpolation innerhalb einer Projektion unter einem festen Winkel u uckt. ¨ berbr¨ Damit wird die unter dem Marker liegende Weichteilabsorption gesch¨atzt. Abbildung 1c zeigt das Ergebnis der polynomialen Interpolation (gepunktete schwarze Kurve) im Vergleich zur linearen Interpolation (schwarze StrichPunkt-Kurve), der Projektion, gemessen mit Metallmarkern (graue Kurve) und der Ground Truth, gemessen ohne Metallmarker (schwarze Kurve) anhand eines vergr¨ oßerten Profil-Ausschnittes aus Abb. 1b unter einem Winkel von γ = 120◦ . Hierin zeigt sich, dass mit der polynomialen Interpolation eine gute N¨aherung an die Ground Truth gelingt. Anschließend werden die so gesch¨atzten Weichteildaten mit dem MLEM-Algorithmus rekonstruiert. Da es sich bei diesem Reparaturschema des Radonraums um einen rein pragmatischen Ansatz handelt, dem ein schwaches physikalisches Model zu Grunde liegt, kann an dieser Stelle nicht erwartet werden, dass die interpolierten Daten jenen entsprechen, die tats¨ achlich ohne Metallmarker gemessen werden. Aus diesem Grund werden im Folgenden die jeweiligen Projektionen, die durch einen Metallmarker verlaufen, sowie die entsprechenden Zeilen der dazugeh¨origen Systemmatrix. mit einem Vertrauensparameter λ gewichtet. Dieses neue Verfahren wird λ-MLEM-Algorithmus genannt.
38
M. Oehler und T.M. Buzug
Abb. 1. (a) Experimenteller Philips Tomoscan M/EG mit CIRS Torsophantom markiert mit zwei Stahlmarkern; (b) Sinogramm der aufgenommen Daten des Torsophantoms markiert mit zwei Stahlmarkern; (c) Vergr¨ oßerter Ausschnitt der Projektion im Bereich der Metallprojektion unter dem Winkel γ = 120◦ einschließlich der Ergebnisse der linearen und polynomialen Interpolationen sowie der Ground Truth (gemessen ohne Stahlmarker).
¨ Die Herleitung des neuen λ-MLEM-Algorithmus basiert auf zwei Anderungen der urspr¨ unglichen Formel [2]. Im ersten Schritt werden alle Zeilen der Systemmatrix A, die zu Projektionen geh¨ oren, die durch ein Metallobjekt verlaufen, mit dem Vertrauensparameter 0 ≤ λ ≤ 1 gewichtet, so dass die neue Log-LikelihoodFunktion f¨ ur die Transmissions-Computertomographie wie folgt lautet
l (f ∗ ) = ln (L (f ∗ )) =
M
⎛ ⎝−˜ ni
i=1
N
⎞ λi aij fj∗ − n0 e−
N
∗ j=1 λi aij fj
⎠ + const., (1)
j=1
˜ i der wobei n0 der Anzahl der Photonen, die die R¨ontgenr¨ohre verlassen und n modifizierten Anzahl der detektierten Photonen entspricht. Der urspr¨ ungliche MLEM-Algorithmus ist ein einfacher Gradienten-Algorithmus [7], der auch nach Modifikation in folgender Form dargestellt werden kann (2) f ∗(n+1) = f ∗(n) + D f ∗(n) grad(l (f ∗ )); hierbei entspricht D der Diagonalmatrix f¨ ur die Transmissions-Computertomographie ∗(n) fr ∗(n) D f , (3) = diag M ˜ i λi air i=1 n so dass Gleichung (2) wie folgt geschrieben werden kann fr∗(n+1) =
fr∗(n)
=
+
fr∗(n)
∗(n)
fr
+ M
∂l (f ∗ ) ∂fr∗
˜ i λi air i=1 n M ∗(n) N ∗(n) fr n0 λi air e− j=1 λi aij fj M ˜ i λi air i=1 i=1 n
−
M i=1
n ˜ i λi air
(4) .
Maximum-Likelihood-Ansatz zur Metallartefaktreduktion Abb. 2. (a) FBP-Rekonstruktion, (b) MLEM-Rekonstruktion; (c) Rekonstruktion mit λi = 0.5 (innerhalb der Metallprojektionen).
39
λ-MLEM-
¨ ¨ Der zweite Anderungsschritt beinhaltet die Uberlegung, dass die Anzahl der gemessenen R¨ ontgenquanten im Detektor proportional zur Intensit¨at der R¨ ontgenstrahlung ist. Aus diesem Grund muss die Projektionssumme pi =
N
aij fj ,
(5)
j=1
das heißt, die gemessenen Projektionswerte pi im Sinogram ebenfalls ad¨aquat gewichtet werden. Die angepasste Anzahl der R¨ontgenquanten ist damit n ˜i = n0 e−λi pi . Somit lautet die neue Fix-Punkt-Iteration fr∗(n+1)
=
fr∗(n)
M
N
∗(n)
λi air e− j=1 λi aij fj M −λi pi i=1 λi air e
i=1
.
(6)
In Abb. 2a ist das Ergebnis der FBP-Rekonstruktion dargestellt. Abbildung 2b zeigt das Ergebnis der Rekonstruktion mit dem klassischen MLEMAlgorithmus [7] basierend auf der modifizierten MLEM-Gleichung (6). Diese ist n¨ amlich identisch mit der urspr¨ unglichen MLEM-Rekonstruktionsvorschrift bei ur alle Projektionen i ∈ {1, . . . , M }. Innerhalb der beiden einer Wahl von λi ≡ 1 f¨ unterschiedlich rekonstruierten Bilder 2a/b sind die Metallartefakte gut zu erkennen. Dies beruht auf Inkonsistenzen innerhalb der unbehandelten Rohdaten, die durch Aufh¨ artung hervorgerufen werden. Im Vergleich hierzu zeigt Abb. 2c das Ergebnis der zun¨ achst mit polynomialer Interpolation reparierten Rohdaten und anschließender Rekonstruktion mit dem λ-MLEM-Algorithmus. Die mit dem λ-MLEM-Algorithmus rekonstruierten Bilder wirken im Vergleich zu den mit dem FBP-Algorithmus berechneten Bildern verrauschter. Daher ist die Erweiterung der Rekonstruktionsvorschrift des λ-MLEM-Algorithmus durch einen Regularisierungsterm erforderlich.
3
Ergebnisse und Diskussion
Als Beurteilungskriterium f¨ ur die G¨ ute der Metall-Artefakt-Unterdr¨ uckung wurde der Korrelationskoeffizient zwischen den Bildern jeweils mit und ohne Stahlmarker - also der Ground Truth - berechnet. Das beste Ergebnis wurde mit dem
40
M. Oehler und T.M. Buzug
λ-MLEM-Algorithmus mit einer Wahl von λ = 0.5 erzielt (Abb. 2c). Es zeigt sich, dass die Metallartefakte im Vergleich zur Rekonstruktion mit der StandardFBP gut reduziert werden k¨ onnen. Derzeit ist der λ-MLEM-Algorithmus in otigt bei 500 Iterationen auf einem Intel MATLABTM implementiert und ben¨ Pentium 4 Prozessor mit 3 GHz ca. 20 Minuten (Radonraum: 256x180 Daten; Bildraum: 256x256 Pixel). Auf Grund dieser langen Rechenzeit planen wir eine Implementation auf dedizierter Hardware, die Unterteilung der Projektionen in Ordered Subsets und die Einf¨ uhrung von Relaxationsmethoden. Weiterhin werden die entwickelten Verfahren mit anderen Algorithmen zur Metallartefaktreduktion verglichen. Hierbei stellen Methoden, die die polychromatischen Eigenschaften der R¨ ontgenstrahlung in der Computertomographie ber¨ ucksichtigen, einen besonderen Schwerpunkt dar.
Literaturverzeichnis 1. Kachelrieß M. Reduktion von Metallartefakten in der R¨ ontgen-ComputerTomographie. Ph.D. thesis. Friedrich-Alexander-Universit¨ at Erlangen- N¨ urnberg; 1998. 2. Lange K, Carson R. EM reconstruction algorithms for emission and transmission tomography. J Comput Assist Tomog 1984;8:306–316. 3. Jank J, Backfriede W, Bergmann H, Kletter K. Analyse des Konvergenzverhaltens von Rekonstruktionsalgorithmen anhand lokaler und globaler Parameter. Med Phys 2001;11:246–254. 4. Glover GH, Pelc NJ. An algorithm for the reduction of metal clip artifacts in CT reconstructions. Med Phys 1981;8:799–807. 5. Kalender WA, Hebel R, Ebersberger J. Reduction of CT artifacts caused by metallic implants. Radiology 1987;164:576–577. 6. Lewis RM, Bates RHT. Image reconstruction from projections III: Projection completion methods (theory). Optik 1978;50:189–204. 7. Lange K, Bahn M, Little R. A Theoretical Study of Some Maximum Likelihood Algorithms for Emission and Transmission Tomography. IEEE Trans Med Imaging 1987;6:106–114.
Ultraschall-Perfusionsbildgebung fu ¨r die Schlaganfalldiagnostik auf Basis eines Modells fu ¨r die Destruktionskinetik von Kontrastmittel Christian Kier1 , Karsten Meyer-Wiethe2 , G¨ unter Seidel2 3 und Til Aach 2
1 Institut f¨ ur Signalverarbeitung, Universit¨ at zu L¨ ubeck, 23538 L¨ ubeck Klinik f¨ ur Neurologie, Universit¨ atsklinikum S-H, Campus L¨ ubeck, 23538 L¨ ubeck 3 Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen, 52056 Aachen Email:
[email protected]
Zusammenfassung. Zur Diagnose von zerebrovaskul¨ aren Erkrankungen mittels Ultraschall ist neben den Methoden der Bolus- und Wiederanreicherungskinetik die Methode der Destruktionskinetik bekannt, bei der u orung von Kontrastmittel perfusionsbezoge¨ber die schnelle Zerst¨ ne Parameter bestimmt und farbkodiert als Parameterbilder dargestellt werden. Das dabei bislang verwendete Modell hat den Nachteil, diese Parameter nur durch ein Least-Squares-Fitting bestimmen zu k¨ onnen. Eine Weiterentwicklung des Modells f¨ uhrt zu der M¨ oglichkeit, den sogenannten Perfusionskoeffizienten direkt aus den Daten berechnen zu k¨ onnen. Desweiteren wird eine verbesserte Sch¨ atzung des daf¨ ur notwendigen Destruktionskoeffizienten dargelegt. Eine Versuchsstudie, in der die erhaltenen Ergebnisse mit MRT-Aufnahmen verglichen werden, liefert deutliche Hinweise darauf, daß das neue Modell eine exaktere Bestimmung der Perfusion erm¨ oglicht.
1
Einleitung
Die zuverl¨ assige und schnelle Messung der zerebralen Mikrozirkulation ist entscheidend f¨ ur die Diagnose und Behandlung akuter zerebrovaskul¨arer Erkrankungen. Derzeit wird diese Messung vorwiegend mit Hilfe zeit- und kostenintensiver tomographischer Verfahren (CT/MRT) durchgef¨ uhrt. Die Messstationen sind dar¨ uber hinaus ortsgebunden, so daß Transfer und eventuelle Wartezeiten zum Teil erhebliche Belastungen des Patienten mit sich bringen. Mit der transkraniellen Sonografie lassen sich kosteng¨ unstig und schnell Informationen u ¨ ber die lokale Hirndurchblutung am Bett des Patienten gewinnen. Dabei werden Ultraschall-Bildsequenzen aufgezeichnet, die den Verlauf der Konzentration eines Kontrastmittels im Blut festhalten, welches durch Ultraschallpulse in regelm¨ aßigen Abst¨ anden zerst¨ ort wird. Aus diesem Verlauf lassen sich perfusionsbezogene Parameter bestimmen, die farbkodiert als Parameterbilder dargestellt werden und R¨ uckschl¨ usse auf die Perfusion in einzelnen Bild- und damit Gehirnbereichen erlauben [1]. Bekannt sind eine bolusbasierte Methode (BHI [2]) sowie zwei auf konstanter Kontrastmittelinfusion basierende Methoden der Wiederanreicherungs- (RHI [3]) und Destruktionskinetik (DHI [4]).
42
2
C. Kier et al.
Harmonic Imaging und Destruktionskinetik
Um das bedingt durch die starke Schallreflektion am Sch¨adelknochen geringe Signal-Rausch-Verh¨ altnis von transkraniellem Ultraschall zu verbessern, macht sich Harmonic Imaging das nichtlineare Verhalten des Kontrastmittels zu Nutze. Ultraschall-Kontrastmittel besteht im Wesentlichen aus Mikrobl¨aschen, die bei Beschallung den Schall nichtlinear reflektieren und abh¨angig vom Schalldruck dabei zerst¨ ort werden. W¨ ahrend der Puls mit einer Mittenfrequenz von 1,8MHz gesendet wird, werden im Echo auch die entstehenden harmonischen Schwingungen erfasst, die haupts¨ achlich auf das im Blut vorhandene Kontrastmittel zur¨ uckzuf¨ uhren sind und somit vorrangig die Perfusion abbilden. Die Diminution Harmonic Imaging (DHI) Methode beruht auf konstanter intraven¨ oser Kontrastmittelinfusion, die zu einer konstanten Kontrastmittelkonzentration im Blutkreislauf f¨ uhrt. Abbildung 1 (li.) zeigt exemplarisch das erste Bild einer DHI-Sequenz mit anfangs hohem Kontrastmittelniveau. Durch eine Folge von Ultraschallpulsen (1,67-6,67 Hz) wird die Kontrastmittelkonzentration vermindert, da durch den bei dieser Methode verwendeten Schalldruck die Mikrobl¨ aschen im Kontrastmittel degenerieren. Nach ca. 10 Pulsen wird ein Gleichgewichtszustand g erreicht, in dem bei jedem Puls genau soviel Kontrastmittel zerst¨ ort wird, wie im folgenden Interpulsintervall in die Bildebene einstr¨omt. Abbildung 1 (re.) verdeutlicht diesen Prozeß. Zufluß, Abfluß und Zerst¨orung des Kontrastmittels k¨onnen f¨ ur jeden Zeitschritt und jede Volumeneinheit der Bildebene durch folgendes rekursives parametrisches Modell [5] beschrieben werden: c(n + 1) = c(n) · d · e−p· ∆t + c(0) · 1 − e−p · ∆t . Abf luss
(1)
Zuf luss
Dabei ist n die Anzahl der Ultraschallpulse, c(n) die Konzentration, ∆t die Zeit zwischen zwei Pulsen, d der Destruktionskoeffizient und p der Perfusionskoeffizient. Um die Konzentration im n-ten Schritt zu berechnen, kann folgende geschlossene Form verwendet werden: xn−1 − 1 xn−1 + y · , mit x−1 x = d · e−p · ∆t
c(n) = c(0) ·
(2)
y = 1 − e−p · ∆t .
Bisher wird das Modell mit Least-Squares Methoden an die Bilddaten der Ultraschallsequenz gefittet und so der Perfusionskoeffizient p errechnet, der letztlich Aufschluß u ¨ ber die Perfusion geben soll. Genauso wird der ortsabh¨angige Destruktionskoeffizient d bestimmt, der die Destruktionswirkung des Ultraschallpulses ortsaufgel¨ ost wiedergibt [5]. Durch das Fitting k¨onnen diese Parameter bislang nur mit eingeschr¨ ankter Genauigkeit gesch¨atzt werden [6]. Desweiteren muß die Tiefenabh¨ angigkeit der Destruktionswirkung des Ultraschallpulses auf das Kontrastmittel ber¨ ucksichtigt werden.
Ultraschall-Perfusionsbildgebung f¨ ur die Schlaganfalldiagnostik
43
Abb. 1. Exemplarisches Ultraschallbild einer DHI-Sequenz (links). Tats¨ achliche und beobachtete DHI-Kontrastmittelkonzentration abh¨ angig von US-Pulsen (rechts). Beobachtete Konzentration Tatsächliche Konzentration Gleichgewichtszustand g
Kontrastmittelkonzentration (normalisiert)
1
0.8
Destruktion 0.4
Messung
0.2
0
3
Perfusion
0.6
1
2
3
4 5 6 Ultraschallpuls
7
8
9
10
11
Weiterentwicklung des mathematischen Modells
Das sich einstellende Gleichgewicht zwischen Zufluß, Abfluß und Destruktion resultiert in einem konstanten Intensit¨ atswert, der als Grenzwert g des zugrunde liegenden Modells (mit n → ∞) interpretiert werden kann. Die Grenzwertbildung verdeutlicht die Abh¨ angigkeit von g von der Ausgangskonzentration c(0), vom Perfusionskoeffizienten p sowie vom Destruktionskoeffizienten d: xn−1 − 1 n→∞ n→∞ n→∞ x−1 −y e−p · ∆t − c(0) xn−1 − 1 p>0 = c(0) · = = c(0) · lim y · n→∞ x−1 x−1 d · e−p · ∆t − c(0) (2)
g = lim c(n) = lim c(0) · xn−1 + lim c(0) · y ·
(3)
Zur Berechnung von p ist es zun¨ achst notwendig, g und d zu berechnen. Die Ausgangskonzentration c(0) wird aus dem ersten Bild der DHI-Sequenz bestimmt. Zur Berechnung von d wird davon ausgegangen, daß die Destruktion unmittelbar nach dem Ultraschallpuls auftritt. Im folgenden Intervall bis zum n¨achsten Puls kommen dann nur noch die Flußeffekte zum Tragen. Wenn also das Intervall hinreichend kurz gew¨ ahlt wird, kann d als Koeffizient von zwei aufeinander folgenden Werten betrachtet werden. Zur Berechnung werden deshalb von der Kurve mit der h¨ ochsten Aufnahmefrequenz (6,67 Hz) die ersten beiden Werte herangezogen, da sich das Kontrastmittelniveau hier noch nahe an der S¨ attigung befindet und somit die Flußeffekte noch nicht so stark sind, die Destruktion vom Absolutwert jedoch am h¨ ochsten ausf¨allt: lim
∆t→0
c(1) (2) 1 lim c(0) · d · e−p · ∆t + c(0) · 1 − e−p · ∆t = d = c(0) c(0) ∆t→0
(4)
Nachdem der Grenzwert als Mittelwert der letzten drei Intensit¨atswerte gebildet wurde, kann p nach Umformung von (3) aus d, Grenzwert sowie Anfangskonzentration c(0) berechnet werden:
44
C. Kier et al.
Abb. 2. Parameterbilder des Perfusionskoeffizienten p (li.) und Destruktionskoeffizienzen d (re.). Je heller die Intensit¨ at, desto st¨ arker die Perfusion bzw. desto schw¨ acher die Destruktion. Homogen graue (li.) und schwarze (re.) Bereiche sind ung¨ ultige Pixel.
1 · ln p= ∆t
g · d − c(0) g − c(0)
(5)
Nach der Berechnung des Perfusionskoeffizienten werden die Werte normalisiert und farbkodiert in einem Parameterbild dargestellt. Dabei werden die Bildpunkte, bei denen der Grenzwert g > α · c(0) ist (mit α frei w¨ahlbar, i.A. 1) als ung¨ ultig markiert, da hier die Modellannahme nicht zutrifft. Abbildung 2 zeigt Parameterbilder von p und d. Als weitere Parameter wurden aus der Zeit-Intensit¨ atskurve die maximale Amplitude und die Halbwertszeit des Kontrastmittels errechnet und ebenfalls als farbkodiertes Parameterbild dargestellt. Alle Berechnungen erfolgen pixelbezogen und erlauben somit eine pixel- oder regionenbasierte semi-quantitative Auswertung.
4
Versuchsstudie an 8 Patienten
In einer laufenden Studie wurden von bisher 8 Patienten mit Schlaganfallsymptomen jeweils DHI-Sequenzen sowie MRT-Aufnahmen erstellt. In den MRTBildern wurden solche Bereiche als Perfusionsdefekte klassifiziert, in denen die Durchblutung mehr als 4 Sekunden verz¨ ogert auftrat. In den DHI-Parameterbildern wurden Perfusionsdefekte von klinischen Experten ohne Kenntnis der MRTBefunde von Hand markiert. Die Gr¨ oße der Perfusionsdefekte wurde mittels des Spearman Ranking Verfahrens zueinander in Beziehung gesetzt. Dabei zeigt sich, daß von den vier Parametern (p, d, Amplitude, Halbwertszeit) allein der Perfusionskoeffizient eine signifikante Korrelation (r = 0.8, Signifikanz p = 0.017) mit den aus MRT-Aufnahmen bestimmten Perfusionsdefekten aufweist.
5
Diskussion
Im Gegensatz zu den derzeit verwendeten Verfahren erm¨oglicht die vorgestellte Methode die kosteng¨ unstige und schnelle Diagnostik der Hirnperfusion aufgrund von Ultraschallsequenzen direkt am Patientenbett unter minimaler Bela-
Ultraschall-Perfusionsbildgebung f¨ ur die Schlaganfalldiagnostik
45
stung des Patienten. Hervorzuheben ist die kurze Dauer der Untersuchung mittels der DHI-Methode, die neben verminderter Patientenbelastung zu stabileren Untersuchungsbedingungen im Vergleich zu anderen Harmonic Imaging Methoden (Bolus- und Wiederanreicherungskinetik) f¨ uhrt und der Methode damit das gr¨oßte Potential verschafft [4, 2, 5]. Die gezeigten Ergebnisse sind aufgrund des Umfangs der Studie nur vorl¨aufig, zeigen aber, daß unsere Weiterentwicklung des mathematischen Modells deutlich zur Verbesserung der DHI-Methode gef¨ uhrt hat und eine exaktere Berechnung des Perfusionskoeffizienten p erlaubt. Ebenfalls zur Verbesserung der Genauigkeit tr¨ agt die tiefenabh¨ angige Sch¨ atzung des Destruktionskoeffizienten d bei, da somit die Tiefenabh¨ angigkeit von p reduziert wird. Eine Schw¨ache der Methode ist derzeit noch die untersucherabh¨ angige Bestimmung der Perfusionsdefekte in den Parameterbildern, die allerdings durch ein standardisiertes und somit automatisches Verfahren behoben werden kann. Desweiteren kann davon ausgegangen werden, daß mit unserer Weiterentwicklung die DHI-Perfusionsbildgebung auch an anderen per Ultraschall erreichbaren Organen verbessert werden kann.
Literaturverzeichnis 1. Metzler Volker, Seidel G¨ unter, Wiesmann Martin, Meyer Karsten, Aach Til. Perfusion Harmonic Imaging of the Human Brain. In: Ultrasonic Imaging and Signal Processing. vol. 5035 of Procs SPIE. San Diego, CA; 2003. p. 337–348. 2. Kier Christian, Toth Daniel, Meyer-Wiethe Karsten, Schindler Angela, Cang¨ ur Hakan, Seidel G¨ unter, et al. Cerebral Perfusion Imaging with Bolus Harmonic Imaging. In: Ultrasonic Imaging and Signal Processing. vol. 5750 of Procs SPIE. San Diego, CA; 2005. p. 437–446. 3. Metzler V, Seidel G, Toth D, Claassen L, Aach T. Schnelle Messung der lokalen Hirnperfusion zur Diagnoseunterst¨ utzung bei zerebrovaskul¨ aren Erkrankungen. In: Procs BVM; 2001. p. 280–284. 4. Meyer Karsten, Seidel G¨ unter. Transcranial contrast diminution imaging of the human brain – a pilot study on healthy volunteers. Ultrasound Med Biol 2002;28:1433– 1437. 5. Eyding J, Wilkening W, Reckhardt M, et al. Contrast burst depletion imaging (CODIM): a new imaging procedure and analysis method for semiquantitative ultrasonic perfusion imaging. Stroke 2003;34(1):77–83. 6. Eyding Jens, Wilkening Wilko, Reckhardt Markus, et al. Reliability of semiquantitative ultrasonic perfusion imaging of the brain. J Neuroimaging 2004;14:143–149.
Robust and Fast Estimation of Signal-Dependent Noise in Medical X-Ray Image Sequences Marc Hensel1 , Bernd Lundt2 , Thomas Pralow2 and Rolf-Rainer Grigat1 1 2
Vision Systems, TU Hamburg-Harburg, 21079 Hamburg General X-Ray, Philips Medical Systems, 22335 Hamburg Email:
[email protected]
Abstract. We present a practice-oriented, i.e. fast and robust, estimator for strong signal-dependent noise in medical low-dose X-ray images. Structure estimation by median filtering has shown to be superior to linear binomial filtering. Falsifications due to remaining structure in the estimated noise image are significantly reduced by iterative outlier removal.
1
Introduction
Medical X-ray image sequences as applied, e.g., in angiography exhibit severe signal-dependent noise. This is founded on low X-ray doses used for radiation protection reasons. Noise reduction as well as contrast enhancement methods can be significantly improved by consideration of the signal-dependent noise level. However, in noise estimation several intricacies arise. First of all, the application requires real-time processing while sophisticated noise estimators exhibit high computing time (complexity). Also, there is the problem of structure diversity. Noise estimation implies signal estimation (object structures). However, clinical sequences contain large regions of low contrast and smooth transitions (e.g. organs) as well as fine structures of high contrast (e.g. catheters, vascular trees). Finally, existing noise models are not universally applicable for all observed X-ray images. Existing noise models are based on the Poisson distribution as noise in lowdose X-ray images is dominated by statistical variability of the X-ray quanta and, thus, by additive Poisson-distributed quanta noise. However, all too often such distribution cannot be observed in medical sequences. Flat-panel detectors might consist of multiple detector arrays exhibiting significantly differing properties (e.g. sensitivity) and, hence, require corrective preprocessing. Moreover, device-specific logarithmic mappings of digital X-ray images with the purpose to establish linear dependency of gray-values from the thickness of imaged objects are applied. These mappings invert the monotony of signal-dependent noise curves. Even worse, mapping parameters not matching the detector or camera type can totally degrade the noise curve. As concluding example, preprocessing by Wiener filtering leads to a sharp bend in noise curves that cannot be described by the known models.
Robust and Fast Estimation of Signal-Dependent Noise
2
47
State-of-the-Art
State-of-the-art noise models for low-dose X-ray images are based on the assumption of the data being dominated by additive Poisson-distributed quanta noise. In Poisson-distributed data, mean µ (i.e. the expected uncorrupted signal inten√ sity s(x, y)) equals variance σ 2 . Thus, noise standard deviation σ = µ increases with the square root of the expected signal strength. Most often, and leading to a differing model, the exponential attenuation of X-rays passing through matter is compensated by logarithmic mapping. Hereby, linear dependency of image intensity and traversed object thickness is established. At the same time, logarithmic mapping fundamentally changes the noise characteristic. The resulting noise standard deviation is monotonically decreasing over large signal ranges and can be modeled by an exponential function. However, both models are devicespecific and preprocessing might yield observed noise characteristics that are not adequately described by these models. There are a multitude of noise estimation methods [1]. Many of these are not suited for real-time X-ray image processing, because of the huge amount of data, the complexity of the method, or because they are not suited for signal-dependent noise. Examples are methods based on wavelet transformation or Maximum Likelihood estimation [2, 3]. Noise estimators for real-time applications are mostly based on signal estimation by low-pass filtering. The high-pass portion, i.e. the data filtered out, is interpreted as noise and analyzed to yield the noise estimation [1, 4]. Naturally, the resulting noise estimation can be considerably falsified by structure, as edges contain significant high-frequency components.
3
Methods
In the context of real-time noise estimation, three major questions arise: What are the noise properties? Which filter is suited to approximate the signal? Finally, how can the influence of signal on the estimated noise image be further reduced? 3.1
Noise Model
The physical process underlying noise in low-dose X-ray images is Poissondistributed quanta noise. For a – in practice fulfilled – ”sufficiently large”number of quanta contributing per pixel (about 20), the discrete distribution can be approximated by the continuous normal (Gaussian) distribution with same mean and variance. Our measurements of X-rayed brass wedges using varying preprocessing steps verified that the observed signal-dependent noise can be described fairly well by additive zero-mean normal-distributed noise η with signaldependent standard deviation ση (s), i.e. g(x, y) = s(x, y) + η s(x, y) (1) 2 η 1 1 exp − pdf(η; s) = √ (2) 2 σ 2π · ση (s) η (s) with signal s and the observed gray-valued image g.
48
M. Hensel et al. Table 1. Noise estimation in homogeneous images using 3 × 3 standard filters Filter Median Binomial
3.2
σse /σ0 0.4078 0.3750
σηe /σ0 0.9720 0.8004
ηe [%] 2.85 19.96
Signal Estimation Filter
With estimated signal se , the estimated noise component at location (x, y) is given by ηe (x, y) = g(x, y)−se (x, y). For real-time signal estimation in very noisy images, 3 × 3 median and (linear) binomial filters h are taken into account [1]. In homogeneous signals s(x, y) = s0 corrupted by noise σ0 , linear filtering se = h∗g yields an estimated noise image ηe with standard deviation ση2e according to: ⎡ ⎤ ση2e = ⎣ [1 − δ(i)δ(j)] h2i,j + (1 − h0,0 )2 ⎦ · σ02 (3) i
j
The performance of median filtering has been analyzed by experiments. For both, median and binomial filtering, Table 1 shows the noise levels in se and ηe as well as the relative error ηe = |σηe − σ0 |/σ0 of the resulting noise estimation. Regarding se , noise reduction performance of the median filter is only slightly below the binomial filter. However, most remarkably, noise in ηe reflects σ0 by far better than in case of the binomial filter. Furthermore, median filtering is superior in structure preservation and, thus, in limiting the influence of signal structure on ηe . 3.3
Intra-frame Noise Estimation
The proposed method is organized in five steps: 1. Signal estimation se (x, y) by 3 × 3 median filtering and creation of the corresponding noise image ηe (x, y) = g(x, y) − se (x, y) 2. Subdivision of the dynamic range of the signal in intervals Si of equal size 3. Estimation of noise σηe (i) in the intervals S(i) as standard deviation of all noise values ηe (x, y) whose corresponding signal values se (x, y) are in Si 4. Iterative outlier removal 5. Interpolation with consideration of the statistical basis The quality of the initial noise estimation in S(i) %−1/2 $ 2 σηe (i) = E (Ni − E{Ni }) with & & Ni = ηe (x, y) && se (x, y) ∈ Si
(4) (5)
is improved by iterative outlier removal: In the calculation of the noise standard deviation σηe (i) for an interval S(i), absolute noise values above three times the
Robust and Fast Estimation of Signal-Dependent Noise
49
standard deviation are with high probability caused by high-frequency components originating from structure and not from noise. Thus, these outliers are removed from Ni (t) iteratively and the standard deviation is updated from the remaining values in Ni (t + 1): & & Ni (t + 1) = ηe (x, y)&& ηe (x, y) ∈ Ni (t) ∧ |ηe (x, y)| ≤ 3σηe (i) (6) The noise estimations σηe (i) for intervals Si are mapped to a signal-dependent estimation σηe (s) by interpolation of σηe (i) of those intervals, where a ”sufficiently high”number (> 100) of pixel values have contributed to the standard deviation. Clinical X-ray images most often contain smooth transitions. Hence, normally most intervals are considered in the interpolation for the number of intervals (e.g. 128) and image data used by our groups. 3.4
Incremental Inter-frame Noise Estimation
For applications with very restrictive real-time requirements, the computing time for noise estimation can be controlled adaptively by incremental inter-frame noise estimation. Founded on the expression σ 2 (X) = E(X 2 ) − E(X)2 , the basic idea is to incrementally improve the estimation by additional consideration of some pixels of each new frame in a sequence. Number and location of the pixels is arbitrary, however, locations should differ from image to image in such way that all image coordinates have the same contribution in the long run. Incremental adding can be applied as long as the imaging parameters are constant and, hence, frames exhibit equivalent noise characteristics.
4
Results
Signal-dependent noise in low-dose X-ray images is described well by additive zero-mean Gaussian noise with signal-dependent standard deviation. The maximum absolute difference of normal and Poisson distributions of equal mean and variance is solely 0.010 units (normed to signal values: 0.10%) for 10 quanta per pixel and 0.005 units (0.02%) for 20 quanta per pixel. The measured noise curves σηe (s) are quasi-continuous, but not necessarily monotonic. The precision of the noise estimation has been evaluated using uniform, artificial, and clinical test images corrupted by noise with known characteristic. The clinical image showing a vascular tree has been acquired with comparatively high dose and, thus, contains low noise. This was further reduced by nonlinear diffusion filtering prior to evaluation. On all test data, signal estimation by median filtering clearly outperformed estimation based on binomial filtering. In the absence of image structure, the relative error of the estimated noise was about 2.85% for median and 19.96% for binomial filtering (Tab. 1). The presence of artificial structure falsified the noise estimation and yielded relative errors of 52.18% (median) and 81.69% (binomial). In the presented method, these errors were significantly reduced, in
50
M. Hensel et al.
Fig. 1. Estimated noise histograms for binomial filtering of clinical image. Ideal case: 1-D histograms for constant se are Gaussian-distributed. Left: All pixels contribute. Structure produces errors with predominantly negative/positive sign for small/large se (MSE: 8.96). Right: Only 37.16% of pixels with lowest entries (≤ 1% max. value) in edge image (Prewitt) contribute. Strong disturbances due to structure remain (MSE: 7.54). Proposed method: The disturbances are largely removed (MSE: 3.34). (For better visibility the data is normed to 1 for each se and the display clipped to 0.05.)
particular by structure iteration, to about 0.05% (median) and 17.38% (binomial), respectively. For the clinical image, relative estimation errors were about 2.67% and 18.91%, respectively. State-of-the-art gradient-based methods [1] did not yield comparable reduction of the influence of structure for the clinical test image (see Figure 1 and mean squared errors of normed data therein).
5
Discussion
The presented method is utmost robust in several aspects. Most prominent are its universality and suppression of object structures. The method adapts to the noise characteristics and is suited for exposures and fluoroscopic sequences, likewise. Moreover, typical falsifications in state-of-the-art noise estimators due to highfrequency components of structure are significantly reduced by iterative outlier removal. Finally, it has shown that signal estimation using median filtering yields good results for images corrupted by severe noise (e.g. fluoroscopic images).
References 1. Olsen SI. Estimation of noise in images: An evaluation. CVGIP: Graphical Models and Image Processing 1993;55(4):319–323. 2. Yuan X, Buckles BP. Subband Noise Estimation for Adaptive Wavelet Shrinkage. In: Proc IEEE 17th Int Conf Pattern Recognition. vol. 4; 2004. p. 885–888. 3. Sijbers J, den Dekker AJ. Maximum Likelihood Estimation of Signal Amplitude and Noise Variance From MR Data. Magn Reson Med 2004;51(3):586–594. 4. Amer A, Dubois E. Fast and Reliable Structure-Oriented Video Noise Estimation. IEEE Trans Circuits and Systems for Video Technology 2005;15(1):113–118.
CLARET: A Tool for Fully Automated Evaluation of MRSI with Pattern Recognition Methods B.M. Kelm1 , B.H. Menze1 , T. Neff2 , C.M. Zechmann2 and F.A. Hamprecht1 1
Interdisciplinary Center for Scientific Computing (IWR), University of Heidelberg, 69120 Heidelberg 2 German Cancer Research Center (dkfz), 69120 Heidelberg Email:
[email protected]
Abstract. Magnetic Resonance Spectroscopic Imaging (MRSI) measures relative concentrations of metabolites in vivo and can thus be used for the diagnosis of certain tumors. We introduce the program CLARET that makes MRSI accessible for clinical routine use. Instead of embarking on an error-prone quantification of metabolites that requires manual checking of the results in many voxels, the program uses pattern recognition methods to directly compute tumor probability maps. Furthermore, non-evaluable signals are identified and masked out. The user can thus save time and concentrate on suspicious regions only.
1
Introduction
With magnetic resonance spectroscopic imaging (MRSI), specific metabolites can be detected and spectrally resolved in vivo. Since the concentration ratios of certain metabolites change characteristically in pathologic tissue, MRSI is in principle very well suited for the detection and localization of tumors. A major challenge in MRSI, however, lies in the postprocessing and evaluation of the acquired spectral volumes. In general, two approaches to the evaluation of MRSI have been considered in the literature. The first approach initially performs a quantification based on physical signal models [1]. Algortihms such as HLSVD, VARPRO, AMARES, LCModel, QUEST, etc. allow to incorporate different kinds of prior knowledge in order to obtain robustness towards noise. Such or similar algorithms are often provided by commerical vendors (e.g. Siemens – PRISMA, Philips – LCModel) and are also available in the popular Java solution jMRUI. However, in order to avoid wrong diagnoses because of erroneous quantification results, one has to manually verify the line fit in every single voxel. Merely because of time constraints, this approach is not viable in clinical routine, in particular at higher spatial resolutions. Furthermore, manual evaluation of MRSI data requires tissue specific domain knowledge not shared by all radiologists. Finally, such a manual evaluation lacks objectivity and reproducibility.
52
B.M. Kelm et al.
The second approach to the evaluation of MRSI data applies methods from machine learning and pattern recognition [2]. From this point of view, quantification is only one way of feature extraction and dimension reduction. Instead of using error-prone quantification, pattern recognition methods can as well use any other, possibly more robust, representation of the spectral information. Several techniques have been proposed in the literature among which are e.g. artificial neural networks, support vector machines, subspace methods, generalized linear models, etc. Recent results [3, 4] show that pattern recognition methods which do not rely on an explicit quantification step can be superior for a given diagnostic problem. Furthermore, pattern recognition also allows to identify spectra which are dominated by artifacts or which are just too noisy to be processed reliably [5]. Despite their considerable potential, pattern recognition methods for the evaluation of MRSI are not applied in clinical routine. One important reason is that commercial vendors do not offer or support such evaluation strategies yet. Another reason is that no software tools are available which offer pattern recognition methods for the evaluation of MRSI in a user-friendly way. In this paper we introduce the CLARET tool (C SI-based Localization And Robust E stimation of T umor probability) for the diagnostic evaluation of MRSI data. CLARET implements powerful pattern recognition methods for an automatic evaluation of MRSI volumes. Furthermore, it provides convenient tools and a user-friendly interface for time-efficient analyses.
2
Design Principles and Use Cases
The evaluation of MRSI volumes with CLARET is designed for utmost user friendliness. After selecting an MRSI volume and a suitable MR image volume (usually T2 -weighted) from the DICOM data set, CLARET can be initiated to evaluate either individual slices or the whole loaded volume at once. The results are displayed in transparent probability maps superposed onto slices through the MRI volume (Fig. 1). One can easily switch between tumor probability estimates and their 2σ confidence intervals. In addition, voxels which cannot be evaluated are masked out. In the subsequent diagnosis the user can therefore concentrate only on regions marked suspicious in the probability map. In case of doubt, the original spectral signal is easily accessible and conspicuities in the T2 -image can also be scrutinized. Finally the extracted probability map can be stored in a file together with the analyzed MRI/MRSI volumes for later reference or it can be exported for use in the radiation planning software VIRTUOS [6]. CLARET has explicitly been designed for the application of pattern recognition methods. Therefore, it can also be used for the construction of training data sets. The automatic display of the respective spectral signals together with fitted model spectra and quantification results upon selection of an MRSI voxel allow for a semi-manual evaluation of the spectral data. The results from such a voxel-wise evaluation can easily be entered per mouse click in the probability map and stored as training data set. Since manual labels can also be entered
CLARET: A Tool for Fully Automated Evaluation of MRSI
53
Table 1. Distribution of labels in the prostate data set (76 slices from 24 patients). quality \ class non-evaluable poor good total
healthy – 721 1665 2386
undecided – 437 629 1066
tumor – 284 452 736
total 15268 1442 2746 19456
after an automatic evaluation CLARET is also suitable for the correction of classification errors and is ready for active learning.
3
Experimental Results
Spectral recordings from an ongoing clinical prostate MRSI study (IMAPS, [7]) from 24 patients with 16 × 16 × 16 voxels and 512 spectral channels have been included in the assessment. The data has been acquired on a common MR scanner (MAGNETOM Symphony, SIEMENS Medical Systems, Erlangen) with endorectal coil. Altogether 76 MRSI slices have been labeled with CLARET with respect to signal quality and diagnostic classification (cf. Table 1). In this way it was possible to label about 20,000 voxels in a relatively short amount of time and to store them as training data set in a machine-readable format. The analysis of the obtained data has shown that pattern recognition methods which do not employ an explicit quantification step for feature extraction can yield better performance. For the discrimination between tumorous and healthy tissue all considered pattern recognition methods reached a median cross-validated area under ROC (receiver operator characteristic) of at least .995 and therefore performed at least as good as the best quantification approaches (cf. Fig. 2, left). The right part of Figure 2 illustrates the class separation that can be obtained for the example of a binomial PLS (partial least squares, ”binom PLS (m)”). The noise classifier discriminates evaluable from non-evaluable spectra with an estimated out-of-bag error of 4.9%. With the current choice of pulse sequence and field of view, approximately three quarters of the MRSI voxels have to be discarded by the noise classifier as they are either heavily distorted by artifacts or contain noise only.
4
Discussion
For the first time a software tool is available which generates pathophysiologic probability maps from MRSI data fully automatically. CLARET is currently employed in a prostate study at the German cancer research center Heidelberg (dkfz). The graphical user interface and integrated workflow allow for an efficient evaluation of MRSI. Direct import of DICOM data from the MR scanner and the subsequent fully automatic evaluation by means of powerful pattern recognition
54
B.M. Kelm et al.
Fig. 1. The CLARET GUI can be used to evaluate MRSI efficiently. In routine use, the program automatically computes and displays tumor probability maps and confidence intervalls on top of morphologic MR images. The program also allows for a point-andclick display of spectral raw data, it can perform quantification, and it may be used for the manual labeling or the semi-manual refinement of training data sets.
8
healthy
6
tumor 4
density
10 12
(Cho+Cr)/Ci (v) Ci/(Cho+Cr+Ci) (v) gauss (v) binom (v) RF (v) SVM−rbf (v) (Cho+Cr)/Ci (a) RF (a) SVM−rbf (a) (Cho+Cr)/Ci (q) RF (q) SVM−rbf (q) binom (m) binom PCR (m) binom PLS (m) binom GPLS (m) binom PSR (m)
0
2
undecided
0.85
0.90
0.95 AUC
1.00
0.0
0.2
0.4
0.6
0.8
1.0
p
Fig. 2. Left: Comparison of the tumor prediction capability of various approaches: (v)VARPRO, (a)-AMARES(jMRUI), (q)-QUEST(jMRUI) quantification versus spectral (m)agnitude pattern recognition approaches. The area under curve (AUC) of the receiver operator characteristic has been 8-fold cross-validated. Right: Density estimates of the cross-validated tumor probability estimates.
CLARET: A Tool for Fully Automated Evaluation of MRSI
55
algorithms make its use simple. An application of CLARET for radiation therapy planning is projected and enabled by the integration into the software platform VIRTUOS [6]. The mentioned IMAPS prostate tumor study shows the potential of pattern recognition methods for the diagnostic evaluation of MRSI and highlights the necessity to provide suitable software. CLARET prototypically demonstrates the possibilities of a pattern recognition based MRSI evaluation. Here CLARET clearly contrasts with other MRSI evaluation tools such as jMRUI, LCModel or PRISMA which concentrate on the quantification of spectral data. Although these programs can also be used to compute and visualize color maps, only relative metabolite concentrations or ratios thereof are displayed. In contrast, CLARET is tailored towards the generation and visualization of pathophysiologic maps that report an explicit estimate for tumor probability in every voxel.
References 1. Vanhamme L, Sundin T, Van Hecke P, et al. MR spectroscopy quantitation: a review of time-domain methods. NMR Biomed 2001;14:233–246. 2. Hagberg G. From magnetic resonance spectroscopy to classification of tumors. A review of pattern recognition methods. NMR Biomed 1998;11:148–156. 3. Kelm BM, Menze BH, Zechmann CM, et al. Automated Estimation of Tumor Probability in Prostate MRSI: Pattern Recognition vs. Quantification. Magn Reson Med submitted;. 4. Menze BH, Lichy MP, Bachert P, et al. Optimal Classification of Long Echo Time In Vivo Magnetic Resonance Spectra in the Detection of Recurrent Brain Tumors. NMR Biomed submitted;. 5. Menze BH, Kelm BM, Heck D, et al. Machine based rejection of low-quality spectra, and estimation of tumor probabilities from MRSI. In: Procs BVM; 2006. . 6. Bendl R, Pross J, Hoess A, et al. VIRTUOS - A Program for Virtual Radiotherapy Simulation and Verification. In: Proc of 11th Int. Conf. on The Use of Computers in Radiation Therapy. A. R. Hounsell u. a. Manchester: North Western Med. Physics Dept.; 1994. p. 226–227. 7. Scheenen T, Weiland E, Futterer J, et al. Preliminary Results of IMAPS: An International Multi-Centre Assessment of Prostate MR Spectroscpoy. In: Procs 13th ISMRM, Miami. Springer; 2005. .
Analysis of the Left Ventricle After Myocardial Infarction Combining 4D Cine-MR and 3D DE-MR Image Sequences D. S¨ aring1 , J. Ehrhardt1 , A. Stork2 , M.P. Bansmann2 , G.K. Lund3 and H. Handels1 1 Department of Medical Informatics, Department of Diagnostic and Interventional Radiology, 3 Department of Cardiology/Angiology, University Medical Center Hamburg-Eppendorf, 20246 Hamburg, Germany Email:
[email protected] 2
Abstract. Spatial-temporal MR image sequences of the heart contain information about shape and motion changes and pathological structures after myocardial infarction. In this paper a software system called HeAT for the quantitative analysis of 4D MR image sequences of infarct patients is presented. HeAT supports interactive segmentation of anatomical and pathological structures. Registration of Cine- and DE-MR image data is applied to enable their combined evaluation during the analysis process. Partitioning of the myocardium in segments enables the analysis with high local resolution. Corresponding segments are generated and used for inter/intra patient comparison. Quantitative parameters were extracted and visualized. Parameters like endocard movement in the infarcted area of 6 infarct patients were computed in HeAT. Parameters in the infarct area show the expected dysfunctional characteristics. Based on theses parameters passive endocardial movement and myocardial areas with decreased contraction were identified.
1
Introduction
Myocardial infarction is one of the most common diseases in Germany. The infarcted area loses its ability to contract. This is attributed to left ventricle (LV) remodeling. LV remodeling is an important element in the progression of cardiac insufficiency characterized by wall thinning and chamber dilation for example [1]. It is a clinical problem to get quantitative parameters characterizing LV remodeling. New MR imaging techniques provide a non-invasive evaluation of anatomical and functional (local and global) parameters of the beating heart. In this paper spatial-temporal 4D Cine-MR and spatial delayed enhancement (DE)MR image sequences are combined to extract quantitative image parameters after myocardial infarction (Fig. 1). In this paper a software system called HeAT for the quantitative analysis of 4D MR image sequences of infarct patients is presented. Recently several software tools for quantitative analysis of spatial-temporal cardiac MR data were
Analysis of the Left Ventricle After Myocardial Infarction
57
Fig. 1. Two frames of a Cine-MR image sequence in endiastolic (a) and endsystolic (b) phase. Infarct area can be identified in the corresponding DE-MR image (c).
(a)
(b)
(c)
presented. The computation of global and local parameters in Cine-MR is supported rarely. Typically local parameters are computed and visualized using the 17 segment model. These parameters are limited for detailed evaluation of LV remodeling. Recently studies documented the mechanism of LV remodeling. Especially motion and shape changes of the myocardium in the infarct border zone were analyzed. Here the border zone was verified in Cine-MR manually using e.g. contrast echocardiography or delayed enhancement data for visual assistant. Generally this manual analysis is user-dependent and limited for inter/intra patient comparison. Other studies have underscored the impact of microvascular obstruction (MO) on the development of LV remodeling [2]. Due to the facts above the influence of MO is still poorly understood.
2
Methods
Computation of quantitative parameters in cardiac MR data requires localization and combination of the anatomical and pathological structures. Typically over 200 spatial-temporal Cine-MR and 7-12 spatial DE-MR images are acquired for each patient during breath-hold sequences. Segmentation and registration are necessary before the automatic algorithms for parameter extraction can be applied to evaluate the degree of myocardial infarction. Manual segmentation is used to outline myocardial structures in Cine-MR. Here identification of pathological structures is not possible, but in DE-MR these structures can be recognized. Therefore a data-driven method is applied in DEMR images for segmenting pathological structures using user-defined seed points within the healthy myocardial area. Based on their intensities mean x¯intensity and standard deviation σintensity are calculated. Due to the homogeneous intensity values of healthy myocardial tissue, voxels in the myocardium with intensities higher than (1) xthreshold = x¯intensity + 2 · σintensity are regarded as necrotic (Fig. 2).
58
D. S¨ aring et al.
Fig. 2. Visualization of the results of direct contour overlay before (a) and after (b) rigid registration. Segmentation of the infarct area using xthreshold is presented in (c).
(a)
(b)
(c)
The MO is identified as voxels with signal intensity lower than x¯intensity − 2 · σintensity in surrounding hyperenhanced myocardium [3]. The direct transfer of these contours to Cine-MR image sequences for their combined evaluation leads to two problems. Alignment: Cine-MR and DE-MR imaging require different settings. These different settings lead to different field of views or different patient positions. A rigid registration method is applied to align the datasets (Fig. 2). Correspondence: In the same spatial position one DE-MR and several temporal Cine-MR images exist. Combination of both requires the definition of correspondence. This problem is addressed using Mutual Information [4] as similarity measure. Thus, information of both MR datasets can be combined transferring the contours of the registered DE-MR to the corresponding Cine-MR image sequence. Furthermore all Cine-MR frames of each slice are registered using non-linear demon based registration [5]. Applying the resulting transformation to the corresponding DE-MR slice a moving DE-MR can be computed. Detailed cardiac analysis requires a high local resolution. Based on the anatomical contours myocardial segments are generated and numbered [6]. Segments of different phases and different patients but with the same segment number can be identified as corresponding. Thereafter local quantitative parameters like size, length and transmurality are computed automatically for each myocardial segment. Combination of end-systolic and end-diastolic contours enables the calculation of parameters characterizing endocardial motion and increase of the wall thickness. Also global parameters e.g. infarct size are calculated. We implemented HeAT utilizing ITK and VTK with a problem-oriented adaptation.
3
Results
HeAT was evaluated using Cine-MR and DE-MR datasets of six patients (#2−7) after myocardial infarction and one patient (#1) with a healthy heart. Two
Analysis of the Left Ventricle After Myocardial Infarction
59
Table 1. For datasets #1 − #4 size of HS and IS relative to the myocardial area [%] and x ¯ ± σ of EM and DT in mid-ventricular slice are represented. Additionally for #7 the results for microvascular obstruction (MO) area are shown patient #1 #2 #3 #4 #7
section HS HS IS HS IS HS IS HS IS MO
[%] 100, 0 77, 1 22, 9 83, 7 16, 3 94, 3 5, 7 76, 2 23, 8 2, 8
EM[mm] 10, 0 ± 2, 8 7, 2 ± 2, 1 1, 9 ± 1, 1 5, 6 ± 1, 9 4, 5 ± 0, 7 7, 4 ± 2, 2 6, 4 ± 0, 8 12, 3 ± 1, 9 4, 1 ± 2, 2 2, 9 ± 1, 3
DT[mm] 5, 3 ± 1, 5 2, 7 ± 1, 6 1, 0 ± 1, 0 5, 6 ± 2, 2 3, 4 ± 1, 3 3, 7 ± 2, 1 3, 1 ± 0, 6 7, 4 ± 1, 6 3, 4 ± 2, 1 1, 4 ± 0, 9
physicans defined an apical, a midventricular and a basal slice for each patient and outlined the anatomical and pathological structures. During the analysis the mean x ¯ and standard deviation σ of endocardial movement (EM) and difference of thickness (DT) of healthy (HS) and infarcted (IS) section were compared (Tab. 1). The quantitative parameters of #1 describe the movement of a healthy heart. #2 and #5 reflects the expected degree of myocardial infarction. In the infarction area EM and DT are decreased (5 mm) due to the loss of its contractile function. In contrast, in #3 and #6 the differences of EM are low (< 1, 1 mm) and the differences of DT are high ( > 2, 2 mm ). This result can be interpreted as a passive myocardial contraction. In #4 the changes of EM and DT values are not significant ( < 1, 0 mm ). Here, the infarct area is small and heart function is influenced minimally. In #7 MO was discovered. In the basal and mid-ventricular slice the MO values of EM and DT are high decreased and indicate the center of the infarct (Fig. 3). In apical slice characteristics of passive movement can be observed. The computation of quantitative parameters using HeAT is useful to get objective and observer-independent criteria for the characterization of LV remodeling.
4
Discussion
The automatic parameter extraction and their visualization proofed to be helpful for the evaluation of patient image data after myocardial infarction. The visualization of the analysis results reflect significant changes in shape and motion in the patient data considered. The registration of Cine- and MR image sequences enables the combined analysis of motion and shape in infarct regions and healthy tissue. According to LV remodeling the diagnostic impact of the generated DE-MR sequences at different phases of the heart cycle has to be evaluated in future. The manual segmentation was time-consuming and its re-
60
D. S¨ aring et al.
Fig. 3. Representation of the quantitative parameters for all myocardial segments. The absolute values mm of endocardial movement (circles) and the difference in wall thickness between end-diastolic and end-systolic phase (triangles) are displayed as well as the transmurality % of the infarct area (diamonds) and the MO (boxes).
sults were user-dependent. Therefore automatic or semi-automatic methods have to be developed to improve the segmentation process. In the next step a database of a population of infarct patients will be established with base-line (acute phase) and follow-up (approx. 6 month past acute) evaluations concerning left ventricular remodeling. This can be useful for predicting the course of disease of an acute infarct patient.
References 1. Zimmerman SD, Criscione J, Covell JW. Remodeling in myocardium adjacent to an infarction in the pig left ventricle. Am J Physiol Heart Circ Physiol Dec 2004;(287):H2697 – H2704. 2. Wu KC, Zerhouni EA, Judd RM, et al. Prognostic significance of microvascular obstruction by magnetic resonance imaging in patients with acute myocardial infarction. Circulation 1998;(97):765–772. 3. Gerber BL, Garot J, et al. Accuracy of Contrast-Enhanced Magnetic Resonance Imaging in Predicting Improvement of Regional Myocardial Function in Patients After Acute Myocardial Infarction. Circulation Aug 2002;(106):1083–1089. 4. Wells W, Viola P, et al. Multi-modal volume registration by maximization of mutual information. Medical Image Analysis 1996;1(1):35–51. 5. Thirion JeanPhilippe. Non-Rigid Matching Using Demons. In: Proc. Int. Conf. Computer Vision and Pattern Recognition (CVPR ’96). Washington, DC, USA: IEEE Computer Society; 1996. p. 245. 6. S¨ aring D, Ehrhardt J, Stork A, Bannsmann MP, Lund GK, Handels H. HeAT Heart Analysis Tool. In: 50. Jahrestagung der Deutschen Gesellschaft f¨ ur Medizinische Informatik, Biometrie und Epidemiologie. Freiburg; 2005. p. 28–30.
Content Based Image Retrieval for Dynamic Time Series Data Birgit Lessmann1,2 , Tim W Nattkemper2 , Johannes Huth2 , Christian Loyek2 , Preminda Kessar3 , Michael Khazen3 , Linda Pointon3 , Martin O. Leach3 and Andreas Degenhard1 1
2
Theoretical Physics, Physiscs Department, University of Bielefeld, 33615 Bielefeld Applied Neuroinformatics, Technical Faculty, University of Bielefeld, 33615 Bielefeld 3 Clinical MR Research Group, Royal Marsden Hospital, Institute of Cancer Research, Sutton, Surrey, UK Email:
[email protected]
Abstract. Content based image retrieval (CBIR) systems in the field of medical image analysis are an active field of research. They allow the user to compare a given case with others in order to assist in the diagnostic process. In this work a CBIR system is described working on datasets which are both time- and space-dependent. Different possible feature sets are investigated, in order to explore how these datasets are optimally represented in the corresponding database.
1
Introduction
In clinical practice, the amount of digitised image data acquired with respect to diagnostic decision making is steadily increasing. In particular three or four dimensional acquisition strategies give rise to large amount of data to be processed. One example is the acquisition of a series of images utilising dynamic contrast enhanced magnetic resonance imaging (DCE-MRI), regarded as a powerful technique for the early detection of breast cancer [1]. In DCE-MRI the uptake of a contrast agent is monitored over a selected time interval to access characteristics of the uptake behaviour in tissue [2]. This allows for detecting abnormalities and, additionally, classifying the detected lesions by their uptake characteristics. Malignant tumours are typically characterised by a signal intensity curve showing a strong and fast uptake often followed by a washout. Contrarily, benign tumours typically possess a slight or moderate uptake behaviour of the contrast agent [2]. The acquired image series contains both, the temporal and the spatial information, resulting in a high dimensional data set. Software tools designed to assist the radiologist in his or her daily clinical work are therefore an active field of research. One particular class of assistant tools are the content based image retrieval (CBIR) systems based on the concept of query by example (QBE), i.e. searching database entries similar to a given query. Here we present a CBIR system for the interactive analysis of DCE-MRI images.
62
2 2.1
B. Lessmann et al.
Methods Content Based Image Retrieval
CBIR systems are based on the concept of query by example (QBE). Given an example case as input, the system output are those cases which are, by a chosen measure, most similar to the query case. CBIR systems for various purposes are currently under development. One type of example are retrieval systems for histopathological applications, usually based on texture, or modality independent retrieval systems for automatic categorisation of image data [3]. 2.2
Feature Vector Computation
We evaluate datasets acquired with different acquisition protocols, an additional challenge often unavoidable in daily clinical work. We consider a database containing DCE-MRI data with four and also five post-contrast images. We compare methods that differ in the treatment of these varying datasets with respect to feature vector computation. During the retrieval step the feature vectors of the different cases are compared. To achieve comparable feature vectors for our heterogenous database we apply different methodologies. An established method to describe signal enhancement in DCE-MRI is the use of radiological metafeatures [4], which do not depend on the dimension of the time-series. However, meta features, in general, strongly depend on the particular application, motivating the search for feature vectors applicable in a more generalised context. In this work, we propose and compare possible substitutions for meta features. In the following paragraphs the sets of feature vectors analysed in this work are described in detail. Truncation In a first approach we truncate a six dimensional time series by omitting the last time-point, so there is the same minimum number of timepoints for each sequence. Extrapolation In a second approach the five dimensional time series are extrapolated to six dimensional ones. Wavelet features Based on a Discrete Wavelet Transform (DWT) a more sophisticated approach is considered. Wavelet analysis is a method of data analysis to access the localised and scale dependent information in signals [5]. With respect to time series analysis, wavelet-based methods are quite established [6]. We have wavelet-transformed the five or six-dimensional time series and then truncated the achieved series of coefficients to the length of five. I.e. in case of a six-dimensional time series one coefficient is omitted. In contrast the truncation in the time domain, the information of the last time-point, if available, is still partly included in some of the remaining coefficients. Here the Daubechies-4wavelet [5] is employed for our computations.
Content Based Image Retrieval for Dynamic Time Series Data
63
Radiological Meta-Features Another type of feature vectors is based on established kinetic meta features used in MR radiology. We have evaluated the CBIRsystem using the features percentage enhancement, washout ratio, steepest slope and time-to-peak enhancement as described in [4].
3
Database
Our analysis includes 27 cases, i.e. 27 time series of DCE-MR images. Each single image in this time series is acquired within an acquisition time of 90 sec. Two images are acquired before and four or five images after injection of the contrast agent. Only one pre-contrast image was included in the further analysis. In 10 cases only four post-contrast images are available resulting in a shorter time series of images. 14 cases are histopathologically classified as malignant and 13 as benign. Segmentation of tumour tissue was performed within a preprocessing step by applying the dynamic pyramid linking algorithm in 3d. This usually results in a decomposition of a tumour into several parts. The average time series computed for each of the latter are then stored as entries in the database,normalised with the pre-contrast value. The database comprises a total number of approximately 3000 entries.
4
Results
A statistical evaluation of the different feature sets is performed. All segments of each tumour for each case are selected as a query example and the entries corresponding to the remaining cases as database content. For each given query example the number of retrieved malignant and benign segments are counted. For a query example classified as malignant the retrieved malignant segments are labelled as true positive (TP) and the retrieved benign ones as false positive (FP) and vice versa. From the values of TP and FP the precision of each query is computed. The four different methodologies are then compared to each other in a statistical evaluation. The results for the best ten matches are shown in figure 1. For each tumour an average precision curve is computed. Figure 1 presents the mean areas under the precision curve. In the averaging process the results for the different segments are weighted regarding the size of the segment. Since this analysis is based on only retrieving the best ten matches, recall values cannot be computed. Since the database comprises 1678 feature vectors describing malignant tissue and 1073 feature vectors describing benign tissue, the a priori probabilities of retrieving malignant or benign cases are 0.61 and 0.39 respectively. Regarding these values the results of malignant tissue are significantly better then those of benign tissue. In fact, the results of the benign lesions are quite near to the a priori probability. As can be seen in figure 1 the retrieval results for the truncation and extrapolation procedure are quite similar. The wavelet based features show a very good performance in retrieving malignant tissue and benign cases. The meta features show a performance similar to those of the wavelet features in retrieving
64
B. Lessmann et al.
Fig. 1. Mean areas under the precision curve for the for different methods. Left: malignant cases, Right: benign cases 1 truncated time series extrapolated time series wavelet features meta features
mean area under precision curve
0.8
0.6
0.4
0.2
0 malignant cases
benign cases
the malignant cases, but provide a performance inferior to the others in case of benign entries. However, regarding the statistical fluctuations measured none of the feature sets can definitely be determined as the best suited one. A further observation is, that the standard deviations of the benign cases are much higher then those of the malignant cases. This is assumed to be related to the following observation. Starting from a database containing the segments of 25 malignant and 17 benign lesions, we count the number of lesions providing retrieval results exceeding the a priori probabilities of retrieving malignant or benign cases. The results are shown in Table 1. In most of the malignant cases the averaged area under the precision curve exceed the a priori probability. In case of benign lesions the retrieval results seem to be quite randomly distributed. This leads to the conclusion that malignant tissue presumably shows a more characteristic uptake kinetic than benign tissue. In [7] it was shown, that malignant tumours often contain regions showing a benign uptake characteristic. Thus a lot of segments in the database derived from malignant tumours are difficult to be distinguished from the benign ones.
5
Discussion and Conclusion
We proposed and evaluated a CBIR system for DCE-MR images capable of handling inhomogeneous data sets. Different techniques are proposed to accomplish this task, including a wavelet based scheme. In a statistical analysis we showed that the feature vector sets achieve quite comparable results. However, among the approaches to be compared with the meta features the wavelet based approach shows the smallest standard deviation with respect to malignant cases. This observation corresponds to the fact that, regarding this approach, all lesions except one achieve a retrieval result exceeding the a priori probability. Furthermore, an advantage of the wavelet based approach is that it does not require an a priori decision for truncating a selected time point or extrapolating an additional time point, to achieve homogeneity necessary for database retrieval. In particular the latter observation is desirable in clinical practice. The observation that the retrieval results of benign tissue only slightly exceed the a priori values
Content Based Image Retrieval for Dynamic Time Series Data
65
Table 1. The number of lesions reaching a retrieval results higher than the a priori probability. method
malignant cases benign cases total: 25 total: 17 truncation 21 8 extrapolation 21 9 wavelet features 24 9 meta features 24 6
is assumed to be related to tumour inhomogeneity. As shown in [7] malignant tumours also contain tissue showing benign characteristics. Thus a significant amount of tumour segments in the database are classified as malignant while showing benign signal enhancement. Thus, we conclude that the representation of a tumour in a database through the result of a segmentation procedure is insufficient for retrieval tasks. Further analysis with respect to tumour features will be necessary to find a representation scheme satisfying the requirements within the clinical practice. Acknowledgements. The authors would like to thank Oliver Schulz, MaxPlanck-Institute Dortmund, for providing software resources. The work was funded by the University of Bielefeld and the federal state Nordrhein-Westfalen, Germany.
References 1. UK MRI Breast Screening Study Advisory Group. Magnetic resonance imaging screening in women at genetic risk of breast cancer: imaging and analysis protocol for the UK multicentre study. Magn Res Imag 2000;18:765–776. 2. Heywang-Koebrunner SH, Beck R. Contrast-Enhanced MRI of the Breast. Berlin: Springer-Verlag; 1996. 3. Lehmann TM, Gueld MO, Deselaers T, Keysers D, Schubert H, Spitzer K, et al. Automatic Categorization of medical images for content-based retrieval and datamining. Comp Med ImagGraph 2005;29:143–155. 4. Szabo BK, Aspelin P, Wiberg MKristofferson, Bone B. Analysis of kinetic and morphologic diagnostic criteria. Acta Radiologica 2003;44:379–386. 5. Daubechies I. Ten Lectures on Wavelets. SIAM: CBMS-NFS Series Appl. Math.; 1991. 6. Percival DB, Walden AT. Wavelet Methods for Time Series Analysis. Cambridge, UK: Cambridge University Press; 2000. 7. Twellmann Thorsten, Lichte Oliver, Nattkemper TimW. An Adaptive Tissue Characterisation Network for Model-Free Visualisation of Dynamic ContrastEnhanced Magnetic Resonance Image Data. IEEE Transactions on Medical Imaging 2005;24(10):1256–1266.
Visual Exploration of Pathology Images by a Discrete Wavelet Transform Preprocessed Locally Linear Embedding Claudio Varini1,2 , Birgit Lessmann1,2 , Andreas Degenhard1 , Volkmar Hans3 and Tim Nattkemper2 1 Theoretical Physics, University of Bielefeld, Bielefeld, Germany Applied Neuroinformatics Group, University of Bielefeld, Bielefeld, Germany, 3 Institute of Neuropathology, Evangelischesn Krankenhaus, Bielefeld, Germany Email:
[email protected] 2
Abstract. The information content of large collections of histopathological images can be explored utilizing computer-based techniques that can help the user to explore the similarity between different brain tumor types. To visually inspect the degree of similarity between different tumors, we propose a combined approach based on the Discrete Wavelet Transform (DWT) and Locally Linear Embedding (LLE). The former is employed as a preprocessing utility, the latter achieves the dimensional reduction required for visualization.
1
Introduction
The automatic exploration of large collections of histopathological images is an actual field of research in computer science applied to medicine. Computer-based techniques can allow the user to find relations and similarities in the data. In particular the visual exploration of a dataset containing different types of tumor can provide valuable information concerning classification. Techniques for dimensional data reduction offer appealing characteristics for the visual exploration of collections of histopathological images and of highdimensional data in general. These techniques compute a projection of the data into a lower-dimensional space while best preserving the information content. The visualization of the low-dimensional space can reveal hidden structures in the data, e. g. the presence of meaningful patterns. A recently proposed algorithm for dimensional data reduction is Locally Linear Embedding (LLE) [1]. It attempts to reduce the dimension of the data while preserving the relationships between neighboring data points. i. e. neighboring data points in the highdimensional space are projected by LLE into neighboring data points in the dimensional reduced space. In other words, the closeness of two data points in the dimensional reduced space reflects the similarity of the two respective data points in the high-dimensional space. This property of neighborhood preservation in LLE can be useful for the visual exploration of a collection of histopathological images. Specifically, the
Visual Exploration of Pathology Images
67
image space I = N , where N is the number of pixels of an image and each image represents a data point belonging to this space, can be reduced down to two or three dimensions in order to visualize the total information content. Images with similar structural characteristics represent neighboring data points in the image space that are expected to be mapped onto nearby points in the dimensional reduced space. In this way the similarity between several different images can be visualized at once in a customized display. On the other hand, the image space is extremely high-dimensional (104 −106 ) while the number of images, i. e. the number of points, is typically limited (102 − 103 ). This means the image space is actually very sparse and it may probe problematic for LLE to compute a faithful projection of such space. Indeed, for this purpose LLE must find a global hidden structure in the data and this in turn requires the data to be sufficiently dense. Ideally, the number of data points should grow exponentially with the dimension of the data space and this fact is known as ”curse of dimensionality”in the machine learning literature [2]. To reduce the sparsity of the image space there are typically two possibilities, either to increase the number of data points (i. e. images) or to reduce the dimension of the image space itself. While the first possibility is often not achievable because of practical reasons, e. g. the limited number of patients and images, the second possibility can be done by appropriate techniques of signal processing such as the Discrete Wavelet Transformation (DWT). This is a technique for signal processing used to access the localized and scale-dependent information in signals or images. By computing wavelet based image features we are able to generate a lower-dimensional feature vector that encodes the image information. In this work we present the visual exploration of a dataset of histopathological images of different brain tumors based on a combination of DWT and LLE. Each image is preprocessed by DWT and transformed into a feature vector. This DWT pre-processing step is used to reduce the dimension of the image space, thereby reducing its sparsity. These sets of feature vectors represent the LLE input that is reduced down to two dimensions. The dimensionally reduced dataset is finally visualized with customized colors encoding the type of tumor. This allows the user to explore the similarity among the images of the dataset.
2 2.1
Methods Locally Linear Embedding
Given V D-dimensional vectors {Xi } as input, the LLE algorithm comprises three steps: Step 1: it consists in assigning each data point Xi a predetermined number n of neighbors, typically according to the Euclidean distance. Step 2: by minimizing the following error function Ψ (W ) =
V i=1
|Xi −
n j=1
Wij Xj |2
with
n j=1
Wij = 1
(1)
68
C. Varini et al.
one computes the weights {Wij } that combined with the neighbors best approximate each data point Xi . Step 3: the weights are used to map each data point Xi into a d-dimensional vector Yi with d < D, such that the following error function is minimized: Φ(Y ) =
V
|Yi −
i=1
2.2
n
Wij Yj |2
j=1
with
V V 1 Yi YiT = I , Yi = 0 (2) V i=1 i=1
Discrete Wavelet Transform (DWT)
The DWT analysis enables the assessment of localized and scale-dependent information in signals and images [3]. A signal f is decomposed into a basis of shifted and dilated versions of a mother wavelet ψ [4] f (x) = dj,k ψj,k (x) , with ψj,k (x) = 2−j/2 ψ(2−j x − k) . (3) (j,k)
The index j indicates the dilation or scaling step while k refers to translation or shifting. The wavelet coefficients dj,k are given by the scalar product dj,k = f (x), ψj,k (x) or dj,k = f (x), ψ˜j,k (x) in the case of biorthogonal wavelets with the dual wavelet ψ˜ [4]. An efficient calculation of these coefficients is accomplished by the Fast Wavelet Transform (FWT), an algorithm allowing the coefficients to be calculated in a stepwise manner. To perform a FWT a scaling function φ(x) is required such that [4] √ √ h(k)φ(2x − k) and ψ(x) = 2 g(k)φ(2x − k) . (4) φ(x) = 2 k
k
The coefficients h(k) and g(k) are termed Filter coefficients. On the first scale the signal is decomposed into its details and the remaining signal, i.e. the approximation, reflecting the particular scale. The details are described by the wavelet coefficients of this scale while the approximation is represented by scaling coefficients corresponding to the scaling function. The procedure can be iterated by a further decomposition of the approximation into details and approximation of the next coarser scale. In two dimensions the DWT can be applied to each dimension separately, resulting in wavelet coefficients describing the horizontal, the vertical and the diagonal details.
3
Data and Experiments
The experimental dataset contains 84 histopathological images from 21 different cases of meningioma WHO grade I, a benign brain tumor. Each case relates to one of four meningioma subtypes, namely meningotheliomatous, fibroblastic, psammomatous and transitional, the latter showing intermediate features of the characteristics of the former classes. Each pathological image comprises 1300 × 1050 pixels at 400x magnification. Dividing each image into 16 subimages with 256 × 256 pixels, we derive a data set containing 1344 subimages.
Visual Exploration of Pathology Images
69
The LLE is performed on two different input data: the first one is the set of all subimages where each subimage is treated as a point in a 256 × 256dimensional data space; the second one is the set of texture describing features based on DWT. These features are computed as follows. Firstly, an average absolute coefficient is computed for each color channel and each of the finest six scales: |dj,o (kx , ky )|, j = 1, .., 6, and o = o1 , o2 , o3 . (5) f1 (j) = o kx ,ky
Here j is again the scale index, while index o indicates the orientation in the image. As explained in section 2.2 The indices o1 and o2 indicate coefficients in vertical or horizontal direction, while o3 indicates the diagonal details. Secondly, we introduce a feature set f2 describing a preferred orientation in the image.
f2 (j) =
1 ( |dj,o1 (kx , ky )|− |dj,o2 (kx , ky )| + c |dj,o3 (kx , ky )|).(6) f1 (j) kx ,ky
kx ,ky
kx ,ky
with j = 1, .., 6. These computations result in two types of features for each of the finest six scales and each of the three color channels, leading to a set of 36 features for each subimage. Thus, the input of LLE comprises 1344 36dimensional feature vectors. Both input data are projected into a two-dimensional space and each data point is colored according to its respective histopathological diagnosis. The overlap among the clusters in the two embeddings has been quantified by computing for each data point the percentage of its nearest neighbors which belong to the same class. The average value computed over the entire dataset quantifies the degree of overlap among the various clusters. The value is comprised between 0 and 1. The closer to 1, the less the clusters overlap.
4
Results
The LLE projections of the subimages and of the DWL coefficients are shown in Fig. 1. Direct application of LLE to the subimages results in overlapping clusters lacking a clear structure. On the contrary, the DWT preprocessing of the images allows LLE to detect the presence of four different clusters. The meningotheliomatous, fibroblastic and psammomatous data points are clearly localized and quite well separated in the projected space. This is in agreement with the histopathological characteristics of the various tissue types. Specifically, psammomatous tissue is characterized by round calcifications that differ significantly from the round structures in meningothelomatous tissue and the elongated structures (cells and cell nuclei) in fibroblastic tissue (see the tissue samples in Fig. 1. At the same time, the transitional subtype cluster largely overlaps with meningotheliomatous and fibroblastic, in agreement with the fact that transitional meningiomas show features incorporating characteristics from the
70
C. Varini et al.
Fig. 1. Two-dimensional projections obtained by LLE of the histopathological dataset without (left) and with (right) DWT processing.
0.2
LLE
0.1
0.08
0.15
LLE + DWT
0.06 0.1
0.04 0.05
0.02 0
0
−0.02
−0.05
−0.04 −0.1
transitional fibroblastic psamomatous meningothelomatous
−0.15
−0.2 −0.06
−0.04
−0.02
0
0.02
0.04
0.06
transitional fibroblastic psamomatous meningothelomatous
−0.06
−0.08
0.08
0.1
0.12
0.14
−0.1 −0.06
−0.04
−0.02
0
0.02
0.04
0.06
0.08
0.1
0.12
other classes. The matching between the data visualization and the prelabelling of the data ensures that significant information has been preserved by the DWT preprocessing approach. The overlap between the clusters has been quantified as described above and the experimental values are 0.387 for the LLE projection and 0.567 for the LLE projection with the DWT preprocessing.
5
Discussion
Our results clearly show that LLE benefits from the DWT-based preprocessing. Specifically, applying LLE directly to the 256 × 256-dimensional space of the subimages proves problematic because of the sparsity of the space itself. By computing wavelet based features, the information of each subimage can be compacted into a lower dimensional feature vector. In this way the dimension of the data is significantly reduced and, in turn, the resulting feature space is more dense. This allows LLE to detect clinical relevant data structures in a more efficient manner.
References 1. Roweis ST, Saul LK. Nonlinear Dimensionality Reduction by Locally Linear Embedding. Science 2000;290:2323–2326. 2. Bellmann R. Adaptive Control Processes: A guided Tour. Princeton University Press; 1961. 3. Mallat S, Zhong S. Characterization of Signals from Multiscale Edges. Transactions on Pattern Analysis and Machine Intelligence 1992;14(7):710–732. 4. Daubechies I. Ten Lectures on Wavelets. CBMS-NFS Series Appl. Math., SIAM; 1991.
Strukturprototypen zur Modellierung medizinischer Bildinhalte Benedikt Fischer, Benjamin Winkler, Christian Thies, Mark O. G¨ uld und Thomas M. Lehmann Institut f¨ ur Medizinische Informatik, RWTH Aachen, 52057 Aachen Email: bfi
[email protected]
Zusammenfassung. Medizinische Bildinhalte sind h¨ aufig aus mehreren Bildregionen zusammengesetzt, die zueinander in bestimmten Verh¨ altnissen stehen. Diese lassen sich u ¨ ber Wahrscheinlichkeitsverteilungen regionaler und relationaler Attribute zu einem Strukturprototypen verallgemeinern und mit Szenen unbekannten Inhalts vergleichen. Die semiautomatische Synthese eines Strukturprototyps sowie seine Anwendung zur Szenenanalyse wird am Beispiel von Handradiographien vorgestellt. Durch Verwendung der Strukturinformation wird hier eine Steigerung der Erkennungsrate um 17% erzielt.
1
Einleitung
Aufgrund der bei medizinischem Bildmaterial auftretenden hohen Variabilit¨aten lassen sich nur schwer Normwerte f¨ ur die Attribute zu identifizierender Objekte entwickeln. So sind beispielsweise die Regionenmerkmale von Radiographien der Metakarpalknochen nicht ausreichend trennscharf, um eine korrekte Zuordnung der Regionen zu den einzelnen Fingern zu erlauben. Auch f¨ ur einen menschlichen Betrachter ist es nahezu unm¨ oglich, einen einzelnen Knochen ohne Umgebung korrekt zu klassifizieren. Dies f¨ allt jedoch leicht, wenn die Verh¨altnisse zu anderen Knochen (Position, Gr¨ oße, etc.) bekannt sind. Eine Modellierung einer solchen Szene kann u ¨ ber einen attributierten relationalen Graphen (ARG) erfolgen, der ausschließlich die relevanten Regionen als Knoten und ihre Verh¨ altnisse zueinander als Relationskanten repr¨asentiert. Diese Szene-ARGs kommen daher mit nur wenigen Elementen aus. Bei der Segmentierung von Bildern unbekannten Inhalts m¨ ussen jedoch wegen der unbekannten Aufl¨ osung je Pixel unterschiedliche Regionenzugeh¨origkeiten betrachtet werden. In [1] wird das Bild dazu in einem iterativen Regionenverschmelzungsprozess in einen hierarchischen attributierten Regionenadjazenzgraphen (HARAG) u uhrt. Die resultierenden Graphen sind dadurch jedoch ¨ berf¨ deutlich gr¨ oßer als die Szene-ARGs. Eine Szenenanalyse entspricht dem Vergleich des Szene-ARG mit dem HARAG des zu analysierenden Bildes. Zur allgemeinen Objektsuche anhand von ARGs existiert in der Fachliteratur eine Reihe von L¨osungsans¨atzen [2, 3]. Oft basieren die Referenzen jedoch lediglich auf manuell erzeugten Segmentierungen einer Referenzaufnahme oder auf Kantenbildern, deren Anwendung wegen
72
B. Fischer et al.
der Delineationsproblematik ausscheidet. H¨ aufig k¨onnen mit den vorgestellten L¨osungen auch lediglich kleine Graphen mit weniger als 100 Knoten effizient miteinander verglichen werden oder die hohen Variabilit¨aten in den relevanten Bildstrukturen werden nur unzureichend modelliert. Zudem k¨onnen lediglich Graphen gleichen Typs miteinander verglichen werden.
2
Methoden
Die Strukturprototypgraphen verallgemeinern die relevanten Bildinhalte f¨ ur einen Anwendungsfall, so dass Variabilit¨ aten nicht nur in Einzelobjekten sondern auch im Zusammenhang ber¨ ucksichtigt werden. Die Repr¨asentation, semiautomatische Synthese und Anwendung des Prototypgraphens wird im Folgenden vorgestellt. Als Anwendungsbeispiel werden Skelettradiographien der linken Hand herangezogen, wie sie bei Kindern zur Bestimmung des Knochenalters verwendet werden. 2.1
Prototyprepr¨ asentation und -training
Der Prototypgraph ist ein vollst¨ andiger Graph, dessen Knoten Einzelobjekte und dessen Kanten Relationen zwischen den Einzelobjekten beschreiben. Im Anwendungsbeispiel entsprechen die Einzelobjekte den einzelnen Handknochen. F¨ ur jedes Einzelobjekt werden die statistischen Verteilungen der regionalen Merkmale als Knotenattribute, die der relationalen Merkmale zwischen den Einzelobjekten als Kantenattribute kodiert. Beispiele f¨ ur ein regionales bzw. relationales Merkmal sind der mittlere Grauwert einer Region bzw. die relative Gr¨oße zweier Regionen. Die Merkmale des Prototypgraphens sind dabei unabh¨angig von den Merkmalen der zur Segmentierung verwendeten HARAGs. Insbesondere werden die relationalen Merkmale erweitert. Die Merkmalsverteilungen werden in einer Trainingsphase unter Annahme von Normalverteilungen gesch¨ atzt: Als Referenz werden zun¨achst die relevanten Knoten f¨ ur jedes Einzelobjekt in automatisch erzeugten HARAGs manuell mit einem entsprechenden Benutzerinterface identifiziert. Die bereits w¨ahrend der Segmentierung berechneten regionalen Merkmale werden als Knotenattribute weiterverwendet. Bei Bedarf k¨ onnen auch weitere regionale Merkmale berechnet werden. Danach werden je Datensatz Kanten zwischen den identifizierten Knoten eingef¨ ugt und mit relationalen Merkmalen attributiert. Anschließend kann dann die Verteilung aller Attribute gesch¨ atzt werden. Insgesamt wurden 34 regionale Merkmale zu Form, Intensit¨ at und Textur sowie 12 relationale Merkmale zu Topologie-, Gr¨ oßen- und Intensit¨ atsverh¨ altnissen verwendet. ¨ Mit Hilfe der ermittelten Verteilungen wird dann eine Ahnlichkeitsfunktion ¨ f¨ ur jeden Prototypknoten bzw. jede Prototypkanten definiert, um die Ahnlichkeit unbekannter Regionen bzw. Regionenpaare zu den Einzelobjekten bzw. Einzelobjektpaaren zu bestimmen. Im Anschluss an die Verteilungsberechnung findet eine Merkmalsselektion statt, um die besten Merkmalsmengen je Region und Relation zu bestimmen und
Strukturprototypen zur Modellierung medizinischer Bildinhalte
73
Abb. 1. Prozentuales Auftreten der einzelnen Handknochen als eigenst¨ andige Region (links) und Nummerierung der Prototypklassen (rechts). Die Nummerierung besteht aus der Knochenklasse (MK: Metakarpal, UPh: untere, MPh: mittlere, bzw. OPh: obere Phalanx) sowie der Fingernummer (1:Daumen bis 5:kleiner Finger).
83%
84% 85%
85%
82%
88%
58%
OPh-3
80%
OPh-2 MPh-3
72%
67%
86%
76%
44% 67%
70%
73%
MPh-2
61%
UPh-2
OPh-4
MPh-4 OPh-5
UPh-3
OPh-1
UPh-5
UPh-1
36% 42%
MPh-5
UPh-4
MK-2 MK-1
MK-3
MK-4 MK-5
den L¨ osungsraum f¨ ur das Graph-Matching zu verkleinern. Im Anwendungsbeispiel wurde mit Sequential Forward Selection ein ebenso einfaches wie schnelles Verfahren ausgew¨ ahlt [4]. 2.2
Vergleich Prototyp- und Bildgraph
Der Vergleich zwischen Prototyp- und Bildgraph erfolgt auf Basis eines HopfieldNetzes [5]. In einem Assoziationsgraphen werden Entsprechungshypothesen zwischen Prototypknoten und HARAG-Knoten als eigener Graphknoten repr¨asen¨ tiert, sofern eine grundlegende Ahnlichkeit der repr¨asentierten Regionen u ¨ ber die regionalen Merkmale vorliegt. Diese dient dann auch gleichzeitig als initiales Potential der Knoten. Das Verfahren wurde modifiziert, um die relationalen Merkmale des Prototypen zur St¨ arkung bzw. Hemmung von Hypothesen ebenfalls ber¨ ucksichtigen zu k¨ onnen. F¨ ur die Matching-Hypothesen werden zwischen betrachteten HARAG-Knoten im Bedarfsfall fehlende relationale Merkmale be¨ rechnet. Uber ein Gradientenabstiegsverfahren werden die Potentiale der Matching-Hypothesen solange ver¨ andert, bis die gefundene Zuordnung stabil ist. 2.3
Experimente
Zur Evaluierung wurden 96 Handradiographien verwendet. Sofern in der Segmentierung vorhanden, wurden je Bild bzw. Graph 19 Handknochen (Metakarpalknochen bis obere Phalanx) mit einem Klassenlabel versehen (Abb. 1). Insgesamt wurden 221614 Regionen segmentiert, von denen 1290 den 19 Klassen entsprechen. Abb. 1 illustriert, wie oft die jeweiligen Knochen in der Segmentierung vorhanden waren. Durchschnittlich bestand ein HARAG aus 2300 Knoten.
74
B. Fischer et al. Tabelle 1. Erkennungsrate der einzelnen Fingerknochen Klasse vorh. lokal strukturell MK-1 70 47 52 64 45 50 MK-2 67 46 53 MK-3 35 24 26 MK-4 40 16 27 MK-5 42 27 29 UPh-1 79 58 59 UPh-2 84 59 63 UPh-3 83 67 71 UPh-4 73 43 60 UPh-5
Klasse vorh. MPh-2 82 MPh-3 82 MPh-4 72 MPh-5 64 OPh-1 56 OPh-2 80 OPh-3 81 OPh-4 77 OPh-5 59
lokal strukturell 45 53 59 68 52 63 38 43 21 32 28 43 44 44 36 47 21 26
Gesamt 1290 776 100% 60.2%
909 70.5%
Zur Evaluierung wurde eine sechsfache Kreuzvalidierung gew¨ahlt, um jeweils einen Prototypen zu berechnen und die Erkennungsleistung zu bestimmen. Eine Regionenzuordnung wird als korrekt gez¨ ahlt, wenn sich die vom Prototypen zugeordnete Region mit der Segmentierung der Ground Truth zu mindestens ¨ 85% u wurde vernachl¨assigt, da ¨ berlappt. Eine hundertprozentige Uberdeckung sich Regionen oft nur in wenigen kleinen Details unterscheiden und auch manuell kaum zu beurteilen ist, welche Region die“ korrekte L¨osung darstellt. So ” werden zum Beispiel bei manchen Regionen die Kapseln in die Segmentierung des Fingers einbezogen, in anderen F¨ allen dagegen nicht.
3
Ergebnisse
¨ Uber alle Klassen gemittelt wurden ohne relationale Merkmale lediglich 60.2% der Regionen korrekt klassifiziert, mit Hilfe des Strukturprototypen konnte dagegen eine Erkennungsrate von 70.5%, d.h. eine Steigerung um u ¨ ber 17%, erzielt werden (Tab. 1). Abbildung 2 gruppiert die Resultate u ¨ ber die jeweilige Knochenklasse. Bei allen Klassen wird eine Verbesserung durch Verwendung der Strukturinformationen erreicht. Das Trainieren der sechs Prototypen beanspruchte durchschnittlich 15 Minuten, das jeweilige Testen der 16 Datens¨atze dagegen lediglich 30 Sekunden.
4
Diskussion und Ausblick
Die durchgef¨ uhrten Experimente illustrieren die generelle Anwendbarkeit von Strukturprototypen zur Objektsuche. Die Strukturprototypen f¨ uhren in allen Belangen zu einer deutlichen Verbesserung der Erkennungsrate gegen¨ uber Vergleichen ohne strukturelle Information. In Abbildung 2 f¨allt jedoch das schlechte Abschneiden der Klasse OPh auf. Dies ist dadurch zu erkl¨aren, dass die Regionen dieser Klasse sehr klein sind, die Regionengr¨ oße jedoch einen starken Einfluss auf
Strukturprototypen zur Modellierung medizinischer Bildinhalte
75
Abb. 2. Vergleich von lokaler Suche und Struktursuche mit einer geforderten Regionen¨ uberdeckung von 85%. Erkennungsrate nach Knochenklasse
80%
70,47%
60,16%
53,54%
53,54%
75,67%
78,12%
64,67%
20%
70,36%
40%
75,36%
60% 64,49%
Erkennungsrate
100%
lokal strukturell
0% MK
UPh
MPh
OPh
Gesamt
Knochenklasse
¨ viele der verwendeten Merkmale hat. So wirken sich z.B. kleine Anderungen der Regionen deutlich auf Formmerkmale aus. Zudem existieren in den HARAGs bedingt durch den Verschmelzungsprozess viele kleine Regionen, so dass hier eine Abgrenzung der richtigen Regionen schwieriger ist. Neben den hierdurch zu erkl¨ arenden schlechten Werten f¨ ur OPh-1 und OPh-5 stechen in Tabelle 1 auch die Klassen MK-4, MK-5 sowie UPh-1 negativ hervor. Wie aus Abb. 1 hervorgeht, standen genau f¨ ur diese Klassen deutlich weniger Trainingsdaten zur Approximation der Merkmalsverteilungen zur Verf¨ ugung als f¨ ur die restlichen Klassen, so dass der Grund f¨ ur die geringe Erkennungsleistung hierin zu sehen ist. Abhilfe soll deswegen in Zukunft durch eine robustere Segmentierung geschaffen werden. Bislang wurde außerdem lediglich eine Normalverteilung der verwendeten Merkmale angenommen, statt die Verteilungen genauer zu sch¨atzen. Zusammen mit optimierten Trainingsmethoden f¨ ur die Merkmalsgewichtung, z.B. durch eine Supportvektormaschine, bieten sich hierdurch weitere Verbesserungsm¨ oglichkeiten f¨ ur k¨ unftige Forschungsarbeiten.
Literaturverzeichnis 1. Lehmann TM, Beier D, Thies C, Seidl T. Segmentation of medical images combining local, regional, global, and hierarchical distances into a bottom-up region merging scheme. In: Procs SPIE. vol. 5747; 2005. p. 545–555. 2. Petrakis GM. Design and evaluation of spatial similarity approaches for image retrieval. Image and Vision Computing 2002;20(1):59–76. 3. Park BG, Lee KM, Lee SU, Lee JH. Recognition of partially occluded objects using probabilistic ARG (attributed relational graph)-based matching. Computer Vision and Image Understanding 2003;90:217–241. 4. Cantu-Paz E, Newsam S, Kamath C. Feature selection in scientific applications. In: Procs ACM International Conference on Knowledge Discovery and Data Mining; 2004. p. 788–793. 5. Lappe C, Fischer B, Thies C, G¨ uld MO, Kohnen M, Lehmann TM. Optimierung eines konnektionistischen Graphmatchers zum inhaltsbasierten Retrieval medizinischer Bilder. In: Procs BVM; 2004. p. 338–342.
Automated Feature Selection for the Classification of Meningioma Cell Nuclei Oliver Wirjadi1,2 , Thomas M. Breuel2 , Wolfgang Feiden3 and Yoo-Jin Kim3 1
Fraunhofer ITWM, Models and Algorithms in Image Processing Group, Email:
[email protected] 2 Technische Universit¨ at Kaiserslautern, Department of Computer Science 3 Universit¨ at des Saarlandes, Institute of Neuropathology
Abstract. A supervised learning method for image classification is presented which is independent of the type of images that will be processed. This is realized by constructing a large base of grey-value and colour based image features. We then rely on a decision tree to choose the features that are most relevant for a given application. We apply and evaluate our system on the classification task of meningioma cells.
1
Introduction
Computerized image analysis has emerged as a powerful tool for objective and reproducible quantification of histological features. DNA ploidy measurement, quantification of immunohistochemical markers, nuclear quantification, texture analysis of chromatin, and morphological diagnostic based on algorithms applied to multiple descriptors of tumor cells are the main application areas of computerized microscopy in pathology. For example, according to the grading system of the World-Health-Organization (WHO) of brain tumors, quantification of histologic features (mitotic index, cellular density, and Ki-67 labelling-index) are essential in the grading of meningiomas. Computerized image analysis may enable an objective, standardized, and time-saving assessment of these prognostic features. However, pixel-based methods at present are still afflicted by segmentation and classification problems. We have recently proposed a classification approach for Ki-67 antibody-labelled cells in meningiomas [1]. We here propose a method for computer-aided classification of tumor cell nuclei in routinely hematoxylin-eosin (HE)-stained slides from resected meningioma samples. The proposed processing method is a general, supervised learning approach. It relies solely on a given training data set. Thus, we are working directly on the image data, without any need for preprocessing. Most researchers in the field for cell classification take a different approach: They first binarize the image and then use shape or texture features to classify cell types within an image, e.g. [2, 3, 4, 5]. A similar approach to ours relies on a grey-scale image feature to train a Support Vector Machine (SVM) as classification method [6]. We will first describe the constructed feature space and outline the basic mechanisms of CART (Classification and Regression) trees. Then, we will apply and evaluate our method on the task of classifying meningiomas.
Automated Feature Selection
77
Fig. 1. The original intensity images and the computed features for two typical representatives of the tumor and nontumor classes. Color channels are not shown, here.
(a) Meningioma tumor cell
(b) Normal cell
2
Features
The first step in our system consists of computing a set of features from the given input images. For the results presented in this paper, we chose a linear scale-space representation of the image, first and second order edge features, morphological features (minimum and maximum masks, white and black tophat transformations) and the three color channels (red, green and blue). All combined yields a 10-dimensional feature vector in each pixel. Extension or modification of this particular choice of features is easily done and does not change the setup of our method. In order to smooth out noise effects, we averaged each feature vector over a small local window. Fig. 1 shows two cells from the data along with their feature spaces.
3
A Brief Review of the CART Algorithm
Having constructed such a high dimensional feature space, we apply a machine learning method to extract class information. For this purpose, we have chosen the CART classification tree, see [7] and [8], which also discusses trees in the context of ensemble learning techniques. In brief, the goal in classification trees is to construct a series of decisions, which are arranged in a hierarchical manner, namely a tree. The CART algorithm has two stages: Tree growing and tree pruning. The growing stage recursively splits the training samples until the GINI diversity index, p(j|t)p(i|t), (1) i(t) = i=j
is minimized in each terminal node. Here, t is a node and i, j ∈ C are class labels. p(i|t) is therefore the conditional probability of observing a sample from class i at node t. The rationale behind the GINI index is that the probability of seeing two different classes in one node should be minimal.
78
O. Wirjadi et al.
Table 1. True and false positive (TP,FP) rates at the optimal operating point of the classifier on all six images of the class tumor vs. all other classes. Column ”all combined” matches Fig. 2(d). Empty fields mean that a cell type was not present in the image.
Train Test 1 Test 2 Test 3 Test 4 Test 5
normal endothelial erythrocyte collagene all combined TP FP TP FP TP FP TP FP TP FP 0.95 0.09 0.99 0.00 0.98 0.25 0.98 0.17 0.95 0.11 0.85 0.14 – – – – 0.90 0.00 0.85 0.12 0.80 0.11 0.78 0.22 0.81 0.00 – – 0.78 0.09 0.81 0.07 – – – – – – 0.81 0.07 0.78 0.14 0.78 0.00 0.88 0.00 – – 0.77 0.10 0.88 0.23 0.88 0.60 0.88 0.13 – – 0.88 0.23
Once (1) is minimized for all leaves, the pruning stage begins. CART pruning is a risk minimization approach penalized by tree complexity: min R(T ) + α|T˜ |,
(2)
where T = {t1 , t2 , . . .} is a tree and R is the misclassification rate. By |T˜ |, we denote the number of terminal nodes in T . The problem is that the regularization parameter α is unknown, a priori. But for CART, there exists a procedure of optimizing (2) without being explicitly given α.
4
Application to Cell Classification
We applied the CART classification method to the feature space described in Sec. 2. We tested the method on 6 microscopic color images of surgically resected and HE-stained meningioma samples. Each of the six images is assigned a ground-truth, as is shown in Fig. 2(b), which depicts the image that was used for training the classifier. The remaining five images were used for testing only. There were up to 400 labelled tumor cells in each of the six images. Not all types of cells were present in all six images with around 50 nontumor locations marked in each image.
5
Results
Results obtained by our classification algorithm are expressed as true and false positive rates. These are usually presented in Receiver-Operator Characteristic (ROC) plots such as Fig. 2(d), which is plotted over the posterior class probabilities which are the results of CART, c.f. Sec. 3. In our evaluation, we considered any occurence of labels within one pixel distance as a detection and averaged over all according class posteriors in that area.
Automated Feature Selection
79
Fig. 2. Original data and classification results of our classifier. Color-codes of the different classes in these images are as follows: tumor cells (green), normal cells such as fibroblasts (yellow), collagen (black) and erythrocytes (blue).
0.10
0.20
Train Image Test 1 Test 2 Test 3 Test 4 Test 5
0.00
False Positive
0.30
(a) The original image which was (b) Labelled ground-truth of the used for training training image
0.5
0.6
0.7
0.8
0.9
1.0
True Positive
(c) CART classified training image (d) Receiver-Operator Characteristic (ROC) of our classifier on the training image and all five testing images
We show performance of the tumor class against all other available labelled points combined in Fig. 2(d). The classification performance against all other types of cells in the data is summarized in terms of true and false positive rates at the optimal operating point in the table in Table 1. One of the most frequent arguments for the use of decision trees for classification is that their structure is often comprehensible and interpretable for humans. The quantity of interest is the split dimension that was chosen in each tree node. In our experiments, the tree classifier used mainly edge information and the red color channel.
6
Discussion
With detection rates of usually well above 80%, our classifier is capable of localizing meningioma tumor cell locations in HE stained microscopic images. The ROC plots in Fig. 2(d) show good generalization properties of our method, being stable in terms of false positive errors, in particular.
80
O. Wirjadi et al.
However, the classified image in Fig. 2(c) indicates that our results are noisy and that the tumor class is overestimated. This is also apparent in the ROC results, which show false positive rates around 10%. We attribute these results to the pixel-wise approach that we took, here.
7
Conclusions
We proposed a method that could be helpful during the examination of histopathological samples. Results from our method are promising and could lead to a system for computer-aided diagnostics. The tree-structure of the CART classifier is also useful for data exploration: The path along which a sample is passed down a tree for classification contains information about which types of features are discriminant characteristics of a certain type of cell. We expect to be able to reduce false detection errors by segmenting individual cells from these images and this is also the track we are following in our current research.
References 1. Kim YJ, Romeike BFM, Feiden W. Automated morphometric determination of the Ki67 labelling-index in meningiomas: A validation-model for a fast and facile method. Acta Neuropathol 2004;108:357. 2. Rajpoot KM, Rajpoot NM, Turner MJ. Hyperspectral Colon Tissue Cell Classification. In: SPIE Medical Imaging (MI’04). San Diego, California (USA); 2004. 3. Gesu VDi, Bosco GLo, Zavidovique B. Classification Based on Iterative Object Symmetry Transform. In: Proc. 12th International Conference on Image Analysis and Processing (ICIAP 03). vol. 0; 2003. p. 44. 4. Perner P, Perner H, M¨ uller B. Mining Knowledge for Hep-2 Cell Image Classification. Journal Artificial Intelligence in Medicine 2002;26:161–173. 5. Huang PW, Hsu YC, Lin PL, Dai SK. A Decision Tree Approach for Classification of White Blood Cells based on Image Features. In: Signal and Image Processing (SIP 2005). Honolulu, Hawaii, USA; 2005. 6. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification. In: Proc. 27th DAGM Symposium; 2005. 7. Breiman L, Friedman JH, Olshen RA, Stone CJ. Classification and Regression Trees. Chapman & Hall; 1986. 8. Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. Springer; 2001.
Efficient Atlas-Based Analysis of the Hippocampus S. Iserhardt-Bauer1,2, S. Schoell1,2 , T. Hammen3 , H. Stefan3 , A. Doerfler4 and P. Hastreiter1,2 1
Computer Graphics Group, University of Erlangen-Nuremberg Neurocenter, Department of Neurosurgery, University of Erlangen-Nuremberg 3 Epilepsy Center, Department of Neurology, University of Erlangen-Nuremberg 4 Division of Neuroradiology, University of Erlangen-Nuremberg Email:
[email protected] 2
Abstract. Volumetric approaches for the analysis of hippocampal structures (HS) are required for the diagnosis of different diseases. In order to diagnose, evaluate and compare patient datasets, standardized and reproducible analysis supports physicians in clinical routine and research. In this paper, we present a practical application for volumetry in MR volume datasets. The approach combines the semiautomatic linear registration of an atlas based polygonal model with T1-weighted (based on inversion recovery protocol) and T2-weighted MR images and the automatic volumetric assessment of diseased structures. The approach was evaluated and compared with manually segmented MR datasets.
1
Introduction
MR-volumetric assessment of temporomesial structures, especially hippocampal structures, play an important role in the diagnosis of temporal lobe epilepsy, degenerative diseases like Alzheimer dementia and the evaluation of their course of disease. Objective, reliable and reproducible semi- or fully automatic methods are required to record minor atrophies, evaluate chronological changes and confidently compare them among different observers and institutes. Resulting increased inter- and intra-observer variability of manual techniques limit the role of segmentation in clinical studies. Only valid results of hippocampal volume segmentation can be confidently correlated to severity of disease progression and to neurohistopathological results. Conventionally used manual segmentation is a time consuming procedure, which therefore cannot be performed in clinical routine. Fully automatic segmentation, like in [1], often fails if the hippocampus is relatively small and the shape of the object is highly variable. Compared to this, semiautomatic methods, like in [2], may provide a more realistic approach because of the combination of human expertise and automatic techniques. In [3] a model which contains a triangulated surface and the corresponding gray scale volume is used. This requires a presegmentation of the objects of interest for reconstructing the surface. In [4] a deformable model is generated from a single manually labeled volume
82
S. Iserhardt-Bauer et al.
Fig. 1. Alignment of the atlas after transformation to the volume coordinate system: For comparison the hippocampus was segmented manually by voxel painting in one coronal slice (left). 2D representation of the volume, including the corresponding intersections of the atlas with the volume, using atlas transformation (middle). A 3D visualization, which serves for spatial orientation, is shown. (right)
to measure the size and the shape of the hippocampus. The disadvantage of this approach is the manual segmentation task of the hippocampus and the low resolution of the model. In this paper we introduce a new approach for semiautomatic segmentation and analysis of the hippocampus volume. The segmentation is based on the geometric models of the Cerefy Brain Atlas [5] which were generated from the Talairach-Tournoux Atlas [6]. The essential steps of the approach are: – Find the transformation of a geometric atlas model of the hippocampus to a T1-weighted MR volume using manual adjustment. This MR sequence provides a clear recognizability of the boundaries of the hippocampus. – Compute the volume of the left and right hippocampus using the transformed atlas model – Transfer the atlas model to T2-weighted volume using the computed trasnformation matrix – Compare average intensities of the left and right hippocampus region in T2weighted volume. Compared to T1-weighted images this sequence emphasizes the intensity of diseased tissues. Compared to pure manual segmentation based on pixel painting the presented method provides a faster volumetry of the hippocampal structures for the diagnosis of temporal lope epilepsy. Therefore it turned out to be a promising method for clinical routine use.
2
Method
The presented segmentation approach consists of 5 steps which are subsequently explained.
Efficient Atlas-Based Analysis of the Hippocampus
83
Fig. 2. Manual adjustment of the hippocampus model by using the Open Inventor manipulator: Coronal slice contains the intersections of the atlas model with this slice(left). Using a 3D view of arbitrary slices to adjust the hippocampus in 3D (middle). The manipulator allows an easy handling of using geometrical transformation (right).
1. Atlas coordinate system transformation: The used atlas model is available in the Talairach space where the anterior commissure (AC) represents the origin of the related coordinate system. For a quick alignment the anterior (AC) and the posterior (PC) commissure must be identified within the volume data. Based on the approach in [7] the user has to set five separate landmarks using a triplanar view of the volume. The defined points span the Talairach space inside the volume dataset. Using the computed transformation matrix between these two coordinate systems the polygonal model of the atlas is then transformed into the volume coordinate system. Figure 1 shows the result after the alignment. 2. Manual adjustment of the atlas: In a second step the polygonal model must be adjusted, which is done by using a 3D viewer. For supporting the manipulation the object-oriented 3D toolkit Open Inventor is used. Using a standard manipulator of this library this kind of manipulation provides an easy way to transform the polygonal model correctly. For a comprehensive visual feedback the 3D viewer represents three arbitrary slices of the dataset. These slices are controlled by a triplanar view where each slice can be positioned arbitrarily in order to achieve an optimal orientation and selection. Furthermore the intersections of the atlas with the volume slices are displayed in the triplanar view. Figure 2 shows the results of this task. 3. Volumetry of the registered model: After manual registration the volume of the polygonal model is computed using the maximum unit normal component (MUNC) [8] algorithm. 4. Atlas transformation to the T2-weighted dataset: A corresponding T2weighted MR volume is registered to the IR volume by using automatic voxel-based registration [9]. Using the registered volume the former manually defined atlas transformation is easily applied. Figure 3 shows the adjusted model in the T2 dataset. 5. Comparison of intensity values: For the final analysis of disease the average intensity value of each segmented hippocamus are compared.
84
S. Iserhardt-Bauer et al.
Fig. 3. The above figure shows the adjusted atlas model to the registered T2-weighted volume.
3
Validation
At the Epilepsy Center of the University of Erlangen-Nuremberg a clinical study using 30 datasets, was carried out. The study was based on manual segmentation of the hippocampus in Inversion Recovery MR datasets. The segmentation was obtained by a medical expert on a slice by slice basis using pixel painting demanding more than 1 hour in average for a precise hippocampus segmentation. The approach was applied in 4 clinical cases with the two volumes with matrix 380 × 25 × 512 voxels with the respective size of 0.449 × 3.6 × 0.449 mm3 . After a short training required to get familiar with the 3D visualization tool the manual segmentation normally demands less than 5 minutes including landmarks setting, linear registration and computing the volume. Table 1 shows the results of the compared methods. For patient 1 the computed volume of the two methods are very close. Small differences between the two methods but a clear differentiation between the volumes of the right and left hippocampus are noticeable for patient 3 and 4. In case of patient 2 the volume of the right hippocampus is different between the two methods. Significant differences between the average values for the left and right hippocampus are an indication for temporal lope epilepsy.
4
Conclusion
A semiautomatic approach for linear registration and volumetry was presented. It provides a fast straightforward process for the purpose of registering MR data with a geometrical model of an anatomical atlas. The approach allows a linear registration using 3D visualization with interactive manipulation techniques for an intuitive registration and efficient segmentation of the hippocampus. The
Efficient Atlas-Based Analysis of the Hippocampus
85
Table 1. Computed volumes of the right (HR) and left (HL) hippocampus and the average value of the segmented voxels are shown. Significant differences between the two volumes and the intensities are an indication for temporal epilepsies.
Dataset Patient 1 Patient 2 Patient 3 Patient 4
Manual Approach Volume (mm3 ) HR HL 2909 1287 1548 1922 1661 2624 2170 1508
New Approach Volume (mm3 ) HR HL 2848 1138 2214 1929 1695 2330 2634 1542
Average HR HL 763 512 864 441 467 631 580 470
outcome of the presented strategy showed good correspondence to pure manual segmentation and better delineation in complex and pathological situations. As a major achievement, the previously required high time effort was significantly reduced and robust results were achieved. For the future, further automation is envisaged based on the experience of medical experts. A nonlinear deformation of the polygonal model will also contribute to achieve more accurate results of the volumetry.
References 1. Webb J, Guimond A, Eldridge P, Chadwick D, Meunier J, Thirion JP, et al. Automatic detection of hippocampal atrophy on magnetic resonance images. Magn Reson Imaging 2001;17(8):1149–1161. 2. Ashton EA, Parker KJ, Berg MJ, Chen C. Novel volumetrie feature extraction technique with applications to MR images. In: IEEE Trans Med Imaging. vol. 16(4); 1997. p. 365–371. 3. L¨ otj¨ onen J, M¨ akel¨ a T. Elastic Matching Using a Deformation Sphere. In: Proc. of MICCAI; 2001. p. 541–548. 4. Shen D, Moffat S, Resnick SM, Davatzikos C. Measuring size and shape of the hippocampus in MR images using a deformable shape model. NeuroImage 2002;15(2):422–434. 5. wwwcerefycom. Cerefy Brain Atlas: Geometric Models 2.0; 2005. 6. Talairach J, Tournoux P. Co-Planar Stereotaxic Atlas of the human brain. Thieme Verlag; 1988. 7. Bazin PL, McAuliffe M, Gandler W, Pham DL. Free software tools for atlas-based volumetric neuroimage analysis. In: Proc. SPIE, Medical Imaging 2005: Image Processing. vol. 5747. San Diego; 2005. p. 1824–1833. 8. Alyassin AM, Lancaster JL, Downs JH, Fox PT. Evaluation of new algorithms for the interactive measurement of surface area and volume. Medical Physics 1994;21(6):741–52. 9. Hastreiter P, Ertl T. Integrated Registration and Visualization of Medical Image Data. In: Proc. of Computer Graphis International; 1998. p. 78–85.
Fully-Automated Analysis of Muscle Fiber Images with Combined Region and Edge-Based Active Contours Thomas Brox1 , Yoo-Jin Kim2 , Joachim Weickert3 and Wolfgang Feiden2 1 Computer Vision and Pattern Recognition Group, University of Bonn, R¨ omerstr. 164, 53117 Bonn, Germany 2 Institute of Neuropathology, Saarland University, 66421 Homburg/Saar, Germany 3 Math. Image Analysis Group, Saarland University, 66041 Saarbr¨ ucken, Germany Email:
[email protected]
Abstract. This paper presents a new approach to automated muscle fiber analysis based on segmenting myofibers with combined region and edge-based active contours. It provides reliable and fully-automated processing, thus, enabling time-saving batch processing of the entire biopsy sample stemming from routinely HE-stained cryostat sections. The method combines color, texture, and edge cues in a level set based active contour model succeeded by a refinement with morphological filters. Falsepositive segmentations as compared to former methods are minimized. A quantitative comparison between manual and automated analysis of muscle fibers images did not reveal any significant differences. We gratefully acknowledge partial funding by the DFG.
1
Introduction
The size and shape of muscle fibers is an important cue to diagnose neuromuscular diseases, since it has been shown that morphometric data can discern very early changes in the distribution pattern of fiber size in muscle biopsy samples [1]. While fiber size estimation by simple inspection, as yet performed in routine diagnostics, is inaccurate and subjective, accurate measurements by means of manual segmentation of fibers is time-consuming and tedious, particularly since a few hundreds of fibers per specimen have to be analyzed in order to obtain statistical significance. This brings up the need for an automated analysis routine of muscle fiber images. Despite this need for an automated process, until today, only few segmentation methods dedicated to this task have been presented [2, 3, 4, 5]. The reported methods are mostly based on border shape enhancement routines, followed by application of user-defined or histogram based thresholds, and interactive manual editing. Due to inaccurate delineation of fibers as well as the need of special histochemical stains and partially extensive user interaction, the usability of these methods in practice is limited.
Fully-Automated Analysis of Muscle Fiber Images
87
For a fully-automated yet reliable automated analysis, a solid and accurate separation of single myofibers from the remaining parts in the image (i.e., connective tissue, nuclear clumps, and blood vessels) is essential. To succeed in this task, the presented method makes use of recent advances in level set based segmentation, where classical edge-based active contours [6, 7, 8] are extended by region based cues, such as the color and texture. Region based active contour models that partition the image into two classes have been introduced in [9, 10]. In the present application, the two classes are the class of the myofibers and the class of the background. This extension allows for exploiting three sources of information to separate the classes: color, texture, and edges. They are combined in a sound and transparent way by means of a cost functional. The separating contour is thereby modelled by an implicit level set function that allows for topological changes and can, hence, handle the area of myofibers as one class, though the separate fibers are not connected. The functional and its minimization are detailed in Section 3. With the single fibers at hand, a multitude of morphometric parameters can be assessed for all detected fibers in a single pass. The whole method works without any user interaction and with a fixed set of parameters. Despite this full automation, the empirical evaluation in Section 4 shows a high reliability of the method. Section 5 concludes the paper by discussing the impact of this outcome.
2
Muscle Sample Preparation and Image Acquisition
Biopsy samples were trimmed, mounted, and frozen in isopentane-cooled liquid nitrogen, before storage at −70◦ C. Transverse sections (10µm) were cut with a cryotome at −20◦ C and attached to slides by thawing. After keeping the slides at room temperature for at least 30 min., the sections were stained with hematoxylin and eosin. Microscopic images were then taken in artifact-free areas in muscle cross sections with a 20× objective (Nikon Eclipse E600 microscope, Nikon DN100 CCD-camera) and stored as 640 × 480 pixel (571 × 428µm) RGB color images.
3
Segmentation of Myofibers
Given the fiber image I : Ω → R3 , the decisive task is to determine the outline of the myofibers. To this end, we suggest a level set based active contour model that combines multiple cues to separate the fibers from the remaining parts of the image. In level set based segmentation methods, the contour is represented by the zero-level line of a so-called embedding function Φ : Ω → R. This implicit representation of the contour has several advantages, among others that parts of the two regions need not necessarily be connected and may split and merge. Since the region of the muscle fibers itself consists of numerous connected components, this flexibility in the topology of the regions is an important property of the method.
88
T. Brox et al.
The active contour model is described by a cost functional, in which undesirable properties of a possible solution are penalized by high costs: ' E(Φ) = − H(Φ) log p1 + (1 − H(Φ)) log p2 − ν g(|∇I|2 )|∇H(Φ)| dx. (1) Ω region based
edge based
The region based part is a probabilistic model, that maximizes the total aposteriori probability of pixels assigned to the best of two regions. The membership of a pixel to one of the regions is determined by the sought level set function Φ evaluated by means of the step function H, which is smoothed in order to ensure differentiability [9]. The regions are modelled by the probability densities p1 and p2 that are estimated within the two regions, respectively. For the density estimation we employ the Parzen method that comes down to smoothed region histograms; see [11]. The region based part exploits that all fibers have a similar color that can generally be distinguished from the color of the intermyofibrillar connective tissue. Since color alone may not always be sufficient to distinguish the two regions, it is supported by texture information represented by the feature space provided in [12]. It captures the fact that the muscle fibers are mainly homogeneous without much textural variations, whereas the endomysial connective tissue contains collagenous fibers, blood vessels, fibrocytes, and other cellular components. The joint densities p1 and p2 are approximated as the product of the densities of the single feature channels. The second part of (1) represents the classical geodesic active contour model that A decreasing function g(s2 ) = √ seeks a contour of minimal weighted length. 3 2 2 1/ s + 1 of the image gradient magnitude s = k=1 |∇Ik |2 serves as weighting function in order to reduce the cost of the contour length in the presence of edges. This part of the model exploits the fact that the muscle fibers are often separated from the connective tissue by more or less strong edges. Hence, it supplements a third cue for the partitioning besides the color and texture information. Moreover, the penalty on the contour length avoids single noise pixels or small artifacts to be separated from the surrounding region. The relative influence of the edge-based term is determined by the parameter ν = 2. Starting from an initial partitioning obtained by a histogram based thresholding, a minimum of (1) is obtained by steepest descent. This yields the update k τ k p1 k+1 k 2 ∇Φ = Φ + H (Φ ) log + νdiv g(|∇I| ) (2) Φ ν p2 |∇Φk | with iteration index k, time step size τ = 0.5, and H being the derivative of H with respect to its argument. In each iteration, also the densities p1 and p2 are updated. After 200 iterations one obtains the sought contour separating the muscle fibers from the connective tissue; see Fig. 1b. Although the active contour model yields accurate boundaries in large parts of the image, some myofibers may not be completely separated. In order to refine the result, it is merged with the outcome of an edge detector, binarized by automated thresholding, and enhanced by filters from mathematical morphology [13]. The final result of this postprocessing is shown in Fig. 1c.
Fully-Automated Analysis of Muscle Fiber Images
89
Fig. 1. (a) Original input RGB image of a dystrophic muscle biopsy sample. (b) Resulting segmentation with the active contour model. Non-fiber structures are removed. (c) Final result: each analyzed fiber is outlined and numbered. Fibers touching the image boundaries are not considered.
4
Experiments
A total of 30 digital images containing 679 fibers on five human muscle specimens were segmented. Parameters were kept fixed for all images to ensure a fully automated processing. The segmentation results were evaluated independently by two neuropathologists yielding a misclassification rate of only 2%. Additionally, the accuracy of the morphometric analysis was assessed by comparison between human and machine measurements in 10 out of the 30 digital images containing a total of 191 fibers on five human muscle specimens. Three experts manually traced fiber outlines with a computer mouse using the ”freehand”ROI selection tool. Calculation of cross sectional area, perimeter, circularity, and Feret diameter were then analyzed automatically by the computer for each outlined fiber. The manually collected data were compared to the machine measurement of the same images. For each fiber, the three human measurements and the results obtained by the automated system were averaged. This was used as standard of comparison. The mean error was defined as the mean of deviations from the standard of comparison assessed for each fiber. The results shown in Tab. 1 do not reveal any significant differences between human and machine analysis.
5
Discussion
The experiments show that, despite the full automation, the method works very reliably with a mixed set of muscle specimen. This is in contrast to previous techniques that either yield many inaccurate segmentations, or need a significant amount of manual user interaction. The robustness of the presented approach can be explained by the sound combination of three types of information. This ensures that in case of one cue not being available, or reliable, the others can promote the solution. Moreover, the method is easy to use, and it neither requires special knowledge in image processing nor special histochemical stains. As a consequence, the method satisfies all premises for being valuable in highcontent image analysis of muscle samples for research purposes as well as in clinical diagnostics. Since the method enables full automation, convenient batch
90
T. Brox et al.
Table 1. Average morphometrical values and mean error from standard of comparison as assessed for 191 fibers obtained manually by three investigators and by machine. human 1
human 2
human 3
machine
2
2
2
5625µm2 7%
fiber area
5707µm 7.6%
perimeter
292.5µm 5.6%
301.1µm 4.1%
301.1µm 4.3%
302.7µm 4%
circularity
0.74 6.1%
0.70 9.7%
0.69 9.4%
0.68 10.5%
111.3µm 3.7%
111.4µm 4.1%
110.9µm 3.5%
111µm 3.6%
diameter
5639µm 7%
5617µm 6.7%
processing of the entire biopsy sample may be possible and selection bias can be avoided.
References 1. Dubowitz V. Muscle Biopsy: A Practical Approach. London: Bailliere Tindall; 1985. 2. Dudley AW, Spittal RM, Dayoff RE, Ledley RS. Computed image analysis techniques of skeletal muscle. In: Jasmin G, Proschek L, editors. Microanalysis and Quantification. Basel: Karger; 1984. p. 34–57. 3. Castleman KR, Chui LA, Martin TP, Edgerton VR. Quantitative muscle biopsy analysis. Monographs in Clinical Cytology 1984;9:101–116. 4. Collumbien R, Zukowski F, Claeys A, Roels F. Automated analysis of muscle fibre images. Analytical Cellular Pathology 1990;2:373–387. 5. Klemenˇciˇc A, Kovaˇciˇc S, Pernus F. Automated segmentation of muscle fiber images using active contour models. Cytometry 1998;32:317–326. 6. Kass M, Witkin A, Terzopoulos D. Snakes: Active contour models. International Journal of Computer Vision 1988;1:321–331. 7. Caselles V, Kimmel R, Sapiro G. Geodesic active contours. International Journal of Computer Vision 1997;22:61–79. 8. Kichenassamy S, Kumar A, Olver P, Tannenbaum A, Yezzi A. Conformal curvature flows: from phase transitions to active vision. Archive for Rational Mechanics and Analysis 1996;134:275–301. 9. Chan T, Vese L. Active contours without edges. IEEE Transactions on Image Processing 2001;10(2):266–277. 10. Paragios N, Deriche R. Geodesic active regions: A new paradigm to deal with frame partition problems in computer vision. Journal of Visual Communication and Image Representation 2002;13(1/2):249–268. 11. Brox T, Rousson M, Deriche R, Weickert J. Unsupervised segmentation incorporating colour, texture, and motion. In: Petkov N, Westenberg MA, editors. Computer Analysis of Images and Patterns. vol. 2756 of Lecture Notes in Computer Science. Berlin: Springer; 2003. p. 353–360. 12. Brox T, Weickert J. A TV flow based local scale estimate and its application to texture discrimination. Journal of Visual Communication and Image Representation 2006. To appear. 13. Soille P. Morphological Image Analysis. Berlin: Springer; 1999.
Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data Agnes Gr¨ unerbl1 , Karl Fritscher1 , 2 Michael Blauth , Volker Kuhn2 and Rainer Schubert1 1
Institute for Biomedical Image Analysis, University for Health Science, Medical Informatics and Technology, Tyrol, Austria 2 Department of Traumatology, University Hospital, Innsbruck, Tyrol, Austria Email:
[email protected]
Abstract. This work presents the creation of a common shape model of the proximal femur and the use of this common shape model for the automatic segmentation of healthy femora. The method to build up a common shape model is described and the approach of automatic segmentation of CT datasets will be explained. Further the resulting shape model and the use of the model in the segmentation pipeline in order to automatically segment 15 datasets is discussed.
1
Introduction
The presented work is part of a broader project to develop and investigate methods for automated segmentation of the healthy femur in CT-data as well as in x-ray images as a prerequisite for automated positioning of regions of interest for detailed bone analysis. Even though there has been done some work on segmenting the pelvis and the femur for surgical planning and simulation [e.g. 1, 2, 3], there is few work to find about statistical modelling of the proximal femur and the further use of such a model within a level set based segmentation pipeline. Therefore, as a first step we aimed to build up a statistical three-dimensional shape model of the proximal femur to serve for automated segmentation of 3D CT-data. This paper will describe the generated shape model and present first results in using this model for automated level set based segmentation of CTdata.
2
State of Review
For the creation of 3D statistical shape models different approaches have been introduced: In [4] Rueckert et al. describe the usage of deformation fields to represent shape. Moreover, a number of other approaches to incorporate prior shape knowledge into the segmentation process have been developed [5-10]. Geometric deformable models, also known as geodesic snakes or level set snakes have been developed by Osher and Sethian [11] and have been introduced in the field of image analysis by Caselles and Malladi [13,12]. In [10] Leventon
92
A. Gr¨ unerbl et al.
Fig. 1. Left shape model (dark) and shape variation with -1.5 Std. in 1. principal component (light). Middle: shape model. Right: shape model (dark) and shape variation with 1.5 Std. in 1. principal component (light)
extended Caselles’s geodesic active contours by incorporating prior shape information into the segmentation process. The segmenting-surface evolves according to the image gradient and a maximum a-posteriori (MAP) estimate of the shape and pose parameters of the statistical shape model generated by using principal component analysis.
3
Contributions/Benefits
Using an automatic hierarchic registration approach to initialize the segmentation process and the shape model to guide the segmentation process with level sets gives us the possibility to fully automatically segment the proximal part of the femur in CT-scans. An important contribution is the possibility to automate the process of segmentation and to make the results reproducible. The automatic approach guarantees that all images are segmented the same way with reproducible results. This means an improvement in the segmentation process and the segmentation quality, since reproduction is not possible in the manual and semi automatic approach because the result here always is influenced by the segmenting expert. A further benefit of the automatic segmentation approach is, that it is far less time consuming than the semi-automatic approaches such as region growing in combination with essential manual correction.
4
Methods
The first aim of this work was the creation of a common shape model of the proximal femur. In order to create such a shape model, 13 data sets had to be segmented semi-automatically or manually. Out of these segmented images a common shape model could be calculated: 1. rigid alignment of the distance maps of the segmented images onto an atlas image 2. non-rigid alignment of distance maps of labels to atlas label image using demons algorithm [14] 3. Perform PCA on deformation fields, calculated in step 2
Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data
93
Fig. 2. Left: an example for a CT dataset of a proximal Femur with poor quality (slice thickness: 5mm). Right: The result of the automated segmentation of this dataset.
Different instances of shape can be generated by applying the deformation fields resulting from the PCA calculation on the atlas label. Using this shape model in combination with level set segmentation, CT images of the proximal femur were automatically segmented. As an instrument of segmentation the updated and improved version of the segmentation pipeline which was introduced in [15, 16] in order to automatically segment MRI images of the endocardium could be used here. The procedure is as follows: 1. Rigid alignment of the individual image to an atlas image 2. Non rigid alignment of the image to be segmented and the atlas image using demons algorithm 3. Warping atlas label set with deformation field from non rigid registration 4. Rigid alignment of warped label and atlas label to get initial shape parameters 5. Perform PCA decomposition of the resulting deformation field (point 3) to get initial shape parameters 6. Level set segmentation using MAP approach and statistical shape model Using a shape model relying on 13 manually or semi-automatically segmented datasets, 15 datasets were automatically segmented. Out of these 15 datasets five already had been used to build the shape model. Further the 15 datasets were of different slice-thickness (between 0.625 mm and 5 mm). In order to evaluate the results of the segmentation, the Similarity Index and the Mean Distance of the resulting segmentation images of the automatic segmentation and the manually slightly corrected final results were calculated.
5
Results
Using the approach described in the method section, a valid common shape model could be created (Fig 1). The first principal component specifies the variation in size. The second and the third principal components specify the variation in the trochanter major and the trochanter minor. The other main components indicate other small variations. Within the first six principal components of the PCA 92% of the shape variations are covered. The described approach of automatic segmentation has been successfully applied and provided good results for all cases (see Table 1). The evaluation of the segmentation, compared the automatically segmented result and the final,
94
A. Gr¨ unerbl et al.
Table 1. detailed list of the segmentation results with Similarity Index and Mean Distance for all segmented datasets datasetNo 17 22 23 25 27 29 30 31 32 34 35 41 42 43 48
included /new Sl-Thickness (mm) SI MD new 5 0.903 1.04 new 0.625 0.879 1.61 new 2.5 0.872 1.64 new 1.25 0.875 1.71 new 1.25 0.967 0.38 new 5 0.975 0.35 new 2.5 0.958 0.41 included 2.5 0.931 0.59 included 2.5 0.915 0.98 included 1.25 0.931 0.79 new 1.25 0.896 1.5 included 1.25 0.911 0.81 included 1.25 0.912 1.34 new 2.5 0.964 0.52 new 2.5 0.962 0.45
manually corrected result, showed that the similarity index averages at 0.9251 with a sigma of 0.043 for the ten totally new datasets. For the five datasets (31, 31, 34, 41, 42) which were already included into the used shape model the average result of the similarity index was 0.92 with a sigma of 0.01. For the datasets not included the mean distance averages at 0.961 voxel (sigma = 0.59) while the average for the five already included old datasets is 0.902 voxel (sigma = 0.28). This means only a slight difference between the already included and the new datasets. The detailed results can be viewed in Table 1. An interesting result of the automatic segmentation is that the automatic approach produces satisfying results for datasets with all different slice-thicknesses and the segmentation of datasets of high quality does not show better results compared to datasets with poor quality. The left part of Fig. 2 shows such a CT image of poor quality. On the right side of Fig. 2 the result of the automatic segmentation of this image can be seen.
6
Discussion
This preliminary study has shown that the femora can be automatically segmented using the segmentation pipeline developed at IBIA. After the successful creation of a valid common-shape-model this model could effectively be implemented in the segmentation pipeline as initial shape for the level set segmentation. The results of the segmentation of new datasets showed satisfying results using the pipeline and the integrated common shape model. The main advantage of automatic segmentation can be seen in the time used to segment a dataset. Due to the possibility of automating the segmentation process, in contrast to semi-automatic approaches as region growing, only little interaction of the user is needed. A fast semi-automatic segmentation approach using thresholds is not useful in this case because of the unclear range of grey values for the bones in CT images.
Shape-Based 3D Level Set Segmentation of the Proximal Femur in CT-Data
95
Nevertheless, the results of the evaluation show that further improvement is needed to enhance the accuracy and especially the speed of the segmentation method. In a first step, we expect that the integration of more segmented datasets into the model will further improve the specificity and generality of the model and the quality of the automatic segmentation. Furthermore, the use of greyvalue images for a faster segmentation of the Femora in CT images is planed.
References 1. F¨ arber M, Ehrhardt J, Handels H. Automatic atlas-based contour extraction of anatomical structures in medical images. In: Lemke U, et al, editors. CARS. International Congress Series 1281. Elsevier; 2005. p. 272–277. 2. Lamecker H, Seebaß M, Hege HC, Deuflhard P. A 3d statistical shape model of the pelvic bone for segmentation. In: SPIE Medical Imaging. vol. 5370; 2004. p. 1342–1351. 3. Lange T, Tunn PU, Lamecker H, Scheinemann P, Eulenstein S, Schlag P. Computerunterst¨ utzte Prothesenkonstruktion mittels statistischen Formmodells bei Beckenresektionen. In: Procs BVM; 2004. p. 30–34. 4. Rueckert D, Frangi A, Schnabel JA. Automatic Construction of 3-D Statistical Deformation Models of the Brain Using Nonrigid Registration. IEEE Trans Med Imaging 2001;22:1014–1025. 5. Cootes TF, Edwards GJ, Taylor C. Active Appearance Models. IEEE Trans Patt Anal Mach Intell 2001;6:681–685. 6. Cootes TF, Taylor CJ, Cooper DH, Graham J. Segmentation and measurement of the cortex from 3-D MR images using coupled surfaces propagation. Comput Vis Image Underst 1995;61:38–59. 7. Zeng X, Staib LH, Schultz R, Duncan JS. Segmentation and measurement of the cortex from 3-D MR images using coupled surfaces propagation. IEEE Trans Med Imaging 1999;18:927–937. 8. Cremers D, Schnorr C, Weickert J. Diffusion-Snakes: Combining Statistical Shape Knowledge and Image Information in a Variational Framework. In: IEEE Workshop on Variational Level Set Methods; 2001. p. 137–144. 9. Paragios N. Priors for level set representations. European Conference on Computer Vision; 2002. 10. Leventon M, Grimson E, Faugeras O. Statistical Shape Influence in Geodesic Active Contours. Comp Vis Patt Rec 2000;1:316–323. 11. Osher J, Sethian JA. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations. J Comp Phys 1988;79:12–49. 12. Malladi R, Sethian J, Vemuri BC. Shape modeling with front propagation: a level set approach. IEEE Trans Patt Anal Mach Intell 1995;17:158–175. 13. Caselles V, Kimmel R, Sapiro G. A geometric model for active contours. Numerische Mathematik 1999;66. 14. Thirion JP. matching as a diffusion process: an analogy with Maxwell‘s demons. Med Image Anal 1998;2:243–260. 15. Fritscher KD, Pilgram R, Schubert R. Automatic 4D endocardium segmentation using hierarchical registration and model guided level set segmentation. In: Lemke U, et al, editors. CARS. International Congress Series 1281. Elsevier; 2005. 16. Fritscher KD, Schubert R. A software framework for pre-processing and level set segmentation of medical image data. In: SPIE Medical Imaging; 2005.
Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung Lars Dornheim, Jana Dornheim, Heiko Seim und Klaus T¨onnies Institut f¨ ur Simulation und Graphik, Fakult¨ at f¨ ur Informatik, Otto-von-Guericke-Universit¨ at Magdeburg
Zusammenfassung. Strukturen in medizinischen Bildern sind oft unvollst¨ andig abgebildet und erfordern zus¨ atzliches Modellwissen zu ihrer Segmentierung. Es gibt eine F¨ ulle einfacher Merkmale (Grauwerte, Kanten, etc.) mit deren Hilfe eine modellbasierte Segmentierung erfolgt. Sensorbasierte Modelle reagieren nun mit allen Sensoren potentiell auf all diese Merkmale, auch wenn pro Sensor nur ein Bruchteil interessiert. Es werden richtungsgewichtete Kontursensoren vorgestellt, die abh¨ angig von ihrer Richtung Konturen im Datensatz bewerten. Sie reagieren bevorzugt auf Konturen, die aus Modellsicht eine erwartete Richtung aufweisen. W¨ ahrend der Modellanpassung werden diese erwarteten, sensorabh¨ angigen Konturrichtungen konsistent zum Modell gehalten. Dadurch werden aktive Sensoren geschaffen, die eine deutliche Vorfilterung auf einer einfachen Merkmalsebene im Kontext des Modells durchf¨ uhren. So wird die Segmentierung von detailreichen, verrauschten und unvollst¨ andigen Daten mittels Modellen deutlich zielstrebiger und robuster, wie wir in drei Anwendungsf¨ allen nachweisen k¨ onnen.
1
Einfu ¨hrung
Im Fall medizinischer Bilder ist oft auf Grund der reinen Bildinformation keine komplette, exakte Segmentierung m¨ oglich. In diesen F¨allen ist Modellwissen u ¨ ber die zu segmentierenden Strukturen erforderlich. Dieses Wissen, z.B. u ¨ ber die erwartete Form, Gr¨ oße oder Lage, wird durch Modelle verschiedenster Auspr¨ agung (ACMs, ASMs, SMSMs [1], etc.) beschrieben. Eine Reihe von Modellen bezieht die Bildinformation dabei u ¨ ber Sensoren. Diese sind u onnen auf spezifische Bildmerkmale ¨ ber das Modell verteilt und k¨ (Grauwerte, Konturen, Ecken, etc.) reagieren. Sie fungieren als eine erste Abstraktionsebene, auf der das Bild durch das Modell punktuell und lokal wahrgenommen werden kann. Diese einfachen Merkmale werden durch das Modell zu einem komplexen Objekt zusammengef¨ uhrt. Problematisch ist, daß es in verrauschten oder detailreichen Bildern sehr viele solcher einfachen Merkmale gibt und es a priori nicht immer klar ist, zu welcher Struktur sie geh¨ oren. Daher ist es von zentraler Bedeutung, schon fr¨ uhzeitig im Segmentierungsprozeß m¨ oglichst viele irrelevante Merkmale herauszufilten. Wir wenden uns in diesem Paper der besonders h¨ aufig benutzten Klasse der Konturmerkmale zu und werden auf Grund von Sensorausrichtungen ihre Relevanz dynamisch und lokal bestimmen.
Aktive Sensoren
2
97
Stand der Forschung
Aus der Literatur sind viele verschiedene Arten von Sensoren bekannt, die in Modellen zur Segmentierung eingesetzt werden. Ihre Ausgaben k¨onnen u.a. von bestimmten Intensit¨ ats- oder Farbwerten, Kanten oder Ecken [2] abh¨angen. Nach unserem Kenntnisstand agieren zur Zeit alle diese Sensoren passiv. D.h., die Ausgabe eines Sensors h¨ angt im allgemeinen nur von den Bilddaten ab. Selten werden Sensoren beschrieben, die vom initialen Modell abh¨angig sind. Sie schr¨ anken damit sinnvoll die Merkmalsmenge ein (z.B. die fest gerichteten Sensoren in [3]). Der Nachteil bei all diesen w¨ ahrend der Modellanpassung passiven Sensoren ist die fehlende M¨ oglichkeit, den Zustand des Modells in die Berechnung der Sensorausgaben mit einzubeziehen. Deshalb werden auch keine f¨ ur das Modell irrelevanten Merkmale dynamisch durch diese Sensoren herausgefiltert.
3
Stabile Feder-Masse-Modelle
Wir nutzen zur modellbasierten Segmentierung dreidimensionale Stabile FederMasse-Modelle (SMSMs [1]). Sie sind auch in h¨oheren Dimensionen effizient simulierbar und weisen eine gut kontrollierbare Formstabilit¨at auf. Sie sind dynamische Formmodelle, die u ¨ ber ein Gleichgewicht aus drei Kr¨aften gesteuert werden: 1. Federkr¨afte zum Gr¨ oßenerhalt des Modells 2. Torsionskr¨afte zum Formerhalt des Modells 3. Sensorkr¨afte zur Anpassung des Modells an die Daten Punkt 2 unterscheidet sie von einfachen Feder-Masse-Modellen. Die zus¨atzlichen, stabilisierenden Torsionskr¨ afte werden durch den Abgleich aktueller Federrichtungen zu ihren Federruherichtungen erzeugt.
4
Richtungsgewichtete Kontursensoren
Wir haben f¨ ur die mit den einzelnen Massen des Modells assoziierten Sensoren Normalen eingef¨ uhrt, die jeweils die Richtung eines Sensors beschreiben. Bei der Modellkonstruktion werden diese Sensornormalen durch arithmetische Mittlung der Normalen der angrenzenden Konturfl¨achen, jeweils gewichtet durch den Winkel der Fl¨ ache an der Sensormasse, berechnet, so daß sie Vertexnormalen entsprechen. Bei der Ver¨ anderung des Modells w¨ ahrend seiner Anpassung an die Daten andern sich die L¨angen und Richtungen der Federn. Somit m¨ ussen auch die ¨ Normalen der Sensoren diesem neuen lokalen Kontext (gegeben durch die Ausrichtung der angrenzenden Federn) angepaßt werden. Das geschieht durch eine Neuausrichtung jedes einzelnen Sensors. F¨ ur jeden Sensor wird dabei jede dreidimensionale Verdrehung einer an ihn angrenzenden Feder i durch ein Rotationsquarternionen Qi beschrieben, der im
98
L. Dornheim et al.
¨ Abb. 1. Uber den Gradientenbetrag erzeugte Konturbilder eines Schichtbildes eines 3D-SPECT-Datensatzes des Thorax. Bild (b) wurde zus¨ atzlich einer Richtungsgewichtung in X-Richtung (Pfeil) unterzogen. Die hellen Bereiche sind jeweils die unscharfen Konturen des linken Ventrikels.
(a)
(b)
Falle von SMSMs schon berechnet zur Verf¨ ugung steht. Daraus wird eine u ¨ ber alle m angrenzenden Federn gemittelte dreidimensionale Ausgleichsrotation Q (Gleichung 1 f¨ ur großes n f¨ ur eine genaue Approximation; z.B. n = 100) approximiert, die auf den Sensor angewendet wird. Dadurch wird dieser entsprechend den an ihn angrenzenden Federn mitrotiert, so daß sein lokaler Kontext korrekt aufrechterhalten wird.
Q=
( i
n ϕi , ai ) Q( m·n
mit Qi = Q(ϕi , ai ) =
cos ϕ2i sin ϕ2i · ai
(1)
Mit Hilfe dieser Sensorrichtungen lassen sich nun richtungsgewichtete Kontursensoren konstruieren, die Konturinformationen abh¨angig von ihrer eigenen Richtung bewerten. Auf diese Weise werden durch einen Sensor bevorzugt Konturen gefunden, die zum lokalen Kontext des Sensors und damit zum Modell eine bestimmte, erwartete Ausrichtung (in unseren F¨allen stets die Sensorrichtung) aufweisen (Abb. 1 zeigt den Effekt am Beispiel eines Sensors auf Thorax-3DSPECT-Daten). Im Detail wird diese Konturbewertung erreicht, indem zur Konturberechnung zun¨ achst ein 5x5x5 Gradientenfilter angewendet wird. Wir verwenden hier optimierte Filter aus [4], die besonders richtungstreue Gradientenapproximationen auf den Voxeldaten erzeugen, da die Gradientenrichtungen in unserem Fall eine besonders wichtige Rolle spielen. Die Abweichung der Richtung des Gradienten I von der Sensorrichtung n wird bestimmt und zur linearen Wichtung der Gradientengr¨ oße benutzt (Gleichung 2), wobei kleinere Abweichungen zur h¨oheren Wichtungen f¨ uhren. ∠(I, n) · I (2) K = 1− π
Aktive Sensoren
5
99
Ergebnisse
Wir untersuchten das Modellverhalten bei der Verwendung der aktiven, richtungsgewichteten Kontursensoren im Vergleich zu klassischen, passiven Kontursensoren (normale Gradientenfilter) in drei medizinischen Anwendungsf¨allen. 5.1
Segmentierung des Schildknorpels
Im ersten Fall sollte der Schildknorpel (Kehlkopf) in CT-Daten des Halses segmentiert werden [5]. Daf¨ ur wurde Konturmodellwissen in Form eines SMSM genutzt, das jeweils einmal mit aktiven und passiven Kontursensoren auf 12 CTDatens¨ atzen des Halses angewendet wurde. Die Segmentierungsergebnisse mit aktiven Sensoren waren in 10 von 12 F¨ allen deutlich besser als die mit passiven Sensoren, im Rest der F¨ alle identisch. In den meisten F¨allen zeigte sich bei passiven Sensoren eine Untersegmentierung gegen¨ uber der Segmentierung mittels aktiver Sensoren mit Volumenunterschieden von bis zu 30 Prozent (z.B. fehlerhaftes Finden der gegen¨ uberliegenden Kante des flachen Schildknorpels in Abb. 2(b)). Auch Abwanderungen passiver Kontursensoren zu Nachbarstrukturen mit starken Gradienten kamen vor. Diese negativen Effekte waren bei den aktiven Sensoren signifikant vermindert, was eine erfolgreiche Segmentierung des Schildknorpels erst erm¨ oglichte. 5.2
Segmentierung vergr¨ oßerter Lymphknoten
Im zweiten Fall sollten vergr¨ oßerte Lymphknoten in CT-Daten des Halses durch ein zweischaliges, initial kugelf¨ ormiges SMSM nach Vorgabe eines im Lymphknoten liegenden Startpunktes segmentiert werden [6]. In den von uns untersuchten drei CT-Datens¨ atzen grenzten sich die Lymphknoten im Gradientenbild oft nicht klar und durchg¨ angig ab, zudem waren deutlich st¨arkere Gradienten in ihrer unmittelbaren N¨ ahe zu finden. Beides verhinderte eine gute Segmentierung mit dem SMSM, das passive Kontursensoren benutzte. Bei der Verwendung aktiver Kontursensoren konvergierte das Modell zielstrebig zu einer jeweils zufriedenstellenden Segmentierung. Das bei dem ersten Modell beobachtete, zum Teil großr¨ aumige Abwandern einzelner Sensoren (Abb. 2(d)) zu starker, aber falscher Gradienteninformation war nicht mehr festzustellen. 5.3
Segmentierung des linken Ventrikels
Der letzte Anwendungsfall war die Segmentierung des mit infarktbedingten L¨ ucken behafteten linken Ventrikels in SPECT-Daten, die ein sehr niedriges Signal-Rausch-Verh¨ altnis aufwiesen. Durch ein mehrstufiges Verfahren konnte hier der linke Ventrikel erfolgreich in 41 Datens¨atzen segmentiert werden [7]. Die letzte Stufe bildete dabei ein ventrikelf¨ ormiges SMSM, das die beschriebenen aktiven Kontursensoren benutzte. Auf 7 quantitativ untersuchten Datens¨atzen stellte sich dabei gegen¨ uber der Verwendung passiver Kontursensoren eine durchschnittliche Verbesserung des Segmentierungsfehlers gegen¨ uber einem von einem Experten erstellten Goldstandard um 11,9 Prozent heraus.
100
L. Dornheim et al.
Abb. 2. Der Schildknorpel in (a) und der Lymphknoten in (c) wurden unter Verwendung von richtungsgewichteten Kontursensoren segmentiert. In (b) und (d) ist jeweils das zugeh¨ orige Ergebnis mit klassischen Kontursensoren dargestellt.
(a)
6
(b)
(c)
(d)
Diskussion
Die beschriebenen Ergebnisse zeigen, daß in den drei beschriebenen Anwendungsf¨ allen die Segmentierungsqualit¨ at durch den Einsatz der aktiven Sensoren deutlich verbessert werden konnte. Das Abwandern von Sensoren zu benachbarten Objektkanten wurde fast vollst¨ andig vermieden. Das im Modell verankerte Modellwissen konnte damit umfassender genutzt werden. Die Implementierung der aktiven Sensoren erfolgte sehr effizient. Die Sensorrotationen konnten direkt aus den im SMSM bereits vorliegenden Federrotationenquarternionen abgeleitet werden. Insgesamt war kein Performanzverlust ¨ durch den Ubergang zu den aktiven Sensoren sp¨ urbar. Im Fall anderer Modellarten m¨ ussen die aktuellen Sensornormalen unter Umst¨anden aufwendiger berechnet werden, wie es bei SMSMs nur w¨ ahrend der Konstruktion erfolgt.
Literaturverzeichnis 1. Dornheim L, T¨ onnies KD, Dornheim J. Stable Dynamic 3D Shape Models. In: ICIP; 2005. 2. Bergner S. Structural Deformable Models for Robust Object Recognition. Diplomarbeit. Fakult¨ at f¨ ur Informatik, Otto-von-Guericke-Universit¨ at Magdeburg; 2003. 3. Schild M, Pohle R, Brune K, Hess A. Semi-automatic Segmentation of the Left Ventricle in CINE MR Datasets by Linked Radial Active Model (LRAM). In: Bildverarbeitung f¨ ur die Medizin; 2005. 4. J¨ ahne B, Haussecker H, Geissler P, editors. Signal Processing and Pattern Recognition. vol. 2 of Handbook of Computer Vision and Applications. Academic Press; 1999. p. 125–151. 5. Dornheim J, Dornheim L, Preim B, T¨ onnies KD, Hertel I, Strauss G. Stable 3D Mass-Spring Models for the Segmentation of the Thyroid Cartilage. Otto-vonGuericke-Universit¨ at Magdeburg. Germany; 2005. 6. Seim H, Dornheim J. Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses. In: Bildverarbeitung f¨ ur die Medizin; 2006. 7. Dornheim L, T¨ onnies KD, Dixon K. Automatic Segmentation of the Left Ventricle in 3D SPECT Data by Registration with a Dynamic Anatomic Model. In: MICCAI; 2005.
Vergleich von Geschwindigkeitsfunktionen zur Segmentierung der Koronararterien aus CT-Volumina mit Front-Propagation-Algorithmen Thomas H. Stehle1 und Olivier Ecabert2 1
Lehrstuhl f¨ ur Bildverarbeitung, RWTH Aachen, 52056 Aachen Philips GmbH Forschungslaboratorien Aachen, 52066 Aachen Email:
[email protected]
2
Zusammenfassung. Der Zustand der Koronararterien wird immer ¨ ofter anhand von EKG-getriggerten Multislice-CT-Aufnahmen bewertet. Die Segmentierung, die f¨ ur eine Befundung ben¨ otigt wird, ist bei manueller Durchf¨ uhrung sehr zeitaufw¨ andig. Deshalb ist es von großem Interesse, diesen Vorgang zu automatisieren. Im folgenden Beitrag werden drei modellbasierte Geschwindigkeitsfunktionen beschrieben und verglichen, die zusammen mit dem Fast-Marching-Algorithmus eingesetzt werden k¨ onnen, um die Koronararterien automatisch zu segmentieren.
1
Einleitung
Die koronare Herzkrankheit ist die h¨ aufigste Todesursache in Deutschland und anderen westlichen L¨ andern. In Deutschland sind 2004 u ¨ ber 26% aller Todesf¨alle darauf zur¨ uckzuf¨ uhren [1]. Eine kosteng¨ unstige und den Patienten wenig belastende Untersuchungsmethode bietet die Computer-Tomographie. Dazu wird eine CT-Aufnahme des Herzens unter Gabe von Kontrastmittel durchgef¨ uhrt, so dass die Koronararterien hell gegen¨ uber dem umliegenden Gewebe erscheinen. F¨ ur die Befundung ist es zweckm¨ aßig, die Koronararterien zu segmentieren, um alle irrelevanten Bildinhalte ausblenden zu k¨ onnen. Dieser Vorgang dauert, wenn er manuell durchgef¨ uhrt wird, f¨ ur einen ge¨ ubten Benutzer bis zu zwei Stunden. Die Automatisierung dieses Vorgangs ist aufgrund der großen Zeit- und damit auch Kostenersparnis von großem Interesse.
2
Front-Propagation-Algorithmus: Fast-Marching
In diesem Abschnitt wird eine kurze, qualitative Beschreibung des Fast-Marching-Algorithmus gegeben. F¨ ur eine formale und umfassende Darstellung sei auf die Arbeiten von Sethian [2] und Deschamps [3] verwiesen. Der Fast-Marching-Algorithmus ist ein Verfahren, bei dem sich eine Front, ausgehend von einem Saatpunkt, entlang eines Mediums ausbreitet. Die Vorzugsrichtung, in der sich die Front ausbreitet, h¨ angt dabei von den Eigenschaften des
102
T.H. Stehle und O. Ecabert
Mediums ab. F¨ ur alle Nachbarpixel der Front wird mit Hilfe einer Geschwindigkeitsfunktion jeweils bestimmt, zu welchem Zeitpunkt sich die Front dorthin ausbreiten wird. Diese Information wird in einer sortierten Liste gespeichert und die Front jeweils in Richtung des Pixels ausgedehnt, dessen Ankunftszeit am kleinsten ist. Anschließend wird das Pixel aus der Liste entfernt und die Ankunftszeit in noch nicht betrachteten Nachbarpixeln berechnet und gespeichert.
3
Geschwindigkeitsfunktionen
In diesem Abschnitt werden drei verschiedene Geschwindigkeitsfunktionen vorgestellt, die innerhalb von Blutgef¨ aßen hohe Werte und außerhalb kleine Werte liefern sollen. Alle beschriebenen Verfahren beruhen auf der Annahme, dass es sich bei den Blutgef¨ aßen lokal um zylindrische Strukturen handelt, deren Grauwert l¨ angs des Gef¨aßes ann¨ ahernd konstant ist, w¨ahrend er senkrecht dazu einen starken Gradienten aufweist. 3.1
Vesselness-Filter
Die erste Geschwindigkeitsfunktion basiert auf dem Vesselness-Filter, das von Frangi in [4] eingef¨ uhrt wurde. Bei diesem Verfahren wird f¨ ur jeden Bildpunkt x die Hesse-Matrix ⎞ ⎛ gxx (x) gxy (x) gxz (x) (1) H(x) = ⎝ gyx (x) gyy (x) gyz (x) ⎠ gzx (x) gzy (x) gzz (x) berechnet. Dabei entsprechen die gij (x) (i, j ∈ {x, y, z}) den zweiten partiellen Ableitungen des Grauwert-Volumens am Punkt x. Die Eigenwerte der HesseMatrix geben Aufschluss u ¨ ber die Grauwertvariation entlang der entsprechenden Eigenvektoren. Seien o.B.d.A. die Eigenwerte aufsteigend sortiert, d. h. |λ1 | ≤ |λ2 | ≤ |λ3 |, dann ist ⎧ 0oder λ3 > 0 ⎪ ⎨ 0, falls λ2 > λ2 λ2 2 λ2 +λ2 +λ2 − 2 2 − 2|λ λ1 |β 2 V (x) = (2) − 1 2c22 3 2λ3 α 2 3 e 1 − e 1 − e , sonst ⎪ ⎩ eine Geschwindigkeitsfunktion, die innerhalb zylindrischer Objekte groß und ansonsten klein ist. Die Fallunterscheidung stellt sicher, dass es sich um ein helles Objekt auf dunklem Hintergrund handelt. Die ersten beiden Faktoren des zweiten Falles grenzen zylindrische Strukturen von Ebenen bzw. Sph¨aren ab, w¨ ahrend der dritte Faktor die St¨ arke der Grauwertvariation ber¨ ucksichtigt. α, β und c sind Gewichtungsfaktoren. 3.2
Cylinderness-Filter
Beim Cylinderness-Filter wird ein geometrisches Zylindermodell an das Grauwertvolumen angepasst und anschließend die Passgenauigkeit bewertet. Young
Vergleich von Geschwindigkeitsfunktionen
103
et al. haben dieses Verfahren in [5] zur Segmentierung der Beinarterien verwendet. Es werden daf¨ ur an den beiden Endfl¨ achen E1 und E2 des Zylinders senkrecht zur Zylinderachse unter verschiedenen Winkeln θi die Punkte P1i bzw. P2i mit den st¨ arksten Grauwert¨ uberg¨ angen von hell nach dunkel gesucht. Der neue Radius des Modells wird als arithmetisches Mittel der ermittelten Distanzen d1i und d2i zwischen den Mittelpunkten M1 bzw. M2 der Endfl¨achen und den gefundenen Punkten P1i bzw. P2i definiert. Durch Schwerpunktbildung der alt man eine aktualisierte Sch¨atzung der MittelpunkPunkte P1i bzw. P2i erh¨ te M1 bzw. M2 und damit auch eine aktualisierte Sch¨atzung der Orientierung (Verbindungsvektor der Mittelpunkte). Die Anpassung des ersten Zylinders im Saatpunkt geschieht u andige Suche. Bei der Anpassung in einem ¨ber eine vollst¨ darauffolgenden Punkt werden als Startwerte die Parameter des Zylindermodells des Vorg¨ anger-Bildpunktes verwendet. Als G¨ utekriterien f¨ ur die Passgenauigkeit eignen sich die mittlere Summe F der Gradientenbetr¨ age in den Punkten P1i und P2i sowie der mittlere residuale Fehler RC zwischen dem aktualisierten Zylindermodell und den Punkten P1i und P2i . Da die Front in der Mitte des Blutgef¨ aßes am schnellsten wachsen soll, sinkt die Geschwindigkeit exponentiell mit dem Abstand D des Front-Punktes zur Zylinderachse. Dies f¨ uhrt zur Geschwindigkeitsfunktion 1 · e−D/δ (3) C(x) = e−RC /γC · 1 − 1 + e(F −φ0 )/φ1 Dabei sind γC , φ0 , φ1 und δ Gewichtungsfaktoren. 3.3
Grauwertprofil-Analyse
Bei der Grauwertprofil-Analyse werden die Grauwerte entlang eines Strahls betrachtet, der senkrecht durch das Blutgef¨ aß verl¨auft. Diese Richtung kann z. B. senkrecht zum Eigenvektor zum betragsm¨ aßig kleinsten Eigenwert der HesseMatrix oder senkrecht zur Achse eines angepassten Zylindermodells gew¨ahlt werden. Unter der Annahme, dass eine Parabel geeignet ist, die Grauwerte entlang eines Profils zu beschreiben, das durch ein Blutgef¨aß verl¨auft, wurde das folgende Analyseverfahren entwickelt. Nach einer ¨ aquidistanten Abtastung der Grauwerte entlang des Profils werden mit Hilfe eines Least-Squares-Fittings die Koeffizienten einer Parabelgleichung g(x) = ax2 + bx + c bestimmt. Anschließend wird der residuale Fehler RG zwischen Parabel und den abgetasteten Werten berechnet und ¨ ahnlich wie beim Cylinderness-Filter die Distanz D des aktuellen Front-Bildpunktes zum Extremum der Parabel (Modellmitte) zur Definition der Geschwindigkeitsfunktion 0, falls a > min(0, Schwellwert) (4) G(x) = 1 · e−D/δ , sonst 1+e(RG −γG0 )/γG1 verwendet. Dabei sind δ, γG0 und γG1 Einstellungs- und Gewichtungsfaktoren. Ist der Parameter a der Parabelgleichung positiv, so ist diese nach oben
104
T.H. Stehle und O. Ecabert
ge¨ offnet und kann demzufolge kein Blutgef¨ aß repr¨asentieren. Ebenso kann f¨ ur betragsm¨ aßig kleine negative a davon ausgegangen werden, dass im momentan betrachteten Bildpunkt kein Blutgef¨ aß vorliegt. Diese Sachverhalte werden im ersten Fall von Gl. (4) behandelt.
4
Segmentierung
Die oben genannten Verfahren wurden auf 7 Datens¨atzen getestet. Das erste Kriterium, anhand dessen die G¨ ute einer Segmentierung bewertet wurde, war die relative L¨ ange des automatisch segmentierten Gef¨aßes im Vergleich zu einem handsegmentierten Gef¨ aß. Da keines der Verfahren spezielle Methoden zur Er¨ kennung und Uberwindung von Stenosen enth¨ alt, wurde nach dem Stehenbleiben des vollautomatischen Verfahrens pro Hauptgef¨aßzweig ein weiterer Saatpunkt manuell angegeben. Das zweite Kriterium war die mittlere Abweichung der automatisch gefundenen Mittellinie des Gef¨ aßes im Vergleich zur handsegmentierten Mittellinie und die zugeh¨ orige Standardabweichung. Bei jedem der drei Verfahren wurde neben der Modellinformation ein grauwertbasierter Schwellwert verwendet: Wenn der Grauwert unter 90% des mittleren Grauwerts des Herzmuskels sank, wurde die Geschwindigkeit auf 0 gesetzt. 4.1
Vesselness-Filter
Die Parameter wurden bei diesem Verfahren folgendermaßen festgelegt: α = 1, β = 1 und c = 10. Dies bedeutet, dass die morphologische Information mehr gewichtet wurde als die eigentliche St¨ arke der Grauwertvariation. Dar¨ uber hinaus wurden noch ein Schwellwert verwendet: Wenn V (x) < 0, 4 zutraf, wurde die Geschwindigkeit auf 0 gesetzt. Mit Hilfe des so eingestellten Vesselness-Filters segmentierte der Fast-Marching-Algorithmus im Mittel eine L¨ ange von etwa 53% der Koronararterien vollautomatisch. Mit einmaliger Interaktion steigerte sich das Ergebnis auf 76% des Gef¨aßbaumes. Die mittlere Abweichung der Mittellinie betrug dabei 0,84 mm bei einer Standardabweichung von 0,55 mm. 4.2
Cylinderness-Filter
Beim Cylinderness-Filter wurden Grauwert¨ uberg¨ange unter 16 verschiedenen Winkeln gesucht. Die L¨ ange des Zylindermodells wurde im Saatpunkt mit 3 mm initialisiert und in den folgenden Punkten als Mittelwert von L¨ange und Durchmesser des vorherigen Modells gew¨ ahlt. Die restlichen Parameter wurden wie folgt festgelegt: γC = 0, 2 mm, φ0 = 260 HU (Hounsfield-Units), φ1 = 20 HU und δ = 0, 2 mm. Der Fast-Marching-Algorithmus lieferte hier ohne Benutzerinteraktion eine relative segmentierte L¨ ange von etwa 43%, mit der Angabe eines weiteren Saatpunktes erh¨ ohte sich dies auf etwa 60%. Die Abweichung der Mittellinien betrug hierbei 0,81 mm bei einer Standardabweichung von 0,56 mm.
Vergleich von Geschwindigkeitsfunktionen
4.3
105
Grauwertprofil-Analyse
Die L¨ ange des Grauwertprofils wurde in den Tests auf 5 mm konstant festgelegt. Da sich der Durchmesser der Blutgef¨ aße jedoch ver¨andert, wurden die entsprechenden Gewichtungsfaktoren mit γG0 = 15 HU und γG1 = 8 HU nicht sonderlich restriktiv gew¨ ahlt. Der Parameter δ wurde wie beim Cylinderness-Filter auf 0,2 mm festgelegt. Der Schwellwert aus Gl. (4) wurde auf −0, 5 gesetzt. Hier wurde ohne Benutzerinteraktion im Mittel etwa 70% eines Gef¨aßbaumes automatisch gefunden. Mit einmaliger Interaktion konnte das Ergebnis auf etwa 80% gesteigert werden. Die mittlere Abweichung von der Mittellinie betrug etwa 0,86 mm bei einer Streuung von 0,68 mm.
5
Zusammenfassung und Vergleich
Es wurden drei m¨ogliche modellbasierte Geschwindigkeitsfunktionen vorgestellt, die zur Segmentierung der Koronararterien mit Front-Propagation-Algorithmen verwendet werden k¨ onnen. Alle hier beschriebenen Verfahren waren in der Lage, der Verzweigung der linken Koronararterie in den hinteren und vorderen Ast korrekt zu folgen. Ver¨ zweigungen in kleinere Aste konnten jedoch von keinem Verfahren zuverl¨assig segmentiert werden. Die beiden Geschwindigkeitsfunktionen Vesselness-Filter und Grauwertprofil-Analyse lieferten nach einmaliger Interaktion vergleichbare Ergebnisse sowohl bei der Abweichung der Mittellinien als auch bei der Segmentierungsl¨ange. Die ben¨otigte Rechenzeit ist beim Vesselness-Filter aufgrund der Faltungsoperationen und der Eigenwertanalyse wesentlich h¨ oher als bei der Grauwertprofil¨ Analyse. Das Cylinderness-Filter lieferte bei der Ubereinstimmung der Mittellinien das beste Ergebnis, konnte aber nur einen ungen¨ ugenden Teil der Koronarien segmentieren. Deswegen ist die Grauwertprofil-Analyse unter den oben beschriebenen Bedingungen die geeignetste Geschwindigkeitsfunktion.
Literaturverzeichnis 1. Statistisches Bundesamt. Gesundheitswesen – Todesursachen in Deutschland 2004, Fachserie 12, Reihe 4; 2005. 2. Sethian JA. A fast marching level set method for monotonically advancing fronts. Proc of the National Academy of Sciences of the USA 1996;93(4):1591–1595. 3. Deschamps T. Curve and Shape Extraction with Minimal Path and Level-Sets techniques - Applications to 3D Medical Imaging. Ph.D. thesis. Universit´e Paris-IX Dauphine. Place du mar´echal de Lattre de Tassigny, 75775 Paris Cedex; 2001. 4. Frangi AF, Niessen WJ, Vincken KL, Viergever MA. Multiscale Vessel Enhancement Filtering. In: MICCAI. London, UK: Springer; 1998. 5. Young S, Pekar V, Weese J. Vessel Segmentation for Visualization of MRA with Blood Pool Contrast Agent. In: MICCAI. Utrecht, The Netherlands: Springer; 2001.
Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten in CT-Daten des Halses Heiko Seim1 , Jana Dornheim1 und Uta Preim2 1
Institut f¨ ur Simulation und Graphik, Otto-von-Guericke-Universit¨ at Magdeburg 1 Klinik f¨ ur diagnostische Radiologie, Universit¨ atsklinikum Magdeburg Email:
[email protected]
Zusammenfassung. Mit dem Ziel, die pr¨ aoperative Einsch¨ atzung der Operabilit¨ at von Hals-Lymphknoten-Ausr¨ aumungen (Neck Dissections) durch eine 3D-Darstellung zu verbessern, bedarf es einer Methode, um Lymphknoten effizient zu segmentieren. Hierzu wird in dieser Arbeit ein stabiles 3D-Feder-Masse-Modell pr¨ asentiert, welches eine direkte Integration in einen Visualisierungsprozess erlaubt. Dabei werden erstmals Grauwert-, Form- und Kanteninformationen in einem Modell kombiniert. Ergebnisse einer Evaluierung werden ebenfalls diskutiert.
1
Problemstellung
Bei einer Metastasierung der Lymphknoten im Bereich des Halses wird in vielen F¨ allen eine Hals-Lymphknoten-Ausr¨ aumung (Neck-Dissection) durchgef¨ uhrt. Da zu deren Planung in den meisten F¨ allen lediglich eine Sichtung der 2DSchichtbilder erfolgt, ist eine Einsch¨ atzung der anatomischen Topographie oft sehr schwierig. Eine dreidimensionale Visualisierung relevanter Strukturen soll die pr¨aoperative Einsch¨ atzung der Operabilit¨ at des Patienten verbessern. Hierf¨ ur sind Segmentierungen der zu visualisierenden Strukturen notwendig. Die Lymphknotensegmentierung ist dabei einer der zeitaufwendigsten Arbeitsschritte [1], der bisher nur auf manuellem Wege zuverl¨ assig auszuf¨ uhren war.
2
Stand der Forschung
Rogowska et al. [2] stellen nach der Analyse elementarer Segmentierungsverfahren (Wasserscheidentransformation, Schwellwertverfahren, Aktive Konturen) fest, dass die Lymphknotensegmentierung nur mit einem hohen Maß an Modellwissen zuverl¨ assig m¨ oglich ist. Eine Variante des Fast-Marching-Verfahrens ¨ wurde in [3] vorgestellt. Das bekannte Problem der Ubersegmentierung durch Auslaufen konnte hierbei nur durch einen hohen Grad an Benutzerinteraktion (Setzen einer Barriere) gel¨ ost werden. Komplexeres Modellwissen konnte in [4] in Form einer dreidimensionalen aktiven Oberfl¨ ache formuliert werden, die ausgehend von einem Startpunkt kontinuierlich w¨ achst. Obwohl sich Objekte in stark
Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten
107
Abb. 1. Schematischer 2D-Querschnitt des 2-Fronten-Modells (links). Jeweils ein Masseknoten mit Gradientensensor und einer mit Intensit¨ atssensor bilden durch eine sehr steife Federverbindung eine funktionelle Einheit (rechts).
Feder mit geringer Steifheit Feder mit hoher Steifheit
Masse mit Gradientensensor Masse mit Intensitätssensor
idealisierten Phantomdaten erfolgreich segmentieren ließen, wurde eine Untersuchung auf realen Daten nicht vorgenommen, wodurch eine Prognose f¨ ur einen praktischen Einsatz nicht m¨ oglich ist.
3
Methoden
F¨ ur das von uns entwickelte Verfahren kommen Stabile 3D-Feder-Masse-Modelle [5] (auch Stable 3D-Mass-Spring-Models - SMSMs) zum Einsatz, da sich mit ihnen das f¨ ur die Lymphknotensegmentierung notwendige komplexe Modellwissen (Grauwertbereich, Kanteninformation, Formwissen) in einem einzigen Modell beschreiben l¨ asst. Herk¨ ommliche Feder-Masse-Modelle verf¨ ugen lediglich u ¨ ber Federkr¨ afte, um u ande verbundener Masseknoten die Ausgangs¨ ber die Abst¨ form zu beschreiben. Dadurch war es bisher nicht m¨oglich, lokal vernetzte FederMasse-Netze zur stabilen Segmentierung in h¨ oheren Dimensionen zu verwenden. SMSMs bieten eine zus¨ atzliche formerhaltende Modellkomponente, die bestrebt ist, die relativen Ruherichtungen aller Federn aufrecht zu erhalten (Torsionskr¨ afte). Um das stabile 3D-Feder-Masse-Modell den Bilddaten anzupassen, werden Sensoren verwendet. Jeweils ein Sensor ist r¨ aumlich mit einem Masseknoten verkn¨ upft und erzeugt eine auf ihn wirkende Kraft, die sich aus den Bildmerkmalen ableitet. F¨ ur die Segmentierung von Lymphknoten bieten sich zwei Sensortypen an: richtungsgewichtete 3D-Gradientensensoren [6] zur Detektion der Lymphknotenkontur in den Bilddaten sowie Intensit¨ atssensoren, die auf das homogene Innere von Lymphknoten reagieren. 3.1
Aufbau des 2-Fronten-Modells
Das entwickelte Modell besteht aus einer doppelten Kugelstruktur zweier identischer SMSMs, die sich lediglich in ihren Radien leicht unterscheiden [7]. Dadurch entstehen eine ¨ außere Front, auf der Masseknoten mit Gradientensensoren angeordnet sind, und eine innere Front, die u ¨ ber Masseknoten mit Intensit¨atssensoren
108
H. Seim, J. Dornheim und U. Preim
Tabelle 1. Vergleich der Segmentierungsergebnisse der manuellen und der automatischen Segmentierung mit dem Goldstandard (mittlere Diskrepanz f¨ ur alle Lymphknoten eines Datensatzes). Datensatz Anwender 1 Fehlsegmentierung (%) Anwender 2 Modell Anwender 1 Hausdorff-Distanz (mm) Anwender 2 Modell Anwender 1 Mittlere Randdistanz (mm) Anwender 2 Modell
1 45,88 45,63 44,38 3,513 4,113 3,913 0,420 0,488 0,421
2 69,38 65,25 50,75 2,401 2,644 2,350 0,353 0,406 0,309
3 43,25 50,88 51,38 3,238 3,225 3,825 0,401 0,444 0,596
4 35,13 29,88 51,75 1,213 1,150 1,700 0,311 0,271 0,583
5 37,00 33,13 38,88 1,575 1,725 1,925 0,296 0,279 0,416
verf¨ ugt (siehe Abb. 1). Durch die Kugelform des Modells wird dar¨ uber hinaus die kugelig bis ellipsoide Erscheinungsform der Lymphknoten modelliert. Gradientensensoren sind hierbei f¨ ur eine Anpassung des Modells an die Lymphknotenkontur zust¨andig, w¨ ahrend die Intensit¨ atssensoren bestrebt sind, sich in Richtung lymphknotentypischer Grauwerte zu bewegen oder dort zu verweilen. Zwischen den beiden Fronten wird eine enge Verkn¨ upfung hergestellt, indem je ein Paar korrespondierender Gradienten- und Intensit¨atssensoren mit sehr steifen Federn verbunden wird. Das Resultat ist eine funktionelle Einheit von Gradienten- und Intensit¨ atsknoten, die sowohl einen gerichteten Gradientenverlauf als auch das homogene Innere von Lymphknoten ber¨ ucksichtigt. Die Steifheit der Federn zwischen Sensoren gleichen Typs wird nahe Null gew¨ahlt, um eine variable Gr¨ oßenanpassung des Modells zuzulassen. Das 2-Fronten-Modell bietet somit Formtreue (Torsionskr¨ afte) bei hoher zu erreichender Gr¨oßenvarianz (schwache Federsteifheit f¨ ur Federn innerhalb einer Front). 3.2
Ablauf der Segmentierung
Zur Segmentierung wird das Modell mit einem Initialdurchmesser von 3mm in den Daten platziert, da kleinere Lymphknoten klinisch nicht relevant sind. Hierzu kann der Anwender einen Punkt im Inneren des Lymphknotens markieren, an den das Modell verschoben wird. Um eine g¨ unstigere Startkonfiguration zu erhalten, ist es alternativ m¨ oglich, zwei gegen¨ uberliegende Punkte auf der Lymphknotenkontur zu definieren. In diesem Fall wird das kugelige Modell zwischen diesen zwei Punkten positioniert, wobei der Punktabstand als Durchmesser gew¨ ahlt wird. Anschließend wird der f¨ ur den ausgew¨ahlten Lymphknoten typische Grauwert bestimmt. Hiermit kann f¨ ur die Ausgangsdaten eine Fensterung des Intensit¨ atsbereiches festgelegt werden.
4
Ergebnisse
F¨ ur die Evaluierung lagen uns 11 CT-Datens¨ atze vor, in denen klinisch relevante Lymphknoten auftraten. In einer eingehenden qualitativen Analyse sollte gekl¨art werden, inwieweit die Modellkomponenten ihre Funktion im Segmentierungsprozess erf¨ ullen. In einem zweiten quantitativen Evaluierungsschritt wurden in f¨ unf
Ein 2-Fronten-Feder-Masse-Modell zur Segmentierung von Lymphknoten
109
Abb. 2. Gr¨ oßenanpassung einer sehr ungenauen Initialisierung u ¨ ber die Zeit: Axiale Ansicht (oben) und zugeh¨ orige 3D-Ansicht (unten).
CT-Datens¨ atzen Varianzen zwischen manuellen Segmentierungen von drei erfahrenen Anwendern und Segmentierungen des Modells untersucht. Hierzu ließ sich eine von einem Radiologen verifizierte Referenzsegmentierung als Goldstandard verwenden. 4.1
Qualitative Analyse
Es zeigte sich, dass die entwickelten Modellkomponenten nur in ihrer Gesamtheit ein stabiles Segmentierungsmodell ergeben. So liegt mit den Torsionskr¨aften ein sehr wichtiger Faktor f¨ ur die Formstabilit¨ at, variable Gr¨oßenanpassung (siehe Abb. 2) sowie die organische Extrapolation fehlender Bildinformationen vor. Zus¨ atzlich konnte gezeigt werden, dass die Verwendung von Intensit¨atssensoren die Ausdehnung in Strukturen mit anderem Grauwert verhindert, w¨ahrend die Einbeziehung der Gradientenrichtung Bilddaten reduziert, die das Modell zu stark ablenken k¨ onnen. 4.2
Quantitative Analyse
F¨ ur diese Untersuchung wurden aus jedem Datensatz acht Lymphknoten segmentiert, wobei jeweils zwei einer Problemklasse zugeordnet werden konnten: isoliert liegende Lymphknoten, Lymphknoten mit starken Gradienten in der direkten Umgebung, Lymphknoten mit Unterbrechungen im Konturverlauf (z.B. an Gewebe mit gleichem Grauwert) und stark deformierte Lymphknoten. Es zeigte sich eine starke Korrelation der Varianzen der Modellsegmentierung und der Segmentierungen der Testanwender (siehe Tab. 1). Die gr¨oßten Diskrepanzen entstanden durch schicht¨ ubergreifende Fehlsegmentierungen. Dies galt sowohl f¨ ur die 2-Fronten-Segmentierung, als auch f¨ ur die manuelle Segmentierung. F¨ ur einzelne Problemklassen zeigten sich ebenfalls keine signifikanten Unterschiede.
5
Diskussion
Die starke Korrelation der Varianzen bei manueller und der Modell-Segmentierung lassen vermuten, dass mit dem 2-Fronten-Modell ein Verfahren ent-
110
H. Seim, J. Dornheim und U. Preim
Abb. 3. Lymphknotensegmentierungen mit dem 2-Fronten-Modell (weiße Kontur). Zus¨ atzlich ist der Goldstandard eingeblendet (hellgraue Kontur).
wickelt wurde, das eine zuverl¨ assige semi-automatische Lymphknotensegmentierung erm¨ oglicht (siehe Abb. 3). Die internen Modellkr¨afte garantieren eine hohe Formstabilit¨at bei gleichzeitiger Flexibilit¨at hinsichtlich der Modellgr¨oße. Dadurch wird es m¨oglich, mit einer sehr ungenauen Startinitialisierung den kompletten Lymphknoten zu segmentieren. W¨ ahrend der Evaluierung zeigte sich eine Tendenz des 2-Fronten-Modells zur Untersegmentierung gegen¨ uber manuellen Segmentierungen. Dieses Verhalten konnte bereits in [5] beobachtet werden und bedarf einer klinischen Studie zur weitergehenden Untersuchung. Nach abgeschlossener Segmentierung erlaubt das 2-Fronten-Modell durch seine geometrische Beschaffenheit eine direkte Integration in eine 2D- oder 3D-Visualisierung. Dabei bleibt die nat¨ urliche ellipsoide Form von Lymphknoten sehr gut erhalten. Eine nachtr¨ agliche Gl¨ attung ist nicht notwendig. Eine Ausdehnung der Methode auf andere K¨ orperregionen z.B. Becken liegt nahe, da sich dort die Lymphknoteneigenschaften kaum unterscheiden. Danksagung. Diese Arbeit ist Teil des von der DFG gef¨orderten Schwerpunktprogramms Medical Navigation and Robotics“ (1124, PR 660/3-1). ”
Literaturverzeichnis 1. Hintze J, Cordes J, Preim B, et al. Bildanalyse f¨ ur die pr¨ aoperative Planung von Neck Dissections; 2005. p. 11–15. 2. Rogowska J, Batchelder K, Gazelle G, et al. Evaluation of Selected Two-Dimensional Segmentation Techniques for Computed Tomography Quantitation of Lymph Nodes. Investigative Radiology 1996;13:138–145. 3. Yan J, Zhuang T, Zhao B, et al. Lymph node segmentation from CT images using fast marching method. Comput Med Imaging Graph 2004;28(1-2):33–38. 4. Honea D, Snyder WE. Three-Dimensional Active Surface Approach to Lymph Node Segmentation. In: SPIE Medical Imaging. vol. 3661; 1999. p. 1003–1011. 5. Dornheim L, T¨ onnies KD, Dornheim J. Stable Dynamic 3D Shape Models. In: ICIP’05: International Conference on Image Processing; 2005. 6. Dornheim L, Dornheim J, Seim H, et al. Aktive Sensoren: Kontextbasierte Filterung von Merkmalen zur modellbasierten Segmentierung; 2006. 7. Seim H. Modellbasierte Segmentierung von Lymphknoten in CT-Daten des Halses. Master’s thesis. Otto-von-Guericke-Universit¨ at Magdeburg; 2005.
Femur Detection in Radiographs Using Template-Based Registration Jan Schreiber1 , Rainer Schubert1 and Volker Kuhn2 1
Institute for Biomedical Image Analysis, University for Health Sciences, Medical Informatics and Technology, 6060 Hall in Tyrol, Austria,
[email protected] 2 Department of Traumatology and Sportsmedicine (Director: Prof. Michael Blauth), Medical University Innsbruck, 6020 Innsbruck, Austria,
[email protected]
Abstract. This article describes a method for the automatic detection of the proximal femur in radiographs using a template-based mutual information registration method. It will be part of a planned, larger system for automated estimation of osteoporosis in the femoral neck. Our multi-step optimization process achieves a successful registration rate of 70% to 95%.
1
Introduction
Osteoporosis is a metabolic disease of the skeletal system, which leads to several million fractures every year, mainly with elderly women. Beside the spine and the distal radius, the femoral neck is particularly affected. This leads to a substantial mobility restriction of the patients.
2
Motivation
The treatment of a fracture of the femoral neck depends on the type of the fracture and the bone quality. Commonly, the estimation of bone quality of the acutely injured patient has to take place with a radiograph of the pelvis, which is made by routine if a fracture of the femoral neck is suspected. The evaluation is carried out by a physician and depends to a considerable degree on the quality of the radiograph as well as the experience of the physician. This work is part of a larger project with the aim of providing a sophisticated decision support system for surgeons when selecting the appropriate operative procedure. Methods of pattern recognition will be used for an application that estimates the grade of osteoporosis of patients with hip fractures on the basis of radiographs. It will integrate seamlessly into clinical work-flow. One requirement for the osteoporosis analysis is the automatic localization of the femur in order to place regions of interest (ROI) reproducibly onto the radiograph. This work presents a method, results and evaluation for a robust detection of the un-fractured femur in digital hip overview radiographs.
112
3
J. Schreiber, R. Schubert and V. Kuhn
State of Research
Due to the superimpositions in radiographs and variations in shape and position of the patient, segmentation of the femur in radiographs is a challenging task. The most promising methods described so far have been published by Behiels [1, 2] and base on active shape models and show a success-rate of approximately 70%. One of the main causes for the missing 30% seems to be the disregard of variations in position. Consequently, Behiels suggests enhancing the model with these variations. The risk of getting an unspecific model may increase by the mixture of the independent variations in shape and position. The literature describes different methods for the analysis of regions of interest in radiographs to estimate the grade of osteoporosis. Publications (e.g. [3, 4]) focus on gray-level, structure, texture or fractal analysis and simply use manually positioned regions. The manual placement of regions of interest leads to inter- and intra-observer variations. Fully automatic analysis of osteoporosis from radiographs is already possible with commercial systems. Their drawback is the restriction to measurements of peripheral bones, e.g. the hand, that are in a considerable distance to the fractured site.
4
Benefit
A decision support system might ease the pre-operative planning, supporting the surgeon in the decision for an appropriate implant and operation method depending on the actual local quality of the fractured osteoporotic bone.
5
Methods
The primary aim of our work is the correct position of regions of interest onto radiographs. As the analysis in the fractured side is difficult and questionable, the regions for the analysis of osteoporosis will be placed at the contralateral un-fractured femur. This is valid, because there is a good correlation of the mechanical properties of the bone between both sides [5]. To achieve this, a pixel-precise segmentation of the femur is not necessary. We suggest to register a template onto the radiograph to perform the localization of the femur. In order to detect the proximal femur, a sample radiograph serves as a template and is registered with a patient’s radiograph. Our tests with different intensity based registration metrics showed the best results when using mutual information as registration metric. This, for a monomodal registration problem surprising outcome, finds its explanation in the projective characteristics of hip overview radiographs. The brightness of the bony structure in the femur varies considerably due to loss of bone mineral density. Additionally, the gray values of soft tissue surrounding the bone vary extensively with the patient’s constitution which leads to different ratios in intensities of bony and soft tissue areas. A special challenge in the detection of the femur is a pendulous abdomen that sets
Femur Detection in Radiographs Using Template-Based Registration
113
Fig. 1. The main tasks of the processing pipeline. Each task is subdivided in specialized processing steps. Global, regional and local registration use different regions of the images and process them in four zoom levels to achieve a more robust registration.
Global Registration
Regional Registration
Local Registration
Placing ROIs
a heavy bias over the proximal femur region in some images. These challenges showed to be solved best by a multimodal registration method. The information about the location of the regions of interest, contained in the template, is mapped onto the radiograph. These regions of interest, that may be placed e.g. in accordance with the classification of Singh et al. [6], allow a statistical analysis for the estimation of osteoporosis. The registration of the template with the radiograph is a multi-step optimization process (fig. 1). In order to start this process, the physician has to assign the system the side of the un-fractured femur. With this information, the software uses the template for the specified side and starts a three-step registration process. First, the global registration maps a complete radiograph with the pelvis and both femura to gain a principle location and a basic adaptation to the patient’s size. The following regional registration uses a clipping of the template image that surrounds the assigned, un-fractured proximal femur roughly and handles variations in flexion, adduction and rotation. The local registration finally concentrates on a very narrow region of the proximal femur and is responsible for the fine-tuning of the registration. For the improvement of stability, every registration step incorporates a fourlevel image scale pyramid. With succeeding pyramid-levels, the radiograph is successively increased in resolution, until the registration is executed with the full resolution of the radiograph. Additionally, in each of these levels the degrees of freedom of the optimizer are adapted. This means that each level’s registration starts with an almost pure translation transformation. The range for rotation and uniform scaling is increased incrementally so that in the end all three transformations apply with their full weight. The combination of translation, rotation and uniform scaling showed the best registration results with a minimum of anatomically impossible transformations. The described methods have been implemented in a clinically usable application. The software toolkit ITK [7] provided the framework for data handling and image processing algorithms. It enabled us to test and implement different metrics, methods and strategies in a very flexible way.
114
J. Schreiber, R. Schubert and V. Kuhn
Fig. 2. (a), (b) Result images categorized in groups A and B. The 3 dots in the femoral head and neck helped to decide if potential regions of interest might be within the femur. (c) Accumulated number of radiographs registered in categories A-X per template.
(a) Category A
6
(b) Category B
(c)
Results and Discussion
In order to verify the quality of the processing pipeline, 195 radiographs, obtained from Innsbruck University Hospital (courtesy of Prof. Jaschke), have been registered with 15 different templates. The templates are a random sample of these radiographs. In order to verify the processing pipeline’s output, the 2925 results have been analyzed by expert visual inspection and were categorized in 5 groups: A: The outline of the template image matches perfectly the contour of the femur. B: The outline of the template image is not perfectly aligned with the contour of the femur but is close enough to place ROIs correctly onto the femur. C: The outline of the template is related to the contour of the femur but the mapping is not sufficient for a good placement of ROIs. F: The outline of the template was placed somewhere in the image, no evident relation with the contour of the femur can be seen. X: The registration failed. Figures 2a and 2b show example images of successful registrations categorized as A and B. Our method showed to be robust even with artifacts from implants and extremely varying image quality. We succeeded in placing fields of measurement objectively and reproducibly in over 70% of these 195 samples of radiographs using template T33L (fig. 2c). This is in the same range of success as Behiels’ method [2] using active contours. These 70% were reached with a single template. Taking variations of shape into account by using the best out of 4 different templates (T33L, T241L, T198L, T05L), a success rate of over 95% has been achieved.
Femur Detection in Radiographs Using Template-Based Registration
115
So far, there is no automatic method to determine which of the four templates shows the best registration because the metric value of mutual information is not comparable over different registrations, only statistical tendencies have been noticed. A manual inspection of the four registration results should be of little effort for the physician. As the regions of interest have not yet been analyzed for osteoporosis, it is not yet possible to estimate the difference in the osteoporosis assessment for different templates with little variations in the registration quality. Depending on the size of the images and the combination of template and patient’s radiograph, the automatic process of matching these two images takes about 1.5 minutes for a 2828 × 2320 pixels image on a 1.8 GHz P4 computer. In future work, we want to consider both, positional variations and interindividual shape variations by using a 3D shape model for the generation of the templates. We anticipate that this extends the method to be able to correctly register radiographs, which have been taken when the patient has not been positioned optimally. This might improve the success rate of the method to a level where it can be implemented into clinical software. Acknowledgements. This work has been supported by the AO Development Institute, Davos and health information technologies tirol (HITT).
References 1. Behiels G, Vandermeulen D, Suetens P. Statistical Shape Model-based Segmentation of digital X-ray Images. In: MMBIA, IEEE; 2000. p. 61–68. 2. Behiels G, Maes F, Vandermeulen D, Suetens P. Evaluation of image features and search strategies for segmentation of bone structures in radiographs using Active Shape Models. Med Image Anal 2002;6(1):47–62. 3. Link TM, Majumdar S, Grampp S, Guglielmi G, van Kuijk C, Imhof H, et al. Imaging of trabecular bone structure in osteoporosis. Eur Radiol 1999;9(9):1781–8. 4. Gregory JF, Stewart A, Undrill PE, Reid DM, Aspden RM. Identification of hip fracture patients from radiographs using Fourier analysis of the trabecular structure: a cross-sectional study. BMC Medical Imaging 2004;4(4). 5. Eckstein F, Wunderer C, Boehm H, Kuhn V, Priemel M, Link TM, et al. Reproducibility and side differences of mechanical tests for determining the structural strength of the proximal femur. J Bone Miner Res 2004;19:379–385. 6. Singh M, Nagrath AR, Maini PS. Changes in trabecular pattern of the upper end of the femur as an index of osteoporosis. J Bone Joint Surg Am 1970;52(3):457–467. 7. Yoo TS, Ackerman MJ, Lorensen WE, Schroeder W, Chalana V, Aylward S, et al. Engineering and Algorithm Design for an Image Processing API: A Technical Report on ITK – The Insight Toolkit. In: In Proc. of Medicine Meets Virtual Reality; 2002. p. 586–592.
A Statistical Geometric Model of the Heart Jens von Berg and Cristian Lorenz Philips Forschungslaboratorien, Abteilung Technische Systeme, 22335 Hamburg Email: {Jens.von.Berg,Cristian.Lorenz}@philips.com
Abstract. A comprehensive model of the end–diastolic human heart is presented that covers multiple surfaces like those of the four chambers and the attached vessels. It also contains the three main coronary arteries and a set of 25 anatomical landmarks. The model was adapted to fit 27 clinical multi–slice computed tomography images thus reflecting the anatomical variability to be observed in that sample. The statistical model is intended to provide a priori information for automated diagnostic and interventional procedures. A number of experiments was performed to determine the accuracy of model–based predictions done on unseen cardiac images. Using an additional deformable surface technique, the model allows for determination of all chambers and the attached vessels on the basis of given anatomical landmarks with an average accuracy of 1.1 mm. After such an individualization of the model by surface adaptation the centreline of the three main coronary arteries may be estimated with an average accuracy of 5.2 mm.
1
Introduction
Diagnosis and therapy of cardiac diseases is one of the major issues of today’s medicine. Imaging of the cardiac anatomy is addressed by virtually all medical imaging modalities and a considerable portion of clinical interventions concern the heart. From this context arises firstly a demand for preferably non–invasive, accurate diagnosis procedures and secondly a demand for preferably minimally invasive therapeutic procedures. Limited health–care budgets in both fields call for efficient and as much as possible automated procedures. One attempt to facilitate these requirements is the intense use of cardiac anatomical domain knowledge within the related computerized procedures.
2
Related Work
Model based cardiac evaluation procedures have been described for all 2D, 3D or 4D imaging modalities that are capable of imaging the heart, such as 3D echocardiography [1, 2], magnetic resonance tomography (MRT) [3, 4], single– photon emission computed tomography (SPECT) [5], positron emission tomography (PET), X–ray [6], and X–ray Multi–slice computed tomography (MSCT) [7]. As reviewed in [8], most work on 3D images described the left ventricle only that is clearly visible in all imaging modalities. In recent years also the right ventricle
A Statistical Geometric Model of the Heart
117
and the atria have been included in some cardiac models, extracted from cardiac MRT scans [9, 10] or MSCT [11]. Image guidance from pre–operative scans is desired during interventions at the left atrium [12]. Multi–slice computed tomography (MSCT) provides images of comparable or even higher spatial resolution than MRT and allows for a fine delineation of the four chambers as well as the trunks of the attached arteries and veins. Considerable less literature is available concerning modelling of the coronary arteries, despite their clinical importance and various attempts for automated or semi–automated segmentation. Dodge et al. reported measurements of the coronary artery locations and diameters based on bi–planar X–ray fluoroscopy data [13]. X–ray fluoroscopy is the gold–standard for coronary artery imaging and reconstruction [14].
3
Contribution
We present a statistical geometric model of the heart that covers the surfaces of the main cavities (atria and ventricles), the trunks of the attached vessels (aorta, pulmonary artery, vena cava, and pulmonary veins), as well as the left myocardium. Although the location of coronary arteries on the ventricles may vary between subjects, the course of the main three coronary arteries can be covered well with a parametric statistical model [15]. We included their centrelines the comprehensive model. A mean model was built by co–registration of manually or semi–automatically performed expert–delineations for 27 end–systolic cardiac data sets. In addition to surfaces and coronary centrelines, a set of 25 anatomical landmarks was manually depicted in the training images serving as a reference frame and for model initialisation and cross–validation. Model individualization is enabled by the automated adaptation of the surface model to an unseen MSCT image by a shape constrained deformable surface model method.
4
Methods
While the triangular multi–surface model (Fig. 1 left) was constructed in a bootstrap fashion using clinical MSCT images [11], the scheme of the coronary model was taken from [13] and it was individualized to the same MSCT training images. As manual expert surface delineation was achieved by deformation of a given model template, a Procrustes analysis could be done by point–based registration using either a rigid (6 degrees of freedom, DOF), a similarity (7 DOF), or an affine (12 DOF) transformation. The residual distances from that mean model reveal the anatomical variability of different cardiac structures beyond the global transformation of the Procrustes registration. The automated surface model individualization was realized by shape constrained deformable surface models [4]. This method used both shape similarity to the a priori model and attraction by image features in an energy minimization approach [16]. A global point–based pre–registration was achieved using the anatomical landmark set to initialise the deformable model.
118
J. von Berg and C. Lorenz
Fig. 1. Left: Multi–surface heart model constructed from an MSCT image. Right: Distribution of shape variability in the patient sample after affine co–registration.
5
Results
The mean residual variability of surface vertex positions after Procrustes analysis ranged from 5.6 mm (rigid) via 4.7 mm (similarity) to 3.6 mm (affine). Most of the variability is to be observed in pulmonary vein trunks, vena cava, and right atrium (Fig. 1). The ventricles are less variable, their values range below the above mean values. These findings compare well with those of the variability of the main coronary arteries that are attached to the ventricles and showed 3.8 mm for rigid, 3.3 mm for similarity, and 2.0 mm for affine registration as acquired in [15]. The mean residual variability over all landmark positions after Procrustes analysis was 9.1 mm (rigid), 7.7 mm (similarity), and 6.7 mm (affine). An unknown landmark position may be estimated from a set of other given well– chosen landmarks with a mean error of about 6 mm. The same holds for the localisation of the main coronary artery centrelines from some given landmarks. Fig. 2 left shows the mean triangular surface model overlaid with the mean coronary model, which were built independently from it. The anatomical landmarks and their remaining variability after a global co–registration by the coronary centrelines are shown in Fig. 2 centre as error ellipsoids in the model co– ordinate system. Fig. 2 right shows the variability of coronary artery centrelines manually delineated in the patient sample after co–registration of their corresponding cardiac surfaces. The coronary artery model was adapted to minimise the summed distance to all these individual centrelines. A mean surface model built from a subset of patients and adapted to the remaining images yielded a mean distance of 3.1 mm to reference expert data after the global landmark–based pre–registration (similarity). The distance of vertex v1 in surface s1 to surface s2 was calculated determining the closest point in a local patch surrounding the corresponding vertex v2 in s2 . Such a patch included all neighbour triangles with a maximal triangle distance of 3 from v2 . The subsequent automatic deformable surface adaptation improved this result to a distance of 1.1 mm averaged over all subjects and all anatomical regions. When the globally pre–registered model is used to estimate the main coronary
A Statistical Geometric Model of the Heart
119
Fig. 2. Left: The mean surface model registered with the mean coronary artery model. Centre: Anatomical landmarks with their error ellipsoids registered with the mean coronary artery model. Right: Remaining variability of coronary artery centrelines.
position, a mean centreline distance of 5.4 mm (similarity) or 5.2 mm (affine) can be observed to the manual delineated centrelines.
6
Discussion
A statistical model of the human heart was presented that covers surfaces of all four chambers and the attached vessel trunks, the centrelines of the three main coronary arteries, and a set of 25 cardiac anatomical landmarks. The variability of cardiac substructures in a sample set of 27 end–diastolic multi–slice CT images was analysed. The model was mainly used to estimate shape and position of cardiac substructures by the use of other cardiac substructures (e.g. surfaces by landmarks, coronaries by surfaces). The surfaces may be also automatically deformed to fit the respective image boundaries. The application of the surface model for fully automatic cardiac analysis is currently employed [17]. Acknowledgements. We would like to thank our colleagues from Philips Medical Systems PMS–CT Cleveland and PMS–CT Haifa for the abundance of cardiac MSCT images, for clinical evaluations, and for fruitful discussions. We also would like to thank J. T. Dodge for kindly making available updated position measurements of the coronary arteries.
References 1. G´erard O, Collet Billon A, Rouet JM, Jacob M, Fradkin M, Allouche C. Efficient model-based quatification of left ventricular function in 3D echocardiography. IEEE Trans Med Imag 2002;21(9):1059–1068.
120
J. von Berg and C. Lorenz
2. Zagrodsky V, Walimbe V, Castro-Pareja CR, Qin JianXin, Song JongMin, Shekhar R. Registration-assisted segmentation of real-time 3-D echocardiographic data using deformable models. IEEE Trans Med Imag 2005;24(9):1089–1099. 3. Lorenzo-Vald´es M, Sanchez-Ortiz GI, Mohiaddin R, Rueckert D. Atlas-based Segmentation and Tracking of 3D Cardiac MR Images Using Non–rigid Registration. In: Procs MICCAI. Springer; 2002. p. 642–650. 4. Kaus MR, von Berg J, Weese J, Niessen W, Pekar V. Automated segmentation of the left ventricle in cardiac MRI. Med Img Anal 2004;8:245–254. 5. Dornheim L, T¨ onnies K, Dixon K. Automatic segmentation of the left ventricle in 3D SPECT data by registration with a dynamic anatomical model. In: Procs MICCAI. Springer; 2005. p. 335–342. 6. Oost E, Koning G, Sonka M, Reiber HC, Lelieveldt BPF. Automated Segmentation of X–ray Left Ventricular Angiograms Using Multi–View Active Appearance Models and Dynamic Programming. In: Frangi, Radeva, Santos, Hernandez, editors. LNCS 3504, FIMH. Springer; 2005. p. 23–32. 7. Chen T, Metaxas D, Axel L. 3D cardiac anatomy reconstruction using high resolution CT data. In: Procs MICCAI. Springer; 2004. p. 411–418. 8. Frangi AF, Niessen WJ, Viergever MA. Three-dimensional modeling for functional analysis of cardiac images: A review. IEEE TMI 2001;20:2–25. 9. L¨ otj¨ onen J, Kivist¨ o S, Koikkalainen J, Smutek D, Lauerma K. Statistical shape model of atria, ventricles and epicardium from short- and long-axis MR images. Med Img Anal 2004;8:371–386. 10. Pilgram R, Fritscher KD, Schubert R. Modeling of the geometric variation and analysis of the right atrium and right ventricle motion of the human heart using PCA. In: Proc. of CARS. Elsevier; 2004. p. 1108–1113. 11. von Berg J, Lorenz C. Multi-surface Cardiac Modelling, Segmentation, and Tracking. In: Frangi, Radeva, Santos, Hernandez, editors. LNCS 3504, FIMH. Springer; 2005. p. 1–11. 12. Marom EM, Herndon JE, Kim YH, McAdams HP. Variations in pulmonary venous drainage to the left atrium: Implications for radiofrequency ablation. Radiology 2004;230(3):824–829. 13. Dodge JT, Brown BG, Bolson EL, Dodge HT. Intrathoracic spatial location of specified coronary artery segments on the normal human heart. Applications in quantitative arteriography, assessment of regional risk and contraction, and anatomic display. Circulation 1988;78:1167–1180. 14. Movassaghi B, Rasche V, Grass M, Viergever MA, Niessen WJ. A quantitative analysis of 3-D coronary modeling from two or more projection images. IEEE Transaction on medical imaging 2004;23(912):1571–1531. 15. Lorenz C, von Berg J, B¨ ulow T, Renisch S, Wergandt S. Modeling the coronary artery tree. In: Proc. of Shape Modeling International 2004. IEEE Comput. Soc; 2004. p. 354–357. 16. McInerney T, Terzopoulos D. Deformable models in medical image analysis: A survey. Med Img Anal 1996;1(2):91–108. 17. Ecabert O, Peters J, Lorenz C, von Berg J, Vembar M, Subramanyan K, et al. Towards automatic full heart segmentation in computed-tomography images. In: Computers in Cardiology; 2005.
Ein geometrisches Modell fu ¨r die Zellsegmentierung Fritz Jetzek1,2 , Christian-Dennis Rahn2 und Leonie Dreschler-Fischer2 1
2
Evotec Technologies GmbH, 22525 Hamburg Arbeitsbereich Kognitive Systeme, Universit¨ at Hamburg, 22527 Hamburg Email: {jetzek,rahn,dreschle}@kogs.informatik.uni-hamburg.de
Zusammenfassung. Die exakte Segmentierung von Zellen in Mikroskopaufnahmen geh¨ ort seit jeher zu den aktiven Forschungsgebieten der Bildverarbeitung. Herk¨ ommliche Verfahren setzen allerdings h¨ ochstens indirekt auf eine genaue Modellierung der Zellmorphologie. Im vorliegenden Beitrag wird ein geometrisches Modell aufgestellt, das diesem Mangel begegnet. Zentraler Punkt ist dabei die Beschreibung der Zellkontur durch eine an diskreten Punkten aufgespannten Membran. Die daraus resultierende Form wird zun¨ achst mit Hilfe der Variationsrechnung hergeleitet. Anschließend wird eine beispielhafte Implementation vorgestellt, die die gewonnenen Erkenntnisse aufgreift und f¨ ur die Segmentierung nutzbar macht. Erste Experimente mit dem Verfahren liefern vielversprechende Ergebnisse.
1
Problemstellung
Die automatische Segmentierung von Zellen in Mikroskopaufnahmen geh¨ort zu den wichtigsten bildanalytischen Aufgaben in der biomedizinischen Forschung. Zur Bearbeitung biologischer Fragestellungen werden Strukturen von Zellen, z.B. Rezeptoren oder Zytoskelettbestandteile, mit Fluoreszenzfarbstoffen markiert. In Reaktion auf ¨ außere Reize reagieren diese Strukturen dann etwa mit einer Umlagerung. F¨ ur die Quantifizierung solcher Beobachtungen ist die Segmentierung einzelner Zellen innerhalb einer Aufnahme notwendig. Das Segmentierungsproblem ist komplex, da Zellen eine sehr heterogene Morphologie besitzen, die schwierig zu modellieren ist. Ferner ergeben sich Schwierigkeiten durch Okklusion sowie durch F¨ alle von eng benachbarten Zellen, deren Trennfl¨ ache nicht eindeutig erkennbar ist.
2
Stand der Forschung
Viele klassische Zellsegmentierungsverfahren verwenden Wachstumsalgorithmen wie Voronoigraphen oder die Wasserscheidentransformation. Die Algorithmen werden typischerweise mit Informationen u ¨ ber die Lage der Zellkerne initialisiert und approximieren dann unter Verwendung der lokalen Intensit¨atsverteilung im
122
F. Jetzek, C.-D. Rahn und L. Dreschler-Fischer
Zytoplasma die Zellkonturen [1]. Neuere Verfahren erweitern den Ansatz durch die Verwendung von aktiven Konturen (Snakes), die auch bei stark verrauschtem Material noch gute Ergebnisse erzielen [2]. Ein alternativer Ansatz verzichtet ausdr¨ ucklich auf eine Modellierung von Zellen; vielmehr werden Pixel bzw. Voxel aufgrund von Eigenschaften der Intensit¨aten in der lokalen Nachbarschaft geclustert [3]. Abseits der Bildverarbeitung wurde von Ingber das Tensegrit¨atsmodell formuliert, bei dem die mechanischen Eigenschaften von Zellen, insbesondere die Natur des Zytoskeletts zum Tragen kommen [4].
3
Wesentlicher Fortschritt durch den Beitrag
Die Modellierung der Form einer Zelle bauen wir auf Annahmen u ¨ ber das Zellwachstum auf. Wir benutzen Erkenntnisse des Tensegrit¨atsmodells zur Definition der geometrischen Eigenschaften der Kontur. Den Mittelpunkt der Betrachtung bilden die von uns in Anlehnung an das Zytoskelett definierten Wachstumsachsen der Zelle, die sich auf der Kontur als Kr¨ ummungsextrema wieder finden. Wir zeigen, dass die zwischen diesen Punkten liegenden Abschnitte durch Kurven zweiter Ordnung dargestellt werden k¨ onnen. Der Ansatz bietet damit die M¨ oglichkeit, Zellkonturen im Subpixelbereich zu ermitteln. Diese Methodik ist eng an biologischen Erkenntnissen orientiert, so dass hier die Grundlage f¨ ur wesentlich robustere Segmentierungsverfahren gelegt wird. Das Problem der Segmentierung wird reduziert auf die Erkennung von Landmarken, die mit den Endpunkten von Wachstumsachsen korrespondieren.
4
Methoden
Schwerpunkt des Beitrags ist eine Beschreibung der Zellkontur. Wir verwenden physikalische Modelle f¨ ur die Erkl¨ arung der kontinuierlichen Kr¨ ummung von Konturabschnitten. Des weiteren zeigen wir, inwiefern die lokale H¨aufung von Wachstumsachsen sowie deren L¨ ange mit der Form der dazwischen liegenden Konturabschnitte zusammenh¨ angt. 4.1
Physikalisch motivierte Zellmodellierung
In [5] wurde folgendes Energiefunktional als Zellmembranmodell vorgeschlagen: ' ' ' 1 J = κ (C1 + C2 − C0 )2 dA + λ1 dV + λ2 dA (1) 2 Das erste Integral beschreibt hier die Membrankr¨ ummung, κ ist ein Elastizit¨ atsmodul, C1 und C2 sind die Hauptkr¨ ummungen und C0 die spontane Kr¨ ummung der Membran. λ1 und λ2 sind Lagrange-Multiplikatoren zur Erhaltung von Zellvolumen und -oberfl¨ ache und k¨ onnen als Oberfl¨achenspannung und osmotischer Druck interpretiert werden. In der Literatur sind einige vielversprechende FEM-Simulationen zur Beschreibung von Zellformen mittels Gl. (1) beschrieben.
Ein geometrisches Modell f¨ ur die Zellsegmentierung
123
Abb. 1. Links: Zum Prinzip der Konturmodellierung. Die Zellachsen sind gestrichelt dargestellt. Ein Achsenende liegt jeweils im Nukleus, das andere definiert eine Landmarke. Zwei benachbarte Achsen spannen eine Minimalfl¨ ache auf. Rechts: Eine ur unterschiedliche Werte von λi . yi (x)-Funktion f¨
F¨ ur eine effiziente Segmentierung von Bilddaten ist Gl. (1) wegen ihrer Komplexit¨ at jedoch ungeeignet. Hinsichtlich einer 2-D Segmentierung adh¨arenter, sternf¨ ormiger Zellen schlagen wir ein stark vereinfachendes Funktional als Zellmodell vor, das die Projektionsfl¨ ache der Zelle (in 3-D das Volumen) sowie das Konturl¨ angenquadrat (in 3-D das Quadrat der Oberfl¨ache) unter gegebenen Randbedingungen minimiert. Die Oberfl¨ achungkr¨ ummung ist nicht mehr explizit vorgesehen. Durch die Verwendung des Konturl¨angenquadrats wird eine elastische Zellmembran beschrieben. Die Zelle wird in N dreieckige Segmente Si partitioniert, deren eine Ecke im Zentrum des Nukleus liegt. Die beiden anderen Ecken liegen auf der Zellkontur auf Endpunkten (Landmarken) pi von benachbarten Zellachsen (vgl. das Zytoskelett). Der (bei den betrachteten Zellen zumeist konkave) Konturteil in Si zwischen den Landmarken pi und pi+1 werde in einem lokalen Koordinaur jedes Segment Si sieht das tensystem als yi (x) bezeichnet (siehe Abb. 1). F¨ Funktional dann folgendermaßen aus: 'x1 Ji =
1+
2 (yi )
'x1 dx + λi
x0
yi dx
(2)
x0
Das erste Integral minimiert das Konturl¨ angenquadrat und der zweite Term den Fl¨ acheninhalt. Die λi steuern die relative Bedeutung des jeweiligen Fl¨acheninhalts. Eine analytische L¨ osung von Gl. (2) erfolgt u ¨ ber die Euler-Gleichung λi − 2yi = 0 ,
(3)
und ergibt eine mit λi parametrisierte, quadratische Funktion f¨ ur yi (x). Somit kann nach diesem Modell die Kontur einer Zelle st¨ uckweise durch Polynome mit niedrigem Grad beschrieben werden. Um die Randbedingungen f¨ ur jedes onnen, werden kubische Spline-Kurven Konturst¨ uck yi symmetrisch angeben zu k¨ verwendet. Die Kr¨ ummungsparameter λi werden durch den Zelltypus und die jeweiligen Wachstumsachsen bestimmt (s.u.).
124
4.2
F. Jetzek, C.-D. Rahn und L. Dreschler-Fischer
Implementation
Wir gehen f¨ ur die Umsetzung unseres Modells an Zellen aus menschlichem Knochenmarkskrebsgewebe (U2OS) bereits von gegebenen Landmarken pi aus. Sie markieren Kr¨ ummungsextrema der Membranlinie. Durch ihre Lage zueinander sowie zum Kern soll die Membranlinie aus verschieden langen Abschnitten yi (x) mit mehr oder weniger stark gekr¨ ummten Verlauf bestimmt werden. Wir gehen weiter davon aus, dass der Zellkern bereits segmentiert vorliegt. Im konkreten Fall der Fluoreszenzmikroskopie k¨onnen z.B. Mehrkanalaufnahmen mit speziell gef¨ arbten Kernen generiert werden, aus denen sich dann mittels einfacher Schwellwertanalyse die einzelnen Kerne extrahieren lassen. achstgelegenen Punkt pi auf der F¨ ur jede Landmarke pi berechnen wir den n¨ Kernkontur. Beide Punkte zusammen bilden einen lokalen Richtungsvektor Pi = pi − pi (die Wachstumsachse), der grob die Orientierung des Zytoplasmas in dieser Richtung angibt. Die Menge dieser Vektoren kann dann nach der Reihenfolge ihrer Fußpunkte pi auf der Kernlinie sortiert werden; dabei auftretende Teilprobleme wie etwa der Sortierung von Vektoren mit identischen Fußpunkten wurden mittels einer Analyse der lokalen Lage der Vektoren bez¨ uglich der Kernkontur gel¨ ost. Diese Sortiermethode ist f¨ ur sternf¨ormige Zellen eindeutig. Wir nutzen die Wachstumsachsen zur Parametrisierung der jeweils zwischen benachbarten Vektoren aufgespannten Konturabschnitte yi (x). Die Betrachtungen zur Minimierung von Fl¨ ache und Bogenl¨ ange in Abschnitt 4.1 lassen sich umsetzen unter Verwendung der L¨ ange und der Spannweite jeweils benachbarter Achsen. Um f¨ ur die letztere ein Maß zu erhalten, normieren wir zun¨achst ur die jeweils benachbarten s¨ amtliche Achsen zu ni = Pi /Pi und berechnen f¨ Achsen das Skalarprodukt ni , ni+1 . Dessen Wertebereich ist bei den vorliegenden Konturen durch [−1..1] gegeben, wobei −1 f¨ ur den maximalen Winkel von 180◦ steht. Der Bereich wird abgebildet auf [1..0], um h¨ohere Werte f¨ ur gr¨oßere Spannweiten zu erhalten. Schließlich skalieren wir die ni und ni+1 mit den jeweils gebildeten Werten. Zur Modellierung von Membranlinienabschnitten yi (x) mittels einer kubischen Spline werden die so entstandenen Paare dann direkt zur Parametrisierung eingesetzt (siehe Abb. 2).
5
Ergebnisse
Das beschriebene Verfahren ber¨ ucksichtigt die Form adh¨arenter Zellen als das Resultat einer zwischen benachbarten Punkten aufgespannten Membran. Liegen die Landmarken als Sch¨ atzungen dieser Punkte einmal vor, kann durch das einfache Modell der segmentweisen Approximation der Zellkontur mittels BezierSplines ein akzeptables Ergebnis erzielt werden. Dies gilt insbesondere f¨ ur weit auseinander liegende Landmarken, die in weitr¨aumig aufgespannte Kontursegmente resultieren. Ermutigende Resultate ergeben sich aber auch in diffusen Bereichen des Zytoplasmas, die insgesamt eher konvex erscheinen. Hier l¨asst sich zeigen, dass eine engere B¨ undelung der Achsen und eine einhergehende Verflachung der Splines ebenfalls eine erfolgreiche Abgrenzung der Zelle gegen ihre Umgebung bewirkt.
Ein geometrisches Modell f¨ ur die Zellsegmentierung
125
Abb. 2. Membranapproximation mit Splines. Links: Konfokale Aufnahme von U2OSGewebe; Mitte: manuell gesetzte Landmarken, automatisch detektierte Kernlinie und Wachstumsachsen; rechts: approximierte Membrankontur mit unterschiedlich skalierten Richtungsvektoren. Der Durchmesser der abgebildeten Zellen betr¨ agt ca. 15µm.
6
Diskussion
F¨ ur den vollst¨ andig automatischen Einsatz des Verfahrens sind noch weitere Constraints einzubeziehen, etwa die Relation von der Orientierung des Zellnukleus im Verh¨ altnis zu der Orientierung der gesamten Zelle. Speziell f¨ ur weniger ¨ dicht gebautes Gewebe ist außerdem das Problem von Uberh¨ angen noch anzugehen. Als n¨ achste Schritte auf dem Weg zu einer robusten Segmentierung sind schließlich das automatische Erkennen von Landmarken und ihre Zuordnung zu Zellen (auch zur L¨ osung von Okklusionsproblemen) zu nennen; momentan sei dazu auf die Arbeiten von Rohr [6] verwiesen. Weiterhin kann das vorgestellte Verfahren auch mit Aktiven Konturen kombiniert werden.
Literaturverzeichnis 1. Bengtsson E, W¨ ahlby C, Lindblad J. Robust Cell Image Segmentation Methods. Patt Recog Image Analysis 2004;4(2):157–167. 2. Rahn CD, Stiehl HS. Semiautomatische Segmentierung individueller Zellen in LaserScanning-Microscopy Aufnahmen humaner Haut. In: Procs BVM; 2005. p. 153–158. 3. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification. In: Procs DAGM. Springer; 2005. 4. Ingber DE. Cellular tensegrity: defining new rules of biological design that govern the cytoskeleton. J Cell Science 1993;104:613–627. 5. Helfrich W. Elastic properties of lipid bilayers. Theory and possible experiments. Z Naturforschung C 1973;28:11–12. 6. Rohr K. Landmark-Based Image Analysis. Kluwer, Dordrecht; 2001.
Towards Automatic Segmentation of Serial High-Resolution Images Cornelia Br¨ uß, Marc Strickert and Udo Seiffert Leibniz-Institute of Plant Genetics and Crop Plant Research (IPK), Corrensstrasse 3, D-06466 Gatersleben Email:
[email protected]
Abstract. Developing barley grains are to be visualised by a 4-D model, in which spatiotemporal experimental data can be integrated. The most crucial task lies in the automation of the extensive segmentation procedure. Because of constraints like incomplete a-priori expert knowledge and the complexity of this specific segmentation task, learning techniques like Artificial Neural Networks (ANN ) yield promising solutions. In this work we present our first good segmentation results. Two different supervised trained ANN classifiers were applied, on one hand, the wellestablished borderline-learning Multiple-Layer Perceptron (MLP ) and on the other hand, the prototype-based Supervised Relevance Neural Gas (SRNG). While so far segmentation was mainly achieved using manual tools, now almost automatic segmentation becomes more feasible.
1
Introduction
The geometric reconstruction of biological structures in 3-D models establishes new facilities for the analysis of structural and functional interrelationships as well as developmental processes of these biological objects in a spatial or even spatiotemporal (4-D) context. The intended purpose of such models often lies in the generation of standardised anatomical atlases in which various spatial experimental data can be integrated. We are working on the generation of a 4-D atlas model of a barley grain with ideally about 25 different time steps, that allows the integration of experimental data, e.g. gene-expression data. The research of spatiotemporal processes – which yield the accumulation of nutrients like starch and proteins in the grain – will be significantly promoted. So far the emphasis lies on the generation of high-resolution, stand-alone models that ensure the recognisability of even minor components like small sized tissues [1]. Experience gained from a predominantly manual modelling of highly resolved grain models clearly showed the need for automation and facilitation of many repetitive, time-consuming and work-intensive steps. This is even more important as many geometric models at different time steps have to be created in order to establish a time-dependent geometric model that represents complex biological development processes. The creation of 3-D models comprises a sequence of nontrivial steps. In contrast to relatively small 3-D models based on direct 3-D image generating methods, such as Nuclear Magnetic Resonance (NMR) or
Towards Automatic Segmentation of Serial High-Resolution Images
127
confocal microscopy, the creation of high-resolution seed models based on many hundred up to several thousand of serial cross-sections – as in our case – requires the solution of additional problems. These are e.g. the handling of an enormous amount of data and the regeneration of the spatial integrity of the 2-D images of the cross-sections in the 3-D model according to the original object [2, 3]. However, the most crucial task lies in the automation of the segmentation procedure. In this step the biologically relevant materials or tissues are identified or labelled within the raw image material. Strictly speaking, each pixel has to be assigned to one of about 20 model-specific materials. Since the segmentation is to be done over all images of a grain it is by far the most work-intensive step in the workflow. In this work in progress we focus on the automation of the segmentation procedure. We deal with specifically generated, bluish dyed highresolution images of cross-sections of barley grains [1]. Due to the high degree of complexity available automatic standard methods failed and therefore the segmentation had to be manually done by drawing the borderlines of each of the materials over all images. A flexible and easily adaptable segmentation solution is required since a couple of constraints are to be dealt with: – Incomplete, partly inconsistent and (even in the modelling process itself) developing expert knowledge of the histological background, – Varying appearance of cross-sections in different grain-parts and at different developmental stages, – Subjectiveness and hence lack of (exact) reproducibility as well as – Varying requirements (e.g. the question which materials are relevant?). The segmentation is also characterised by a very high level of complexity, since the discrimination of two neighbouring materials often turned out to be Gordian.
2
Methods
Due to the degree of difficulty we decided in favour of a segmentation based on a prior pixel-wise classification. A very promising attempt to combine the pros of human-like adaptive and intelligent processing on the one hand and computeraided high-throughput processing on the other hand is to utilize soft computing techniques like Artificial Neural Networks (ANN) [4, 5] which generally offer intelligent and trainable data processing, particularly within an image processing framework. So far two different supervised trained ANN classifiers were applied to exemplary image stacks, on the one hand the well-established borderline-learning Multiple Layer Perceptron (MLP) [6, 7, 8] and on the other hand the prototype-based Supervised Relevance Neural Gas (SRNG), which is an initialisation-tolerant version of Kohonen’s well-established Learning Vector Quantization (LVQ) classifier [9]. Our first good segmentation results are based on an underlying feature vector with 170 properties concerning colour, geometry and symmetry (such as Cartesian and polar coordinates, distance to centroid, absolute angle to symmetry axis) and particularly texture according to varying neighbourhoods (such as
128
C. Br¨ uß, M. Strickert and U. Seiffert
Fig. 1. Automatic segmentation of an exemplary cross-section of a grain: a) original colour image of a cross-section, b) according manual segmentation by a biologist, c) results of automatic segmentation based on MLP, d) results of automatic segmentation by SRNG.
(a)
(b)
(c)
(d)
Gaussian filters, histogram based features). For simplification reasons we used for the proof of concept the same feature vector for both classifiers although we are aware of the fact, that different classifiers may require slightly different feature sets to perform optimally. All features were z-score-transformed for the normalisation of the attributes. We used 2 stacks of respectively 10 arbitrarily chosen consecutive images from different grain parts. Respectively 3 typical images were selected to randomly extract training examples – for the MLP a natural material representation (density of training samples equals density of data samples) was chosen whereas for the SRNG a uniform presentation was preferred. In the recall phase both classifiers were applied to the whole image stack. In each image stack 11 respectively 12 materials were to be recognised.
3
Results
We introduce our first good results based on an underlying initial feature vector. By comparison with formerly completely manually segmented images we achieved with both methods classification accuracies of about 90% per image. In Tab. 1 the confusion matrix according to classification results over a full stack of
Towards Automatic Segmentation of Serial High-Resolution Images
129
Table 1. Confusion matrix of results with MLP / natural distribution of pixels for 10 consecutive images (model 7 Days After Flowering (DAF), style). All model-specific materials are assigned one-to-one to a specific label index in ascending order. Gaps in the label numbering are referred to materials being not present in the considered part of the grain. The entries in the main diagonal are in most cases close to 100%. Higher numbers at other matrix positions indicate not yet satisfactorily characterised materials. Label-No. 0 2 6 8 9 10 11 12 13 14 16 0 98.65 1.32 0 0.01 0 0 0.01 0 0 0 0.01 2 0.66 98.66 0.02 0.39 0.02 0.02 0 0 0 0.08 0.15 6 0 0.21 73.86 9.42 0.06 2.51 11.18 0.01 1.25 1.49 0 8 0 5.97 10.36 81.48 0.05 1.33 0.18 0.05 0.06 0.52 0.01 9 0 0 0 0 90.43 0 4.15 5.10 0.32 0 0 10 0 0.08 3.60 5.02 0.19 60.12 0.58 0.42 0.93 29.07 0 11 0 0.02 6.86 0.11 6.86 0.23 81.37 1.12 3.05 0.39 0 12 0 0 0.02 0 7.88 0 2.00 75.08 15.02 0 0 13 0 0.01 0.30 0 1.72 0.19 1.77 3.15 88.52 4.33 0 14 0 1.04 0.09 0 0 2.21 0 0 0.09 96.57 0 16 0 20.44 0 0 0 0 0 0 0 0 79.57
10 images in relation to the manually segmented reference images is to be seen. In principle with MLP very reliable borderlines were achieved, smaller materials sometimes were omitted. With SRNG the single positions of even tiny materials were detected, but the borders look rather jagged and many misclassified islands occur (Fig. 1). Based on the strengths of both automatic segmentation methods and a simple postprocessing procedure mainly using structural knowledge, first model-segments were created with the visualisation software AmiraTM (Fig. 2).
Fig. 2. Two perspective views of one 3-D model based on 10 automatically segmented images of cross-sections of a barley seed (7DAF, style, 20 fold stretched in height).
130
4
C. Br¨ uß, M. Strickert and U. Seiffert
Discussion
Our results show that a nearly automatic segmentation of cross-sections of developing barley seeds is feasible now. The expert can focus on essential modelling decisions. Only a tiny but representative subset of the images will have to be manually segmented for the training of the ANN classifiers. Adaptations can be achieved in the modelling process itself or in response to changed requirements without much effort. Furthermore an automation of the segmentation step is an inevitable precondition for the generation of high-resolution 4-D atlas models based on a considerable number of individual grains at the different developmental stages. Further research concerns the application and comparison of further classification methods, the development of a reduced but nevertheless robust feature vector, and the design of an adequate postprocessing procedure. We are convinced that our automatic segmentation method does not only work within different grain parts and different developmental stages of barley but can be applied to similar species such as wheat as well. From the conceptual point of view this method is also generally extensible to medical applications. Acknowledgements. This work was supported by BMBF-grant (BIC-GH, FKZ 0312706A) and by BMBF-grant (GABI-Seed, FKZ 0312282). We would like to thank Sabine Gubatz and Winfriede Weschke for their valuable contributions.
References 1. Gubatz S, et al. Three-dimensional models of developing barley seeds for the visualization of gene-expression patterns. in preparation 2006. 2. Stalling D, Westerhoff M, Hege HC. Amira: A Highly Interactive System for Visual Data Analysis. In: The Visualization Handbook; 2005. p. 749–767. 3. Dercksen VJ, Prohaska S, Hege HC. Fast cross-sectional display of large data sets. In: Proceedings IAPR Conference on Machine Vision Applications; 2005. p. 336–339. 4. Suykens JAK, Vandewalle JPL, De Moor BLR. Artificial Neural Networks for Modelling and Control of Non-Linear Systems. Kluwer Academic Publishers, Den Haag, The Netherlands; 1996. 5. Forbes N. Imitation of Life – How Biology is Inspiring Computing. The MIT Press, Cambridge, USA; 2004. 6. Minsky M, Papert S. Perceptrons: An Introduction to Computational Geometry. MIT Press, Cambridge; 1969. 7. Lippmann RP. An Introduction to Computing with Neural Nets. IEEE ASSP Magazine 1987;4(87):4–23. 8. Rumelhart DE, Hinton GE, Williams RJ. Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing: Explorations in the Microstructure of Cognition; 1986. p. 318–362. 9. Hammer B Strickert M Villmann T˙ Supervised neural gas with general similarity measure. Neural Processing Letters 2005;21:21–44.
Topology Correction for Brain Atlas Segmentation Lin Chen and Gudrun Wagenknecht Central Institute for Electronics, Research Center Juelich, Juelich, Germany Email:
[email protected]
Abstract. Topological correctness of 3D human brain structures is an important prerequisite for brain atlas deformation and surface flattening. Our topology correction method uses an axis-aligned sweep through the volume to locate handles. Handles are detected by successively constructing and analyzing a directed graph. A multiple region-growing process is used which simultaneously acts on the foreground and background to isolate handles and tunnels. The sizes of handles and tunnels are measured, then handles are removed or tunnels filled based on their sizes.
1
Introduction
Representing the topologically correct shape of complex anatomical regions such as human brain structures is a challenging task, especially for regions in the cortex. Several methods for correcting the topology of the cortical surface have recently been developed. Dale et al. [1] flattened a cortex isosurface by ignoring small handles, identifying and fixing topology defects on the inflating cortical surface, thus leaving some large handles to be edited manually. More recently, Fischl et al. [2] inflated the cortex isosurface to a sphere and identified the overlapping triangles on the spherical surface which corresponded to the handles, and tessellated a new mesh as the topologically correct cortical surface. Shattuck and Leahy [3] and Xiao Han et al. [4] introduced graph-based methods for topology correction. Shattuck and Leahy examined the connectivity of 2D segmentations between adjoining slices to detect topological defects and minimally correct them by changing as few voxels as possible. One drawback of this approach is that the ”cuts”which are necessary to correct the topological defects are necessarily oriented along the Cartesian axes. Building on their work, Xiao Han et al. developed an algorithm to remove all handles from a binary object under any connectivity. Successive morphological openings correct the segmentation at the smallest scale. This method works for small handles. Wood et al. [5] proposed a different approach. Handles in the tessellation are localized by simulating wavefront propagation on the tessellation and are detected where the wavefronts meet twice. The size of a handle is the shortest non-separating cut along such a cycle, which helps retain as much fine geometrical detail of the model as possible. One drawback of this method is that it requires the arbitrary vertex tessellation to be converted to a volumetric image in order to correct the defect.
132
L. Chen and G. Wagenknecht
Our method provides a fully automatic topology correction mechanism, thus avoiding tedious manual correction. What is new about our method is that it provides a very fast alternative approach which has several advantages over Shattuck and Leahy’s model, including the fact that corrections are not oriented along cardinal axes. It can thus be done under any connectivity in 3D (6,18,26) without cutting the whole plane and changing as few voxels as possible.
2
Methods
Considering a digital object, computation of two numbers is enough to check whether modifying one voxel will affect the topology. These topological numbers, denoted Tn and Tn¯ , were introduced by Bertrand [6] as an elegant way to classify the topology type of a given voxel which is to be used by the algorithm. The object is henceforth termed X and its inverse object X. A point x ∈ X which can be added or removed without changing the topology of an object is characterized by Tn (x, X) = Tn¯ (x, X) = 1. A point x ∈ X is called a n-border point, if and only if at least one of its n-neighbors x , x ∈ X. The algorithm generates different connected components and assigns voxels with different labels for each component. Residual points characterize voxels belonging to a component that will change the topology of the object. If their component will not change the topology, they are termed body points. A method is described whereby the topology of a volumetric binary image can be altered so that an isosurface algorithm can generate a surface with the topology of a sphere, i.e., a genus of zero. The genus of an object can be determined by its Euler characteristic, which can be computed using the Euler-Poincar´e formula χ = v − e + f = 2 − 2g (1) where v is the number of vertices, e the number of edges, f the number of faces, and g the genus. If g = 0, the object has the topology of a sphere. The Euler characteristic is a topological invariant of a generated isosurface. However, this calculation only provides a global criterion for topology correction, not information about the position and size of handles and tunnels. Hence, the size and location of both handles and tunnels need to be found. To that end, we analyze the topology of the object while also analyzing its geometry. We create two directed graphs - one for foreground voxels and one for background voxels - which contain information about the volume. This allows us to determine if the foreground object is topologically equivalent to a sphere by counting the number of cycles in the graphs. The cycles also give information about the size and location of handles or tunnels. A foreground connectivity graph G = {N, E} is created which contains important information about the structure of the binary image foreground. The object is examined along a selected cardinal axis, identifying the connected components within each slice perpendicular to the axis, using 2D 4-connectivity if the foreground uses 6-connectivity in 3D, and 2D 8-connectivity if the foreground uses 18- or 26-connectivity in 3D. Each in-slice-connected component is called
Topology Correction for Brain Atlas Segmentation
133
Fig. 1. An 8 × 3 × 5 binary volume with a torus, the corresponding slices and its connectivity graphs for foreground and background.
a node in the graph. Next, it is determined how each node is connected to the nodes in the next slice. Two nodes are defined as having a directed connection if they are n-connected. Each connection in the object is represented by an edge in the graph. Note that one node may be connected to two or more nodes, and that these nodes are connected to one node in the next slice (Fig. 1). In the simplest case, one node will have multiple edges connecting it to one node in the next slice in the foreground. Such a representation is the simplest form of a topological handle existing in the object (Fig. 2). The background connectivity graph is created likewise using n ¯ connectivity (Fig. 1 and 2). The basic idea of topology correction is dividing cycles into body and residue parts and discarding the smallest residue piece in each cycle in 3D. When these voxels are removed from the foreground, they are also removed from the object. This is called a handle cut. Conversely, when voxels are removed from the background, they are added to the object, and hence a tunnel is filled. When a cycle with two sides is detected, we choose the smaller one as the handle. Handles are good candidates for these residue parts. However, since the thinnest cut of a cycle may not fall within the handle, we introduce residue part expansion (RPE), which is intended to catch the thinnest cut by iteratively growing the handle. This is done as follows: We find the top and bottom connection sets X1 ⊂ X and X2 ⊂ X which are n-adjacent to the handle set S. The handle set S is grown by X1 and X2 . Hence, the sets X1 and X2 are the border point sets of S. The growing procedure is done iteratively, e.g., if the number of n-adjoint
Fig. 2. A 5 × 5 × 4 binary volume with a torus, the corresponding slices and its connectivity graphs for foreground and background.
134
L. Chen and G. Wagenknecht
Fig. 3. A sample surface rendering of the segmented volumes (10 different gyri) before and after topology correction.
points of X1 is smaller than the number of points of X1 , X1 is added to S and the n-adjoint points are labeled X1 , and so on. After RPE growing, each residual part S is an n-connected component n-adjacent to body part X, and a cut of it can reduce the genus by one. This is due to the fact that its growing by border points is equivalent to growing by adding simple points, and so the topology will be retained after growing. The main idea of cutting the residue part is to transfer as many points as possible from the residue back to the body without changing its topology. Specifically, sets X1 and X2 are the two cuts of the residue part after RPE, but they might not be the smallest ones. The body set is grown by successively detecting border points of X1 or X2 which lie within the residue, but only add those points (which are simple points) which come from the residue and do not adversely affect topology. Note that at each iteration, the largest set of simple points is added to the body, which ensures that the final residue points are not added back to the body and are positioned at the thinnest parts of the handles. The nature of the changes described here depends on the axis along which the object is analyzed. In order to ensure that only the smallest changes are made to the object, corrections are applied iteratively along each axis. A threshold is used, and only corrections less than or equal to the threshold are done. This multi-axis approach dramatically reduces the number of voxels which are added to or removed from the object set.
3
Results
We applied the method to the labeled version of the ICBM Single subject MRI Anatomical Template (www.loni.ucla.edu/ICBM/ICBM BrainTemplate.html). The high-resolution structural brain template is the average of 27 T1-weighted MRI acquisitions from a single subject (from the Montr´eal Neurological Institute database). The template is aligned within the stereotaxic space of the ICBM
Topology Correction for Brain Atlas Segmentation
135
Fig. 4. WM/GM surface obtained before and after topology correction. Handles are highlighted in red.
average template derived from Talairach and Tournoux [7]. The image size is 309 × 362 × 309 voxels. Cortical gyri, subcortical structures and the cerebellum are assigned a unique label. The tessellation of each topologically corrected segmentation has the topology of a sphere, i.e, it has an Euler characteristic of two, corresponding to a genus of zero. Figures. 3 and 4 show two sample rendering surfaces before and after topology correction. This algorithm changed between 0.0% and 1.23% of the voxels for each of the segmented brain volumes, with an average of 0.05%.
References 1. Dale AM, Fischl B, Sereno MI. Cortical surface-based analysis I: Segmentation and surface reconstruction. NeuroImage 1999;9:179–194. 2. Fischl B, Liu A, Dale M. Automated mainfold surgery: Constructing geometrically accurate and topologically correct methods of the human cerebral cortex. IEEE Trans Med Imag 2001;20:70–80. 3. Shattuck D, Leahy M. Automated graph-based analysis and correction of cortical volume topology. IEEE Trans Med Imag 2001;20(11):1167–1177. 4. Han X, Xu C, Neto U, Prince JL. Topology correction in brain cortex segmentation using a multiscale, graph-based algorithm. IEEE Trans Med Imag 2002;21(2):109– 121. 5. Wood Z, Hoppe H, Desbrun M, schroeder P. Removing excess topology from isosurfaces. ACM Transactions on graphics 2004;23:190–208. 6. Bertrand G. Simple points, topological numbers and geodesic neighborhoods in cubic grids. Pattern Recognition Letters 1994;15:1028–1032. 7. Talairach J, Tournoux P. Co-Planar Stereotaxic Atlas of the Human Brain. Georg Thieme Verlag, Stuttgart; 1988.
Segmentation of the Vascular Tree in CT Data Using Implicit Active Contours Karsten Rink, Arne-Michael T¨ orsel and Klaus T¨ onnies Institute for Simulation and Graphics, University of Magdeburg, 39016 Magdeburg
Abstract. We propose an algorithm for the segmentation of blood vessels in the kind of CT-data typical for diagnostics in a clinical environment. Due to poor quality and variance in the properties of the data sets a two level approach using implicit active contours is chosen for the task. A fast pre-segmentation using the fast marching method followed by propagation of a sparse field level set allows a robust segmentation of the vascular tree. Evaluation of the results and observed problems are described.
1
Introduction
The detection and segmentation of blood vessels are important parts of many medical applications. The segmentation results can be used to analyse the vessels themselves, e.g. to find aneurysms, stenoses or malformations. Furthermore, knowledge of the location and size of the blood vessels is essential for operation planning. One possible application is neck dissection: The local lymph nodes are the first stage of a lymphogenous metastasis of a tumour. Since the involved lymph nodes may in turn may invade neighbouring structures, they should be removed. This requires finding the boundaries between blood vessels and the enlarged lymph nodes in order to decide if an operation is possible.
2
Related Work
A large number of methods has been applied to blood vessel segmentation[1]. Examples are multi scale approaches, centerline detection[2] or region growing[3]. Most vessel segmentation methods are tested with angiography data (XRA or MRA) or contrast-enhanced MRI. Boundaries of the vessels are usually clearly visible in these modalities and purely data driven approaches, e.g. the aforementioned region growing methods, give good results. Another approach for segmentation is the use of active contours. The advantage of these models is the combination of features derived from the data and assumptions about properties of the chosen object. Besides the well-known explicit models (i.e. snakes, etc.) this group also includes implicit models like level set methods[4][5] and fast marching methods[6]. Implicit contours are globally defined which allows a combination of dataand model-driven strategies. This seems promising since the location and size
Segmentation of the Vascular Tree in CT Data
137
of blood vessels are different for every patient, making an explicit formulation for a model difficult. A pure data-driven approach on the other hand will be unreliable if boundaries the vessels cannot be easily identified. Level set methods have already been applied to blood vessel segmentation (see for instance [7]) but due to the artifacts and partial volume effects in our data the task is challenging.
3
Blood Vessel Segmentation Using Level Set Methods
We use a two level approach for the segmentation of the blood vessels in our data: After preprocessing the data with rank order filters we first perform a presegmentation using the fast marching method. This algorithm converges very fast and allows for the user to just choose a few seed points for initialisation. To get the final result we start a sparse field level set algorithm[8] initialised with the contour from the fast marching result. The propagation of the front is stopped in both stages of the segmentation process if the grey values of pixels on the front deviate too far from expected grey values for blood vessels in the given data set or if the front meets a boundary. During the level set stage we also use a regularisation term based on local 3D curvature. The level set equation Φt + F |∇Φ| = 0
(1)
has a speed function F defined as F = FI ∗ (FA + α ∗ FK )
(2)
where for each pixel (x, y, z) in the data set FA is the advection speed, FK is the local curvature and FI = FI (x, y, z) is the image-based speed term defined as FI (x, y, z) = (1 + β ∗ (∇I(x, y, z))2 + γ ∗ (I(x, y, z) − Ivessel ))−1 .
(3)
The weights α, β and γ enable a propagation specific to the features of a given data set; a high value meaning that this feature has a large influence and vice versa. Finally, the term Ivessel denotes the grey values interval associated with blood vessels. As noted in [4] it is possible to incorporate an exponential function for the image term instead of the reciprocal one we use to achieve a faster convergence. However, experiments with our algorithm showed that this leads to a loss of robustness.
138
K. Rink, A.-M. T¨ orsel and K. T¨ onnies Table 1. Examples for the resolution of the data sets.
Data set 01 03 09 15 19 22 23 25
4
Pixel spacing 0.28 0.33 0.45 0.47 0.53 0.43 0.58 0.41
Slice spacing 3.0 3.0 3.0 2.1 5.0 3.0 6.0 1.5
Slice thickness 3.0 3.0 3.0 1.0 5.0 2.0 5.0 3.0
Contrast agent yes no no yes no no yes no
Results and Discussion
We tested our algorithm for segmentation of blood vessels on 10 CT-data sets representative for diagnostics in a typical clinical environment. The resolution and quality vary substantially between the different data sets (see table 1). The data is often corrupted by noise, by inhomogeneities and by metal artifacts from dental inlays. Depending on slice thickness partial volume effects may further complicate analysis of the data. With half of the data sets a contrast agent was used. Using our method we were able to segment most of the vessels contained in data with only a single seed point at the first slice of the data set. More seed points in other slices may result in a more exact segmentation and a faster convergence of the propagation process. During the first level of our segmentation process we used an extremely cautious propagation strategy to avoid leaking of the contour. In most of the cases we were successfully able to avoid this. The front leaked out of the blood vessels in cases of extreme metal artifacts due to dental inlays (figure 1(a)) and when a contrast enhanced vessel was located directly beside a bone (figure 1(b)). A different method for pre-segmentation is necessary in these cases since there is no way (even for a human) to locate the boundary of the vessel. Results of our algorithm were evaluated by two experts with medical background to ensure the correctness of our segmentation. Blood vessels with a large diameter (arteria carotis externa, -interna, etc.) were always segmented correctly. Depending on the quality of the data an undersegmentation of up to 10% of the diameter of the vessel has been observed. This apparent undersegmentation proved often to be the correctly segmented lumen. Pixels not segmented were classified during evaluation as connective tissue. Due to the large slice spacing and -thickness of the data sets the algorithm could not follow smaller vessels branching off at a steep angle if either the lumen of the vessel had a large disparity to the lumen in the following slice or the vessels merged with the background due to partial volume effects. In both cases it is not possible to follow the vessels without further modification on our algorithm. Except in the cases mentioned vessels with a diameter as low as 5 pixels were segmented correctly. Especially in data sets where a contrast agent was used, the
Segmentation of the Vascular Tree in CT Data
139
Fig. 1. (a) The image shows metal artifacts originating from dental inlays. The vessels on the left side are segmented correctly due to regulation constraints of the model. Boundaries for the vessels on the right side are not recognisable. (b) On the left side a contrast enhanced vessel seemingly merges with the bone. The vessels on the right side are correctly segmented but on vessel is lost due to partial volume effects.
(a)
(b)
contrast increases in cranial direction, allowing a more accurate segmentation (see figure 2(a)). Vessels with an even smaller diameter were often not clearly distinguishable even by the experts evaluating our results. This can be attributed to partial volume effects and noise. All of the mentioned results were obtained using an identical parametrisation for all data sets. With a special parametrisation for each data set results were usually more exact but the experts evaluating our results stated that the results with the identical parametrisation were adequate. The time needed for convergence of the front propagation process differed extremely based on the number of slices of the data set, the quality of the data and the quality of the intermediate result of the fast marching method. Computation times ranged from less than a minute to about 20 minutes in cases where large parts of the final result had to be covered by the level set algorithm itself.
5
Conclusions and Future Work
We presented an algorithm for the segmentation of the vascular tree in CT-data of the human head and neck section using a modified level set algorithm. Results of our segmentation proved to be adequate for vessels with a diameter of at least 5 pixels (1.5–2.5 mm). For the neck dissection application mentioned in the beginning only submandibular vessels are of interest. These vessels still have a large diameter and results of the front propagation are adequate.
140
K. Rink, A.-M. T¨ orsel and K. T¨ onnies
Fig. 2. (a) Segmentation of vessels with a small diameter. (b) 3D visualisation of a front propagation result.
(a)
(b)
Segmentation results would certainly be improved if a reliable algorithm for detection of seed points throughout the data set could be incorporated. Parameter adaption for different parts of the data set would also improve the accuracy of the final result. Acknowledgements. We like to thank the university hospital in Leipzig for providing the data sets. We are also grateful to Karin Engel and Andreas F¨ ugner for the discussion and their help with the evaluation of the results.
References 1. Kirbas C, Quek F. A Review of Vessel Extraction Techniques and Algorithms. ACM Computing Surveys 2004;36(2):81–121. 2. Wesarg S, Firle EA. Segmentation of Vessels: The Corkscrew Algorithm. In: Proceedings of the SPIE Conference on Medical Imaging. vol. 5370; 2004. . 3. Boskamp T, et al. A New Vessel Analysis Tool for Morphometric Quantification and Visualization of Vessels in CT and MRI Datasets. Radiographics 2004;24:287–297. 4. Malladi R, Sethian JA, Vemuri B. Shape Modelling with Front Propagation: A Level Set Approach. IEEE Trans on PAMI 1995;17(2):158–175. 5. Sethian JA. Level Set Methods and Fast Marching Methods. Cambridge University Press; 1999. 6. Sethian JA. A Fast Marching Level Set Method for Monotonically Advancing Fronts. Proc Nat Acad Sci 1996;93(4):1591–1595. 7. van Bemmel CM, et al. A Level-Set-Based Artery-Vein Separation in Blood-Pool Agent CR-MR Angiograms. IEEE Trans Med Imaging 2003;22(10):1224–1234. 8. Whitaker RT. Isosurfaces and Level-Set Surface Models. School of Computing, University of Utah; 2002.
Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling J. Bruijns, F.J. Peters, R.P.M. Berretty and B. Barenbrug Philips Research Laboratories Prof. Holstlaan 4, 5656 AA Eindhoven, The Netherlands Email:
[email protected]
Abstract. Volume representations of blood vessels acquired by 3D rotational angiography are very suitable for diagnosing an aneurysm. We presented a fully-automatic aneurysm labelling method in a previous paper. In some cases, a portion of a “normal” vessel part connected to the aneurysm is incorrectly labelled as aneurysm. We developed a method to shift the erroneous borders as close to the real aneurysm as possible. Application of this method gives better estimates for the aneurysm volumes.
1
Problem
Volume representations of blood vessels acquired by 3D rotational angiography show a clear distinction in gray values between tissue and vessel voxels [1]. These volume representations are very suitable for diagnosing an aneurysm (see Fig. 1.1). Physicians may treat an aneurysm by filling it with coils. Therefore, they need to know the volume of the aneurysm. In a previous paper [2] we described a method for fully-automatic labelling of the aneurysm voxels after which the volume is computed by counting these voxels (see Fig. 1.2). We use local distance thresholds to define a tight bounding surface around the aneurysm [2]. This tight bounding surface should be located just outside the aneurysm where it borders to tissue. Elsewhere, it should intersect the “normal” vessel as close to the aneurysm as possible. The local distance thresholds are derived from border vessel voxels (i.e. vessel voxels face connected to a tissue voxel). Because border vessel voxels are missing at an aneurysm neck, the tight bounding surface may bulge out into a “normal” vessel part (see Fig. 1.2). In such a case a portion of this “normal” vessel part is incorrectly labelled as aneurysm. The problem is to correct these erroneous labelled border areas.
2
Related Work
Subasic et al. [3] use the level-set algorithm with a 3-D deformable model for segmentation of an abdominal aortic aneurysm from CTA images. Because their
142
J. Bruijns et al.
method is adjusted to the shape of the abdominal aorta, it cannot be used free from problems for an arbitrary aneurysm. McLaughlin et al. [4] demarcate the extent of an intracranial aneurysm given a 3-D model of the vasculature. Local shape descriptors are grouped using a novel region-splitting algorithm. The method is used to estimate aneurysm volume. Results are presented for four clinical data sets. Bruijne et al. [5] use model-based interactive segmentation of abdominal aortic aneurysms from CTA data and multi-spectral MR images. After manual delineation of the aneurysm sac in the first slice, the method automatically detects the contour in subsequent slices.
3
What Is New
To improve the accuracy of the estimated aneurysm volume, we have developed a method to shift an erroneous aneurysm neck along the corresponding vessel part as close to the real aneurysm as possible. We use the shape information extracted from this vessel part to control this shift.
4
Method
Fully-automatic improvement of the estimated aneurysm volume is performed in four steps. First, the fully-automatic branch labelling method [6] is applied. Next, we check whether the local shape properties indicate that a neck may be shifted (see Section 4.1). If yes, then the erroneous aneurysm voxels in front of this neck (i.e. farther away of the real aneurysm) are changed to “normal” vessel voxels, and next this neck is shifted till the “normal” vessel part evolves into the real aneurysm (see Section 4.2). In our system shape information extracted from a “normal” vessel part is stored in a tube object (tube for short). A tube consists of a series of consecutive probes [7]. A probe is a combination of a sphere, a plane through the center of the sphere and a number of shape parameters. After a tube is created by fullyautomatic vessel tracing [6], the sphere centers are close to the central axis of the vessel, the planes are almost orthogonal to the vessel and each probe contains an ellipse representing the local cross-section of the probe’s plane with the vessel surface. Note that the fully-automatic branch labelling method is extended to create also a node for each aneurysm neck. 4.1
The Conditions for Shifting of a Neck
To prevent erroneously shifting of a neck a number of conditions must be fulfilled, the most important ones are: 1. It is possible to align a probe [7] (from now on called the “neck probe”) at the neck node. Successful alignment indicates that the vessel has approximately a cylindrical cross-section at the neck node.
Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling
143
2. The diameter of the vessel at the neck should be sufficiently smaller than the diameter of the aneurysm, else, the neck may be inside the real aneurysm. 3. It is possible to generate a tube (see Section 4) by fully-automatic vessel tracing [6] along the best valid run-up path to the neck node. A run-up path consists of branches of the generated graph [6]. A run-up path is valid if the last part of the run-up path is inside the run-up region. This run-up region is a truncated cylinder enclosing the “normal” vessel part at the neck. Both the length and the radius of this cylinder are given by radius of the neck probe. The normal of the neck probe gives the central axis of this cylinder. If there are more valid run-up paths, we select the run-up path which stays as long as possible inside the halve cylinder, created by extending the run-up region farther away from the aneurysm. If there are still more valid runup paths, we select the run-up path with the greatest Euclidean distance between the begin of the run-up path and the plane of the neck probe. If there are still more, we select the run-up path with the greatest length. The generated tube is also used to refine the run-up region. 4. The aneurysm is separated from the refined run-up region except at the neck. 5. The generated tube contains enough aligned probes to extract the radius threshold rshif t from the radii of these probes (details not in this paper). rshif t (just greater than the vessel radius at the neck) is used to detect where the vessel part evolves into the real aneurysm. 4.2
Cleaning and Shifting
All aneurysm voxels in the refined run-up region are changed to “normal” vessel voxels. After that, possible aneurysm voxels in the vessel part farther away from the neck are probably disconnected from the real aneurysm. These isolated clusters of aneurysm voxels are also changed to “normal” vessel voxels. Starting at the neck node, the erroneous voxels closer to the aneurysm center are corrected by moving a test probe in small steps along a growing path (the “shift path”) of face connected vessel voxels. All face neighbor vessel voxels of the current voxel of the shift path, closer to the aneurysm center, are candidates to extend the shift path. If there are more candidates, we select the candidate closest to the vessel center. If there are still more, we select the candidate with the smallest Euclidean distance to the probe. For each new voxel the probe is first moved to the position of this voxel and next aligned [7] to extract the local direction of the vessel. For each position of the test probe we collect the vessel voxels located in a small cylindrical slice at the front side of the plane of the probe. The radius of this slice is equal to radius threshold rshif t . The central axis is given by the plane normal of the probe. The thickness is equal to the size of a voxel times 2.5. The factor 2.5 is carefully chosen: a much smaller factor resulted in disjunct vessel voxels in case the plane is oblique compared to the voxel grid and a much larger factor resulted in a premature stop.
144
J. Bruijns et al. Fig. 1. Aneurysm.
1: Gray value volume
2: Labelled volume
3: Before shifting of the neck
4: After shifting of the neck
Shifting of the neck is stopped when an aneurysm voxel is encountered between the two bounding planes of the current slice but outside the cylinder, face connected to a vessel voxel of this slice, possibly via a chain of face connected vessel voxels. If not, the aneurysm voxels of the current slice are changed to “normal” vessel voxels. After the neck has been shifted, the graph structure is adjusted. If the neck node has exactly one branch, the shift path is used to extend this branch. The neck node is moved to the last knot of this extended branch. If a neck node has more than one branch, a new neck node is created, connected to the old neck node via the shift path.
5
Results and Discussion
We have applied the method to improve the accuracy of the estimated aneurysm volume by shifting of the aneurysm necks to 42 clinical volumes with an aneurysm
Shifting of the Aneurysm Necks for Enhanced Aneurysm Labelling
145
(11 of them 256x256x256, the rest 128x128x128), acquired with the 3D Integris system [8]. In 36 of these cases aneurysm voxels were changed to “normal” vessel voxels. The mean number of aneurysm voxels changed is 3.5% of the number of aneurysm voxels, the maximum number is 16.7%. The total numbers of necks is 131, the total number of run-up regions cleaned is 72, the total number of necks shifted is 43. Not a single neck was moved inside the real aneurysm. The effect of a shifted neck can be perceived by comparing Fig. 1.3 with Fig. 1.4. Shifting of the erroneous aneurysm necks to the real aneurysm gives better estimates for our clinical aneurysm volumes. Possibly more important than these better estimates is that a picture without a lot of erroneously labelled “normal” vessel parts (compare Fig. 1.3 with Fig. 1.4) increases the confidence in the accuracy of the aneurysm labelling method.
References 1. Kemkers R, Op de Beek J, Aerts H, et al. 3D-Rotational Angiography: First Clinical Application with use of a Standard Philips C-Arm System. In: Procs CAR 98. Tokyo; 1998. 2. Bruijns J. Local Distance Thresholds for Enhanced Aneurysm Labelling. In: Procs BVM. Heidelberg, Germany; 2005. p. 148–152. 3. Subasic M, Loncaric S, Sorantin E. 3-D image analysis of abdominal aortic aneurysm. In: Procs SPIE: Medical Imaging: Image Processing, Volume 4684; 2002. p. 1681–1689. 4. McLaughlin RA, Noble JAlison. Demarcation of Aneurysms using the Seed and Cull Algorithm. In: Procs MICCAI 2002. Tokyo, Japan; 2002. p. 419–426. 5. de Bruijne M, van Ginneken B, Viergever MA, Niessen WJ. Interactive segmentation of abdominal aortic aneurysms in CTA images. Med Image Anal 2004;8(2):127–138. 6. Bruijns J. Fully-Automatic Branch Labelling of Voxel Vessel Structures. In: Procs VMV. Stuttgart, Germany; 2001. p. 341–350. 7. Bruijns J. Semi-Automatic Shape Extraction from Tube-like Geometry. In: Procs VMV. Saarbruecken, Germany; 2000. p. 347–355. 8. Philips-Medical-Systems-Nederland. INTEGRIS 3D-RA. Instructions for use. Release 2.2. Philips Medical Systems Nederland. Best, The Netherlands; 2001.
Vollautomatische Segmentierung der weißen Hirnsubstanz oberhalb der Seitenventrikel aus kernspintomographischen Datens¨ atzen Ralf Sch¨ onmeyer1,2 , Anna Rotarska-Jagiela1,2, David Prvulovic1,2 , Corinna Haenschel1,2,3 und David E.J. Linden4 1
Brain Imaging Center, Universit¨ at Frankfurt am Main, Schleusenweg 2-16, 60528 Frankfurt am Main 2 Labor f¨ ur Neurophysiologie und Neuroimaging, Universit¨ atsklinikum Frankfurt, Zentrum der Psychiatrie, Heinrich-Hoffmann-Str. 10, 60528 Frankfurt am Main 3 Max-Planck-Institut f¨ ur Hirnforschung, Deutschordenstraße 46, 60528 Frankfurt am Main 4 School of Psychology, University of Wales, LL57 2AS Bangor, UK Email:
[email protected]
Zusammenfassung. In dieser Arbeit stellen wir einen voll-automatisierten Algorithmus vor, der in der Lage ist, die weiße Substanz in der Region oberhalb der Ventrikel aus T1-gewichteten anatomischen MRDatens¨ atzen des menschlichen Gehirns zu segmentieren. Im Gegensatz zu anderen Methoden werden dabei nur wenige Voraussetzungen u ¨ ber die zu verarbeitenden Daten gemacht, und es sind keine ggf. manuell zu begleitenden Vorverarbeitungsschritte, wie z.B. Filterung und/oder Normalisierung, n¨ otig. Der Algorithmus wurde unter Zuhilfenahme der Cognition Network Technology implementiert, die eine wissensbasierte und kontextsensitive Handhabung der Bilddaten erlaubt. Eine quantitative Auswertung anhand von bis jetzt 10 Datens¨ atzen zeigt, daß im Vergleich zu einer manuellen Segmentierung eine overlay-metric von 0.9 erzielt wird.
1
Einleitung
Durch die immer gr¨ oßere Verf¨ ugbarkeit von Kernspintomographen in der klinischen Forschung und die damit einhergehende steigende Anzahl der zu verarbeitenden Datens¨ atze wird es zunehmend wichtiger, Arbeitsschritte zu automatisieren und unabh¨ angig von manueller Interaktion zu machen. Dabei bilden Segmentierungs- und Klassifikationsaufgaben oftmals den Flaschenhals“ der ” Verarbeitungskette, da automatische L¨ osungen oft nur unzureichende Ergebnisse liefern und manuelle Verfahren sehr zeit- und personalaufw¨andig sind. Im vorliegenden Fall ist es f¨ ur eine aktuelle MR-Spektroskopie-Studie zur AlzheimerKrankheit n¨ otig, die weiße Substanz oberhalb des Ventrikelsystems zu segmentieren. In diesem transversalen Bereich werden spektroskopische Messungen koregistriert, deren Ergebnisse zusammen mit den Ergebnissen der Gewebeklassifikation der weißen Substanz in weitere orts- und gewebetypabh¨angige Berechnungen
Vollautomatische Segmentierung der weißen Hirnsubstanz
147
einfließen. Da das Ziel eine vollautomatische Verarbeitung der Auswertung sein soll, die potentiell auch im klinischen Alltag eingesetzt werden kann, ist eine manuelle oder halb-automatische Verarbeitung nicht gew¨ unscht. In dieser Arbeit wird ein Verfahren vorgestellt, das auf T1-gewichteten MR-Datens¨atzen die geforderte Aufgabe zufriedenstellend l¨ ost und dabei nur wenige Voraussetzungen u ¨ ber die Beschaffenheit der Ausgangsdaten macht.
2
Stand der Forschung
Die uns bekannten Verfahren zur automatischen Segmentierung der weißen Substanz, wie sie zum Beispiel in den Softwarepaketen Brains2 [1] und BrainVoyager [2] implementiert sind, arbeiten meist mit Schwellenwerten und verlangen i.d.R. nach einer umfangreichen Vorverarbeitung der anatomischen Ausgangsdaten mit Hilfe von Filterungs-, Homogenisierungs- und Normalisierungsoperationen, die teilweise interaktiv begleitet werden m¨ ussen. Wenn Segmentierungsergebnisse f¨ ur pr¨ azise volumetrische Berechnungen herangezogen werden sollen, ist eine manuelle Bearbeitung unumg¨ anglich und definiert nach wie vor den Goldstandard. Je nach gew¨ unschter Qualit¨ at kann dies – alleine f¨ ur die transversalen Schichten oberhalb der Ventrikel – leicht einen Tag Arbeitszeit pro Datensatz in Anspruch nehmen.
3
Wesentlicher Fortschritt durch den Beitrag
Das hier vorgestellte Verfahren setzt keinerlei Vorverarbeitung wie Filterung, Homogenisierung oder Normalisierung der zu verarbeitenden T1-gewichteten MR-Datens¨ atze des menschlichen Kopfes voraus. Es arbeitet vollautomatisch auf Daten von Probanden ohne pathologische intrakranielle Raumforderungen (Tumore, Blutungen, etc.), die mit verschiedenen MR-Sequenzen aufgenommen wurden und eine unterschiedliche Qualit¨ at hinsichtlich Helligkeit, Kontrast und Signal-zu-Rausch-Verh¨ altnis aufweisen.
4
Methoden
Die Bildanalysealgorithmen wurden mittels der Cognition-Network-Technology (CNT) [3] der Firma Definiens AG, M¨ unchen, entworfen und mit Hilfe der Skriptsprache Perl gesteuert. Das objektorientierte Konzept der CNT zur wissensbasierten Bildanalyse und der Workflow zur automatisierten Verarbeitung von 3DMR-Daten wurden in [4] vorgestellt. F¨ ur die damalige Aufgabe – automatisierte Segmentierung der Seitenventrikel – war es noch ausreichend, einfachere Operationen mit der CNT zu vollziehen und somit eine evaluierte Machbarkeitsstudie f¨ ur die Verarbeitung von 3D-Daten mit dieser Technologie zu bilden. Hingegen muß in diesem Beitrag, aufbauend auf den dort erlangten Erkenntnissen, verst¨ arkt auf die erweiterten M¨ oglichkeiten der CNT zur¨ uckgegriffen werden, um
148
R. Sch¨ onmeyer et al.
Abb. 1. Beispiel f¨ ur ein transversales Eingangsbild (a), an dem einige Verarbeitungsschritte des Algorithmus illustriert werden. (b) zeigt die Verarbeitung nachdem eine Absch¨ atzung f¨ ur die Kalotte (hellgrau) und eine Maskierung von absolut und relativ zur Umgebung dunklen Bereichen (schwarz) erfolgte. In (c) sind Kantenbereiche grau dargestellt. Diese begrenzen die zu bildenden Segmente, die in Nachbarschaft zu den dunklen Bereichen als graue Substanz (in (d) dunkelgrau dargestellt) klassifiziert werden. Der weiß markierte Bereich in (d) stellt das Segmentierungsergebnis f¨ ur die weiße Substanz in dieser Schicht dar.
(a)
(b)
(c)
(d)
der jetzigen viel komplexeren Problemstellung besser gerecht zu werden. Im Folgenden werden kurz die wesentlichen Verarbeitungsschritte zur Umsetzung des Algorithmus skizziert: Das Verfahren zum Auffinden der weißen Substanz arbeitet auf transversalen Schichten eines MR-Volumendatensatzes und klassifiziert zun¨achst alle absolut dunklen Bereiche nach einer einfachen Histogrammanalyse des Eingangsbildes (Abb. 1(a)). Damit werden im Wesentlichen extrakranielle und liquorgef¨ ullte Areale klassifiziert, die auch eine Absch¨atzung des Kalottenumfangs erlauben (grauer Bereich in Abb. 1(b)). Danach werden Bereiche, die relativ zur Umgebung dunkel sind, markiert. Dies erfasst haupts¨achlich Liquor, der aufgrund des Partialvolumeneffekts heller erfasst wurde, und Teile der grauen Substanz. In Abb. 1(b) sind dies die schwarz dargestellten Bereiche innerhalb der Kalotte. Nun wird auf alle noch nicht markierten Bildpunkte ein lokal adaptiver Kantendetektor eingesetzt, der vorzugsweise Pixel, die auf der Grenze zwischen grauer und weißer Substanz liegen, erfasst und markiert (Abb. 1(c)). Eine Kontrastsegmentierung unterteilt die noch verbleibende unmarkierte Bildfl¨ache in Objekte ¨ ahnlicher Helligkeit und Gr¨ oße. Dabei hindern die zuvor markierten Kantenpixel die Kontrastsegmentierung daran, Objekte zu bilden, die u ¨ ber Kanten hinausgehen. Segmente, die zu Liquor-Objekten Kontakt haben, werden vom Algorithmus mit großer Wahrscheinlichkeit der grauen Substanz zugeordnet, was insbesondere f¨ ur Schichten oberhalb der Ventrikel zutrifft. Die nun verbleibenden unklassifizierten Objekte in der Bildmitte stellen das Ger¨ ust f¨ ur die weiße Substanz dar. Mit Hilfe von kontextsensitiven Erosions- und Dilatationsoperationen werden alle Rest- und Kantenobjekte ggf. der weißen Substanz zugeordnet, um sie weiter auszuformen (Abb. 1(d)). Eine nachtr¨aglich angewandte 3D-RegionGrowing-Operation klassifiziert den nun zusammenh¨angenden Bereich der weißen Substanz.
Vollautomatische Segmentierung der weißen Hirnsubstanz
149
Abb. 2. Detailausschnitte der 10 quantitativ untersuchten Datens¨ atze, die der jeweils ersten transversalen Schicht oberhalb des Ventrikelsystems entnommen wurden. Das Segmentierungsergebnis des hier vorgestellten Verfahrens ist weiß umrandet eingezeichnet.
5
Ergebnisse
Das Verfahren wurde bislang auf 25 verschiedene Datens¨atze angewandt und liefert nach Sichtkontrolle in allen F¨ allen ad¨ aquate Ergebnisse in den transversalen Schichten oberhalb des Ventrikelsystems. Dies ist genau der Bereich, in dem die ca. 10 mm dicke Schicht der spektroskopischen Untersuchung koregistriert wird, und die Ergebnisse der Gewebeklassifikation mit einfließen sollen. Eine quantitative Evaluation wurde bislang im Vergleich zu zehn Datens¨atzen vorgenommen, f¨ ur die eine manuelle Segmentierung der weißen Substanz vorliegt (Abb. 2). Diese wurde unter Zuhilfenahme von [5] angefertigt. Eine erste Auswertung zeigt, dass in dem geforderten Bereich oberhalb der Ventrikel eine mittlere overlaymetric nach [6] von 0,90 mit einer Standardabweichung von 0,019 erreicht wird. ¨ Die gr¨ oßte Ubereinstimmung betr¨ agt 0,92 und die schlechteste 0,85.
6
Diskussion
Die vorgestellte Methode arbeitet robust und liefert ein zufriedenstellendes Segmentierungsergebnis f¨ ur die zugrundeliegende Anwendung. Da es, im Gegensatz zu anderen Verfahren, wenige Voraussetzungen u ¨ ber die zu verarbeitenden Datens¨ atze macht, ist es f¨ ur die Eingliederung in den Arbeitsablauf zur Auswertung der spektroskopischen Messungen geeignet und verl¨angert diesen insbesondere nicht um manuelle Verarbeitungsschritte. Beim Testen kam die Verarbeitung von Datens¨ atzen unterschiedlicher MR-Sequenzen (u.a. MPRAGE, MDEFT, T1FLASH) erfolgreich zum Einsatz, die die in der klinischen Diagnostik und Forschung typischen Qualit¨ atsschwankungen aufweisen. Teilweise erzielen andere Verfahren eine h¨ ohere overlay-metric von ca. 0,95. Im Vergleichsfall (mit
150
R. Sch¨ onmeyer et al.
BrainVoyager) wurden solche Ergebnisse aber nur erzielt, wenn der Ausgangsdatensatz aufw¨ andig gefiltert und normalisiert wurde, was unabdingbar manuelle Arbeitsschritte n¨ otig macht. Zudem werden bei nichtlinearer Normalisierung des Kortex, wie zum Beispiel der weit verbreiteten Talairach-Transformation, Gr¨oßenverh¨ altnisse verzerrt, so dass in Hinblick auf volumetrische Auswertungen die Aussagekraft, der mit solchen Verfahren gefundenen Ergebnisse, eingeschr¨ ankt ist. Es ist geplant, die vorgestellten Algorithmen noch zu erweitern und auch auf Schichten anwendbar zu machen, die Ventrikelstrukturen enthalten, um somit die Segmentierung der weißen Substanz auch auf tieferen Schichten von nicht-normalisierten Datens¨ atzen ausweiten zu k¨onnen. Gerade durch das objektorientierte Konzept der Cognition-Network-Technology k¨onnen die hier gezeigten Verfahren mit Implementierungen bereits vorhandener Algorithmen [4] der gleichen Programmplattform interagieren. Danksagung. Die Autoren danken der Alzheimer Forschung Initiative e.V. f¨ ur die finanzielle Unterst¨ utzung. Das Brain Imaging Center Frankfurt am Main wird gef¨ ordert durch das Bundesministerium f¨ ur Bildung und Forschung (DLR 01GO0203).
Literaturverzeichnis 1. Goebel R. BrainVoyager: Ein Programm zur Analyse und Visualisierung von Magnetresonanztomographiedaten. In: Plesser T, Wittenburg P, editors. Forschung und wissenschaftliches Rechnen. Beitr¨ age zum Heinz-Billing-Preis 1996. GWDG-Bericht. G¨ ottingen: Gesellschaft f¨ ur wissenschaftliche Datenverarbeitung mbH; 1997. http://www.brainvoyager.com. 2. Magnotta VA, Harris G, Andreasen NC, O’Leary DS, Yuh WT, Heckel D. Structural MR image processing using the BRAINS2 toolbox. Comput Med Imaging Graph 2002;26(4):251–64. 0895-6111 Journal Article. 3. Sch¨ ape A, Urbani M, Leiderer R, Athelogou M. Fraktal hierarchische, prozeß- und objektbasierte Bildanalyse. In: Procs BVM; 2003. p. 206–210. http://www.definiens.com. 4. Sch¨ onmeyer R, Prvulovic D, Rotarska-Jagiela A, Dallmann K, Haenschel C, Athelogou M, et al. Automatisierte Segmentierung der Seitenventrikel des menschlichen Gehirns aus kernspintomographischen Datens¨ atzen. In: Procs BVM; 2005. p. 83–87. 5. Sch¨ onmeyer R, Prvulovic D, Linden DEJ. VMR Segmenter – A Tool for Manual Segmentation of VMR-datasets; 2005. Http://www.bic.uni-frankfurt.de/bv-tools. 6. Zijdenbos AP, Dawant BM, Margolin RA, Palmer AC. Morphometric analysis of white matter lesions in MR images. IEEE Trans Med Imaging 1994;13(13):716–724.
Knowledge-Based Segmentation of Calvarial Tumors in Computed Tomography Images Aleksandra Popovic1 , Martin Engelhardt2 and Klaus Radermacher1 1
Chair of Medical Engineering, Helmholtz-Institute for Biomedical Engineering, RWTH Aachen University 2 Clinic for Neurosurgery, Ruhr-University Bochum Email:
[email protected]
Abstract. This paper presents an image segmentation algorithm based on the level sets deformable model framework, guided with patient specific information as well as a priori knowledge gained from the training set. The driving application is segmentation of 3D calvarial tumors from Computed Tomography images, which is a challenging task considering the fact that they reside both in calcified and soft tissue, have ill-defined borders, and occupy wide range of image intensities. Level set algorithms are widely used for complex segmentation problems since they show good robustness in presence of inhomogeneities and noise. However, for segmentation of object with fuzzy borders, standardly used surface evolution forces based on the gradients often fail to reach the convergence. We present an algorithm that combines image specific information and a priori knowledge on image intensities of objects under investigation. The knowledge modeling framework is presented, followed by the segmentation algorithm, and the validation of the results.
1
Introduction
The CRANIO project for computer and robot assisted craniotomy [1] tackles the problem of efficient and effective removal of calvarial tumors, including operation planning and surgery. Within this framework a need for automatic and semiautomatic delineation of calvarial tumors emerged. Calvarial tumors can be found anywhere from the meninges to the area under the skin of the head. The variety of origin and location of calvarial tumors results in diverseness in their appearance in Computed Tomography (CT) images. They are standardly located in both soft and calcified tissue, occupying a large range of image intensities. Furthermore, local calcifications and ossifications, which are both very common in those lesions, represent persistent problem since they introduce large discontinuities. Thus, region or edge based algorithms often fail to properly segment the entire tumor. In our previous study [2] we have demonstrated that in comparison with other segmentation methods, level set framework showed the most promising results. This is due to its capability to advance in two or more fronts and finally merge together into one bounding surface, which is the key feature when an object with different tissue types is to
152
A. Popovic, M. Engelhardt and K. Radermacher Fig. 1. Flowchart of the segmentation process.
belief map
Segmentation framework
patient specific gradients
segmentation result
be segmented. In this paper, we propose an extension to the approach presented in our previous work [2], adding a knowledge-based propagation term to the segmentation framework. The most common approach in modeling of a priori knowledge in medical image segmentation is to define an a priori shape and adjust it to the borders of the specific object to be segmented. Although this method has been successful in segmentation of healthy anatomy [3], Clark et al. point out that prior shapes are virtually unfeasible for segmentation of tumors, due to the morphological discrepancy between the subjects [4].
2
Methods
The segmentation approach proposed here relies on the level sets based deformable model, guided with gradients derived from the image under subject and the individual belief map generated from the training set (Fig. 1). A belief map indicates a likelihood that an image element belongs to the tumor. In this work, belief map is solely based on the grey-levels of the image. 2.1
Belief Map Generation
Let T be a training set of grey-level images of tumor extracted region, Ti (x), Ti : R3 → R, i = 0...nt − 1, x = [x, y, z]T . It is important to notice that each image from the training set, Ti , contains grey-levels of the tumor while all other parts of the image are set to zero. Tumors were previously manually segmented by an expert. For each image in T a maximum likelihood estimation of a Gaussian distribution of the grey-levels within the tumor is computed (µi , σi ). Mean Gaussian distribution is found at: nt −1 1 µ= µi , nt i=0
nt −1 1 σ= σi . nt i=0
(1)
Knowledge-Based Segmentation of Calvarial Tumors
153
Let I(x) (I : R3 → R) be an image to be segmented. In each image element, i.e. voxel, a likelihood that given voxel belongs to the tumor is defined as: B(x) = 2.2
I(x)−µ 1 √ e− 2σ2 σ 2π
(2)
Level Set Evolution
Level sets are generalized surface movement framework [5], where surface evolution is defined as: ∂Ψ (x, t) = −∇Ψ (x, t) · F (x), (3) ∂t Ψ (x, t) is a hypersurface defined on the entire image while the surface under subject is a zero level set of Ψ . Speed function, F (x), defines velocity and direction of movement in each point of the front. In our previous work [2], we have used following speed function: F (x) = Fp (x) + Fc (x) + Fa (x), Fp = α · gI (x),
Fc = −β · gI (x) · k(x),
where k is the curvature of the current front map, and Q is the advection force, defined as: gI (x) =
1 , 1 + |∇Gσ ∗ I(x)|
Fa = γ · ∇Q(x), ∇Φ (∇ |∇Φ| ), gI is an edge
Q(x) = −|∇(Gσ ∗ I(x))|,
(4) (5) potential
(6)
where Gσ is the Gaussian filter. Fp , Fc , Fa are propagation, curvature, and advection speed terms, respectively. This terms are weighted using three constants [α, β, γ]. Herein, we propose an extension to this framework by introducing additional term B(x), Eq. 2, into the propagation part of the speed function: Fp (x) = α · (δ · B(x) + gI (x)).
(7)
The level set propagation is realized within the National Library of Medicine Image Segmentation and Registration Toolkit (http://www.itk.org). 2.3
Validation of the Segmentation Results
Statistical metrics for validation of a segmentation outcome in comparison with the ground truth used in this study are defined as follows: DSC =
sensitivity =
2·TP , 2·TP + FP + FN
TP , TP + FN
specif icity =
(8) TN , TN + FP
(9)
where TP, FP, TN, FN, are number of true positives, false positives, true negatives, and false negatives, respectively. Dice Similarity Coefficient (DSC) is a special case of the kappa statistics for very large samples.
154
A. Popovic, M. Engelhardt and K. Radermacher
Table 1. Minimal and maximal value of three validation metrics for five patient Patient A B C D E
3
Diagnosis Sensitivity Metastasis 0.59÷0.77 Meningioma (WHO II) 0.83÷0.90 Meningioma (WHO III) 0.81÷0.88 Meningioma (WHO I) 0.81÷0.97 Meningioma (WHO I) 0.90÷0.96
Specificity 0.96÷0.96 0.98÷0.99 0.98÷0.99 0.95÷0.99 0.98÷0.99
DSC 0.68÷0.70 0.72÷0.86 0.79÷0.83 0.81÷0.89 0.84÷0.88
Materials
Five patient datasets were used, four thereof with diagnosed meningioma and one with skull metastasis. All patients were scanned with Siemens Somatom Plus CT, resolution 0.43x0.43x3mm. Tumors were manually delineated by one of the coauthors (M.E.). For each test a group of four datasets is used for the knowledge modeling and fifth dataset for the validation of segmentation results.
4
Results
In the Table 1 validation results for the five datasets under subject are shown. Different results are archived by varying algorithm parameters [α, β, γ, δ]. For all patients, a significant improvement compared to classical level sets algorithm [2] for all three validation metrics is noticeable. Figure 2 presents an example of the segmentation workflow and a segmentation result. Entire segmentation process lasts approximately one minute.
5
Discussion and Conclusion
For all patients, a significant improvement compared to classical level sets algorithm [2] in all three validation metrics is noticeable. The algorithm here presented uses topological flexibility of level sets (e.g. fronts merging) together with a knowledge-based term which stabilizes the algorithm and improves accuracy. As Zijdenbos et al. [6] specified, DSC of more then 0.7 is considered to be a very good segmentation result. In this study, for four patients, it was possible to reach DSC of more then 0.8, with the sensitivity of above 0.85. However, segmentation results for patient ’A’ are significantly less accurate, due to the fact that this patient was diagnosed with a very large metastasis expanding to extra calvarial soft tissue. It is clear from the Table 1 that segmentation accuracy decreases with severity of the tumor (WHO grade). In our future work, we will focus on improvements of knowledge modeling. First tests using a discrete method as in Touhami et al. [7] showed promising results.
Knowledge-Based Segmentation of Calvarial Tumors
155
Fig. 2. From left to right: Original image, represented using two sided intensity window, Speed function, and a segmentation result.
Acknowledgement. This project is funded in part by the German Research Foundation (DFG), Framework ’Surgical Navigation and Robotics’ (DFG RA548/2-1)
References 1. Popovic A, Engelhardt M, Wu T, Portheine F, Schmieder K, Radermacher K. CRANIO – Computer Assisted Planning for Navigation and Robot-assisted Surgery on the Skull. In: Lemke HU, et al, editors. Procs CARS. vol. 1256 of International Congress Series. Elsevier; 2003. p. 1269–1276. 2. Popovic A, Engelhardt M, Radermacher K. Segmentation of Skull-infltrated Tumors Using ITK: Methods and Validation. In: ISC/NA-MIC/MICCAI Workshop on Open-Source Software at MICCAI 2005. Available: http://hdl.handle.net/1926/21; 2005. 3. Paragios N. A Level Set Approach for Shape-driven Segmentation and Tracking of the Left Ventricle. IEEE Transactions on Medical Imaging 2003;22(6):773–776. 4. Clark MC, Hall LO, Goldgof DB, Velthuizen R, Murtagh FR, Silbiger MS. Automatic Tumor Segmentation Using Knowledge-Based Techniques. IEEE Transactions on Medical Imaging 1998;17(2):187–201. 5. Sethian JA. Level Set Methods and Fast Marching Methods. vol. 3. 2nd ed. Cambridge University Press; 1996. 6. Zijdenbos AP, Dawant BM, Margolin RA, Palmer AC. Morphometric Analysis of White Matter Lesions in MR Images: Method and Validation. IEEE Transactions on Medical Imaging 1994;13(4):716–724. 7. Touhami W, Boukerroui D, Cocquerez JP. Fully Automatic Kidneys Detection in 2D CT Images: A Statistical Approach. In: Duncan J, Gerig G, editors. Eigth International Conference on Medical Image Computing and Computer–Assisted Intervention (MICCAI). vol. 3749 of Lecture Notes on Computer Science. SpringerVerlag; 2005. p. 262–270.
Live-Wire Segmentierung fu oste ¨r hochaufgel¨ Farbbilder mit optimierter Graphensuche Thorsten Zerfaß1,2 , Sebastian Mues-Hinterw¨aller1, Dietrich Paulus2 und Thomas Wittenberg1 1
2
Fraunhofer-Institut f¨ ur Integrierte Schaltungen IIS, Erlangen Institut f¨ ur Computervisualistik, Univ. Koblenz-Landau, AG Aktives Sehen Email:
[email protected]
Zusammenfassung. Das aus der Literatur bekannte Live-Wire Verfahren beschreibt einen konturbasierten, interaktiven Ansatz zur Segmentierung. Die Kontur eines Objekts wird dabei durch einen Pfad minimaler Kosten beschrieben, der durch eine Menge von Saatpunkten f¨ uhrt, die zuvor durch den Benutzer selektiert wurden. Der Live-Wire Ansatz liefert gute Ergebnisse hinsichtlich Segmentierungsqualit¨ at und Geschwindigkeit bei minimalem Interaktionsaufwand und dies mit relativ geringem Zeitaufwand. Bei den in der Literatur beschriebenen Verfahren werden f¨ ur die Berechnung der Pfade oft nur Grauwertbilder verwendet, die Berechnung anhand von Farbbildern wird nur sehr selten behandelt. Diese Arbeit befasst sich intensiv mit deren Verwendung und stellt neue Ans¨ atze vor, die Farbinformationen f¨ ur die Segmentierung zu nutzen, um hierdurch die Qualit¨ at der Segmentierungsergebnisse zu steigern. Zudem wird f¨ ur den Bereich der Graphensuche innerhalb des Live-Wire Verfahrens bisher der Algorithmus von Dijkstra verwendet. Im Kontext dieser Arbeit wird als alternativer Ansatz der F*-Algorithmus f¨ ur eine wesentlich effizientere Graphensuche speziell f¨ ur hochaufgel¨ oste Bilder vorgestellt. Die vorgestellten Verbesserungen des Live-Wire Verfahrens werden abschließend an einer repr¨ asentativen Stichprobe evaluiert.
1
Problemstellung
Durch eine Vielzahl neuer Techniken und Forschungsergebnisse hat sich die Anzahl der verf¨ ugbaren medizinischen Bildaufnahmemodalit¨aten in den vergangenen Jahren deutlich erh¨ oht. Insbesondere farbige Modalit¨aten werden verst¨arkt in der Bildgebung eingesetzt. Zudem hat sich eine starke Verbesserung der Bildqualit¨ at und Bildaufl¨ osung bereits bestehender Verfahren ergeben. Um einen Arzt bei der objektiven Beurteilung der Bilddaten zu unterst¨ utzen, bieten moderne Mensch-Maschine-Schnittstellen in Kombination mit Bildverarbeitungsans¨ atzen M¨ oglichkeiten, um wichtige Bereiche in einem Bild interaktiv herauszuheben oder zu markieren. Das Live-Wire Verfahren [1] stellt einen solchen Ansatz dar, um eine Interaktion des Benutzers mit dem System zu erm¨oglichen, und gleichzeitig gute Segmentierungsergebnisse zu erhalten. Im Gegensatz zu vollautomatischen Segmentierungsverfahren, die i.d.R. nur applikations-spezifisch
Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder
157
gute Ergebnisse liefern, lassen sich Live-Wire Verfahren universell einsetzen. Zudem liefern Live-Wire Verfahren eine hohe Qualit¨at in Bezug auf Genauigkeit und Geschwindigkeit einer Segmentierung. Um jedoch den eingangs erw¨ahnten Entwicklungen bzgl. neuen – farbigen – Bildmodalit¨aten sowie gesteigerten Bildaufl¨osungen gerecht zu werden, bedarf es sinnvollen Erweiterungen des Live-Wire Verfahrens. In den letzten Jahren sind hierzu die verschiedensten Ans¨atze vorgestellt worden.
2
Stand der Forschung
Das Live-Wire Verfahren wurde 1992 von Mortensen und Barrett vorgestellt [1]. Es beschreibt eine interaktive Methode zur Segmentierung von Objektkonturen unter Verwendung des Graphensuchalgorithmus von Dijkstra [2] und einer Funktion zur Berechnung der Kosten f¨ ur bestimmte Pfade innerhalb eines Bildes anhand von Grauwertintensit¨ aten. F¨ ur die Verarbeitung von Farbbildern wird in der Literatur die Anwendung der in [1] vorgestellten Kostenfunktion auf den jeweils einzelnen Farbkan¨ alen vorgeschlagen. Dies f¨ uhrt durchaus zu einer Verbesserung der Ergebnisse, jedoch erh¨ oht sich auch die Berechnungzeit f¨ ur die gesamte Kostenfunktion. Die Auswahl einer Kontur erfolgt durch die Selektion eines sogenannten Saatpunktes auf der Kante des zu segmentierenden Objekts. Die Auswahl eines zweiten Punktes auf der Objektkontur initiiert die Berechnung des optimalen Pfades zwischen dem Saatpunkte und dem aktuellen Punkt, wobei der aktuelle Punkt durch die Position des Mauszeigers gegeben ist. Bewegt der Benutzer die Maus, bekommt er jeweils den optimalen Pfad zwischen Mauszeiger und Saatpunkt angezeigt. Hat sich der Benutzer f¨ ur eine bestimmte Position oder einen bestimmten Pfad entschieden, so beendet er die Markierung der Teilkontur, und startet wiederum die Suche nach einem optimalen Pfad zum n¨achsten Punkt. Der aktuell selektierte Punkt dient nun als neuer Saatpunkt f¨ ur die weitere Berechnung. Der beschriebene Vorgang wiederholt sich so lange, bis die gesamte Kontur des Objekts segmentiert wurde. Die dabei entstehende Kontur besteht aus den einzeln selektierten optimalen Pfaden.
3
Fortschritt durch den Beitrag
Der vorliegende Beitrag stellt zwei Erweiterungen des bekannten Live-Wire Verfahrens vor. Zum einen wird das Verfahren auf einen neuen Ansatz zur Verarbeitung von Farbbildern erweitert , zum anderen wird der zur Graphensuche vorgeschlagene Algorithmus von Dijkstra [2] durch den F*-Algorithmus [3, 4] ersetzt. Durch Verwendung der zus¨ atzlichen Informationen aus den verschiedenen Farbkan¨ alen erlaubt die Erweiterung auf Farbbilder eine Verbesserung der Kantenfindung, außerdem wird die Berechnungszeit durch die Verwendung einer alternativen Kostenfunktion deutlich gesenkt. Der F*-Algorithmus verbessert im Hinblick auf Bilddaten mit hoher Aufl¨ osung die Geschwindigkeit bei der Graphensuche und erlaubt auf diesen somit die effiziente Anwendung des Live-Wire Verfahrens.
158
4 4.1
T. Zerfaß et al.
Methoden Erweiterung auf Farbbilder
Bei der Segmentierung von Objekten auf Farbbildern kann die Verwendung der Grauwertintensit¨ aten der einzelnen Bildpunkte bei der Berechnung der Kostenfunktion zu Problemen f¨ uhren, da es viele Situationen gibt, bei denen wichtige Kanteninformationen zwischen farbigen Objekten bei der Umrechnung in ein Grauwertbild verloren gehen. Eine Erweiterung der Kostenfunktion auf Farbbilder und deren zus¨atzliche Information erscheint deshalb sinnvoll. Ein einfacher Ansatz hierzu w¨ are die Verwendung der in [1] vorgestellten Kostenfunktion auf den jeweils einzelnen Kan¨ alen des Bildes. Die Berechnung dieser Kostenfunktion ist jedoch relativ zeitaufw¨ andig, f¨ ur die Berechnung auf mehreren Farbkan¨alen sollte deshalb ein anderer Ansatz gew¨ ahlt werden. Ein alternativer Ansatz ist die Verwendung des Canny-Operators [5] auf allen drei Kan¨alen eines Bildes. Die Ergebnisse des Canny-Operators auf den jeweiligen Kan¨alen werden in einem anschließenden Schritt zusammengefasst, wobei die Resultate dabei mit empirisch ermittelten Werten unterschiedlich gewichtet werden. Die Vorteile dieses Ansatzes sind in der kurzen Berechnungszeit und in den guten Ergebnissen bei der Kantedetektion zu sehen. Weiterhin ergibt sich durch die Resultate, die der Canny-Operator liefert, eine Beschleunigung bei der Graphensuche, da es sich bei dem Ergebniss der Kostenfunktion nur noch um ein Bin¨arbild handelt. Die optimalen Pfade sind dadurch auf einfache Weise und mit geringem Zeitaufwand zu berechnen. 4.2
F*-Graphensuche
Im Bereich der Graphensuche liefert der Algorithmus von Dijkstra gute Ergebnisse, jedoch treten Rechenzeit- und Speicherplatzprobleme auf, wenn sich die Aufl¨ osung der Bilddaten deutlich erh¨ oht. Um dieses Problem zu beseitigen wurde der F*-Algorithmus [3, 4] als Alternative zum Dijkstra-Algorithmus [2] untersucht. Algorithmisch unterscheidet sich dieser deutlich von Dijkstra’s Ansatz. Wie der Algorithmus von Dijkstra ben¨ otigt der F*-Algorithmus die Angabe einer Kostenfunktion, um die Kosten f¨ ur die Kanten des Graphen zu bestimmen. Auch die Initialisierung des Pfad-Feldes verl¨ auft analog zum Dijkstra-Algorithmus. Die anschließenden Berechnungen auf dem Pfad-Feld unterscheiden sich jedoch vollst¨ andig. Den F*-Ansatz kann man sich als eine Art Distanztransformation auf dem Pfad-Feld vorstellen, bei dem die Werte innerhalb des Pfad-Feldes sukzessive aktualisiert werden. Hierbei sind die verwendeten Masken, sowie die Reihenfolge bei der Aktualisierung entscheidend. Das Pfad-Feld wird in mehreren Richtungen und mit verschiedenen Masken durchlaufen, die Werte innerhalb des Feldes werden dabei stets neu berechnet. Der Algorithmus terminiert, sobald ¨ sich in einer Iteration keine Anderung mehr innerhalb des Pfad-Feldes ergibt. Als Resultat erh¨ alt man ein Pfad-Feld, das die optimalen Pfade zu einem Saatpunkt enth¨ alt. Um den optimalen Pfad von einer bestimmten Position zum Saatpunkt zu erhalten, wird wie beim Dijkstra-Algorithmus ein Backtracking-Verfahren verwendet.
Live-Wire Segmentierung f¨ ur hochaufgel¨ oste Farbbilder
159
Abb. 1. Berechnungszeiten f¨ ur die Kostenfunktionen. 6 Canny-Operator als Kostenfunktion Original Kostenfunktion [1] 5
Zeit in s
4
3
2
1
0 1
2
3
4
5
6
7
8
9
10
Bild
5
Ergebnisse
Die beschriebenen Erweiterungen des Live-Wire Verfahrens wurden auf der Basis von 36 Referenzbildern aus unterschiedlichen Bildmodalit¨aten (CT, Endoskopie, Mikroskopie, ...) und Bildinhalten durch eine Gruppe von zehn Experten evaluiert. Jedes Bild wurde von jedem Experten mit dem orginal Live-Wire Verfahren sowie mit elf Varianten der modifizierten Version interaktiv segmentiert. Zudem wurde eine Evaluation an synthetisch erzeugten Bildern durchgef¨ uhrt. Dabei wurde das Verhalten des modifizierten Live-Wire Verfahrens im Hinblick auf Rauschen untersucht. Hierzu wurden die synthetisch erzeugten Bilder mit unterschiedlich starkem Salt´n-Pepper“ Rauschen versehen, der Verwendung dieses ” Rauschens kommen hierbei jedoch keine speziellen Bedeutungen zu. Beim Vergleich der Verfahren lagen die Schwerpunkte bei der Evaluation auf der Segmentierungsgeschwindigkeit, sowie auf der Segmentierungsgenauigkeit. Die Evaluation der Segmentierungsgenauigkeit wurde zum einen in Bezug auf Freihandsegmentierungen, zum anderen in Bezug zu Referenzsegmentierungen durchgef¨ uhrt. Es wurden dabei mehrere Metriken herangezogen um die Segmentierungsergebnisse zu vergleichen. Hierzu z¨ ahlten Dice-, Tanimoto-, Kappa- und RandpixelKoeffizient, sowie Fehlerwahrscheinlichkeit, Konsistenzwerte, Hausdorff-Distanz, CCH-Wert, CCC-Wert und Vektor-Distanz. Durch die Verwendung der beschriebenen Erweiterungen wurden sowohl bei der Segmentierungsgeschwindigkeit als
160
T. Zerfaß et al.
auch bei der Segmentierungsgenauigkeit positive Ergebnisse erzielt. In Abb.1 ist eine Gegen¨ uberstellung der Berechnungszeiten auf mehreren Bildern f¨ ur die in [1] vorgestellte Kostenfunktion und die Berechnung u ¨ ber den Canny-Operator [5] dargestellt, hier sind die zeitlichen Vorteile durch die Verwendung des CannyOperators deutlich zu sehen. Gegen¨ uber der Freihandsegmentierung liefert das vorgestellte Verfahren wesentlich bessere Resultate, sowohl bei der Geschwindigkeit als auch bei der Qualit¨ at. Ebenso konnten bessere Ergebnisse in beiden Bereichen im Bezug zum urspr¨ unglichen Verfahren [1] erzielt werden. Beispielsweise verringert sich die Anzahl der ben¨ otigten Saatpunkte, was in Konsequenz zu einer weiteren Beschleunigung der Segmentierungszeit f¨ uhrt.
6
Diskussion
Durch die Eweiterung des Live-Wire Verfahrens auf Farbbilder, sowie der zus¨ atzlichen Verwendung des F*-Verfahrens [3, 4], kann der in [1] beschriebene interaktive Segmentierungsansatz im Hinblick auf Geschwindigkeit und Qualit¨at der Segmentierung deutlich verbessert werden. W¨ahrend die Verwendung einer mehrkanaligen Kostenfunktion zur G¨ ute der Segmentierung auf Farbbildern beitr¨ agt, ¨ außert sich die Verwendung des F*-Verfahrens bei der Segmentierung hochaufgel¨ oster Bilder. Speziell bei Bildern mit r¨aumlichen Aufl¨osungen gr¨oßer als 512x512 Bildpunkten zeigt sich die Effizienz des F*-Ansatzes gegen¨ uber des ursp¨ unglichen Verfahrens von Dijkstra [2], da mit einer Erh¨ohung der Bildaufl¨ osung auch die L¨ ange und Anzahl aller zu verwaltenden optimalen Pfade und somit die notwendige Rechen- und Speicherkapazit¨at ansteigt.
Literaturverzeichnis 1. Mortensen EN, Morse BS, Barrett WA, et al. Adaptive Boundary Detection Using ‘Live-Wire’ Two-Dimensional Dynamic Programming. In: IEEE Proceedings of Computers in Cardiology (CIC ’92). Durham, NC; 1992. p. 635–638. 2. Dijkstra EW. A note on two problems in connexion with graphs. In: Numerische Mathematik. vol. 1. Mathematisch Centrum, Amsterdam, The Netherlands; 1959. p. 269–271. 3. Ford Jr LR. Network Flow Theory. The RAND Corperation, Santa Moncia, California; 1956. 4. Fischler MA, Tenenbaum JM, Wolf HC. Detection of Roads and Linear Structures in Low-Resolution Aerial Imagery Using a Multisource Knowledge Integration Technique. Computer Graphics and Image Processing 1981;15:201–223. 5. Canny J. A Computational Approach to Edge Detection. In: Fischler MA, Firschein O, editors. Readings in Computer Vision: Issues, Problems, Principles, and Paradigms. Los Altos, CA.: Kaufmann; 1987. p. 184–203.
Automatic Segmentation of the Vessel Lumen from 3D CTA Images of Aortic Dissection Tam´as Kov´acs1, Philippe Cattin1 , Hatem Alkadhi2 , Simon Wildermuth3 and G´ abor Sz´ekely1 1
Computer Vision Group, ETH Z¨ urich, 8092 Z¨ urich, Switzerland Institute of Diagnostic Radiology, University Hospital, 8092 Z¨ urich, 3 Institut fuer Radiologie, Kantonsspital St. Gallen, 9000 St. Gallen, Switzerland Email: 1 {kovacs, cattin, szekely}@vision.ee.ethz.ch, 2
[email protected], 3
[email protected] 2
Abstract. Acute aortic dissection is a life-threatening condition and must be diagnosed and treated promptly. For treatment planning the reliable identification of the true and false lumen is crucial. However, a fully automatic Computer Aided Diagnosing system capable to display the different lumens in an easily comprehensible and timely manner is still not available. In this paper we present the first step towards such a system, namely a method that segments the entire aorta without any user interaction. The method is robust against inhomogeneous distribution of the contrast agent generally seen in dissected aortas, high-density artifacts, and the dissection membrane separating the true and the false lumen.
1
Introduction
Acute aortic dissection is a life-threatening condition and must be diagnosed and treated promptly. The reliable identification of the true and false lumen is crucial for treatment planning. This is, however, a difficult task, even for trained professionals. A fully automatic Computer Aided Diagnosing (CAD) system capable to display the different lumens in an easily comprehensible way is still not available. It is thus the aim of this research to provide the radiologists generic tools to support diagnosis and treatment planning. In order to accomplish such a CAD system, an accurate segmentation of the entire aorta including the aortic arch as well as the ascending and descending segments is essential. Different solutions for the aorta segmentation can be found in literature. These include vessel axis extraction and border estimation [1, 2], neural network [3], watershed-based [4], region growing [5] and level set-based [6] approaches. All of these methods segment just a well defined part of the aorta, require manual initialization and some even user intervention. Moreover, these methods are not robust against the disturbing artifacts in the image data like the different densities of the contrast agent caused by flow variations in the two lumens, reconstruction errors due to high contrast agent density [7] and last but not least they are not able to deal with the dissection membrane within the aortic lumen.
162
T. Kov´ acs et al.
We have developed a method for the fully automatic segmentation of the aorta based on the Hough transformation (HT) and a deformable model (DM) framework. An extensive survey of the DMs is given in [8]. The DMs always require an accurate initialization of the object. Behrens in [9] suggests a Houghbased algorithm combined with a Kalman filter to obtain an approximate segmentation of tubular structures. The drawback of this approach is, however, the need for three initial parameters (starting point of the aorta, the aorta radius, and an approximate axis direction). Additionally, the large number of applied HTs make the segmentation relatively slow. In comparison to this approach, our method incorporates more a priori anatomical knowledge about the shape of the aortic arch and therefore needs no initial parameters.
2
Description of the Method
We present a robust, model based approach capable to segment the aorta regardless the inherent deficiencies present in CTA images of aortic dissections. The method is based on the observation that on the one hand the aorta lumen has an approximately circular cross section and on the other hand the aortic arch forms a 180◦ -sector of a torus. Using this a priori knowledge as a simple model in combination with the Hough transformation yields a reliable aorta segmentation method. As will be shown in the results, the circular shape of the aorta is an ideal constraining factor to support the segmentation process. In order to create an initial mesh for the DM, two seed points must be determined in the ascending as well as in the descending aorta. The points can be placed by a user (semiautomatic segmentation) or they can be calculated automatically as will be described next. In the first step the region of the heart is detected by calculating the average intensity of all axial slices. As the heart chambers have large cross sections filled with contrast agent, the highest average intensity is a reliable locator. Starting from the slice with the highest average intensity 20 axial slices were taken with a distance of 1 cm. On each of these slices the two circles defined by the strongest Hough-peaks were detected which mostly corresponded to the ascending and descending aorta. For the first slices, still in the heart region, no such circles are detected. In the next step, the centers of the detected circles from all of the slices are projected to an axial plane, which results in a set of points given by (x, y) coordinates. In order to obtain the positions of the aorta the set of points have to be spatially clustered, which in our case was performed with the K-means algorithm. According to our experiments the HT within the given interval superior the heart can detect not only the ascending and descending aorta but also the spine (although with a lower probability). Based on this consideration we have set the number of clusters to three. The centers of the two largest clusters in terms of number of elements approximate the position of the ascending and descending aorta. As the last step we search for the slice closest to the heart on which the two detected circles are members of the respective
Automatic Segmentation of the Vessel Lumen
163
clusters. The centers of these two circles serve as the seed points (CA , CD ) of the ascending and descending aorta, see Fig. 2(a)/1. Based on the relative position of (CA , CD ) the radius r of the aortic arch can be estimated with r = |CA − CD |/2, see Fig. 2(a)/2. With an additional HT on the reformatted slice perpendicular to the connecting line of the circle centers CA and CD , the superior point of the aortic arch can be estimated as shown in Fig. 2(a)/3. Since the aorta and the pulmonary artery are located close to each other, in fact two different circles are detected in the preceding step. From anatomical knowledge, however, we know that the aorta lies superior to the pulmonary artery (Fig. 2(a)/4) yielding C90◦ as the circle center. The center Carch of the aortic arch, Fig. 2(b), can now be determined with Carch = → − → − → − → − → − → − → − → − C90◦ + r( C AD − C 90◦ )/(| C AD − C 90◦ |) were C AD = C A + ( C D − C A )/2. So far the aorta centerline is defined by the three circle centers CA , C90◦ , and CD . For further refinement, additional slices are reformatted in 15 degree steps by pivoting around Carch , yielding 13 additional circle centers and aorta diameter pairs (Ci , di ) ∀ i = 0◦ , 15◦ , ..., 180◦ , see Fig. 2(b)/5. To avoid outliers in the first place, the two connecting lines between (C0◦ , C90◦ ) and (C90◦ , C180◦ ) are taken as a rough aortic arch model and the ROI in every reformatted slice can be restricted to 2.5-times the average aorta diameter. Defining tight ROIs not only increases the robustness, but also reduces the computational load of the approach, as the time consuming HTs are only applied to small subimages found by the model assumptions with the previously estimated parameters. Based on the center points Ci , a good approximation for the midline of the aortic arch is given. Starting from C180◦ the aorta segmentation is extended, in 2 cm steps, through the descending aorta towards the iliac bifurcation Fig. 2(b)/6. For computational efficiency the ROI is located at the same position as in the last slice and the ROI is limited to 70 × 70 mm2 . As the vessel’s cross section close to the bifurcation loses its circular shape, the distal end of the descending aorta can be easily detected and the process stopped. The centerline of the aorta and the arch is then interpolated from the center points using a cubic spline, see Fig. 2(b)/7. To further refine the segmentation, an elastically deformable model (DM) is used. The initial mesh of the DM can be easily generated using the aorta centerline with the associated aorta diameters. This initialization is then optimized using the mass-spring analogy as described in [10].
3
Results
The method was applied to 21 patients of which 3 had normal healthy anatomy and 8 abdominal aortic dissection. The 10 remaining patients have shown multiple pathologies as 3 aneurisms, 6 stenosis, and 8 stent grafts. The CT datasets typically consisted of 500 − 650 slices of 512 × 512 pixels using 16-bit quantization, with a pixel size of 0.6 − 0.65 mm, and an effective slice thickness of 2 mm. From the 21 datasets only the 3 aneurism and one heavy stenosis case failed, as our current implementation can not yet handle the variing lumen diameter. In spite of the sometimes bad signal-to-noise ratio and the presence of distractor
164
T. Kov´ acs et al.
Fig. 1. (a) The detection of the three initial circles to estimate the parameters of the aortic arch (b) the refinement of the aortic arch and the descending aorta with additional circles. The steps described in the text are highlighted with numbers
(a)
(b)
objects like stents, the segmentation process was successful in all other cases, as demonstrated on some examples in Fig. 2. To obtain a quantitative assessment, the datasets were manually segmented. The mesh of these segmentations were taken as the ground truth and compared to the results of the 17 successful segmentations. To quantify the performance, we determined the average distance of the two meshes perpendicular to the manual segmentation. Our method performed equally well for the group of healthy patients (3), dissections (8), small stenosis (2) resulting in an overall average error of 1.1 ± 0.17 mm. The best segmentation had an average distance of 0.84 ± 0.92 mm and the worst one of 1.33 ± 1.04 mm. The results were less satisfactory for the stent graft cases with an average distance of 2.22 ± 0.33 mm. The average time required to perform a manual segmentation was 40 min per dataset. In contrast, the processing time was less than 1 min for the semiautomatic segmentation (the two initial points were placed by a user), and about 6 min for the fully automatic procedure using a standard 2.4 GHz PC.
4
Discussion and Conclusion
In this paper we presented an automatic method for the segmentation of the aorta using a model based approach. The method uses HTs to detect the approximately circular shape of the aorta on the individual slices orthogonal to the vessel, and a 3D elastically deformable mass-spring model to more accurately adjust the detected contour to the aortic lumen. The method is robust against acquisition artifacts typically present in 3D CTA images of aortic dissections. The performance of the method has been evaluated on CT angiographic images of 21 patients. The results have been satisfactory, even if manual segmentation by a human expert would have produced a more accurate delineation of the lumen on some slices.
Automatic Segmentation of the Vessel Lumen
165
Fig. 2. (a) Accurate segmentation of the aortic arch displayed on an axial slice, (b) segmentation with the dissection membrane close the lumen wall, (c) the aorta outline on a slice of a noisy dataset, (d) 3D rendering of the segmented aorta
(a)
(b)
(c)
(d)
Our future work will concentrate on the detection of the dissection membrane within the identified region of interest. The detected membrane is then used to identify and visualize the true and false lumen of the aorta. Acknowledgments. This work has been supported by the CO-ME/NCCR research network of the Swiss National Science Foundation (http://co-me.ch).
References 1. Verdonck B, Bloch I, Maˆıtre H, et al. Accurate Segmentation of Blood Vessels from 3D Medical Images. In: IEEE Int Conf on Image Process; 1996. p. 311–314. 2. Wink O, Niessen WJ, Viergever MA. Fast Delineation and Visualization of Vessels in 3-D Angiographic Images. IEEE Trans Med Imaging 2000;19(4):337–346. 3. Katz WT, Merickel MB. Aorta Detection In Magnetic Resonance Images Using Multiple Artificial Neural Networks. In: Annual Int Conf of the IEEE Eng Med Biol Mag; 1990. p. 1302–1303. 4. Tek H, Akova F, Ayvaci A. Region competition via local watershed operators. In: IEEE Comput Soc Conf on Comput Vis and Pattern Recog; 2005. p. 361–368. 5. Pohle R, Toennies KD. Segmentation of Medical Images Using Adaptive Region Growing. In: SPIE Med Imaging Conf. vol. 4322; 2001. 6. Loncari´c S, Subasi´c M, Soratin E. 3-D deformable model for abdominal aortic aneurysm segmentation from CT images. First Int Workshop on Image and Signal Process and Anal 2000. 7. Baissalov R, Sandison GA, Donnelly BJ, et al. Suppression of high-density artefacts in x-ray CT images using temporal digital subtraction with application to cryotherapy. Phys Med Biol 2000;45:53–59. 8. McInerney T, Terzopoulos D. Deformable Models in Medical Image Analysis: A Survey. Med Image Anal 1996;1:91–108. 9. Behrens T, Rohr K, Stiehl HS. Robust Segmentation of Tubular Structures in 3-D Medical Images by Parametric Object Detection and Traking. IEEE Trans Syst Man Cybern B 2003;33:554–561. 10. Zsemlye Gabriel. Shape Prediction from Partial Information. Ph.D. thesis. Computer Vision Laboratory, ETH Zurich, Switzerland; 2005.
Automatische Erstellung von gleichm¨ aßig verteilten Landmarken fu ¨r statistische Formmodelle Tobias Heimann, Ivo Wolf und Hans-Peter Meinzer Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum, 69120 Heidelberg Email:
[email protected]
Zusammenfassung. Die Minimierung der Beschreibungsl¨ ange (MDL) ist eine der vielversprechendsten Methoden, um automatisch die n¨ otigen Punkt-Korrespondenzen f¨ ur die Erstellung statistischer Formmodelle zu bestimmen. Bisher gibt es allerdings keine M¨ oglichkeit, die Verteilung der erstellten Landmarken auf dem Modell zu beeinflussen, was zu unzureichenden Formdarstellungen f¨ uhren kann. In dieser Arbeit erweitern wir eine bekannte Methode, welche die Punkte auf einem einzelnen Gitternetz (Mesh) neu konfiguriert, f¨ ur den Einsatz mit statistischen Formmodellen. In einer abschließenden Evaluation mit Lungen- und Leberdatens¨ atzen zeigen wir, dass unser Verfahren die Generalisierungsf¨ ahigkeit und Spezifit¨ at der generierten Modelle signifikant verbessert.
1
Einleitung
In der medizinischen Bildverarbeitung ist die automatische Segmentierung dreidimensionaler Datens¨ atze noch immer ein weitgehend ungel¨ostes Problem. Beachtliche Erfolge wurden in den letzten Jahren bei der Verwendung statistischer Formmodelle (auch Active Shape Models“) [1] erzielt. Hierbei orientiert sich ” der Computer an einem statistischen Modell der zu findenden Strukturen, das aus einer Menge von Trainingsdaten gewonnen wird. Um ein solches Modell zu erstellen, muss zuerst eine Anzahl korrespondierender Punkte oder Landmarken auf den Trainingsdaten gefunden werden. Zur L¨osung dieses Problems existieren mehrere unterschiedliche Ans¨ atze: Eine M¨ oglichkeit ist, die Landmarken durch Registrierung mit einem deformierbaren Template, z.B. mit Hilfe von ThinPlate-Splines, auf jedes Trainingsmuster abzubilden. Auch u ¨ ber eine geeignete Parametrisierung der Formen wie Spherical Harmonics k¨onnen Korrespondenzen ermittelt werden. Wir nutzen in unserer Arbeit einen dritten Ansatz, bei dem die Korrespondenzen von einem Initialzustand aus iterativ verbessert werden. Dazu werden ebenfalls Parametrisierungen genutzt, die aber durch eine Kostenfunktion u ute des Modells optimiert werden. Die besten Ergebnisse ¨ ber die G¨ wurden bis jetzt mit einer auf MDL basierenden Kostenfunktion [2] erreicht. In diesem Beitrag besch¨ aftigen wir uns speziell mit dem Problem der fehlenden Kontrolle u ¨ ber die Verteilung der Landmarken auf den einzelnen Trainingsformen: Da das MDL-Verfahren dazu tendiert, Landmarken von starken
Automatische Erstellung von gleichm¨ aßig verteilten Landmarken
167
Ausbuchtungen der Formen weg zu bewegen, k¨ onnen sich durch die resultierende ungleichm¨ aßige Triangulierung betr¨ achtliche Differenzen zwischen den Trainingsdaten und ihrer Repr¨ asentation im Modell ergeben (Abb. 1(a)). Gleichm¨aßig verteilte Landmarken w¨ aren hier, genauso wie bei der Nutzung des Modells f¨ ur die Segmentierung, von großem Vorteil.
2
Grundlagen
Um ein statistisches Formmodell zu erstellen, m¨ ussen auf allen Trainingsdaten zuerst korrespondierende Landmarken positioniert werden. Beim MDL-Verfahren werden diese Landmarken nicht direkt auf den Eingangsdaten platziert, stattdessen wird jede 3D-Oberfl¨ ache zuerst in eine simplere Form u uhrt und die ¨berf¨ einzelnen Punkte dort initialisiert und modifiziert. F¨ ur Objekte ohne L¨ocher und Selbst¨ uberschneidungen (Genus 0) ist dieser Parameterraum kugelf¨ormig und u angen- und Breitengrade definiert. Wir verwenden das in [3] vor¨ ber L¨ gestellte Verfahren, um konforme (winkeltreue) Parametrisierungen Ω f¨ ur alle Trainingsdaten zu erzeugen. Eine beliebige Menge von Punkten Ψ , normalerweise gleichm¨ aßig auf der Kugel verteilt, l¨ asst sich dann u ¨ ber die Parametrisierungsfunktion Ωi in den Objektraum transformieren und repr¨asentiert dort das i-te Trainingsmuster. Um die initialen, weitgehend zuf¨ alligen, Korrespondenzen zu verbessern, lassen wir Ψ konstant und modifizieren stattdessen die Parametrisierungsfunktionen Ωi , wodurch die Landmarken im Objektraum ebenfalls verschoben werden. Als Optimierungsmethode kommt ein Gradientenabstiegsverfahren zum Einsatz, welches die Parametrisierungen in lokal beschr¨ ankten Bereichen auswertet und durch eine Gauss’sche H¨ ullkurve moduliert in die optimale Richtung verschiebt. Die technischen Details dieses Verfahrens sind in [4] beschrieben. Die Korrespondenz zwischen den einzelnen Trainingsmustern ist somit ausschließlich durch die Parametrisierungen gegeben, die Punkte auf der Kugel Ψ sind f¨ ur alle Trainingsdaten gleich und bestimmen nur noch die Verteilung der Landmarken. Dadurch sind wir in der Lage, diese Punkte zu jedem beliebigen Zeitpunkt umzustrukturieren, ohne die Korrespondenzen zu verlieren.
3
Umverteilen von Landmarken
Um eine bestimmte Landmarkenverteilung im Objektraum zu erreichen, verwenden wir eine Modifikation des in [5] beschriebenen Verfahrens, welches zur Umverteilung der Knotenpunkte eines Meshes entwickelt wurde und zusammengefasst wie folgt funktioniert: Die gew¨ unschte Punktdichte wird in einem zweidimensionalen Parameterraum durch ein Graustufenbild kodiert, wobei eine hohe Dichte durch helle Pixel repr¨ asentiert wird. Um eine gleichm¨aßige Verteilung der Knotenpunkte zu erzielen, wird f¨ ur jedes Dreieck des Meshes ein Verzerrungsfaktor berechnet, der sich aus der Dreiecksfl¨ache im Objektraum geteilt durch die Dreiecksfl¨ ache im Parameterraum ergibt. Alle Dreiecke werden mit ihrem Verzerrungsfaktor als Farbe im Parameterraum geren-
168
T. Heimann, I. Wolf und H.-P. Meinzer
Abb. 1. (a) Die stark schwankende Landmarkendichte f¨ uhrt zu einer unzureichenden Beschreibung der transparenten Trainingsform durch das Modell. (b) Auf der Verzerrungskarte im Parameterraum sind die unterbesetzten Regionen deutlich zu erkennen. (c) Dithering der Karte und eine Delaunay-Triangulierung liefern die Positionen der neuen Landmarken. (d) Zur¨ uck in den Objektraum transformiert, sind alle Landmarken gleichm¨ aßig verteilt und beschreiben die Form richtig.
(a)
(b)
(c)
(d)
dert, wodurch sich eine Verzerrungskarte des Meshes ergibt (Abb. 1(b)). Dieses Graustufenbild wird durch bew¨ ahrte Halbton-Verfahren (Dithering) auf ein Schwarz/Weiß-Bild reduziert, wobei die Gesamtzahl weißer Pixel – welche die neuen Knotenpunkte darstellen – im Voraus festgelegt wird. Mit Hilfe einer 2DDelaunay Triangulierung k¨ onnen dann die neuen Punktverbindungen bestimmt werden (Abb. 1(c)). Nach einer Gl¨ attung durch den Laplace’schen Fluss werden alle Punkte zur¨ uck in den Objektraum transformiert und ergeben die neuen Landmarken-Positionen (Abb. 1(d)). Anstatt eines einzelnen Meshes haben wir f¨ ur unser Formmodell eine ganze Reihe von Trainingsdaten, die mit einer Menge von Landmarken (den Knotenpunkten im Mesh) dargestellt werden muss. Dank der verwendeten Korrespondenzoptimierung kennen wir bereits Parametrisierungen f¨ ur alle Formen, wenn auch in Kugelform. Um diese Parametrisierungen in den erforderlichen 2D-Raum zu transformieren, teilen wir jede Kugel in zwei H¨alften und nutzen f¨ ur beide die stereographische Projektion auf die Ebene, in der das Graustufenbild erstellt wird. Abschließend bilden wir aus allen Bildern derselben Kugelh¨alfte durch Addition der korrespondierenden Grauwerte ein Durchschnittsbild, auf welchem das Dithering f¨ ur die neuen Landmarken durchgef¨ uhrt wird.
4
Evaluation von statistischen Formmodellen
F¨ ur die Evaluation von statistischen Formmodellen haben sich die objektiven Maße Generalisierungsf¨ ahigkeit und Spezifit¨at bew¨ahrt [6]. Die Generalisierungsf¨ ahigkeit beschreibt die F¨ ahigkeit des Modells, neue Formen zu repr¨asentieren. Sie kann durch eine Reihe von Leave-one-out“-Tests auf den ” Trainingsdaten quantifiziert werden, indem die Abweichung zwischen der ausgelassenen Form und der besten Ann¨ ahrung mit dem reduzierten Modell gemessen wird. Spezifit¨ at beschreibt die G¨ ultigkeit der Formen, die das Modell
Automatische Erstellung von gleichm¨ aßig verteilten Landmarken
169
produziert. Der Wert wird gesch¨ atzt, indem eine hohe Anzahl (in unserem Fall 10.000) von zuf¨ alligen Parameterwerten f¨ ur das Modell generiert wird und jeweils die Abweichung zum ¨ ahnlichsten Muster aus der Trainingsmenge gemessen wird. Um Abweichungen zwischen zwei Formen zu quantifizieren, wird bisher die durchschnittliche Entfernung zwischen korrespondierenden Landmarken berechnet. Mit dieser Methode k¨ onnen allerdings nur Modelle mit gleicher Anzahl von Landmarken und ¨ahnlicher Verteilung zuverl¨ assig verglichen werden [7]. In unserem neuen Evaluierungsverfahren ersetzen wir die landmarkenbasierte Metrik durch eine volumenbezogene: Die zu vergleichenden Formen, repr¨asentiert durch Landmarken und darauf basierende Gitternetze, werden dabei zuerst in zwei Volumenbilder gerendert. Anschließend werden die Ergebnisse (A und B) mit Hilfe des Tanimoto-Koeffizienten verglichen: CT =
|A ∩ B| |A ∪ B|
(1)
F¨ ur die Berechnung von Generalisierungsf¨ ahigkeit und Spezifit¨at werden die generierten Instanzen des Modells mit den Original-Trainingsdaten verglichen, nicht mit ihrer Modell-Approximation. Dadurch wird das Verfahren sensitiver gegen¨ uber unzul¨ anglichen Formbeschreibungen wie in Abb. 1(a).
5
Ergebnisse
Um das beschriebene Verfahren zu testen, wurden f¨ ur zwei Mengen von Trainingsdaten (18 Lungen- und 32 Leberdaten) jeweils drei statistische Formmodelle erzeugt: Das erste Modell wurde mit dem Referenzverfahren aus [4] erstellt. Die resultierenden Parametrisierungen wurden an den Algorithmus zur Landmarkenumverteilung weitergeleitet, der die Landmarken gleichm¨aßig u ¨ ber alle Formen verteilte und so das zweite Modell erzeugte. Bei der Erstellung des dritten Modells wurden die Landmarken bereits w¨ ahrend des Optimierungsvorgangs alle 10 Iterationen neu verteilt. Die Ergebnisse der Auswertung mit den Evaluationsmaßen aus Abschnitt 4 sind in Abb. 2 dargestellt. Obwohl sich die Generalisierungsf¨ ahigkeit auch nach einer einmaligen Umverteilung schon deutlich verbessert, wird ein signifikanter Unterschied erst durch eine iterative Umverteilung erreicht. F¨ ur die Spezifit¨ at erbringt die Umverteilung aufgrund der kleineren Standardfehler schon einmalig eine signifikante Verbesserung. Auch hier werden die besten Ergebnisse aber mit einer iterativen Umverteilung erzielt.
6
Zusammenfassung
Die Verteilung der Landmarken spielt, u ¨ ber die richtigen Korrespondenzen hinaus, eine erhebliche Rolle bei der Modellerstellung. Gleichverteilte Landmarken verbessern die Qualit¨ at des MDL-Verfahrens in Bezug auf Generalisierungsf¨ ahigkeit und Spezifit¨ at und sollten so zu einer verbesserten Performance des Modells bei der Segmentierung in den klinischen Anwendungen f¨ uhren. Auch weitere Einsatzbereiche von statistischen Formmodellen, z.B. in Diagnostik und Simulation, k¨ onnen von dem beschriebenen Verfahren profitieren.
170
T. Heimann, I. Wolf und H.-P. Meinzer
Abb. 2. Generalisierungsf¨ ahigkeit und Spezifit¨ at f¨ ur beide Datens¨ atze. Der Volumenfehler ist spezifiziert als 100(1 − CT ) mit CT als Tanimoto-Koeffizient. In beiden Modellen beschreiben die dargestellten zehn Parameter 90% der Gesamtvarianz. Generalisierungsfaehigkeit Lunge
Spezifitaet Lunge
10.5
9.4 Standard Optimierung Einmalige Umverteilung Iterative Umverteilung
10
9.2 Volumenfehler
Volumenfehler
9 9.5 9 8.5
8.8 8.6 8.4 8.2
8
Standard Optimierung Einmalige Umverteilung Iterative Umverteilung
8
7.5
7.8 1
2
3
4 5 6 7 Anzahl Parameter
8
9
1
10
2
3
8
9
10
9
10
Spezifitaet Leber
Generalisierungsfaehigkeit Leber 26
19.5 Standard Optimierung Einmalige Umverteilung Iterative Umverteilung
24
19 18.5
22
Volumenfehler
Volumenfehler
4 5 6 7 Anzahl Parameter
20 18 16
18 17.5 17 16.5 16 15.5
14
Standard Optimierung Einmalige Umverteilung Iterative Umverteilung
15 14.5
12 1
2
3
4 5 6 7 Anzahl Parameter
8
9
10
1
2
3
4 5 6 7 Anzahl Parameter
8
Literaturverzeichnis 1. Cootes TF, Taylor CJ, Cooper DH, Graham J. Active Shape Models – Their Training and Application. CVIU 1995;61(1):38–59. 2. Davies RH, Twining CJ, Cootes TF, Waterton JC, Taylor CJ. 3D Statistical Shape Models Using Direct Optimisation of Description Length. In: Procs ECCV. Springer; 2002. p. 3–20. 3. Gu X, Wang Y, Chan TF, Thompson PM, Yau ST. Genus Zero Surface Conformal Mapping and Its Application to Brain Surface Mapping. In: Procs IPMI. Springer; 2003. p. 172–184. 4. Heimann T, Wolf I, Williams TG, Meinzer HP. 3D Active Shape Models Using Gradient Descent Optimization of Description Legth. In: Procs IPMI. Springer; 2005. p. 566–577. 5. Alliez P, Meyer M, Desbrun M. Interactive Geometry Remeshing. ACM TOG Special issue for SIGGRAPH conference 2002;21(3):347–354. 6. Styner M, Rajamani KT, Nolte LP, Zsemlye G, Sz´ekely G, Taylor CJ, et al. Evaluation of 3D Correspondence Methods for Model Building. In: Procs IPMI. Springer; 2003. p. 63–75. 7. Heimann T, Wolf I, Meinzer HP. Optimal Landmark Distributions for Statistical Shape Model Construction. In: Procs SPIE Medical Imaging (Akzeptiert); 2006.
Evaluation of Active Appearance Models for Cardiac MRI Tobias B¨ohler1 , Tobias Boskamp1 , Heinrich M¨ uller2 , 1 Anja Hennemuth and Heinz-Otto Peitgen1 1
MeVis - Center for Medical Diagnostic Systems and Visualization, Universit¨ atsallee 29, 28359 Bremen 2 LS VII Computer Graphics, University of Dortmund, Otto-Hahn-Strasse 16, 44221 Dortmund Email:
[email protected]
Abstract. Robust delineation of short-axis cardiac magnetic resonance images (MRI) is a fundamental precondition for functional heart diagnostics. Segmentation of the myocardium and the left ventricular blood pool allows for the analysis of important quantitative parameters. Modelbased segmentation methods based on representative image data provide an inherently stable tool for this task. We present an implementation and evaluation of 3-D Active Appearance Models for the segmentation of the left ventricle using actual clinical case images. Models created from varying random data sets have been evaluated and compared with manual segmentations.
1
Introduction
Cardiac Magnetic Resonance Imaging (MRI) has become a reliable method for the detection of common heart diseases. Cardiac dysfunctions, most notably the coronary heart disease, are the major cause of death in European countries and worldwide [1]. A thorough functional analysis can provide valuable data for cardiac diagnosis and therapeutical treatment planning. Fundamental parameters include the ejection fraction, the stroke volume, and the myocardial wall thickness. The computation of these values requires the delineation of the left ventricular myocardium. The segmentation of these structure in MR images is a complex task. A variety of approaches have been proposed, which can be roughly divided into semi-automatic and fully-automatic segmentation techniques. The former include algorithms requiring a great amount of manual interaction, such as the tracing of ventricular contours using intelligent scissors [2]. If huge amounts of image data need to be processed, these methods are cumbersome. Therefore, an automation of the procedure is highly desired, and approaches using deformable models or similar model-based criteria are common. Due to noise and artifacts in MR images, model-based approaches providing inherent information on anatomical structure are highly beneficial. For instance, Active Contour
172
T. B¨ ohler et al.
Models use image gradient forces and internal energy terms to determine contour points via a local optimization scheme [3]. For 3-D images, this technique has been extended to higher dimensional ”Balloon”segmentation methods [4]. However, the gradient image required for the edge detection is often perturbed by noise and image artifacts, causing unsatisfactory segmentation results. Other approaches combine known segmentation results to a single statistical model. The segmentation is then performed by iteratively fitting the model to an input image via an optimization process. For geometrical information, this approach has found wide usage in the form of Active Shape Models, which have been applied to ventricular anatomy [5, 6]. Atlas-based segmentation methods utilize an atlas built from a training set of patient images, representing common features among those images [7]. Active Appearance Models (AAM) combine a model of the shape structure with a model of gray value intensities and have been used in a variety of applications [8]. Due to the more complex nature of the AAM, most implementations were restricted to a two-dimensional approach. Recently, the application of a full 3-D AAM to cardiac MRI and ultrasound was proposed [9]. Such approaches to cardiac functional analysis are subject to current research, and several implementations and enhancements have been reported [10]. We modified the approach of Mitchell et al. [9] and evaluated our implementation using a random set of cardiac images taken from actual clinical routine.
2
Model Generation
The creation of a single model of cardiac appearance requires a preceding delineation of the endo- and epicardial borders of the myocardium. After tracing the contours semi-automatically using intelligent scissors [2], a Procrustes analysis is performed on the set of points, registering the shapes to a common reference frame via the Iterative Closest Point (ICP) algorithm [11]. The model parameterization is computed by creating a statistical model of the shape and texture variation in the sense of a single Point Distribution Model (PDM) of shape and texture dispersions [8]. A Principle Component Analysis (PCA) is employed for this purpose [5]. In order to build a combined AAM, the PCA is applied three times. First, a model of the shape variance is constructed from the registered contour points. Subsequently, the texture model is generated by warping the textures enclosed by the outlined contours to a common reference frame, typically the mean shape, and applying the PCA once again. Finally, the combined model is constructed by creating combined parameter vectors Wcs ¯) WPs (x − x , (1) = bc = Pg (g − g cg ¯) and performing the PCA once more, where Pg and Ps denote the corresponding eigenmatrices for shape and gray values, x ¯ and g ¯ give the population means, and W is a suitable matrix describing the correlation of gray values and textures [8]. Inverting these linear equations, corresponding model instances are constructed independently of each other. An exemplary generated shape model can be seen in Figure 1.
Evaluation of Active Appearance Models for Cardiac MRI
173
Fig. 1. Ventricular shape model (l.) and its application: Initial (m.), converged (r.).
3
Model Fitting
The process of segmentation can be interpreted as a non-linear optimization problem of fitting the multi-parametric heart model to the input image to be processed. The difference is measured by the root mean square error 1 1 (wi − gi )2 ) 2 , n i=1
n
e(w, g) = (
(2)
where w denotes the vector of warped gray values from the input image, and g the model gray value vector. A semi-3-D steepest descent optimization strategy is employed, using the numerically computed derivatives of the error measure and providing a stable algorithm. Transformation parameters are evaluated in directions orthogonal to the heart’s long axis. The warping step is performed in a 2-D piecewise-affine fashion, computing the triangle ∆ = (t1 , t2 , t3 ) containing each point p = (px , py )T and solving for its barycentric coordinates α, β, and γ defined by αt1 + βt2 + γt3 = p. Although this takes advantage of the layered structure of the resampled image, the loss of three-dimensional information results in an error that can not be eliminated completely. On the other hand, this allows the computation of the derivatives at running time, in contrast to the usage of a pregenerated approximation computed from a training set [5]. An initialization of the mean model instance is provided by manually positioning the contour and adjusting its scale and translation. One single image slice and the corresponding segmentation can be seen in Figure 1.
4
Image Data and Evaluation
The model generation described above was performed using actual clinical routine images. Three types of MR devices manufactured by General Electric (Genesis Signa), Philips (Gyroscan Intera), and Siemens (MAGNETOM Sonata) were used for the MRI acquisition. The image sets contained 30 anonymized dynamic images, with each image consisting of 6 to 12 different image slices. Spatial planar resolution was 256 × 256 voxels for most images. In the preprocessing step, these images were resampled to a common number of slices, with resulting voxel sizes
174
T. B¨ ohler et al.
Table 1. Minimum and maximum distance error measures for the five models. Distance (mm) M 10 M 15 M 20 M 25 M 28 Minimum 0.08 0.11 0.22 0.24 0.31 Maximum 64.53 13.04 8.23 10.12 9.82 Table 2. Timings and numbers of iterations for the reference segmentations.
Model M 10 M 15 M 20 M 25 M 28
Computation time in sec. Iteration steps Average Minimum Maximum Minimum Maximum 81.14 37.94 157.85 3 13 99.84 60.17 195.99 4 10 92.74 23.40 189.98 3 10 96.25 32.57 163.78 4 11 101.62 46.12 181.20 3 11
ranging from 1.7mm to 1.9mm. Short-axis two-chamber views of the left and right ventricle were selected, and the corresponding endocardial and epicardial contours were delineated manually. Five models have been generated, with 10 to 28 images used for the model generation routine, respectively. The required images were selected randomly from the pool of existing image data, the explainable variance was set to 98% of the total variance. The accuracy of the models was determined by computing the averaged root mean square error (RMS) between manual segmentations and automatically delineated myocardial contours, as well as the minimum and maximum distance. For all models, the average segmentation error was 3.06mm (minimum 1.84mm, maximum 6.91mm). This corresponds to error distances of approximately 1.5 to 4 voxels, depending on the actual voxel size. As can be seen in Table 1, the minimum and maximum error values for the generated models (M 10 to M 28) vary with the number of included model images. By increasing the number of training images, the maximum error is being reduced, whereas the minimum error is being increased slightly, probably due to the greater amount of model variation. Three clinical images contained visible deformations of the myocardium, for instance dilated cardiomyopathy. The impact of these pathological images on the model-based segmentation was examined separately by creating a further Appearance Model. However, the effect of the inclusion of such images was found to be considerably low. Since an ordinary gradient descent optimization scheme was employed, the efficiency was rather limited. Table 2 shows the average number of required iteration steps to reach convergence, as well as the average time elapsed. The computation was performed using an ordinary personal computer (1.7GHz, 2GB RAM). As can be seen from the table, an increased number of model images leads to a reduced number of iterations in some cases. In comparison to optimization methods using precomputations, the method of directly evaluating the derivatives in each iteration is more time-consuming. However, since the training set descent matrix is just an approximation, the direct method is more robust.
Evaluation of Active Appearance Models for Cardiac MRI
5
175
Discussion
We have presented an evaluation of a 3-D Active Appearance Model segmentation for the automatic delineation of cardiac anatomy. The implemented method was analyzed using random sets of actual routine clininal case images for model generation and testing. In this way a considerably high level of authenticity and a realistic assessment of the method are achieved. The evaluation results hold promise for a fully automatic model-based segmentation method, and demonstrate that the quality of the resulting segmentations depends essentially on the number of images used for the model generation. This underlines the importance of large image databases as a precursor for a plausible model generation. The results indicate that the model-based segmentation has to be combined with an efficient and intuitive correction mechanism and a more efficient optimization strategy to find its way into clinical routine image processing. Acknowledgements. We would like to thank the clinical partners of the VICORA research project for providing the cardiac MR image data.
References 1. World Health Organization. The Atlas of Heart Disease and Stroke; 2004. Available from: http://www.who.int/cardiovascular diseases/resources/atlas/en/ 2. Mortensen EricN, Barrett WilliamA. Intelligent Scissors for Image Composition. In: Proc. of SIGGRAPH. New York, NY, USA: ACM Press; 1995. p. 191–198. 3. Kass M, Witkin A, Terzopoulos D. Snakes – Active Contour Models. International Journal of Computer Vision 1987;1(4):321–331. 4. Cohen LD. On Active Contour Models and Balloons. Comput Vision Image Understand 1991;53(2):211–218. 5. Cootes TF, Taylor CJ, Cooper DH, et al . Active Shape Models – their Training and Application. Comput Vision Image Understand 1995;61:38–59. 6. Frangi AF, Rueckert D, Schnabel JA, et al . Automatic Construction of Multipleobject Three-dimensional Statistical Shape Models: Application to Cardiac Modeling. IEEE Trans Med Imaging 2002;21(9):1151–1166. 7. Lorenzo-Valdes M, Sanchez-Ortiz GI, Elkington A, et al . Segmentation of 4D Cardiac MR Images using a Probabilistic Atlas and the EM Algorithm. Medical Image Analysis 2004;8(3):255–265. 8. Cootes TF, Edwards GJ, Taylor CJ. Active Appearance Models. Lecture Notes in Computer Science 1998;1407:484. 9. Mitchell SC, Bosch JG, Lelieveldt BPF, et al . 3-D Active Appearance Models: Segmentation of Cardiac MR and Ultrasound Images. IEEE Trans Med Imaging 2002;21:1167–1178. 10. Stegmann MB, Pedersen D. Bi-temporal 3D Active Appearance Models with Applications to Unsupervised Ejection Fraction Estimation. In: Proc. SPIE Medical Imaging. SPIE; 2005. 11. Besl PJ, McKay ND. A Method for Registration of 3-D Shapes. IEEE Trans Pattern Analysis Mach Intel 1992;14(2).
Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten aus der Mund-, Kiefer- und Gesichtschirurgie S. G¨ ob3 , T. Maier1 , M. Benz1 , S. Lowitzsch1 , T. Wittenberg2 , W. Kullmann3 , E. Nkenke4 , F.W. Neukam4 und G. H¨ausler1 1
Institut f¨ ur Optik, Information und Photonik, Universit¨ at Erlangen-N¨ urnberg, Erlangen 2 Fraunhofer Institut f¨ ur Integrierte Schaltungen IIS, Erlangen 3 Labor f¨ ur Medizintechnik und Medizinische Informatik, Fachbereich Elektrotechnik der Fachhochschule W¨ urzburg-Schweinfurt, Schweinfurt 4 Klinik und Poliklinik f¨ ur Mund-, Kiefer-, Gesichtschirurgie der Universit¨ at Erlangen- N¨ urnberg, Erlangen Email:
[email protected]
Zusammenfassung. Es soll ein Modell der Gewebeschwellung bei Operationen im Gesichtsbereich erstellt werden. Zur Berechnung des Modells werden zun¨ achst Daten mit einem optischen 3D-Sensor, sowie einem Ultraschallsensor akquiriert. F¨ ur den Modellierungsprozess ist es notwendig, die Haut- und die Knochengrenze aus den zweidimensionalen Ultraschallschnittbildern zu segmentieren. Die vorliegende Arbeit stellt ein vollautomatisches und robustes Verfahren zur Segmentierung der Konturen von Haut und Knochen vor.
1
Einleitung
Ein in der Mund-, Kiefer- und Gesichtschirurgie h¨aufig vorkommender Eingriff ist die Kieferverlagerung. Das Problem dabei ist die auftretende Gewebeschwellung. Diese verhindert, dass der Chirurg w¨ahrend des Eingriffs die postoperative Gesichtsform nach Abklingen der Schwellung erkennen kann. Es wird ein System entwickelt, mit dem auf Basis von pr¨aziser optischer 3DMesstechnik und nicht-ionisierender 2D-Ultraschallbildgebung eine intraoperative Pr¨ adiktion der Weichgewebeform des Patienten erzielt werden kann. Es gilt, ¨ das Odem zu quantifizieren. Dazu muss neben den optischen Oberfl¨achendaten auch das Volumen zwischen Haut- und Knochenoberfl¨ache erfasst werden. Die 2D-Ultraschallbildgebung liefert die gew¨ unschte Information, wobei keine Strahlenbelastung auftritt und die Kosten sehr gering bleiben. Das Gebiet der Schwellung wird durch mehrere Ultraschallmessungen erfasst. Haut- und Knochengrenzen werden durch Interpolation fl¨ achig modelliert, wodurch eine Schwellung in Form einer Volumen¨ anderung quantifizierbar wird. Die Interpolation erfolgt anhand der in den einzelnen Ultraschallbildern segmentierten Gewebegrenzen. F¨ ur den intraoperativen Einsatz muss die Segmentierung automatisiert werden. Diese ist Gegenstand des vorliegenden Beitrags.
Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten
2
177
Stand der Forschung
Die Segmentierung von Ultraschalldaten ist eine in der Medizin weit verbreitete Anforderung. Leistungsf¨ ahige Programme f¨ ur die manuelle und halbautomatische Segmentierung beliebigen Bildmaterials stehen als Open Source oder kommerziell zur Verf¨ ugung, wie z. B. Amira oder MeVis. In den meisten F¨allen kommen Aktive Konturen (Snakes) zum Einsatz. Die Startkonturen der Snakes werden in Ultraschallbildern meist von Hand initiiert. Die Snake wird so optimiert, dass die Summe aus einem inneren und ¨außeren Energieterm minimal wird. Die innere Energie ist abh¨ angig von der Form der Kurve, die ¨außere Energie ber¨ ucksichtigt die Bildeigenschaften entlang der Kurve. F¨ ur die vollst¨andige Automatisierung einer Segmentierungsaufgabe gibt es nach wie vor keine allgemeine L¨ osung. Es finden sich gute Ans¨ atze, die sich aber meist auf einen bestimmten Kontext beziehen, z. B. die Knochensegmentierung im Rahmen der Orthop¨adie [1], welche in Modellsituationen erfolgreich, jedoch an realen Patienten fehlertr¨ achtig war, oder die Arbeit von [4], welche sich auf H¨ uft- und Oberschenkelkno¨ chen spezialisiert und die Haut v¨ ollig ausspart. Die geringe Ubertragbarkeit von Automatisierungsmethoden liegt vor allem an den sich unterscheidenden Weichgewebestrukturen der verschiedenen K¨ orperregionen. Sie ver¨andern die Texturcharakteristik eines Ultraschallbildes und erzwingen oft eine Anpassung oder neue Auswahl der Methoden. Zus¨ atzlich erschwert Speckle-Rauschen jede Segmentierung. Ultraschallbilder m¨ ussen daher in der Regel gefiltert werden. Meist liegt der Erfolg in der passenden Kombination verschiedener Methoden.
3
Methoden
Die Ultraschallmessungen wurden mit einem Sonoline Omnia der Firma Siemens durchgef¨ uhrt. Ausgewertet wurden 21 Bilddatens¨atze von zwei Probanden. Gemessen wurde im Bereich von Kiefer und Wange. Der Messbereich umfasste jeweils 244x427 Bildpixel. Um die automatische Segmentierung validieren zu k¨onnen, f¨ uhrte der Kieferchirurg eine halbautomatische Segmentierung der Gewebegrenzen mit MeVis durch. Es zeigte sich, dass die sequentielle Segmentierung von Haut- und Knochengrenze bei unterschiedlicher Vorverarbeitung sinnvoll ist. Verschiedene Filter wurden getestet. F¨ ur die Segmentierung der Hautgrenze erwies sich der ,,Diffusion Stick“ [2] als optimal. Durch die Unterdr¨ uckung von Speckle-Rauschen verst¨ arkt er beliebig orientierte Kanten, die bei anschließender Schwellwertfilterung deutlich hervortreten. F¨ ur die Segmentierung der Knochenoberfl¨ache zeigte sich das anisotrope Difussionsfilter nach Perona und Malik [3] als geeigneter. Die Knochengrenze ist prinzipiell schlechter (breiter und gestreuter) abgebildet. Eine Top-HatTransformation entfernt irrelevante Strukturen und hebt die Knochenstrukturen hervor. Durch die anschließende Anwendung eines Schwellwertfilters wird der Knochen noch besser vom Hintergrund getrennt und in seiner Erscheinung verst¨ arkt.
178
S. G¨ ob et al.
Zur anschließenden Bestimmung der gesuchten Konturlinien werden in einem ersten Schritt St¨ utzstellen entlang der Haut- bzw. Knochengrenze berechnet. Dabei gehen u. a. Plausibilit¨ ats¨ uberlegungen ein: Die Hautgrenze befindet sich sehr nahe am oberen Bildrand und wird bei pixelweiser Abw¨artstastung einer Bildspalte sehr fr¨ uh erreicht. F¨ ur die Knochengrenze gilt dies in umgekehrter Weise. Zu Beginn wird eine willk¨ urlich ausgew¨ ahlte Bildspalte betrachtet. F¨ ur jedes Pixel dieser Spalte wird der Abstand vom oberen bzw. unteren Bildrand, die Grauwertverteilung in seiner Umgebung und der Gradient bewertet. Auf diese Weise wird f¨ ur Haut- und Knochengrenze jeweils ein Anfangspixel gefunden, von dem aus die Kontur der Gewebegrenze (das Segment) nach links und rechts verfolgt wird. Die Nachfolgepunkte werden durch ein Energieminimierungsverfahren bestimmt. Es werden bei diesem folgende Energien berechnet: α · ECont + β · EGrad + γ · EBand wenn i < 3 EGesamt = sonst α · ECont + β · EGrad + γ · EBand + δ · ESmooth (1) Dabei leitet sich ECont aus den Abst¨ anden zwischen den Punkten ab. Bei EGrad geht der Gradient ein. EBand wird im Folgenden als Bandenergie bezeichnet. In diesen Term geht das Vorwissen ein, dass die mittlere Intensit¨at oberhalb der Haut- bzw. Knochenkontur niedriger ist als unterhalb. ESmooth ergibt sich aus der Gl¨ atte der Kontur entlang der St¨ utzstellen. Diese kann erst berechnet werden wenn drei oder mehr Punkte bestimmt wurden.
Abb. 1. Bandenergie
Die Berechnung der Bandenergie erfolgt in Anlehnung an [6]. F¨ ur einen zu suchenden Nachfolgepunkt vi werden zuerst zwei Regionen Ri und R‘i definiert (vgl. Abb.1). Nach der Bestimmung der Regionen werden die Pixelwerte darin jeweils aufsummiert und die berechneten Summen subtrahiert: ⎞ ⎛ 1 (2) ·⎝ I (pj ) − I pj ⎠ dif (vi ) = n·N pj ∈Ri
pj ∈Ri
Automatische Segmentierung der Gewebegrenzen in 2D-Ultraschalldaten
179
Abb. 2. Segmentierung einer Haut- und einer Knochenkontur. Originalbild (oben), Bilder nach Vorverarbeitung (mitte), Ergebnisse der Segmentierung (unten).
pj bzw. p‘j stehen f¨ ur die Pixel die in Ri bzw. R‘i enthalten sind. n ist die Anzahl der Pixel in einer Region und N ist eine Normalisierungskonstante. EBand berechnet sich zu: pen dif (vi ) < 0 EBand = (3) 1 − dif sonst Dabei ist pen eine Konstante zur ,,Bestrafung“, da in diesen F¨allen die Grauwertverteilung nicht der Erwartung entspricht. Durch EBand wird verhindert, dass der Nachfolgepunkt in bzw. unterhalb der zu suchenden Kontur gefunden wird. Sobald EGesamt einen vorgegebenen Wert u ¨ berschreitet, wird die Suche nach Nachfolgepunkten abgebrochen. Der Schwellwert wurde eingef¨ uhrt, da die zu suchenden Konturen nicht auf allen zu bearbeitenden Bildern durchg¨angig sind. Die so gefundenen St¨ utzstellenpunkte bilden die Startkontur f¨ ur die Optimierung durch eine Aktive Kontur. Als Aktive Kontur wurde das Verfahren nach [5] gew¨ ahlt. Die G¨ ute der Startkontur h¨ angt vom Anfangspunkt ab. Dieser wird in einer willk¨ urlich ausgew¨ ahlten Spalte, wie oben beschrieben, bestimmt. Um die Robustheit des Verfahrens zu steigern, werden mehrere Anfangspunkte u ¨ ber die Breite des Bildes verteilt bestimmt. Es ergeben sich somit auch mehrere Startkonturen f¨ ur die jeweils eine Optimierung durchgef¨ uhrt wird. Ausgew¨ahlt wird am Ende die Kontur, bei der die Aktive Kontur nach der Optimierung die niedrigste Gesamtenergie besitzt.
180
4
S. G¨ ob et al.
Ergebnisse
Die Konturfindung der Hautgrenze war in allen 21 Bildern m¨oglich. Ihre mittlere Abweichung von der fach¨ arztlich segmentierten Gewebegrenze betr¨agt 1,8 Pixel mit einer Standardabweichung von 0,8 Pixel, wobei ein Pixel 0,09 mm entspricht. Die Segmentierung der Knochengrenze wurde nur an 20 Bildern getestet, da auch der Arzt bei einem Bild keinen eindeutigen Verlauf festlegen konnte. In 19 Bildern wurde die Knochenkontur automatisch gefunden, die mittlere Abweichung von der Referenz ist jedoch mit 2,9 Pixel gr¨oßer als beim Hautsegment. Die Standardabweichung betr¨ agt hier 1,2 Pixel. Die Laufzeit betrug ca. 2 sec pro Bild und Gewebegrenze mit einem Pentium IV 2,9 GHz.
5
Diskussion
Es wurde eine Methode zur Segmentierung von Haut- und Knochengrenzen vorgestellt, welche an durchschnittlichen Ultraschallbildern aus dem Mittelgesicht viel versprechende Ergebnisse liefert. Die Segmentierungen konnten anhand der manuellen Referenzsegmentierungen des Arztes validiert werden. Es zeigte sich, dass das Verfahren eine robuste Automatisierung der Kontursegmentierung erm¨ oglicht. Die Hautgrenze war in allen F¨allen deutlicher zu sehen als die Knochengrenze, da u ¨ ber der Haut nur homogenes Gel auflag und der Bereich oberhalb der Haut somit artefaktarmer ist. Dies spiegelt sich auch in den Segmentierungsergebnissen wider, die bei der Hautkontur besser als bei der Knochenkontur sind. F¨ ur zuk¨ unftige Anwendungen im klinischen Betrieb gilt es, die Laufzeit des Verfahrens f¨ ur den intraoperativen Einsatz zu verk¨ urzen und es im klinischen Betrieb zu validieren.
Literaturverzeichnis 1. Kowal J, Amstutz C, Nolte L. On B-mode ultrasound-based registration for computer assisted orthopaedic surgery; 2001. 2. Xiao C, Chen Y. A diffusion stick method for speckle suppression in ultrasonic images. Pattern Recognition Letters 2004;25:1867–1877. 3. Perona P, Malik J. Scale-Space and Edge Detection Using Anisotropic Diffusion. IEEE Transactions On Pattern Analysis And Machine Intelligence 1990;12(7):629– 639. 4. Kryvanos A. Computer assisted surgery for fracture reduction and deformity correction of the pelvis and long bones. Ph.D. thesis. Universit¨ at Mannheim; 2002. 5. Akgul Y, Kambhamettu C. A Coarse-to-Fine Deformable Contour Optimization Framework. IEEE Transactions On Pattern Analysis And Machine Intelligence 2003;25(2):174–186. 6. Li M, Kambhamettu C. Snake For Band Edge Extractions And Its Applications. In: IASTED; 2003.
Intelligente Kantendetektion in endoskopischen Ultraschallbildern mit dem Centered-Compass-Filter Tobias Riegg, Ursula Zucker und Alexander Horsch Institut f¨ ur Medizinische Statistik und Epidemiologie, Technische Universit¨ at M¨ unchen, 81675 M¨ unchen Email:
[email protected]
Zusammenfassung. Bei der computergest¨ utzten Analyse von endoskopischen Ultraschallbildern spielen Kantenfilter eine wichtige Rolle. Problematisch bei diesen Bildern sind das starke, modalit¨ atsspezifische Rauschen und die unregelm¨ aßige Struktur der Kanten. In diesem Artikel wird ein Kantenfilter vorgestellt, der die speziell bei endosonografischen Bildern auftretenden tangentialen oder grob kreisbogenf¨ ormigen Kanten detektiert, an denen man zum Beispiel bei der Detektion von Tumorberandungen interessiert ist. F¨ ur die Anwendung der Methode muss der Mittelpunkt der untersuchten Struktur, also etwa die ungef¨ ahre Lage des Lumenschwerpunkts, bekannt sein, um eine winkelabh¨ angige Filterung zu erm¨ oglichen. Das Verfahren wurde f¨ ur das Projekt OTEUS (Oesophagus Tumor Staging mit endoskopischem Ultraschall) der Technischen Universit¨ at M¨ unchen entwickelt und wird dort erfolgreich eingesetzt.
1
Einleitung
Ultraschall ist in der Medizin als bildgebendes Verfahren zur Untersuchung innerer Organe und Gewebestrukturen weit verbreitet. Medizinische Ultraschallaufnahmen sind nur sehr schwer objektiv zu beurteilen und auch die automatische Analyse von Ultraschallbildern ist auf Grund von Speckles, tiefenabh¨angiger Signald¨ ampfung, niedrigem Signal-Rausch-Verh¨altnis und richtungsabh¨angigem Kantenkontrast eine Herausforderung. Doch gerade die automatische Analyse und Interpretation dieser Aufnahmen ist zur objektiven, reproduzierbaren Diagnose und Behandlungsvorbereitung w¨ unschenswert und von hohem klinischen Nutzen. Ein essenzieller Schritt in Richtung automatischer Bildinterpreta¨ tion ist die Detektion von Uberg¨ angen zwischen verschiedenen Gewebeschichten [1, 2]. Da die meisten hierf¨ ur notwendigen Kantenfilter darauf ausgerichtet sind, m¨oglichst alle Kanten im Bild zu detektieren, ist es bei der weiteren Verarbeitung oft schwierig, relevante von irrelevanten Kanten zu unterscheiden. Hier sind also Verfahren zur Kantendetektion gefragt, die sehr tolerant gegen¨ uber Rauschen sind und die die Zahl der detektierten Kanten auf die notwendigen einschr¨anken und damit deren Nutzen maßgeblich verbessern. Zur weiteren Analyse ben¨otigt man nicht alle Kanten, u ussige Kanten erschweren diese sogar. ¨berfl¨
182
T. Riegg, U. Zucker und A. Horsch
Bei endoskopischen Ultraschallbildern, insbesondere des Oesophagus, kann man sich Wissen u ¨ ber die Beschaffenheit des Bildinhaltes bei der Filterung zu Nutze machen. Die R¨ ander von Oesophaguskarzinomen verlaufen auf den Ultraschallbildern ann¨ ahernd kreisbogenf¨ ormig entlang von Kanten, die einen ¨ Ubergang von hell nach dunkel, ausgehend vom Ultraschalltransducer, markieren. Um speziell diese relevanten Kanten zu detektieren, wurde ein darauf ausgerichteter Kantenfilter entwickelt, der abh¨ angig von der relativen Position eines Bildpunktes zum Transducer arbeitet.
2
Stand der Technik
G¨ angige Kantenfilter, wie z. B. der Sobel-Filter oder der Canny-Deriche-Filter, filtern das gesamte Bild aus bis zu vier Richtungen und w¨ahlen von den so erzeugten Werten den gr¨ oßten f¨ ur das resultierende Kantenbild. Mit dieser Vorgehensweise werden im Idealfall alle im Bild auftretenden Kanten detektiert [3, 4]. Eine gerichtete Kantenfilterung ist mit so genannten Kompassfiltern oder u ber Richtungsgradienten beim Sobelfilter und a¨hnlichen Filtern m¨oglich. Die ¨ hier frei w¨ ahlbare Richtung ist jedoch f¨ ur das gesamte Bild uniform festgelegt. Bei technischen Bildern ist diese unidirektionale Filterung aufgrund der geometrisch strukturierten Bildinhalte oft erw¨ unscht und sinnvoll, um den Anteil der nicht ben¨ otigten Kanten zu reduzieren und so speziell nach den gew¨ unschten Kanten zu suchen [5].
3
Wesentlicher Fortschritt durch den Beitrag
Mangels klarer geometrischer Formen war eine solche Vorselektion von Kanten bei organischen Bildinhalten bislang nicht denkbar. Der in dieser Arbeit neu entwickelte Centered-Compass-Filter (CCF) filtert nicht das gesamte Bild aus einer fest definierten Richtung, sondern ausgehend von einem Mittelpunkt der kreisf¨ ormigen Kanten strahlenf¨ ormig zum Bildrand. Hierbei wird das Wissen, dass die gesuchten Kanten n¨ aherungsweise konzentrisch um diesen Mittelpunkt liegen und so von dem Detektionsstrahl“ passiert werden m¨ ussen, genutzt. Es ” wird f¨ ur jeden Bildpunkt eine individuelle Filtermaske berechnet, die so gedreht ist, dass genau diese Kanten hohe Gradienten im Kantenbild zur Folge haben, w¨ahrend alle anderen Kanten nicht oder nur schwach auftreten.
4
Methoden und Materialien
Als Kompassfilter bezeichnet man parametrisierte Kantenfilter, deren Detektionsrichtung frei einstellbar ist. Erreicht wird diese Flexibilit¨at, indem man durch trigonometrische Umformungen die Filtermaske bzw. -matrix dreht. Im Gegensatz zu herk¨ ommlichen Kompassfiltern verwendet der hier vorgestellte CenteredCompass-Filter f¨ ur jeden Bildpunkt eine individuell berechnete Filtermaske. Ziel ist eine winkelabh¨ angige Filterung, abh¨ angig von der relativen Position eines
Intelligente Kantendetektion in endoskopischen Ultraschallbildern
183
Bildpunktes zur Transducerposition. Der eigentlichen Kantenfilterung geht eine Gaussfilterung voraus, die das Bild gl¨ attet und es so erm¨oglicht, mit verrauschten Bildern zu arbeiten und gute Ergebnisse zu erzielen. Kennt man die Position des Transducers, kann damit f¨ ur jeden Punkt des Bildes der radiale Winkel zum Transducer berechnet werden. Mit dem so bestimmten Winkel und dem schon erw¨ ahnten Vorwissen, dass die gesuchten Kanten fast kreisf¨ ormig um den Mittelpunkt liegen, kann man eine Filtermaske, basierend auf einer Prewitt-Maske, f¨ ur genau diesen Punkt erstellen. Durch diese Methode ¨ der Filterung werden vom Mittelpunkt aus die Uberg¨ ange von dunkel nach hell detektiert, die ann¨ ahernd auf einem Kreisbogen verlaufen. Dies sind in Ultraschallbildern des Oesophagus genau die Kanten, entlang derer die R¨ander von Karzinomen verlaufen. Somit wird eine Detektion und Analyse dieser Karzinome stark vereinfacht. Berechnung der Filtermaske: Als Basis wird eine einfache 3x3 Prewitt-Maske verwendet: ⎞ ⎛ −1 0 1 ⎝ −1 0 1 ⎠ (1) −1 0 1 Damit diese Matrix drehbar wird, m¨ ussen die einzelnen Werte durch trigonometrische Funktionen erzeugt werden, die als Parameter den gew¨ unschten Winkel α erhalten [6]. Damit ergibt sich folgende Filtermaske f¨ ur den CenteredCompass-Filter: ⎛ ⎞ a − b −b −a − b ⎝ a 0 −a ⎠ wobei a = cos(Π/2 − α) (2) b = sin(Π/2 − α) a + b b −a + b oßeren Masken als 3x3 ist die Toleranz gegen¨ uber von der idealen KreisBei gr¨ form abweichenden Kanten zu gering, was problematisch ist, da die Kanten in organischen Bildern nur selten entlang dieser verlaufen. Somit w¨ urden zu große L¨ ucken in den detektierten Kanten entstehen. Von großen Masken ist daher abzuraten. Da die Maske f¨ ur jeden Bildpunkt berechnet werden muss, wirkt sich die schlanke Maske zus¨ atzlich positiv auf die Laufzeit aus. Sollte die Position des Transducers (oder eines anderen gew¨ unschten Filterreferenzpunktes) nicht vom Ultraschallger¨ at an das Programm u ¨ bermittelt werden, kann sie eventuell aus dem Bild gewonnen werden. In Abb. 1(a) ist der gesuchte Punkt der Mittelpunkt der kreisf¨ormigsten schwarzen Region im Bild, da der Transducer kreisf¨ ormige Artefakte im Bild erzeugt. Diese Region l¨ asst sich rasch mittels einer Schwellwertoperation, deren Ergebnisbild in seine Zusammenhangskomponenten zerlegt wird (mit einer modifizierten Tiefensuche [7, 8]), gefolgt von einer Selektion der gesuchten Region nach Gr¨oße und Form, bestimmen.
184
T. Riegg, U. Zucker und A. Horsch Abb. 1. Vergleich von Centered-Compass-Filter (CCF) und Canny-Filter
5
(a) Originalbild
(b) Tumorgrenze (OTEUS)
(c) Kantenbild Canny-Filter
(d) Kantenbild CCF
Ergebnisse
Da f¨ ur jedes Pixel die Filtermaske neu berechnet wird, ist das Laufzeitverhalten des Filters im Vergleich mit anderen Kantenfiltern deutlich schlechter. Auf einem handels¨ ublichen Rechner mit 1,5 GHz Intel Pentium M Prozessor dauert die Kantenfilterung mit dem Centered-Compass-Filter von einem Bild mit den Dimensionen 672x480 im Schnitt eine Sekunde. Abb. 1(a) zeigt ein Original-Ultraschallbild des Oesophagus. Vergleicht man die daraus resultierenden Kantenbilder des Canny-Filters (Abb. 1(c)) und des Centered-Compass-Filters (Abb. 1(d)) bez¨ uglich Anzahl und Relevanz der detektierten Kanten zur Bestimmung der Tumorgrenze (Abb. 1(b)), ist der Vorteil des Centered-Compass-Filters klar erkennbar. Der Centered-Compass-Filter senkt die Menge der in weiteren Schritten zu verarbeitenden Kanten um bis zu 75%, was eine bedeutende Vereinfachung f¨ ur deren folgende Analyse darstellt. Der Filter wurde an 20 verschiedenen Ultraschallbildern des Oesophagus getestet und die Gesamtl¨ange der detektierten Kanten gemessen. Im Vergleich zum Canny-Deriche-Filter sank diese durchschnittlich um 36%. Die detektierten, f¨ ur die Weiterverarbeitung relevanten, Kanten waren in beiden Testreihen identisch; folglich werden vom CenteredCompass-Filter lediglich die irrelevanten Kanten reduziert. Insgesamt verbessert der Centered-Compass-Filter somit die G¨ ute der detektierten Kanten erheblich.
Intelligente Kantendetektion in endoskopischen Ultraschallbildern
6
185
Diskussion
Der Centered-Compass-Filter eignet sich nur f¨ ur ein enges Anwendungsspektrum. Die notwendigen Voraussetzungen f¨ ur eine erfolgreiche Filterung, n¨amlich kreisbogenf¨ ormige Kanten um einen bekannten Mittelpunkt herum, sind nur in speziellen F¨ allen erf¨ ullt. Spielt die Laufzeit aber keine große Rolle und sind die obigen Voraussetzungen erf¨ ullt, so liefert der Centered-Compass-Filter ausgesprochen gute Ergebnisse und leicht weiter zu verarbeitende Kanten. Bislang kommt der Filter bei dem Programm OTEUS zum Einsatz, f¨ ur das er auch entwickelt wurde. OTEUS dient zur Bestimmung des Stadiums von Oesophaguskarzinomen, um die Diagnose des Arztes durch eine Zweitmeinung zu erg¨anzen. Das Programm erkennt unter Zuhilfenahme des Centered-CompassFilters zun¨ achst die relevanten Kanten, mit denen im darauffolgenden Schritt die Tumorgrenze erkannt und analysiert wird. Erst durch die Verwendung des Centered-Compass-Filters konnte eine saubere, zuverl¨assige und korrekte Erkennung der Tumorgrenze realisiert werden. Ein Einsatz des Centered-Compass-Filters ist auch in anderen Bereichen, in denen endoskopische Bilder mit Methoden der medizinischen Bildverarbeitung analysiert werden, denkbar.
Literaturverzeichnis 1. Yu Y, Acton ST. Edge Detection in Ultrasound Imagery Using the Instantaneous Coefficient of Variation. IEEE Trans Image Process 2004;13(12):1640–1655. 2. Gong L, Pathak SD, Kim Y. Selective contrast enhancement of prostate ultrasound images using sticks with high-level information. SPIE Medical Imaging 2001 2001;4319(5):1640–1655. 3. Steinbrecher R. Bildverarbeitung in der Praxis. Oldenbourg, M¨ unchen; 1993. 4. Radig B. Verarbeiten und Verstehen von Bildern. Oldenbourg, M¨ unchen; 1993. 5. Ritter GX, Wilson JN. Handbook of Computer Vision Algorithms in Image Algebra. CRC Press, New York; 2000. 6. Meyberg K, Vachenauer P. H¨ ohere Mathematik 1. Springer, Heidelberg; 2001. 7. Heun V. Grundlegende Algorithmen. Vieweg, Wiesbaden; 2003. 8. Steger A. Diskrete Strukturen 1. Springer, Berlin; 2001.
Limits on Estimating the Width of Thin Vessels in 3D Medical Images Stefan W¨ orz and Karl Rohr University of Heidelberg, IPMB, and DKFZ Heidelberg, Dept. Bioinformatics and Functional Genomics, Biomedical Computer Vision Group Im Neuenheimer Feld 580, 69120 Heidelberg, Germany Email: {s.woerz,k.rohr}@dkfz.de
Abstract. This work studies limits on estimating the width of thin vessels in 3D medical images. Based on nonlinear estimation theory we analyze the minimal stochastic error of the width estimate caused by image noise. Given a 3D analytic model of the image intensities of a vessel, we derive a closed-form expression for the Cram´er-Rao bound of the vessel width. We use the derived lower bound as a benchmark and compare it with previously proposed accuracy limits of three different approaches for vessel width estimation. Moreover, by experimental investigations we demonstrate that the derived lower bound can be achieved by fitting a 3D parametric intensity model directly to the image data.
1
Introduction
Heart and vascular diseases are one of the main causes of death for women and men in modern society. An abnormal narrowing of arteries (stenosis) is one of the main reasons of these diseases as the essential blood flow is hindered. In clinical practice, images of the human vascular system are acquired using different imaging modalities, for example, 3D Magnetic Resonance Angiography (MRA) or 3D Computed Tomography Angiography (CTA). Segmentation and quantification of vessels from 3D medical images is crucial for diagnosis, treatment, and surgical planning. An essential task is the accurate estimation of the width (diameter) of vessels, for example, to identify and quantify stenoses, in particular for thin vessels such as coronary arteries. Concerning thin vessels, limits on the accuracy of estimating the vessel width have been addressed by different groups using different approaches (e.g., [1, 2, 3], see below for details). However, the results of these approaches have not yet been compared with each other. For a quantitative comparison of the proposed limits it would be preferable to have a benchmark. Analytic benchmarks for performance evaluation have been introduced for a different task in medical image analysis, namely, the localization of 3D landmarks [4]. However, an analytic benchmark for vessel width estimation has not yet been derived. Based on nonlinear estimation theory, we have analyzed the minimal stochastic error of the width estimate caused by image noise. Given a 3D analytic model of the image intensities of a vessel, we have derived a closed-form expression for
Limits on Estimating the Width of Thin Vessels in 3D Medical Images
187
the Cram´er-Rao bound (CRB) of the vessel width, which defines the minimal uncertainty. Note that the derivation of the CRB of the vessel width significantly differs from the derivation of the CRBs of the landmark models in [4]. The reason is that the here used cylindrical parametric intensity model and the required first order partial derivative are more complex (e.g., requiring a Bessel function). We employ the derived CRB as a benchmark and compare it with previously proposed accuracy limits of three different approaches for vessel width estimation [1, 2, 3]. Moreover, by experimental investigations we demonstrate that the derived lower bound can be achieved by fitting a 3D parametric intensity model directly to the image data.
2
Cram´ er-Rao Lower Bound of Cylinder Model
To derive a benchmark for performance evaluation of 3D vessel segmentation approaches, we use a 3D analytic model that represents the image intensities of a vessel. We propose to use a 3D Gaussian smoothed cylinder, which is well suited to model vessels of different widths (e.g., [2, 3]). The cylinder model comprises parameters for the width of the vessel (radius R), the image blur σ, and the image contrast a between the intensity levels of the vessel and the surrounding tissue. A 2D cross-section of this Gaussian smoothed 3D cylinder is defined as gDisk (x, y, R, σ) = Disk (x, y, R) ∗ G2D σ (x, y)
(1)
where ∗ denotes convolution, Disk (x, y,*R) is a two-valued function with value 1 if r ≤ R and 0 otherwise (for r = x2 + y 2 ), as well as the 2D Gaussian √ −1 − x2 function G2D 2πσ e 2σ2 . Extending σ (x, y) = Gσ (x) Gσ (y), where Gσ (x) = the 2D disk in z-direction as well as including the image contrast a yields the cylinder model gM,Cylinder (x, y, z, R, σ, a) = a gDisk (x, y, R, σ). Note that here we omit, without loss of generality, the 3D rigid transform used in [3]. To determine a lower bound for estimating the vessel radius, we utilize the Fisher information matrix F. We consider a cylindrical region-of-interest (ROI) of half-width (radius) w within the xy-plane and half-width wz in z-direction (along the cylinder) around a position on the centerline of the cylinder. A cylindrical ROI as compared to a cubic (or cuboidal) ROI is a more natural choice for tubular structures and also reduces the complexity in the calculation of the involved integrals. Since here we are only interested in estimating the vessel radius R (assuming that the values of the remaining parameters are known), the information matrix F consists of one element. The Cram´er-Rao lower bound (CRB) of the uncertainty is then given by (e.g., [4]) 2 2 −1 . σR ˆ ≥ σCRB, R ˆ =F
(2)
The bound determines the minimal possible uncertainty of the estimated parameter R for a given level of image noise. For calculating the CRB in (2), the first order partial derivative of the cylinder model w.r.t. the radius R is required. Fortunately, whereas a closed-form solution of a Gaussian smoothed cylinder is not known, a closed-form solution of the required partial derivative can be derived:
188
S. W¨ orz and K. Rohr
∂gM,Cylinder (r, z, R, σ, a) =a ∂R
√ * rR 2πR Gσ r2 + R2 I0 , σ σ2
(3)
with I0 being the modified Bessel function of the first kind (order 0). Assuming that the half-width w of the ROI (within the xy-plane) is much larger than the radius R and the standard deviation σ, i.e. w → ∞, the closed-form expression of the CRB in (2) using (3) can be stated as R2
2 σCRB, ˆ R
σ 2 σn2 e 2σ2 R2 vox3 = 2πa2 R2 wz I0 2σ 2
(4)
where σn denotes the standard deviation of the Gaussian image noise and vox denotes the spatial unit in 3D (i.e. one voxel is a cube with a size of one vox in each dimension). It can be seen that the precision increases (i.e. the bound decreases) with decreasing image noise σn as well as increasing image contrast a and size wz of the 3D ROI along the cylinder, and depends in a more complicated way on the radius R and the image blur σ (compared to σn , a, and wz ). The limits of the CRB for R → 0 and R → ∞ are ∞ and 0, respectively. For example, Fig. 1 (left, black curve) visualizes the CRB given in terms of the standard deviation (square root of the variance) as a function of the radius R. In general, it turns out that the bound is monotonically decreasing as a function of the vessel radius. To give an impression of the achievable accuracy, we state numerical examples of the CRB for thin vessels. For example, using a = 100 gr, σ = 1 vox, σn = 5 gr, and wz = 12 vox, for vessel radii R of 0.5, 1, 2, and 3 vox the minimal uncertainties σCRB, Rˆ compute to 0.012, 0.007, 0.005, and 0.004 vox, respectively (gr denotes the unit of the intensities in grey levels). Thus, for thin vessels the precision is well in the subvoxel range. However, for very thin vessels (e.g., a width of 1 vox) in combination with extremely poor imaging conditions (i.e. a very poor signal-to-noise ratio), the uncertainty of the vessel radius can excess the radius of the vessel itself. For example, for an extremely low image contrast of a = 5 gr, a vessel radius of R = 0.5 vox, and a small size of the ROI along the cylinder of wz = 5 vox, the CRB computes to 0.76 vox, which is about 50% larger in comparison to the radius. Note that the derived CRB in (4) does not impose a fixed limit for a minimal value of the vessel radius. A limit on the minimal radius can be derived based on the desired maximal uncertainty of the vessel radius (e.g., 5% or 0.1 vox). For example, for a maximal uncertainty of 5%, the limit of the minimal radius computes to R = 0.34 vox (using the same settings as above), i.e. the minimal width of 2R = 0.68 vox is below image resolution.
3
Vessel Width Estimation by Model Fitting
We have carried out an experimental investigation to analyze how the theoretical bound relates to practice. To this end we have generated 3D images based on the 3D cylinder model with additive Gaussian noise for different radii R = 0.5, 1, 2, 3, 4, 5, 6 vox and using the same parameter settings as above (i.e. a =
Limits on Estimating the Width of Thin Vessels in 3D Medical Images
189
Fig. 1. Theoretical and experimental precision for estimating the radius R as a function of the radius R (left) as well as 2D axial sections of 3D synthetic cylinders of radii R = 1 (middle) and R = 3 (right), using a = 100 gr, σ = 1 vox, σn = 5 gr, and wz = 12 vox. CRB,R 0.014 0.012 0.01 0.008 0.006 0.004 0.002 1
2
3
4
5
6
R
100 gr, σ = 1 vox, σn = 5 gr). For example, Fig. 1 shows 2D axial sections of 3D synthetic cylinders of radii R = 1 vox (middle) and R = 3 vox (right). To estimate the radius of the vessel we apply a model fitting approach [3] using a cylindrical ROI with a size of w = wz = 12 vox. Since a closed-form solution of the Gaussian smoothed cylinder gM,Cylinder is not known, we here numerically integrate the cylinder model to utilize the same model for the theoretical analysis and the experiments (instead of using an analytic approximation as in [3]). In total, for each value of the radius we carried out 1000 experiments (randomly varying the initial parameters and the added Gaussian noise) and determined the precision σRˆ of the radius as the standard deviation of the estimated radii. The results are represented by the dots in Fig. 1 (left). In addition, the black curve indicates the theoretical precision according to the derived CRB σCRB, Rˆ . It turns out that the agreement between the theoretical and the experimental values is very good, in particular, for thin vessels (e.g., R = 0.5 vox), i.e. the derived lower bound can indeed be achieved experimentally. The agreement is even more remarkable since the analytic derivation does not consider discretization effects due to sampling and quantization, while in the experiments discrete images have been used.
4
Comparison of Different Limits
We have also compared the accuracy limits of three different vessel segmentation approaches with the CRB from above. Hoogeveen et al. [1] studied accuracy limits in determining the vessel width from time-of-flight (TOF) and phase-contrast (PC) 3D MRA images. Experiments were based on 3D synthetic TOF and PC MRA images as well as on real images, which were generated by using phantom tubes with known diameters. For measuring the vessel width, the criteria full-width-half-maximum and full-width-at-10% were applied for TOF and PC images, respectively. The authors state that for both TOF and PC MRA images a minimal radius of about 1.5 vox is required for accurate estimation of the vessel width (allowing a maximal error of the estimated vessel width of 5%). Sato et al. [2] developed a differential vessel segmentation approach based on a multi-scale line filter. A Hessian-based line filter is applied to different scales of a 3D image and vessels are extracted based on these filter responses. To determine the width of a vessel, the filter responses are compared to filter responses of an ideal vessel model. It turns out that a maximum response of the
190
S. W¨ orz and K. Rohr
multi-scale filter, which is required to estimate the vessel width, is inherently not obtainable for thin vessels with a radius below 1.39 vox. In [3], we developed a model fitting approach for vessel segmentation based on an analytic 3D parametric intensity model. We use a 3D Gaussian smoothed cylinder to model the image intensities of a vessel and the surrounding tissue within a ROI. Since a closed-form solution of a Gaussian smoothed cylinder is not known, we have developed an accurate approximation based on the Gaussian function and the Gaussian error function. To segment a vessel we utilize an incremental process based on least-squares model fitting as well as linear Kalman filtering. We have applied the cylinder model to segment vessels in 3D MRA and 3D CTA images of the human. However, we obtain ambiguous estimates of the vessel width for a radius below about 1.72 vox. The reason is that for this value we automatically switch the used approximation in our approach. Note that, in contrast to Hoogeveen et al. [1], in the approach of Sato et al. [2] as well as in our model fitting approach [3], an accuracy limit is given by the approach itself (note also that in both approaches the limits are stated assuming a standard deviation of the Gaussian image smoothing of 1 vox). In comparison, as discussed above, the derived CRB in (4) does not impose a fixed limit for a minimal value of the vessel radius such as in [2, 3]. Moreover, since the theoretically derived CRB has been experimentally achieved for thin vessels, in particular, for a radius of 0.5 vox, we conclude that the limit of R ≈ 1.5 vox proposed by all three approaches [1, 2, 3] is not a fundamental limit.
5
Conclusion
We have analyzed limits for estimating the vessel width of thin vessels. Given a 3D analytic model of the image intensities of a vessel, we have derived a closedform expression for the Cram´er-Rao bound of the vessel radius. In addition, we have compared the derived Cram´er-Rao bound with previously proposed limits of three different approaches. Moreover, by experimental investigations, we have demonstrated that the derived lower bound can indeed be achieved by model fitting of a 3D parametric intensity model.
References 1. Hoogeveen RM, Bakker CJG, Viergever MA. Limits to the Accuracy of Vessel Diameter Measurement in MR Angiography. J Magn Reson Imaging 1998;8:1228– 1235. 2. Sato Y, Yamamoto S, Tamura S. Accurate Quantification of Small-Diameter Tubular Structures in Isotropic CT Volume Data Based on Multiscale Line Filter Responses. In: Procs MICCAI; 2004. p. 508–515. 3. W¨ orz S, Rohr K. A New 3D Parametric Intensity Model for Accurate Segmentation and Quantification of Human Vessels. In: Procs MICCAI; 2004. p. 491–499. 4. Rohr K. Fundamental Limits in 3D Landmark Localization. In: Procs IPMI; 2005. p. 286–298.
Weichgewebemodellierung durch Fl¨ acheninterpolation heterogen verteilter Messdaten Sylvia Wilharm1 , Tobias Maier2 , Michaela Benz2 , Gerd Sußner1 , ausler2 und G¨ unther Greiner1 Svenja Lowitzsch2 , Gerd H¨ 1
Institut f¨ ur Informatik, Lehrstuhl f¨ ur Graphische Datenverarbeitung, Universit¨ at Erlangen-N¨ urnberg 2 Max-Planck Forschungsgruppe - Institut f¨ ur Optik, Information und Photonik, Universit¨ at Erlangen-N¨ urnberg Email:
[email protected]
Zusammenfassung. In vielen Operationssituationen muss der Chirurg trotz Weichgewebeschwellung im Eingriffsgebiet eine Pr¨ adiktion des postoperativen Zustands treffen. Zur Unterst¨ utzung des Arztes kann die Schwellung anhand des Volumens zwischen den Gewebefl¨ achen von Haut und Knochen quantifiziert werden. In diesem Beitrag wird eine Methode vorgestellt, die mittels Gewebekonturen aus 2D-Ultraschallbildern intraoperativ eine Weichgewebemodellierung durchf¨ uhrt. Dies geschieht anhand einer analytischen Fl¨ achenbeschreibung der heterogen verteilten, fehlerbehafteten Messdaten. Die verwendeten Methoden basieren einerseits auf Interpolation mit radialen Basisfunktionen kombiniert mit Gl¨ attungsmaßnahmen, andererseits werden Approximationsmethoden mit Polynomen und radialen Basisfunktionen untersucht. Die aus Haut- und Knochenkonturen gewonnenen Ergebnisse der Interpolation werden denen der Approximationen gegen¨ ubergestellt.
1
Problemstellung
Ein in der Mund-, Kiefer- und Gesichtschirurgie h¨aufig vorkommender Eingriff ist die Kieferverlagerung. W¨ ahrend des Eingriffs tritt gew¨ohnlich eine Gewebeschwellung auf, die es dem Chirurgen erschwert, die Kieferverlagerung so durchzuf¨ uhren, dass die sp¨ at-postoperative Gesichtsform dem gew¨ unschten Ergebnis ¨ entspricht. Es gilt daher, das Odem zu quantifizieren, um w¨ahrend der Operation eine Darstellung des schwellungsfreien Gesichts ermitteln zu k¨onnen. Zur Quantifizierung wird das durch Haut- und Knochenoberfl¨ache begrenzte Schwellvolumen verwendet. Mit Hilfe von 2D-Ultraschallbildgebung werden mehrere Schnittbilder gewonnen, welche die Grundlage der Oberfl¨achengenerierung bilden. Die Gewebegrenzen werden jeweils segmentiert und die Bildebenen mit Hilfe optischer 3D-Datens¨ atze im 3D-Raum registriert. Die in diesem Beitrag behandelte Aufgabe besteht nun darin, aus diesen Gewebegrenzen die Gewebefl¨achen zu modellieren. Zu ber¨ ucksichtigen ist dabei die ungleichm¨aßige Verteilung sowie die Fehlerbehaftung der Messdaten. Durch Kombination und Adaption geeigneter bereits existierender Verfahren wird diese Aufgabe gel¨ost.
192
2
S. Wilharm et al.
Stand der Forschung
Bisher ist kein Ansatz bekannt, bei dem das Weichgewebe anhand von Gewebekonturen aus 2D-Ultraschallbildern modelliert wird. H¨aufig werden f¨ ur diesen Zweck Volumendaten verwendet, die zum Beispial mittels Computertomographie gewonnen werden [1]. Diese Messtechnik ist jedoch ionisierend und daher belastend f¨ ur den Patienten. Des Weiteren ist sie technisch aufw¨andig und kostenintensiv. Bei den hier vorliegenden Konturlinien aus 2D-Ultraschallbildern l¨ asst sich die Aufgabe auf ein Problem zur Funktionsrekonstruktion anhand verstreuter Daten zur¨ uckf¨ uhren. Daf¨ ur existieren verschiedene Verfahren. Eine M¨ oglichkeit stellen sogenannte Inverse-Distance-Weighted-Methoden dar, wie zum Beispiel die Shepard-Methode [2]. Die Interpolante wird hier als gewichtete Summe der Werte an den gegebenen Datenpunkten definiert. Diese Methode liefert im allgemeinen qualitativ schlechtere Ergebnisse als solche Ans¨atze, die auf radialen Basisfunktionen basieren [3]. Bei einem Ansatz mit radialen Basisfunktionen wird die Interpolante als gewichtete Summe von Basisfunktionen dargestellt (vgl. z.B. [4]). Diese Methode wird als Grundlage f¨ ur den vorliegenden Beitrag verwendet. Des Weiteren gibt es Approximationsmethoden die zum Beispiel auf Polynomen [2] oder auf radialen Basisfunktionen basieren [4].
3
Wesentlicher Fortschritt durch den Beitrag
Durch diesen Beitrag wird die Modellierung von Weichgewebefl¨achen aus ungleichm¨ aßig verteilten 3D-Messdaten erm¨ oglicht, die entlang segmentierter Gewebegrenzen aus 2D-Ultraschallbildern vorliegen. Eine besondere Herausforderung dabei sind die fehlerbehafteten Daten. Zum einen sind die von Hand aus den Ultraschallbildern segmentierten Gewebegrenzen nicht besonders glatt; die tats¨achlichen Gewebekonturen sind deutlich glatter. Zum anderen treten Ungenauigkeiten zwischen den Konturlinien auf: Bei sehr dicht beieinander verlaufenden bzw. sich u ¨ berlappenden Ultraschallschnitten kann der Gewebekonturenverlauf leicht unterschiedlich eingezeichnet sein. Diese Probleme sind bedingt durch die meist schlechte Qualit¨ at der Ultraschallbilder, auf denen der genaue Verlauf der Gewebegrenzen insbesondere beim Knochen schwer zu erkennen ist. Ein Beispiel f¨ ur ein Ultraschallbild und f¨ ur zehn Konturlinien eines Knochendatensatzes ist in Abb. 1 zu sehen. Gel¨ ost wurden die genannten Probleme durch eine geeignete Kombination aus Gl¨ attungsalgorithmen und radialen Basisfunktionsmethoden.
4
Methoden
Um eine Darstellung der Daten als H¨ ohenwerte u ¨ber einer Bezugsebene zu erhalten, werden die Schnitte mittels Hauptkomponentenanalyse [5] in ein geeignetes Koordinatensystem transformiert. Wegen der heterogenen St¨ utzstellenverteilung wurde eine Approximation mit Polynomen [2] sowie eine Interpolation bzw. Approximation mit radialen Basisfunktionen [4] verwendet. Die Schwierigkeit lag
Weichgewebemodellierung durch Fl¨ acheninterpolation
193
Abb. 1. Ultraschallschnitt mit weiß eingezeichnetem Verlauf des Knochens (links). ¨ Zehn Konturlinien eines Knochendatensatzes (rechts). Umkreist: Uberlappungen von Konturlinien.
hier bei der Auswahl einer geeigneten Basisfunktion und ihrer Parameter, da die Wahl der Basisfunktion die Gl¨ atte des resultierenden Gewebefl¨achenmodells sowie die Rauschempfindlichkeit der Methode bestimmt: je glatter die Basisfunktion, desto gr¨ oßer die Rauschempfindlichkeit. Zur Korrektur von Messfehlern (Rauschen sowie Fehler durch Segmentierung) wurden Gl¨attungsmethoden verwendet: Es wurde einerseits eine 2D-Gl¨ attung der H¨ohenwerte der Interpolation vorgeschaltet [6] um Differenzen zwischen nah beieinander verlaufenden Konturlinien auszugleichen. Desweiteren wurde eine nachgeschaltete Gl¨attung durch implizite Faltung nach Carr [7] verwendet. Damit konnten unter anderem durch Interpolation bzw. Approximation mit einer nicht glatten Basisfunktion entstandene Kanten und Spitzen gegl¨ attet werden.
5
Ergebnisse
Die Verfahren wurden an Knochenkonturen aus Ultraschallbildern getestet. Der Datensatz bestand aus zehn Konturlinien aus Ultraschallbildern auf einem Gebiet von ca. 4 cm × 4 cm. Jede Konturlinie bestand im Mittel aus 237 Punkten. Der mittlere Samplinabstand betrug 0,15 mm. Wie zu erwarten, war das mittels Polynomapproximation erzielte Ergebnis sehr glatt, enthielt aber kaum Details und war stellenweise recht weit von den gegebenen Werten an den Datenpunkten entfernt. Der mittlere Abstand der an diesen Punkten approximierten Werte von den gegebenen verrauschten Werten betrug 0,44 mm. Die besten Ergebnisse wurden mittels Interpolation mit einer nicht glatten Basisfunktion (z.B. einer C 0 -stetigen Wendlandfunktion) in Kombination mit vorund nachgeschalteter Gl¨ attung erzielt. Das durch eine Approximation mit einer nicht glatten Basisfunktion kombiniert mit einer nachgeschalteten Gl¨attung gewonnene Ergebnis war dem sehr ¨ ahnlich. Es wurde jeder zehnte Punkt einer Konturlinie als Approximationszentrum verwendet. Beide Ergebnisse sind in
194
S. Wilharm et al.
Abb. 2. Oben: Knochendatensatz. Ergebnis der Interpolation mit einer C 0 -stetigen Wendlandfunktion kombiniert mit vor- und nachgeschalteter Gl¨ attung (links). Ergebnis der Approximation mit einer C 0 -stetigen Wendlandfunktion kombiniert mit einer nachgeschalteten Gl¨ attung (rechts). Unten: Erster Hautdatensatz. Ergebnis der Interpolation mit einer C 2 -stetigen Wendlandfunktion.
Abb. 2 zu sehen. Der mittlere Abstand der approximierten zu den gegebenen Werten an den Datenpunkten betrug bei beiden Varianten 0,12 mm. Bei der Verwendung glatterer Basisfunktionen kam es an den problematischen Stellen (¨ uberlappende Konturlinien mit zum Teil stark schwankenden Werten auf kleinem Raum) zu unerw¨ unschten Dellen und Peaks. Zur quantitativen Bewertung der Ergebnisfl¨ achen fehlen beim Knochen bisher Referenzfl¨achen. Diese k¨onnen aus Computertomographie-Datens¨ atzen gewonnen werden, die bisher noch nicht zur Verf¨ ugung standen. Zur Validierung wurden daher die vorhandenen optischen 3D-Datens¨atze der Gesichter verwendet. Aus diesen wurden Hautkonturen herausgeschnitten, um Ultraschall-Gewebegrenzen zu simulieren. Es wurden dabei jeweils 6 Schnitte auf einem Gebiet von ca. 3 cm x 7 cm extrahiert, die ann¨ahernd gleiche Ausrichtung haben. Sie bestanden im Mittel aus jeweils 108 Punkten und hatten einen mittleren Samplingabstand von 0,58 mm. Die Ergebnisse wurden mit der Referenzfl¨ ache des zugrunde liegenden optischen Datensatzes verglichen. Die auf der Interpolation mit radialen Basisfunktionen beruhende Methode ergab als bestes Ergebnis einen mittleren Abstand zur Referenzfl¨ache von 0,06 mm. Dabei wurde ur den ersten eine C 2 -stetige Wendlandfunktion verwendet. Dieses Ergebnis ist f¨ der beiden Datens¨ atze in Abb. 2 dargestellt. Da die hier vorliegenden Daten bereits glatt sind, wurde auf eine Gl¨ attung bzw. Approximation mit radialen Basisfunktionen verzichtet. Zum Vergleich der Genauigkeit wurde eine Polynomapproximation durchgef¨ uhrt, die einen mittleren Abstand von 0,20 mm zur Referenzfl¨ ache lieferte. Die Interpolationsmethode erzielte damit ein ca. dreimal genaueres Ergebnis der Oberfl¨ achenmodellierung als die Polynomapproximationsmethode.
Weichgewebemodellierung durch Fl¨ acheninterpolation
6
195
Diskussion
Dieser Beitrag erm¨ oglicht die Modellierung von Weichgewebefl¨achen anhand heterogen verteilter Messdaten, die aus segmentierten 2D-Ultraschallbildern stammen. Die Verfahren basieren auf Approximation mit Polynomen bzw. auf Interpolation und Approximation mit radialen Basisfunktionen. Messfehler k¨onnen bei der Interpolation durch Gl¨ attung der Werte korrigiert werden. Eine Validierung der Verfahren erfolgte anhand optischer Datens¨atze von Gesichtsoberfl¨ achen, aus denen Gewebeschnitte extrahiert und diese mit Hilfe der oben beschriebenen Methoden interpoliert bzw. approximiert wurden. Die auf diese Weise modellierten Gewebefl¨ achen wurden mit den Referenzfl¨achen verglichen. Bei den in diesem Fall relativ glatten Daten lieferte die Interpolation mit m¨aßig glatten Basisfunktionen die besten Ergebnisse. Die Verfahren wurden auch an Knochenkonturen aus Ultraschallbildern getestet. Diese Daten waren fehlerbehaftet und nicht glatt. In diesem Fall stellten sich weniger glatte Basisfunktionen kombiniert mit Gl¨attungsmethoden als geeignet heraus. Die Polynomapproximation war f¨ ur beide Datens¨ atzen die ungenaueste Methode. Ein Vergleich der Ergebnisfl¨ achen f¨ ur den Knochen mit aus Computertomographie-Datens¨atzen gewonnenen Referenzfl¨ achen ist geplant. Weitere Verbesserungen lassen sich mit Hilfe von anwendungsoptimierten Gl¨ attungsmethoden erreichen.
Literaturverzeichnis 1. Kessler P, Wiltfang J, Teschner M, et al. Computergraphische Simulationsm¨ oglichkeiten in der orthop¨ adischen Chirurgie. Mund-, Kiefer-, Gesichtschirurgie 2000;6:373–376. 2. Kincaid D, Cheney W. Numerical Analysis. Mathematics of Scientific Computing. 2nd ed. Brooks/Cole; 1996. 3. Lodha SK, Franke R. Scattered Data Techniques for Surfaces. In: Proceedings of Dagstuhl Conference on Scientific Visualization, IEEE Computer Society Press; 1999. p. 182–222. 4. Wendland H. Scattered Data Approximation. Cambridge University Press; 2005. 5. Hartung J, Elpelt B. Multivariate Statistik. M¨ unchen: Oldenbourg; 1999. 6. J¨ ahne B. Digitale Bildverarbeitung. Heidelberg: Springer; 1997. 7. Carr JC, Beatson RK, McCallum BC, et al. Smooth surface reconstruction from noisy range data. In: GRAPHITE ’03: Proceedings of the 1st international conference on Computer graphics and interactive techniques in Australasia and South East Asia. New York, NY, USA: ACM Press; 2003. p. 119ff.
Registrierung verschiedener Knochenstrukturen in Ultraschall- und CT-Daten anhand von pr¨ aund intraoperativen Patientendatens¨ atzen Susanne Winter1 , Bernhard Brendel2 , Ioannis Pechlivanis3 , Kirsten Schmieder3 1 Institut f¨ ur Neuroinformatik, Ruhr-Universit¨ at Bochum, 44780 Bochum, Lehrstuhl f¨ ur Hochfrequenztechnik, Ruhr-Universit¨ at Bochum, 44780 Bochum, 3 Neurochirurgische Universit¨ atsklinik, Ruhr-Universit¨ at Bochum, 44892 Bochum, Kompetenzzentrum Medizintechnik Ruhr (KMR) Bochum Email:
[email protected] 2
Zusammenfassung. Die Registrierung pr¨ aoperativer CT/MR-Daten mit dem Koordinatensystem des Operationssaales ist ein zentrales Problem in der bildgest¨ utzten, navigierten Chirurgie. Um intraoperativ die Belastung von Personal und Patienten durch R¨ ontgenstrahlung zu vermindern, dient bei unserem Ansatz der dreidimensionale Ultraschall als intraoperative Bildgebungsmodalit¨ at. Unser Registrierungsalgorithmus soll neurochirurgische, orthop¨ adische oder unfallchirurgische Eingriffe an der Wirbels¨ aule oder den großen Gelenken unterst¨ utzen. Gegenstand der Untersuchungen in diesem Beitrag ist die Evaluierung unseres Registrierungsalgorithmus anhand von Ultraschalldatens¨ atzen von Knie und Schulter, die ausserhalb des Operationssaales aufgenommen wurden, sowie intraoperativ erhobenen Ultraschalldaten der Lendenwirbels¨ aule.
1
Einleitung
Der Trend zur Minimalisierung chirurgischer Eingriffe erfordert Techniken zur Verbesserung der r¨ aumlichen Orientierung im Operationsgebiet. Hier bietet die bildgest¨ utzte Navigation dem Chirurgen die M¨oglichkeit anhand von pr¨aoperativen CT/MR-Datens¨ atzen die Position seiner Instrumente auch in Bereichen zu verfolgen, die der direkten Sicht nicht zug¨ anglich sind. Voraussetzung f¨ ur eine zuverl¨ assige Navigation ist eine exakte Registrierung der pr¨aoperativen Bilddaten mit dem Koordinatensystem des Operationssaales. Landmarkenbasierte Verfahren haben den Nachteil großer Ungenauigkeiten, wenn die Landmarken zu weit vom operativen Zielgebiet entfernt liegen, oder die manuelle Definition anatomischer Landmarken in den pr¨ aoperativen Datens¨atzen nicht pr¨azise m¨oglich ist. Bildbasierte Registrierungsalgorithmen umgehen diese Probleme, allerdings sind die Kosten f¨ ur Systeme mit intraoperativer CT- oder MR-Bildgebung enorm. Die Nutzung von Ultraschall zur intraoperativen Bildgebung hingegen hat den Vorteil niedrigerer Kosten und geringeren Platzbedarfs. Außerdem sind Ultraschallsysteme bei Freihandf¨ uhrung des Schallkopfes einfacher und flexibler einsetzbar.
Registrierung verschiedener Knochenstrukturen
197
Obwohl die Abbildungseigenschaften des Ultraschalls bez¨ uglich Knochenstrukturen nicht optimal sind und nur ein geringer Teil der Knochenoberfl¨ache abgebildet wird, steigt aufgrund der genannten Vorteile des Ultraschalls das Interesse an einer Nutzung zur intraoperativen Unterst¨ utzung von Eingriffen an Knochenstrukturen. Die bisher in der Literatur beschriebenen Ans¨atze zur Registrierung von Knochenstrukturen in Ultraschalldaten und CT/MR-Daten basieren auf Oberfl¨achen-Oberfl¨ achen-Registrierung, wozu die Knochenoberfl¨ache in beiden Modalit¨ aten segmentiert werden muss [1, 2, 3, 4]. Eine Segmentierung der Knochenoberfl¨ ache in Ultraschalldaten ist bislang allerdings nicht zuverl¨assig f¨ ur unterschiedliche anatomische Regionen m¨ oglich. Der von uns entwickelte Ansatz basiert auf einer Oberfl¨ achen-Volumen-Registrierung, bei der die Knochenoberfl¨ ache nur in den pr¨ aoperativen CT-Daten segmentiert wird und die Ultraschalldaten als Grauwert-Volumendatensatz belassen werden [5, 6]. Ziel unserer Arbeit ist es die Ultraschallregistrierung intraoperativ sowohl an der Lendenwirbels¨ aule, als auch bei Eingriffen an den großen Gelenken (Knie, H¨ ufte, Schulter) einzusetzen. Unser Ansatz wurde zun¨achst f¨ ur Wirbels¨aulenapplikationen entwickelt, und es konnte bereits gezeigt werden, dass hier eine zuverl¨ assige, pr¨ azise Registrierung m¨ oglich ist [7]. Außerdem wurde eine hohe Genauigkeit des Gesamtsystems am Phantom gemessen und die Anwendbarkeit f¨ ur Knie und Schulter visuell best¨ atigt [8]. In diesem Beitrag wird unser Ansatz zur Ultraschallregistrierung anhand von Ultraschalldatens¨ atzen des Knies und der Schulter, sowie intraoperativ gewonnenen Ultraschalldaten der Lendenwirbels¨aule systematisch evaluiert. Es kann gezeigt werden, dass die Methode auf verschiedene anatomische Regionen u ¨bertragbar ist und dass sie mit intraoperativ gewonnenen Daten ebenfalls zuverl¨ assig funktioniert.
2
Material und Methoden
Die Ultraschalldatens¨ atze wurden mit einem Siemens Sonoline Omnia akquiriert. Die 3D-Rekonstruktion der Ultraschalldatens¨atze von Schulter und Knie wurden mit einem magnetischen Positioniersystem und einem Software Add-On von 3D Echotech durchgef¨ uhrt. Die intraoperativ erhobenen Ultraschallvolumendaten wurden mit einem optischen Stereokamerasystem und einer eigenen 3D-Rekonstruktion erzeugt. Zus¨ atzlich wurden in den intraoperativen Daten die Knochenoberfl¨ achen mit einem adaptiven Tiefenausgleich verst¨arkt. Die CTDatens¨ atze wurden als Spiral-CT aufgenommen. Alle Datens¨atze wurden in Datens¨ atze mit isotroper Aufl¨ osung bei einer Voxelgr¨oße von 0,5 mm x 0,5 mm x 0,5 mm umgewandelt. Zur Registrierung wurde eine rigide Oberfl¨ achen-Volumen-Registrierung verwendet, bei der das Optimierungskriterium der Grauwertsumme der projizierten Oberfl¨ achenpunkte entsprach. Als Optimierungsmethode wurde die Covarianzmatrix Adaptations Evolutions-Strategie (CMA-ES) genutzt. Im Bereich des
198
S. Winter et al.
Tabelle 1. Registrierrate (RR) in Prozent, mittlere Zahl der notwendigen Fitnessberechnungen (ZF) und mittlere Rechenzeiten (RZ) in Sekunden, jeweils f¨ ur die Daten von Schienbein, Oberarmknochen und Lendenwirbel ohne und mit systematischer Reduktion der Oberfl¨ achenpunkte (Pkt) mit den Faktoren (RF) 4 und 8. Daten RF Pkt RR ZF RZ Schienbein 1 10639 100,0 8023 32,0 Schienbein 4 2660 100,0 8036 8,2 Schienbein 8 1330 100,0 8104 4,2 Oberarmknochen 1 4023 100,0 6217 10,6 Oberarmknochen 4 1006 99,6 6266 2,8 Oberarmknochen 8 503 90,3 6263 1,5 Lendenwirbel 1 5519 100,0 6239 15,4 Lendenwirbel 4 1380 93,6 5241 3,3 Lendenwirbel 8 690 90,9 5215 1,7
Knies wurde die Knochenoberfl¨ ache des Schienbeins zur Registrierung verwendet, im Bereich der Schulter die des Oberarmknochens. Die Oberfl¨ achenpunkte wurden mittels Schwellwert (200 Hounsfield Units) aus den CT-Daten, unter Ber¨ ucksichtigung der Schalleinfallsrichtung, bestimmt. Die so gewonnenen Oberfl¨ achenpunkte wurden zus¨atzlich systematisch um Faktor 4 und Faktor 8 reduziert. Zur Evaluierung wurde f¨ ur jeden Datensatz zun¨achst das Optimum bestimmt, indem mittels 50facher lokaler Optimierung derjenige Parametersatz ermittelt wurde, der im Sinne der Optimierung den besten Wert lieferte. Durch visuelle Kontrolle wurde die Plausibilit¨ at dieser L¨osung best¨atigt. Ausgehend von 1000 verschiedenen Startpositionen wurde jeweils 1000 mal registriert. Die Startpositionen verteilten sich auf mittlere Distanzen zum Optimum zwischen 0 und 15 mm, wobei Verschiebung und Rotation gleichzeitig variiert wurde. Diese Startabweichungen k¨ onnen bei grober Vorregistrierung als intraoperativ realistisch angesehen werden. Als korrekt registriert wurden die Versuche gewertet, deren Abstand zum Optimum geringer als 1 mm war.
3
Ergebnisse
Von den 1000 Registrierversuchen mit den Daten des Knies konnten 100 % korrekt registriert werden (siehe Tab. 1). Dies galt sowohl f¨ ur die Versuche mit der kompletten Oberfl¨achenpunktmenge, als auch bei systematischer Ausd¨ unnung. Die Daten der Schulter konnten bei vollst¨ andiger Oberfl¨ache ebenfalls zu 100 % korrekt registriert werden, bei Reduktion der Oberfl¨achenpunkte gelang dies nur noch zu 99,6 % bzw. zu 90,3 %. Die Registrierung der intraoperativ erhobenen Ultraschalldaten eines Lendenwirbels war bei Nutzung der kompletten, f¨ ur den Ultraschall sichtbaren Oberfl¨ ache, auch zu 100 % m¨oglich. Die Registrierung anhand von weniger Punkten f¨ uhrte zu geringeren Registrierraten von 93,6 % und 90,9 %.
Registrierung verschiedener Knochenstrukturen
199
Abb. 1. Darstellung der Knochenober߬ achenpunkte nach Registrierung; oben Schienbein, Mitte Oberarmknochen, unten Lendenwirbel; links alle Ober߬ achenpunkte, in der Mitte Reduktion mit Faktor 4, rechts Reduktion mit Faktor 8.
Die Zahl der f¨ ur die Registrierung ben¨ otigten Rechenschritte lag f¨ ur den Lendenwirben bei ca. 5200 bis 6200, f¨ ur den Unterschenkelknochen bei etwas u ¨ ber 8000. Die absoluten Rechenzeiten sind direkt abh¨angig von der Zahl der verwendeten Oberfl¨ achenpunkte und den ben¨ otigten Rechenschritten. Zur Registrierung eines Wirbels mit kompletter Oberfl¨ache wurden etwa 15 s ben¨otigt. Das Schienbein konnte mit einer mittleren Rechenzeit von 4,2 s zuverl¨assig registriert werden. Der mittlere Abstand aller korrekten Registrierungen zu ihrem jeweiligen Optimum lag bei 0,07 mm. In Abb. 1 sind die Knochenoberfl¨ achenpunkte nach Registrierung in die Ultraschalldaten eingeblendet. Dabei zeigen die Bilder links die Registrierung mit kompletter Oberfl¨ache, die Bilder in der Mitte und rechts die Registrierung mit reduzierter Knochenoberfl¨ ache.
4
Diskussion
Es konnte gezeigt werden, dass die Ultraschallregistrierung sowohl intraoperativ an der Lendenwirbels¨ aule als auch in anderen Anwendungsgebieten mit hoher Pr¨ azision und hoher Registrierrate m¨ oglich war.
200
S. Winter et al.
Die Rechenzeiten der Registrierung sind abh¨angig von der Zahl der verwendeten Oberfl¨ achenpunkte. Die Versuche mit systematischer Reduzierung der Oberfl¨achenpunktmenge haben gezeigt, dass bei den Daten des Knies auch bei Reduktion um Faktor 8 noch eine 100 %ige Registrierung der Daten m¨oglich war. Bei den anderen Datens¨ atzen hingegen hat die Zuverl¨assigkeit der Registrierung abgenommen. Voraussetzung f¨ ur eine erfolgreiche Registrierung ist allerdings eine gute Bestimmung der Knochenoberfl¨ ache im CT, die in den Ultraschalldaten abgebildet wird. F¨ ur die Versuche an Knie und Schulter war der im Ultraschall abgebildete Ausschnitt vor Bestimmung der Knochenoberfl¨ache im CT bekannt und die Oberfl¨ ache wurde abh¨ angig davon extrahiert. Bisher existieren noch keine Ultraschallaufnahmeprotokolle f¨ ur die großen Gelenke, die eine geeignete Auswahl des vom Ultraschall abgebildeten Bereichs und damit die automatische Bestimmung der geeigneten Knochenoberfl¨ache zulassen. Daher wird eine intraoperative Registrierung noch nicht mit so hoher Zuverl¨ assigkeit m¨ oglich sein wie dies f¨ ur die pr¨aoperativen Daten gezeigt werden konnte. F¨ ur die Registrierung der Lendens¨aule hingegen wurde die Vorgehensweise bei der Ultraschall-Datenaufnahme so genau festgelegt, dass die Bestimmung der Knochenoberfl¨ achenpunkte ohne Kenntnis der eigentlichen Daten m¨oglich war und eine zuverl¨ assige Registrierung der intraoperativ erhobenen Daten durchgef¨ uhrt werden konnte. Danksagung. Diese Arbeit ist im Rahmen des Kompetenzzentrum Medizintechnik Ruhr (KMR) Bochum entstanden und wird gef¨ordert vom BMBF (Az. 13N8079).
Literaturverzeichnis 1. Tonetti J, Carrat L, Blendea S, et al. Clinical Results of Percutaneous Pelvic Surgery. Computer Assisted Surgery Using Ultrasound Compared to Standard Fluoroscopy. Comput Aided Surg 2001;6:204–211. 2. Ioppolo J, Kowal J, Nolte LP. Ultrasonic Registration Techniques. In: Procs CAOS; 2002. p. 295. 3. Muratore DM, Russ JH, Dawant BM, Galloway RL. Three-Dimensional Image Registration of Phantom Vertebrae for Image-Guided Surgery: A Preliminary Study. Comput Aided Surg 2002;7:342–352. 4. Amin DV, Kanade T, DiGioia AM, Jaramaz B. Ultrasound Registration of Bone Surface for Surgical Navigation. Comput Aided Surg 2003;8:1–16. 5. Brendel B, Winter S, Rick A, et al. Registration of 3D CT- and ultrasound-datasets of the spine using bone structures. Comput Aided Surg 2002;7:146–155. 6. Winter S, Brendel B, Rick A, et al. Registration of bone surfaces, extracted from CT-datasets, with 3D-ultrasound. Biomed Tech 2002;47(1):57–60. 7. Winter S, Brendel B, Igel C. Registrierung von Knochen in 3D-Ultraschall- und CT-Daten: Vergleich verschiedener Optimierungsverfahren. In: Procs BVM; 2005. p. 345–349. 8. Brendel B, Winter S, Ermert H. In vivo Evaluierung und In vitro Genauigkeitsmessung f¨ ur einen Algorithmus zur Registrierung von Ultraschall- und CT-Datens¨ atzen. In: Procs BVM; 2005. p. 340–344.
An Adaptive Irregular Grid Approach Using SIFT Features for Elastic Medical Image Registration Astrid Franz, Ingwer C. Carlsen and Steffen Renisch Philips Research Laboratories, P.O. Box 63 05 65, D-22315 Hamburg Email:
[email protected]
Abstract. Elastic image registration is an active field of current research. In contrast to B-spline transformations, defined on a regular grid of control points, we consider physics-based transformations defined on irregular grids. With such control point arrangements, the required nonlinear behaviour can be described with less parameters. We combine this transformation model with the SIFT algorithm for identifying prominent image structures that serve well as initial control point positions. Medical applications from different modalities show that with this intelligent control point initialization the number of required control points can be further reduced, which significantly speeds up the registration process.
1
Introduction
Elastic registration of medical images, i.e. finding a non-affine transformation such that corresponding image structures correctly align, is an active field of current research. Accurate image registration is a necessary prerequisite for many diagnostic and therapy planning procedures where complementary information from different images has to be combined. Different registration algorithms have been proposed, but as of yet no generally accepted strategy seems to exist and it is unlikely that a single approach will serve all clinical applications. One well-established classification scheme of elastic registration methods is their division into parametric and non-parametric methods [1, 2]. Parametric approaches have the advantage of representing the transformation by a moderate number of parameters, but on the other hand limit the transformation freedom. The transformation parameters have to be optimized in order to find that set of parameters yielding optimal similarity of the two images, quantified by a greyvalue based similarity measure. Since optimization in a high-dimensional space is computationally expensive, a transformation model has to be found describing the clinical relevant deformations with as few parameters as possible. A well-known transformation model for elastic image registration are Bsplines defined on a regular grid of control points [3, 4]. The registration accuracy for such a transformation strongly depends on the grid resolution, where the use of fine grids results in high computational costs. An alternative is the use of irregular grids of control points with a physics-based transformation model as
202
A. Franz, I.C. Carlsen and S. Renisch
introduced in [5, 6]. The advantage of such a method is that control points need to be placed only in image regions where they are of significant influence on the registration accuracy. Hence a similar transformation flexibility can be described by fewer parameters than on the basis of a regular control gid. Furthermore, not only the forces applied at the control points, but also the position of the control points can be changed during the optimization process [7, 8]. Hence no prior knowledge is required where to optimally place the control points, which is a great advantage over registration approaches using point landmarks from local image characteristics (see [9] and references therein). In [7, 8] the number of the control points was fixed, and they where initially placed on a regular grid. A validation investigation of these methods for a set of clinical applications showed that a further reduction of the number of parameters is possible by an iterative placement of the control points [10]. Since global optimization is computationally expensive, the fast derivative-based LevenbergMarquardt method is used for optimizing the forces as well as the position of the control points, but this optimization strategy is only locally convergent and therefore the registration result depends on the initial placement of the control points. In [10] the control points are initially placed randomly inside the image area, which makes the registration result non-deterministic.
2
Theory and Methodology
Here we propose to use the Scale Invariant Feature Transform (SIFT) algorithm known from panoramic image mosaicing [11] for identifying good initial landmark positions. The SIFT features are geometrically invariant under similarity transforms and invariant under affine changes in intensity. Distinctive SIFT feature points correspond to prominent image structures that serve well as initial control points of relevance and that allow constraining the local optimization to adjust only parameters that have a pronounced influence on improving the image similarity. In contrast to a random control point placement, this results in a deterministic and more robust registration algorithm. The SIFT algorithm identifies extrema in the scale space, i.e. it measures how long an image structure survives when blurring the image with wider and wider Gaussian kernels. The longer a structure survives the blurring sequence, the more prominent this structure appears in the image. The first control point is then placed at the most prominent SIFT feature. Starting from this control point, the force and the position is optimized by the Levenberg-Marquardt method until optimal similarity between the reference image and the warped floating image is reached. Then this optimal control point configuration is used as starting configuration for the next optimization run, and an additional control point is placed at the next prominent SIFT feature. All control points together are optimized further. The iterative placement of an additional control point at the next prominent SIFT feature is continued as long as a significant improvement of the similarity measure can be reached.
An Adaptive Irregular Grid Approach
203
Fig. 1. Application test images: MR image of a joint (a), abdominal CT image (b) and PET transmission image (c), and corresponding regions of interest for computing the displacement error (d-f). (a)
(b)
(c)
(d)
(e)
(f)
We use the validation strategy introduced in [10] to compare the registration results of the proposed algorithm with previous approaches. We construct a “pseudo” ground truth by applying an artificial, but realistic deformation to a clinical floating image and use this artificially deformed image as reference image further on. After a registration, the resulting transformation can then be compared with the known ground truth, using e.g. the displacement error averaged over a region of interest as quality measure for judging the registration accuracy.
3
Results
We investigated the proposed algorithm of combining the adaptive irregular grid approach with an iterative control point placement based on SIFT features for a range of clinical applications: MR images of freely moving joints for orthopedic investigations, abdominal CT images for adaptive radiation therapy planning, and PET transmission images used for the attenuation correction and registration of independently acquired PET and CT images. The test calculations were carried out for the 2D images shown in fig. 1, but of course the proposed algorithm works equally well in three spatial dimensions. We constructed a pseudo ground truth by applying a thin plate spline transformation to all three example images, where this transformation was chosen in such a way that the deformed images are in good agreement to real deformed clinical images. Note that the pseudo ground truth transformation was chosen out of another transformation class than that used for subsequent registration.
204
A. Franz, I.C. Carlsen and S. Renisch
(b) MSSD
displacement error
(a)
number of control points
number of control points
Fig. 2. Displacement error (a) and similarity measure (b) for the MR moving joint application shown in fig. 1a as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().
(b) MSSD
displacement error
(a)
number of control points
number of control points
Fig. 3. Displacement error (a) and similarity measure (b) for the radiation therapy planning application shown in fig. 1b as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().
(b) MSSD
displacement error
(a)
number of control points
number of control points
Fig. 4. Displacement error (a) and similarity measure (b) for the PET application shown in fig. 1c as a function of the number of control points. The control points are initially placed randomly () or at the SIFT feature points ().
An Adaptive Irregular Grid Approach
205
In all example applications it turned out that a small number of control points is sufficient to reach an averaged displacement error of less than 1 pixel over the considered region of interest (see figs. 2-4). In comparison, with a random initial control point placement such small displacement errors can not be reached (see figs. 2,3), or they require a much larger number of control points (see fig. 4). Hence, the SIFT feature points are good starting points for the adaptive irregular grid approach to elastic registration.
4
Conclusion and Discussion
The elastic registration algorithm we present here uses the SIFT features known from panoramic stitching for identifying significant image structures for the initial control point placement for adaptive irregular grid transformation models. Contrary to a completely random positioning, it avoids placing control points in areas void of significant grey value structures where their adjustment will hardly change the similarity measure and hence will not efficiently improve image similarity. Furthermore, it makes the registration algorithm deterministic and reproducible, an important aspect for acceptance in the clinical practice. Hence the combination of the adaptive irregular grid transformations and the SIFT features for initial control point placement is a promising approach to elastic medical image registration.
References 1. Rohr K. Landmark-Based Image Analysis: Using Geometry and Intensity Models. Dordrecht: Kluwer; 2001. 2. Modersitzki J. Numerical Methods for Image Registration. Oxford University Press; 2004. 3. Rueckert D, Sonoda LI, Hayes C, et al. Nonrigid registration using free-form deformations: Application to breast MR images. IEEE Trans Med Imaging 1999;18(8):712–721. 4. Kybic J, Unser M. Fast Parametric Elastic Image Registration. IEEE Trans Image Process 2003;12(11):1427–1442. 5. Kohlrausch J, Rohr K, Stiehl S. A new class of elastic body splines for nonrigid registration of medical images. In: Procs BVM; 2001. p. 164–168. 6. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. J Math Imaging Vision 2005;23(3):253–280. 7. Pekar V, Gladilin E. Deformable Image Registration by Adaptive Gaussian Forces. In: Procs CVAMIA+MMBIA; 2004. p. 317–328. 8. Pekar V, Gladilin E, Rohr K. An Adaptive Irregular Grid Approach for 3-D Deformable Image Registration. Phys Med Biol, in press 2005. 9. Zitov´ a B, Flusser J. Image registration methods: A survey. Image Vis Comput 2003;21(11):977–1000. 10. Franz A, Carlsen IC, Renisch S, et al. Validation of elastic registration algorithms based on adaptive irregular grids for medical applications. In: Procs SPIE Med Imaging: Image Processing; 2006. 11. Brown M, Lowe DG. Recognising Panoramas. In: Procs ICCV; 2003. p. 1218–1225.
New Approximating Gaussian Elastic Body Splines for Landmark-Based Registration of Medical Images Stefan W¨ orz and Karl Rohr University of Heidelberg, IPMB, and DKFZ Heidelberg, Dept. Bioinformatics and Functional Genomics, Biomedical Computer Vision Group Im Neuenheimer Feld 580, 69120 Heidelberg, Germany Email: {s.woerz,k.rohr}@dkfz.de
Abstract. We introduce a new approximation scheme for landmarkbased elastic image registration using Gaussian elastic body splines (GEBS). The scheme is based on an extended energy functional related to the Navier equation under Gaussian forces and allows to individually weight the landmarks according to their localization uncertainties. We demonstrate the applicability of the registration scheme based on 3D synthetic image data as well as 2D MR images of the human brain. From the experiments it turns out that the new approximating GEBS approach achieves more accurate registration results in comparison to previously proposed interpolating GEBS as well as TPS.
1
Introduction
Image registration is an important task in medical image analysis. Examples for applications are the registration of images of different modalities as well as the registration of preoperative with intra- and postoperative images. While rigid registration schemes are computationally efficient, they do not allow to cope with local differences between corresponding image data. Therefore, nonrigid registration schemes are required. A special class of general nonrigid transformations are elastic transformations, which allow for local adaptation and which are generally based on an energy functional or the related partial differential equation. Often, spline-based approaches are used for nonrigid registration such as thin-plate splines (TPS, e.g., [1]), elastic body splines (EBS, [2]), and Gaussian EBS (GEBS, [3, 4, 5]). While TPS are based on the bending energy of a thin plate, EBS and GEBS are derived from the Navier equation (partial differential equation), which describes the deformation of elastic objects under certain forces. GEBS in comparison to EBS have the advantage that more realistic forces are used, i.e. Gaussian forces instead of polynomial or rational forces. In splinebased registration approaches, generally an interpolation scheme is applied that forces corresponding landmarks to exactly match each other. The underlying assumption is that the landmark positions are known exactly. In real applications, however, landmark extraction is always prone to error. Therefore, to take these localization uncertainties into account, approximation schemes have been
New Approximating Gaussian Elastic Body Splines
207
proposed, for example, for TPS (see, e.g., [1]). However, approximation schemes for EBS and GEBS approaches have not yet been introduced.
2
Approximating Gaussian Elastic Body Splines (GEBS)
First, we briefly describe the interpolating GEBS approach (Kohlrausch et al. [3, 4]). This approach is based on the Navier equation of linear elasticity ++µ 0=µ +∆u + (λ +) ∇ (div u) + f
(1)
with the displacement vector field u, body forces f , as well as Lam´e constants + > 0 describing material properties. Given Gaussian forces f (x) = c f (r) = µ +, λ * √ c ( 2πσf )−3 exp(−r2 /(2σf2 )) with x = (x, y, z)T , r = x2 + y 2 + z 2 , and the standard deviation σf , an analytic solution of (1) has been derived. The resulting basis functions G (a 3 × 3 matrix) are given by (up to a constant factor) 2 2 r2 − 3σf2 αr2 + σf2 e−ˆr e−ˆr erf(ˆ r) − β 2 erf(ˆ r) + 3β 4 I+ xxT (2) G(x) = r3 r r5 r * √ where rˆ = r/( 2 σf ), α = 3 − 4ν, β = σf 2/π, and the Poisson ratio + λ + + 2+ ν = λ/(2 µ). Using the interpolation condition qi = u(p i ), the scheme for n spline-based elastic image registration is given by u(x) = x + i=1 G(x − pi ) ci where pi and qi denote the positions of corresponding n landmarks of the source and target image, respectively. The coefficients ci represent the strength as well as direction of the Gaussian forces and are computed from a linear system of equations (LSE) comprising the basis functions G and the landmarks pi and qi . With an interpolation approach as described above the landmarks are matched exactly. This implicitly assumes that the landmark positions are known exactly, which is not realistic. To take into account landmark localization errors we extend this approach by weakening the interpolation condition, i.e. we use the approximation condition qi ≈ u(pi ). More precisely, the approximation condition is specified based on 3 × 3 covariance matrices Σ i defining the anisotropic localization uncertainties of the n landmarks. For the special case of isotropic localization uncertainties σi , the covariance matrix simplifies to Σ i = σi2 I. To include localization uncertainties of landmarks in the GEBS approach, i.e. to derive approximating GEBS, we introduce a new energy-minimizing functional consisting of two terms. The first term JElastic represents the elastic energy according to the Navier equation (1) without the force f and acts as a smoothness term. The second term JF orce represents Gaussian forces specified by corresponding landmarks pi and qi , and, in addition, incorporates the localization uncertainties Σ i of the landmarks. Here, we propose a quadratic approximation ' ' ' ∞ 1 n JF orce = f (x − pi ) (qi − u(x))T Σ −1 i (qi − u(x)) dx (3) i=1 −∞ λn where λ > 0 denotes the regularization parameter. The new functional then reads Jλ = JElastic + JF orce. For Jλ we derive the related partial differential equation,
208
S. W¨ orz and K. Rohr
which represents an extension of the Navier equation (1), and then determine an analytic solution. Finally, we determine the resulting LSE. Since the solution can be stated in analytic form, we end up with a computationally efficient scheme. It turns out that the analytic solution to the approximation problem consists of the same basis functions G as in the case of interpolation. However, the resulting LSE to compute the coefficients ci is more complex. More precisely, the structure of the LSE is the same for interpolating and approximating GEBS, except that approximating GEBS include additional sums of weighted forces n −1 i=1 f (pj −pi )Σ i . It also turns out that the previously proposed interpolating GEBS are a special case of the new approximating GEBS. In comparison to existing spline-based approaches, the new approach based on approximating GEBS combines a number of advantages. A main advantage is that GEBS include a material parameter (Poisson ratio ν), which defines the ratio between transverse contraction and longitudinal dilation of an elastic material. Therefore, the registration scheme integrates an improved physical deformation model, i.e. cross-effects can be taken into account (which is not the case for TPS). Another advantage is that Gaussian forces are used in the GEBS approach instead of polynomial or rational forces as in the previous EBS approach [2]. Gaussian forces are physically more plausible since they decrease with distance and they do not diverge. In addition, with Gaussian forces we have a free parameter (standard deviation σf ) to control the locality of the transformation. Finally, the new approximation approach allows to individually weight the landmarks according to their localization uncertainty, which can be characterized either by scalar weights σi or by weight matrices Σ i representing isotropic and anisotropic uncertainties, respectively.
3
Experimental Results
We have applied the new approximating Gaussian EBS approach to register 3D synthetic image data as well as 2D MR images of the human brain. In the synthetic experiments we generated 3D image data based on the superposition of superellipsoids (using different sizes, orientations, and homogeneous intensities), which represent a simplified 3D MR image of a human head comprising different tissues such as skin, skull, brain, and the ventricular system (see Fig. 1, left). To simulate local differences in the images, we locally varied the shape of the ventricular system. In addition, we applied a translation of the overall image. In total, we used 12 corresponding landmarks. Moreover, we artificially misplaced a subset of three landmarks to simulate landmark extraction in clinical routine, which generally is prone to error (i.e. the left-, top-, and right-most landmarks in Fig. 1, left). To quantitatively analyze the registration accuracy, we computed the mean intensity error eint between the source and target image as well as between the transformed source and target image. Applying the new approach using anisotropic localization uncertainties of the landmarks without misplaced landmarks, the mean intensity error eint improved by 85.8% w.r.t. to the unregistered images. In comparison, for interpolating
New Approximating Gaussian Elastic Body Splines
209
Fig. 1. 2D section of the 3D source image as well as 2D sections of the 3D source image overlayed with computed edges of the target image: Without registration as well as with registration using interpolating and approximating GEBS (from left to right).
GEBS the results are similar with an improvement of 79.0%. With misplaced landmarks the new approximating GEBS approach still improved eint by 79.5% (Fig. 1, right). In comparison, interpolating GEBS yield significantly worse results with an improvement of only 16.6% (Fig. 1, middle right). Moreover, for interpolating TPS the results are worse, i.e. achieving improvements of only 46.3% without and 14.3% with artificially misplaced landmarks. We have also applied the new approximating Gaussian EBS approach to register pre- and postsurgical MR images of the human brain. The images shown in Fig. 2 are 2D MR images of a patient before (left) and after (middle left) resection of a tumor. 22 landmarks have been placed at the contours of the tumor and at the contours of the head in the vicinity of the tumor (white lines). Five additional landmarks have been placed at the top, right, and bottom part of the image. Prior to elastic registration the images have initially been aligned by an affine transformation. Note that after affine transformation the ventricular system is well aligned, thus the resection of the brain tumor has hardly an effect on the position and size of the ventricular system. For the Gaussian forces of the GEBS approach we chose a standard deviation of σf = 5 voxels, and the Poisson ratio is set to ν = 0.49, which corresponds to brain tissue. Using interpolating TPS and interpolating GEBS for image registration (not shown here), it turns out that in both cases the vicinity of the tumor and resection area are well registered. However, in the case of TPS there are significant deviations at the ventricular system, and, therefore, the overall registration result is not usable. In contrast, using GEBS only deforms the source image in the vicinity of the displaced landmarks (i.e. within the tumor and resection area). Using approximating GEBS in this experiment does not improve the registration accuracy significantly. The reason is that the corresponding landmarks have been chosen very well. To demonstrate the applicability of approximating GEBS, we have misplaced five landmarks on the left side of the outer skull (see Fig. 2, left), i.e. we shifted the five landmarks upwards along the outer skull. For these landmarks, we defined the localization uncertainties in accordance with their displacements, whereas for the other landmarks we chose relatively small isotropic localization uncertainties. Fig. 2 shows the registered source image using interpolating GEBS (middle right) and approximating GEBS (right) for this
210
S. W¨ orz and K. Rohr
Fig. 2. Registration of 2D MR brain images (from left to right): Pre- and postsurgical images as well as registered source image using interpolating and approximating GEBS.
second set of landmarks. It turns out that the misplaced landmarks significantly affect the registration result in the case of interpolating GEBS, see the unrealistic oscillations on the left side of the outer skull in Fig. 2 (middle right). In contrast, using approximating GEBS the influence of the misplaced landmarks is relatively low, while the tumor and resection area are still well registered.
4
Conclusion
We have presented a new approximation scheme for elastic image registration based on Gaussian elastic body splines (GEBS). The scheme is based on an extended energy functional related to the Navier equation using Gaussian forces and incorporates both isotropic as well as anisotropic localization uncertainties of the landmark positions. Our experimental results show that the scheme is superior to previously proposed interpolating GEBS as well as TPS. Acknowledgments. This work has been funded by the Deutsche Forschungsgemeinschaft (DFG) within the project ELASTIR (RO 2471/2-1). The original images and the tumor outlines have kindly been provided by OA Dr. med. U. Spetzger and Prof. Dr. J.-M. Gilsbach, Neurosurgical Clinic, University Hospital Aachen of the RWTH.
References 1. Rohr K, Stiehl HS, Sprengel R, et al. Landmark-Based Elastic Registration Using Approximating Thin-Plate Splines. IEEE Trans Med Imaging 2001;20(6):526–534. 2. Davis MH, Khotanzad A, Flaming DP, et al. A physics-based coordinate transformation for 3D image matching. IEEE Trans Med Imaging 1997;16(3):317–328. 3. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. In: Proc. BVM’01; 2001. p. 164–168. 4. Kohlrausch J, Rohr K, Stiehl HS. A New Class of Elastic Body Splines for Nonrigid Registration of Medical Images. J Math Imaging Vis 2005;23(3):253–280. 5. Pekar V, Gladilin E, Rohr K. An adaptive irregular grid approach for 3-D deformable image registration. Physics in Medicine and Biology 2006; in press.
Piecewise Rigid Multimodal Spine Registration ˇ Peter Cech, Adrian Andronache, Liping Wang, G´ abor Sz´ekely and Philippe Cattin Computer Vision Laboratory, ETH Zurich, CH-8092 Zurich Email: {cech,androna,szekely,cattin}@vision.ee.ethz.ch Abstract. In this paper we present an efficient and robust vertebra segmentation algorithm for CT data. It proved reliable even for cases with damaged vertebrae or missing intervertebral discs. The resulting segmentation is then used to define the corresponding regions of interest in a piecewise rigid registration of the spine between CT and MR datasets of the same patient. The resulting deformation field has been extended to the surrounding soft tissue by smooth interpolation.
1
Introduction
Over the past decade computer assisted surgery has evolved from early laboratory experiments to clinical prototypes and industrial products. The main idea is to provide the surgeon a broad spectrum of information about the anatomy and physiology of the patient during interventions. One possible solution is to spatially align the pre-operative images with intra-operative acquisitions. The main objective of this research is to create a framework allowing to piecewise rigidly register pre-operative spine images with intra-operative data reflecting the actual state of the patient’s anatomy during intervention. Conventional registration methods as described in the review article [1] will fail when registering spine data. The reason lying in the interleaved nature of the spine consisting of the rigid vertebrae and surrounding soft tissue. It is therefore important, that prior to registration each vertebra is separated from its neighbors and treated as a rigid body during registration. While many different methods have been proposed for medical image segmentation (see [2] and the references therein), literature is sparse in the field of vertebrae segmentation and registration. The most promising approach so far are the deformable models and their improved extensions using a priori knowledge in the form of parametric or statistical models [3, 4, 5].
2
Methods
Piecewise rigid registration is a two-stage process. In the first stage, the vertebrae of the spinal column to be registered are extracted. In the second step, all the segments are registered using prior knowledge of spatial relations between them. Vertebra Segmentation: A spinal column consists of vertebrae interleaved with soft tissues such as intervertebral discs. It follows an S-shaped curve and allows for a certain degree of flexibility in bending and twisting. As the main shape features of the vertebra are oriented either parallel or perpendicular to
212
ˇ P. Cech et al.
the centerline of the spinal canal, the extraction of this centerline is the logical first step of the segmentation process. As the spinal canal is a tubular structure located inside the spinal column, we can assume a simplified model: a cylindrical structure with longitudinal orientation enclosed by bone. In a first step, bones are segmented by thresholding at 200 Hounsfield units (HU). Our simplified model ignores the existence of intervertebral discs and other gaps between bones. To overcome this limitation, a morphological dilation with an ellipsoid structural element (isotropic in axial slice, extended in longitudinal direction) is used to enclose the spinal canal. Ideally, the spinal canal would be a single tubular structure, practically it consists of several segments (e. g. gaps due to imperfect bridging of intervertebral discs). To extract these segments, connected component labeling of the background enclosed by bone is performed in each axial slice. In some cases the labeling delivers components other than the spinal cord e. g. inside the vertebral body or areas falsely enclosed by the dilation. Unsuitable components are discarded based on the size and shape of the 2D components and 3D segments they create. The spinal cord approximation is iteratively constructed from the remaining segments, starting with the largest. Conflicts (more than one segment in a slice) are resolved in favor of the continuity of the already constructed part. For each slice intersecting the spinal cord approximation, a mass center of the intersection marks a rough centerline position. The final centerline is a smoothed approximation of such points. Before we approach the next step of the segmentation process, the volume is straightened by resampling in a way, that each slice is perpendicular to the centerline of the spinal canal. A single threshold segmentation of the reformated volume, as used above, would fail to include the low density bone in the interior of the vertebrae. Therefore we segment the bone, utilizing an automatic technique developed previously [6]. The method adaptively varies the threshold based upon mean and standard deviation of the gray values in the local neighborhood. The adaptive nature causes foreground pixels to occur not only in the bony regions, but also in the soft tissues all around the volume. Therefore we make use of an additional threshold that helps to distinguish the dense bone contours from soft tissues. The gaps in the bone contours, caused sometimes by the operation are, corrected by a 2D morphological closing, followed by the filling of the bone interior. The last step of the segmentation process is the separation of the vertebrae, Fig. 1(a). The separation surface consists of three parts. The first is a half-plane separating vertebral bodies at the position of an intervertebral disc. The second part is a triangular surface spanning a 90◦ fan from the spinal cord centerline in the posterior direction. It is positioned in the gap between the laminas and spinous processes of two neighboring vertebrae. The separation is finalized by spanning a ruled surface between boundaries of the half-plane and the fan. Non-rigid Registration: The choice of the registration procedure is imposed by both the physical characteristics of the spine and the multi-modal nature of the images. A piecewise rigid strategy seems to be the most suitable approach to
Piecewise Rigid Multimodal Spine Registration
213
Fig. 1. Segmentation process. (a) Left: The amount of bone voxels in the anterior area of the slice. Regions around the minima coincide with the intervertebral discs. Right: Two consecutive vertebrae in the straightened spinal column overlayed by the scheme of the separation surface construction. Dotted line represents the distance between the spinal canal centerline and the ridge of the lamina or spinous processes. Minimum areas coincide with the posterior gaps between the vertebrae. The tilt is optimized to avoid intersecting the bones. (b) Segmented vertebra and the separation surface. (c) Spinal canal centerline is interpolated in the region of the injured spine.
accurately model the deformation of the spine structure. This approach allows to decompose the global non-rigid matching problem of the spine into numerous local rigid registrations of the individual vertebrae. The parameters obtained after these local rigid matches are then embodied into a dense global non-rigid deformation field built such that it preserves the rigid characteristics of the vertebrae and elastically deforms the soft tissue around it. Introduced in 1995 by [7] and [8], mutual information (MI) is seen as the best similarity measure for matching multi-modal images. However, care must be taken to avoid problems with interpolation artifacts [9] and the inherent limitations of MI with images of low structural content [10]. In the context of piecewise rigid spine registration this is of particular importance, as the number of image samples around the rigid vertebrae is relatively small, and the vertebrae are of low contrast in the MR scans. We therefore propose to use a slightly dilated mask, i.e. 2 − 3 mm, of the vertebrae, as the regions for the local rigid registration. The extra layer of soft tissue around each vertebrae will not affect the rigid matching, as the deformation is minimal in the proximity of the bone. It will on the other hand increase the reliability of the MI estimation and therefore increase the robustness of the registrations. Once all the corresponding vertebrae pairs are properly registered, the individual transformations are merged into a global dense deformation field. Using a 3D extension of the technique described by Little et al. in [11] the final deformation field is built such, that it rigidly transforms the vertebrae and elastically deforms the soft tissue around them.
3
Results
We have tested the segmentation algorithm on 10 datasets containing regions of the cervical, thoracic, lumbal and sacral spine. Two datasets contained vertebrae
214
ˇ P. Cech et al.
Fig. 2. Result of a CT-MR spine registration. (a) Transversal and sagittal sections in the reference CT image. (b) The contours of the CT vertebrae overlaid on the corresponding sections in the floating MR image after the global rigid registration. (c) The contours of the CT vertebrae overlaid on the resulting MR sections after the piecewise registration procedure.
(a)
(b)
(c)
with missing lamina and spinous processes and three more contained vertebrae with deformations. Since only three of our CT datasets were accompanied with correspondig MRI volumes, the feasibility of the full segmentation and the piecewise registration process was verified on these three cadaver studies. The spinal canal extraction has proven robust against cases when lamina and spinous processes are missing on some vertebrae. In such cases, the centerline is interpolated from the neighboring vertebrae, Fig. 1(c). The centerline extraction can follow a wrong path in the area of the sacrum, where false canals between the sacrum and pelvis are created by the morphological dilation. The separation of the vertebrae works robustly in areas of the thoracic and lumbal spine, but often fails in the area of the cervical spine. In one case the last lumbal vertebra was not separated due to incorrect spinal canal centerline detection in the sacrum region. The approach chosen for separating neighboring vertebrae does always not offer proper segmentation of the articular processes. In the cervical area, a purely planar surface might be insufficient to separate the spinous processes. However, even in such cases the fraction of incorrectly separated bone is small and therefore the registration is able to correct for them and give robust results. The registration algorithm was tested on segmented CT spine data with their corresponding MR scans. Figure 2 depicts a registration result of one of the CTMR data sets of the spine, showing the contours of the CT segmented vertebra overlaid on the corresponding MR image. The middle column, depicting the result after the global rigid registration, shows the necessity for individual verte-
Piecewise Rigid Multimodal Spine Registration
215
bra matching in order to compensate their rotation around the spinal cord. The images from the right column show the result after piecewise rigid registration.
4
Discussion and Conclusions
In this paper we presented an efficient vertebrae segmentation algorithm for CT data. The algorithm provides the centerline of the spinal canal and even if some of the vertebrae are damaged, it is capable to robustly produce results accurate enough to perform reliable piecewise registration of the spine. We also presented an algorithm for achieving piecewise multimodal registration of the spine. The registration method we presented is not restricted to the CT-MR modalities, but can be used for any other mono/multi-modal image registrations, provided that at least in one of the images the vertebrae can be segmented to define the rigid objects. This piecewise strategy can be suitable for other non-rigid registration applications, if elastic deformations close to or in between the previously defined rigid objects are only of interest. Acknowledgements. This work has been supported by the CO-ME/NCCR research network of the Swiss National Science Foundation (http://co-me.ch). We are also grateful to the MEMCenter, University of Bern.
References 1. Zitova B, Flusser J. Image registration methods: a survey. Image and Vision Computing 2003;21(11):977–1000. 2. Pham DL, Xu C, Prince JL. Current Methods in Medical Image Segmentation. Annual Review of Biomedical Engineering 2000;2:315–337. 3. Benameur S, Mignotte M, et al. 3D/2D registration and segmentation of scoliotic vertebrae using statistical models. Comput Med Imaging Graph 2003;27:312–37. 4. Hu Y, Haynor DR. Multirigid registration of MR and CT images of the cervical spine. In: Medical Imaging 2004: Image Processing. vol. 5370; 2004. p. 1527–1538. 5. Zamora G, Sari-Sarrafa H, Long R. Hierarchical Segmentation of Vertebrae from X-ray Images. In: Proc. of SPIE Medical Imaging - Image Processing; 2003. 6. Wang LI. Segmentation of Bone in Computed Tomography Images Using Contour Coherency. Master’s thesis. Queen’s University, Kingston, Ontario, Canada; 2004. 7. Viola P, Wells WM. Alignment by maximization of mutual information. In: Proc. of ICCV. ISBN 0-8186-7042-8. IEEE Computer Society; 1995. p. 16–23. 8. Maes F, Collignon A, Vandermeulen D, Marchal G, Suetens P. Multi-modality image registration by maximization of mutual information. Proc IEEE Workshop Mathematical Methods in Biomedical Image Analysis 1996;p. 14–22. 9. Tsao J. Interpolation Artifacts in Multimodality Image Registration Based on Maximization of Mutual Information. IEEE Trans Med Imag 2003;22(7):854–864. 10. Andronache A, Cattin P, Sz´ekely G. Adaptive Subdivision for Hierarchical Nonrigid Registration of Multi-modal Images Using Mutual Information. In: MICCAI. vol. 3750. Springer-Verlag GmbH; 2005. p. 976–83. 11. Little JA, Hill DLG, Hawkes DJ. Deformations Incorporating Rigid Structures. Computer Vision Image Understanding 1997;66(2):223–232.
A Robust Semi-automatic Procedure for Motion Quantification of Aortic Stent Grafts Using Point Set Registration Julian Mattes1 , Iris Steingruber2 , Michael Netzer1 , Karl Fritscher1 , Helmut Kopf2 , Werner Jaschke2 and Rainer Schubert1 2
1 ¨ Institut f¨ ur Biomedizinische Bildanalyse, UMIT, 6060 Hall in Tirol, Osterreich ¨ Klinik f¨ ur Diagnostische Radiologie, Medizinische Universit¨at Innsbruck, Osterreich Email:
[email protected]
Abstract. After endovascular aortic aneurysm repair, stent graft migration and kinking or buckling of the stent graft can cause the perilous risk of rupture. In a previous paper we presented an approach to analyze the migration of the stent by defining the spinal canal as a reference object and by investigating the movements relative to it. In this paper, we quantify also non-rigid deformations of the stent. A procedure is used based on the segmentation and extraction of surface points for stent and spinal canal and on point set registration. The sensitivity of the quantified values with respect to the choice of segmentation parameters is investigated as well. Results for 6 patients show that the procedure allows us to distinguish benign cases from dangerous changes in morphology even if segmentation parameters vary within a reasonable bandwidth.
1
Introduction
The enlargement of the aorta below the renal arteries due to its weakened walls is called an infrarenal or abdominal aortic aneurysm (AAA) [1]. From a diameter of 5 cm on, the AAA should be treated because of the perilous risk of rupture. Endovascular aneurysm repair is a treatment established in the early nineties in which a stent with a synthetic graft (stent graft) is placed inside the aorta to cover the weakened regions of its wall. However, the process of aneurysm shrinkage, ongoing aneurismal disease, and damage or fatigue of graft material may result in leakage, graft migration, and kinking or buckling of the graft, which can subsequently cause rupture or occlusion [2]. In order to assess the ruptur risk depending on the diameter of the aneurysm several methods for the segmentation of AAAs have been investigated [3]. Image processing methods have also been used for extracting and describing vessels from CT images to improve the design of stents [4]. Another study attempted to assess the rupture risk using hemodynamic modelling [5]. Several clinical papers are dealing with complications which appear after endovascular repair [2] or compare this approach with the classical open intervention [1]. Currently, few is known about the morphological changes and the migration of the graft as well as about those of the aneurysm after an endovascular stent
A Robust Semi-automatic Procedure for Motion Quantification
217
graft implantation, in particular their quantitative description is lacking. In a previous work [6] and [7] we proposed quantitative measures and an (implemented) procedure for this purpose, in particular we quantified the migration of the stent with respect to the spinal canal and to the aorta. In this paper, we investigate the robustness of the procedure and show that malign changes in morphology can be identified by the quantified parameters.
2
Methods
Our procedure for motion estimation is based on point set registration applied to the points of segmented surfaces, which have been extracted from the 3D-CT images of two different points in time. Hence, a reproducible determination of motion may depend on the chosen segmentation parameters and the user should be able to select each parameter in a range in which the resulting motion does not vary to a large extend. A reproducible motion determination is necessary if different users are applying the procedure (implemented as a software tool) and to get a comparable result if the motion of different patients has to be quantified. Firstly, our procedure shall estimate the global rigid motion of the stent. Secondly, the non-rigid motion and deformation of the stent shall be determined and quantified. Finally, by varying a critical segmentation parameter within a certain bandwidth we analyse how the estimated motion depends on this parameter. In [6] we evaluated the first step on thoracic stents and the second step was performed on several abdominal stent devices in [7]. In [7], as well, the motion of the stent with respect to the aorta is analyzed. Here, we focus on the third step and detail the order of registration steps which we found out to be necessary for a robust behavior of the procedure. As the pose of a patient in the CT device is different for two different points in time it is necessary, when tackling the first step, to define a fixed reference system. We found out the spinal canal to be well suited for serving as a object of reference: it deforms only little and it is relatively easy to segment it reproducibly. As described in [6] (see also [8] for the implementation) we used the ”fastmarching-level-set”algorithm to segment the spinal canal. The stent could be segmented either by thresholding or using a ”region growing”algorithm [6]. For the fast-marching-level-set and for the region growing algorithm seed points have to be set by the user. In the former case a parameter called ”stopping value”exists responsible for the size of the segmented object. To place the stent in the reference system defined by the spinal canal we register rigidly the spinal canal extracted for both points in time and transform the stent by the transformation matrix calculated during this registration step. A high registration accuracy is obtained by registration in both directions, time point one on two and vice versa, and by taking the result with smaller registration error r . Here, r is defined by r (C1 , C2 ) =
N1 2 , ci ∈ C1 , d T(ci ), C2 i=1
(1)
218
J. Mattes et al.
where C1 (resp. C2 ) is the point set of the spinal canal extracted at the first (resp. second) point in time; N1 the number of points in C1 , T the transformation and d( · , C) is the Euclidean distance to point set C: d(x, C) = mind∈C |x − d|. The cost functional is optimized using the Levenberg-Marquardt algorithm and a pre-computed distance map. After transforming the stent into this reference system we calculate its rigid motion by registration of the stent for both points in time as described above for the spinal canal. Now, we register the stent point sets also non-rigidly, first using an affine transformation, after with a thin-plate spline based algorithm [9]. Measuring the change in the residual error r after each registration step (with an increasing number of degrees of freedom) represents an elementary possibility to quantify the amount of morphological change of the stent. The stopping value during the segmentation of the spinal canal turned out to be a critical parameter for the size of the segmented objects. In order to determine the effect of this parameter we varied it and calculated its influence on the quantified motion parameters. We have chosen the parameter bandwidth such that a user can immediately see that a value below and above it would lead to an object which is too small or too large, respectively.
3
Results
In a clinical evaluation we investigated a sample of 6 patients all of which have been treated with the same kind of stent device (ZenithT M ). The corresponding CT image stacks consist of slices with 0.9 mm thickness, 0.5 mm x,y-spacing, 512 x 512 pixels per slice, and a number of 200 up to 250 slices, which we resampled to over 400 slices in order to obtain isotropic images with 0.5 mm thickness. The high accuracy demonstrated by the low residual error er 1mm for all patients after rigid registration of the spinal canal showed that the latter is well suited to establish a reference system. For its segmentation the stopping value in the fast-marching-level-set algorithm has been chosen such that, on the one hand, the segmented region is not leaving the domain of the spinal canal and that, on the other hand, no splitting in two not connected regions occurs (due to a too low stopping value). Inside of this range we varied the parameters and registered spinal canal and stent for different parameter combinations (see Table 1). Even though the motion parameters vary for the different combinations cases of high migration and deformation can still be identified. For two stents (patients 4 and 6 in Table 1) we quantified a large shape change (see Fig. 1) which also have been identified by the radiologists, however, only on later CT images. For these stents the initial transformation into the reference system of the spinal canal was helpful to obtain a good initial position for stent registration.
A Robust Semi-automatic Procedure for Motion Quantification
219
Table 1. Evaluation results. The residual registration error r after registration of the spinal canal and after rigid and affine registration of the stent is shown for different stopping value combinations: 13 for both points in time, 11-15 and 15-11. For all combinations the two abnormal shape changes for patients 4 and 6 can be detected by a strong difference of r after rigid and affine registration of the stent. Patient 1 2 3 4 5 6
-Spinal Canal -Stent -affin 13-13 11-15 15-11 13-13 11-15 15-11 13-13 11-15 15-11 0.69 2.54 2.17 1.26 1.26 1.26 0.96 0.96 0.96 0.70 2.22 4.07 0.21 0.21 0.21 0.17 0.17 0.17 0.76 2.45 2.12 0.52 0.52 0.52 0.35 0.35 0.35 1.11 17.27 9.68 21.81 21.80 21.81 3.09 2.02 2.02 1.11 2.53 2.92 2.24 2.25 2.26 1.21 1.24 1.21 1.63 4.85 8.23 10.69 10.69 10.69 2.04 2.06 2.07
Fig. 1. Patient 6: Spinal canal and stent surfaces extracted for two points in time (light March 2003, dark April 2004) after registration of the spinal canal’s surface point sets and transforming the stent accordingly (reference system defined by the spinal canal).
220
4
J. Mattes et al.
Discussion
We proposed a method to quantitatively describe disease patterns in the treatment progression of patients after endovascular AAA repair. The semi-automatic method is based on several segmentation and registration steps allowing to define a spatial reference system and to quantify the relative motion in this system. Here, we have shown that—for the small set of patient data investigated—the method is robust in the sense that the resulting description is largely user independent and reproducible. With the proposed procedure we could quantitatively distinguish cases where dangerous shape changes appeared and cases with benign treatment progression. In particular, we could identify an upcoming closure of one shank of a bifurcating stent in two cases where radiologists recognized this only on a later CT image. As shown in this paper, for the procedure’s parameters the user can easily find a bandwidth inside which a clear decision is possible if an abnormal shape change occurred or not. This robustness allows also non-experts to obtain user independent results by the use of the implemented procedure. It represents a prerequisite to implement the method as a tool for clinical practice, together with a further automatization of the segmentation step, which shall be achieved in future work using a template based approach.
References 1. Rutherford RB, Krupski WC. Current status of open versus endovascular stent-graft repair of abdominal aortic aneurysm. J Vasc Surg 2004;39(5). 2. Dattilo JB, et al. Clinical failures of endovascular abdominal aortic aneurysm repair: Incidence, causes, and management. J Vasc Surg 2002;35(6). 3. Brunijne M, et al. Interactive segmentation of abdominal aortic aneurysms in CTA images. Med Image Anal 2004;8:127–138. 4. Subramanyan K, et al. Abdominal aortic stent graft planning with automatically extracted vessel centrelines/cross-sections in multislice CT. In: CARS. Elsevier; 2004. p. 183–188. 5. Breeuwer M, et al. Assessment of the rupture risk of abdominal aortic aneurysms by patient-specific hemodynamic modelling - initial results. In: CARS. Elsevier; 2004. p. 1090–1095. 6. Mattes J, et al. Spatio-temporal changes and migration of stent grafts after endovascular aortic aneurysm repair. In: CARS. Elsevier; 2005. p. 393–397. 7. Mattes J, et al. Quantification of the migration and deformation of abdominal aortic aneurysm stent grafts. In: SPIE Medical Imaging 2006: Image Processing. Proc. of SPIE;. p. accepted. 8. Fritscher K, Schubert R. A software framework for preprocessing and level-set segmentation of medical image data. In: SPIE Medical Imaging 2005: Image Processing. Proc. of SPIE;. p. 1742–1752. 9. Mattes J, Fieres J, Eils R. A shape adapted motion model for non-rigid registration. In: SPIE Medical Imaging 2002: Image Processing. vol. 4684 of Proc. of SPIE;. p. 518–527.
Utilizing Salient Region Features for 3D Multi-modality Medical Image Registration Dieter Hahn1 , Gabriele Wolz2 , Yiyong Sun3 , Frank Sauer3 , Joachim Hornegger1, Torsten Kuwert2 and Chenyang Xu3 1
Department of Pattern Recognition, Friedrich-Alexander-University of Erlangen-Nuremberg (FAU), Martensstr. 3, 91058 Erlangen, Germany 2 Department of Nuclear Medicine, FAU, Krankenhausstr. 12, 91054 Erlangen, Germany 3 Siemens Corporate Research, 755 College Road East, Princeton, NJ 08540, USA Email:
[email protected]
Abstract. Besides common solely intensity- or feature-based image registration methods, hybrid approaches make use of two or more image properties. A 3D representation of saliency can be used to automatically locate distinct region features within two 3D images and establish a robust and accurate hybrid registration method. The extracted features contain information about the underlying saliency, the scale of the regions and enclosed voxel intensities. Similar anatomical or functional content results in similar salient region features that can be used to estimate an image transform based on corresponding feature pairs. The refinement of this estimate results in a robust and sub-pixel accurate set of joint correspondences. An evaluation by a medical expert on various clinical data using a medical application demonstrates that the approach is robust to image overlap, artefacts and different fields of view.
1
Introduction
Registration has grown to a major research topic in the field of medical image processing [1]. A major medical benefit can be withdrawn from the registration of images acquired with different modalities that can roughly be divided into two major categories: anatomical imaging (e.g. Computed Tomography (CT), Magnetic Resonance Imaging (MRI)) to retrieve the morphology in good spatial resolution and functional imaging (e.g. Positron Emission Tomography (PET), Single Photon Emission Computed Tomography (SPECT)) to depict the underlying metabolism. Mono-modality registration approaches are for instance valuable for therapy control or tumor change diagnostics. The concept of saliency can be used to define a measure for the local uniqueness of image elements based on the intensity complexity in a local neighborhood [2, 3, 4]. Applications of this descriptor range from content tracking across subsequent video frames, image matching for 3D reconstruction [5] to 2D image registration [6]. Salient image regions provide a hybrid source of information, as they describe the uniqueness of the underlying image content based on intensity
222
D. Hahn et al.
values and contain geometrical information of the region center and its scale. In the following, we describe a registration method that makes use of these properties for establishing correspondences between extracted features from a reference and a template image, which finally leads to a registration transform.
2
Methods
The proposed registration approach is based on finding corresponding salient region features. A feature in this context consists of a center position and a radius of a spherical neighborhood that desribes a local saliency maximum. This radius is denoted as scale. According to [4], the saliency A is defined as follows: & ' ' & & &∂ & & (1) p(i, s, x) log2 p(i, s, x) di · s AD (s, x) = − & ∂s p(i, s, x)& di Rs Rs including the entropy with respect to the image intensity values i ∈ D within a spherical neighborhood region Rs of scale s around a voxel x. Here, p(i, s, x) is the probability density function (PDF) of i for Rs . A also contains a term for the similarity between PDFs with respect to the scale. Its values grow with increasing dissimilarity of the PDFs. The scale parameter s can be approximated by the scale that results in a local peak of the entropy for the region around x. Voxels containing high saliency values, i.e. high local unpredictability or local signal complexity, have to be extracted after computation of the eq. 1. Based on algorithms published in related literature [4, 6], we added a region growing approach to find local maxima within the saliency values, however, in certain areas with high intensity variations, feature clustering is likely to occur. This may have a negative impact on the correspondence search. For instance if two images from different modalities with a different distribution of intensities are considered, one image may contain a dominant salient feature cluster in the upper right, the other one in the lower left part of the image but describing a totally different region of the body. A minimization of the mean square error (MSE) between the two feature sets then tends to align mainly the clusters. This is a problem that we address with a simple and efficient algorithm, because a set of features that is distributed more uniformly across the image domain provides a better initialization for the correspondence set optimization. A nearest point algorithm based on a kD-tree [7, 8] is used for the storage of the feature centers of one set. The nearest neighbors of a specific element can therefore be retrieved efficiently. The scale parameter is used as a minimal distance requirement: all returned features within a distance to the query feature that is equal or less than its scale and with lower saliency are removed from the set. The list is padded with features of lower saliency in order to maintain a specific size of the set. After enforcing the restriction, the features are distributed more uniformly across the image. Examples of some of the results are given in figure 1. Unlike a similar version of the algorithm[6], we reduce the search space prior to the correspondence computation. Initially, an iterative closest point (ICP) algorithm is used to estimate the transform that minimizes the MSE between the
Utilizing Salient Region Features
223
Fig. 1. The images show the set of salient feature regions before 2(a) and after 2(b) clustering removal, the most significant 3D salient region features extracted from a CT 2(c) (windowed for better visualization), a registration result on a PET-CT 2(d) and a SPECT-CT volume pair 2(e).
(a)
(b)
(c)
(d)
(e)
region centers of the reference and the template feature sets. This transform is applied to the template features that are stored in a kD-tree afterwards. For each reference image feature, only the nearest transformed template feature neighbors are regarded as possible candidates for correspondences. Feature pairs with a large spatial distance apart are unlikely corresponding and can be removed from the search space. In order to quantify the correspondence between two features, the translation and rotation invariance properties are used. Translation invariance is given by the alignment of the region centers and the rotation parameters are achieved by a local rigid-body registration. The optimization is driven by the entropy correlation coefficient (ECC) [9] that is a specific form of normalized mutual information. Instead of ordering the correspondences according to local ECC values of the regions, we use the global ECC for each hypothesized correspondence between the reference and the template image (Ir , It ). This meaˆi,j that is given by the translation and sure is computed for the parameter set Θ rotation invariance of each hypothesized feature pair ci,j . TΘ ˆ
Lglobal (ci,j ) = ECC(Ir , It
i,j
)
(2)
224
D. Hahn et al.
Table 1. The overall measured distances in cm between the manually chosen landmarks for the PET-CT, CT-CT and SPECT-CT volume pairs in x, y and z-direction along with the standard deviations. PET-CT Distances CT-CT Distances SPECT-CT Distances
0.013 ± 0.68 −0.17 ± 0.38 0.04 ± 0.21
0.47 ± 0.91 0.12 ± 0.43 0.16 ± 0.37
0.43 ± 2.08 0.26 ± 0.58 0.04 ± 0.22
The previous steps result in a correspondence estimate with less outliers. The final step of the algorithm consists in the sub-pixel accurate refinement of the feature pairs, which is achieved by an expectation maximization type algorithm that optimizes the correspondence set with respect to the global ECC and removes remaining outliers.
3
Results
The proposed registration approach has been evaluated on 11 PET-CT volume pairs acquired at different times, 3 CT volumes at different stages of the treatment and 10 SPECT-CT volume pairs from a hybrid scanning system (Siemens Symbia). The SPECT images have been artificially rotated and translated as they are initially very well registered. The algorithm had to compensate intensity artefacts, due to an uncorrected intensity scaling between several slices of some of the CTs, noise and different fields of view. The registration quality was assessed by a medical expert who measured the distances between several easy to locate points of interest: the apex of the left and right lung, cardiac apex, liver round end, left and right upper and lower renal ends and spine. The manual rigid transformation of the SPECT images varied between 10 to 50 mm translation in x, y and z-direction together with a rotation around each axis of 5 to 60 degrees. The overall results of the evaluation are summarized in table 1. For the evaluation, the medical expert could choose between using centroids of 3D regions of interest or direct landmark to landmark measurements in a medical application (InSpace). In the PET-CT results, a higher standard deviation in the z-direction is apparent. Reasons for this may be found in the longer acquisition time for the PET with arms-up, several respiratory cycles and the according movement of the diaphragm.
4
Discussion and Conclusion
We have demonstrated that salient region features are suitable for 3D registration. The operations for the extraction and correspondence search are most time consuming and still require 10 to 15 minutes for high resolution images, however, there has been valuable additional information gained during the whole process: the set of joint feature correspondences that contain information about the extent, the parameters of the local deformation and the local signal complexity.
Utilizing Salient Region Features
225
As we used only a rigid-body transform model to evaluate the method, we did not address local deformations. Therefore, a certain amount of variation between the registered anatomical structures is inherent in the results. Like all manual measurements, the results are tainted with a measurement error. A recent study has shown that the overall upper limit for a similar measurement method is expected to be not more than 3 mm[10]. This has to be considered when drawing conclusions from the results. In future work, we will explore how the properties of the salient regions can be exploited for a non-rigid registration. Acknowledgments. The authors acknowledge the financial support of the Deutsche Forschungsgemeinschaft (DFG), grant number SFB, TP C10, HipGraphics for providing the medical application InSpace and Siemens Corporate Research for the FusionToolKit (FTK).
References 1. Pluim JPW, Maintz JBA, Viergever MA. Mutual-information-based registration of medical images: a survey. IEEE Transactions on Medical Imaging 2003;22(8):986– 1004. 2. Gilles S. Robust description and matching of images. Ph.D. thesis. University of Oxford; 1998. 3. Kadir T, Zisserman A, Brady M. An affine invariant salient region detector. ECCV 2004;1:228–241. 4. Kadir T, Brady M. Saliency, Scale and Image Description. International Journal of Computer Vision 2001;45(2):83–105. 5. Fraundorfer F, Bischof H. Utilizing Saliency Operators for Image Matching. In: Proceedings International Workshop on Attention and Performance in Computer Vision; 2003. p. 17–24. 6. Huang X, Sun Y, Metaxas D, Sauer F, Chenyang X. Hybrid Image Registration based on Configural Matching of Scale-Invariant Salient Region Features. Computer Vision and Pattern Recognition Workshop, Conference on 2004;1:167–167. 7. Bentley JL, Freidman JH. Data structures for range searching. ACM Computing Surveys 1979;11(4):397–409. 8. Freidman JH, Bentley JL, Finkel RA. An Algorithm for Finding Best Matches in Logarithmic Expected Time. ACM Transactions on Mathematical Software 1977;3(3):209–226. 9. Maes F. Segmentation and registration of multimodal medical images: From theory, implementation and validation to a useful tool in clinical practice. Ph.D. thesis. Catholic University of Leuven; 1998. 10. Noemayr A, Roemer W, Hothorn T, Pfahlberg A, Hornegger J, Bautz W, et al. Anatomical Accuracy of Lesion Localization by Retrospective Interactive Rigid Image Registration between F-18-FDG-PET and X-Ray CT. Nuklearmedizin 2005;44(4):149–155.
¨ Kombination verschiedener Ahnlichkeitsmaße fu ontgenbildern ¨r die 2D/3D-Registrierung von R¨ mittels Demokratischer Integration T. Feldmann1 , S. Bouattour1 , D. Paulus1 und F. Deinzer2 1
Institut f¨ ur Computervisualistik, Universit¨ at Koblenz-Landau, 56070 Koblenz 2 Siemens AG, Medical Solutions, Angiographie, Durchleuchtung und Aufnahmesysteme, 91301 Forchheim Email: {tfeld, bouattour, paulus}@uni-koblenz.de,
[email protected]
Zusammenfassung. F¨ ur die 2D/3D-Registrierung von Bilddatens¨ atzen eines Patienten werden verschiedene intensit¨ atsbasierte ¨ Ahnlichkeitsmaße eingesetzt. Diese haben den Nachteil, dass sie nur auf bestimmten Bilddaten gute Ergebnisse liefern und zus¨ atzlich heuristisch parameterisiert werden m¨ ussen. In diesem Beitrag wird ein ¨ neues Verfahren vorgestellt, dass beliebig viele Ahnlichkeitsmaße integriert und automatisch das f¨ ur den jeweiligen Bilddatensatz geeignetste am h¨ ochsten gewichtet. Dazu werden die freien Parameter der Maße an das Bildmaterial automatisch adaptiert. Unsere Experimente belegen die Wirksamkeit der Methode.
1
Einleitung
In vielen medizinischen Eingriffen wird pr¨ aoperativ ein 3D-Volumen des betroffenen K¨ orperteils aufgenommen und in die w¨ ahrend der Intervention mit einer CBogen-Anlage erstellten 2D-R¨ ontgenbilder eingeblendet. Hierf¨ ur ist eine permanente intra-operative Registrierung der 2D-R¨ ontgenbilder mit dem 3D-Volumen zum Ausgleich von Patientenbewegung (Translation, Rotation) notwendig. Die projektiven Eigenschaften der C-Bogen-Anlage sind dabei bekannt. Bei der rigiden 2D/3D-Registrierung sind die Parameter f¨ ur Rotation und Translation eines 3D-Volumens (sechs Freiheitsgrade) gesucht, die in einer best¨ m¨oglichen Ubereinstimmung zwischen einem damit projizierten Bild (Digitally Reconstructed Radiograph (DRR)[1]) und einem echten 2D-R¨ontgenbild re¨ sultieren. Die Ubereinstimmung wird intensit¨atsbasiert gemessen. Dazu werden ¨ verschiedene Ahnlichkeitsmaße verwendet, z.B. Normalisierte Kreuzkorrelation (NCC), Merkmalsintensit¨at (PI), Gradientenkorrelation (GC) oder Gradientendifferenz (GD) [1]. Einige dieser Maße haben freie Parameter, deren Werte heuristisch angepasst werden m¨ ussen. Zudem h¨ angt ihre Leistungsf¨ahigkeit stark vom Bildmaterial ab, so dass heuristisch das passende Verfahren f¨ ur den jeweiligen Anwendungsfall ermittelt werden muss. ¨ Dieser Beitrag stellt ein Verfahren vor, das verschiedene Ahnlichkeitsmaße zur intensit¨ atsbasierten rigiden 2D/3D-Registrierung kombiniert. Dabei werden die freien Parameter der Abstandsmaße zur Laufzeit automatisch adaptiert.
¨ Kombination verschiedener Ahnlichkeitsmaße
2
227
Demokratische Integration fu ¨ r die 2D/3D-Registrierung
F¨ ur die 2D/3D-Registrierung von R¨ ontgenbildern mit 2D-Projektionen eines 3D¨ Volumens (DRR) wird eine Menge intensit¨ atsbasierter Ahnlichkeitsmaße eingesetzt, deren Kombination mittels der so genannten demokratischer Integration (DI) nach Triesch et al. [2] erfolgt. Dort wurde die DI f¨ ur die Gesichtserkennung und Verfolgung eingef¨ uhrt. Im folgenden werden die theoretischen Grundlagen der DI sowie unsere Anpassungen f¨ ur die medizinische 2D/3D-Registrierung erl¨ autert. Das Ziel der Registrierung eines zum Zeitpunkt t aufgenommenen R¨ontgenbilds IFLL (t) mit einem Volumen ist das Auffinden der sechs Freiheitsgrade x f¨ ur Rotation und Translation, so dass die Pojektion des Volumens IDRR (x) mit dem IFLL (t) am ¨ ahnlichsten ist. Bei der DI werden NS verschiedene ¨ Ahnlichkeitsmaße Si parallel eingesetzt. Glg. 1 gibt das Ergebnis der Einzelmaße an. Ai (x, t) = Si (IFLL (t), IDRR (x)) mit 0 ≤ Ai (x, t) ≤ 1 und i = 1 . . . NS
(1)
¨ Die Ahnlichkeitsmaße werden u ¨ ber eine gewichtete Summe integriert (s. Glg. 2), bei der die Gewichte ri (t) die Zuverl¨assigkeit der Maße u ¨ ber die Zeit beschreiben. R(x, t) =
NS
ri (t)Ai (x, t)
NS
mit
i=1
ri (t) = 1
(2)
i=1
Gesucht ist die Position im sechsdimensionalen Raum mit dem maximalen Wert f¨ ur die Summe aller Abstandsmaße: x∗ (t) = argmax R(x, t). x
Die Zuverl¨ assigkeit ri (t) wird als dynamische, sich u ¨ ber die Zeit anpassende Gewichtung f¨ ur das jeweilige Maß eingesetzt, um festzulegen, wie stark das ¨ Ahnlichkeitsmaß in zuk¨ unftigen Aussagen u ¨ ber die Bild¨ahnlichkeit in die Bewertung eingeht. Sie ist durch die Dynamik in Glg. 3 definiert. τ ri (t) = qi (t) − ri (t)
(3)
Dabei ist τ eine Konstante, die angibt, mit welcher Geschwindigkeit sich ri auf qi zubewegt. Bei qi (t) handelt es sich um die normierte Qualit¨at, f¨ ur die gilt: q˜i (t) qi (t) = NS ˜j (t) j=1 q
mit
NS
qi (t) = 1
(4)
j=1
at. F¨ ur diese werden drei Verfahren Hierbei bezeichnet q˜i (t) die relative Qualit¨ aus [2] getestet. Erstens die Uniform Quality (UQ): q˜iUQ (t) = N1S , in der alle Maße die gleiche konstante Qualit¨ at bekommen, zweitens die durch die Summe aller m¨ oglichen Positionen x normierte Normalized Saliency (NoS) in Glg. 5 und drittens die in Glg. 6 definierte Distance to Average Saliency (DAS). Alternative Verfahren sind in [2] beschrieben. q˜iNoS (t) = Ai (x∗ (t), t)
mit
Ai (x, t) =
Ai (x, t) x Ai (x , t)
(5)
228
T. Feldmann et al.
Abb. 1. Registrierung eines Phantomfußes u ¨ ber eine kontinuierliche Bildsequenz. Links: die R¨ ontgenbilder aus der aufgenommen Sequenz, Mitte: die DRR mit dem besten gefundenen Parameter x f¨ ur Rotation und Translation, Rechts: Differenzbild von R¨ ontgenbild und DRR.
R¨ ontgenbild, t = 1
DRR
Differenzbild
R¨ ontgenbild, t = 8
DRR
Differenzbild
q˜iDAS (t)
∗
= gramp (Ai (x (t)) − Ai (x, t))
mit
gramp (x) =
0:x≤0 x:x>0
(6)
Bei NoS und DAS m¨ ussen aufwendig zus¨ atzliche Stichproben ermittelt werden, um eine Normierung durchf¨ uhren zu k¨ onnen. Der Mittelwert Ai (x, t) aus Glg. 6 l¨asst sich f¨ ur die 2D/3D-Registrierung dabei lediglich approximieren. ¨ Da die Ahnlichkeitsmaße h¨ aufig u ugen, mit denen sie an ¨ ber Parameter verf¨ das Bildmaterial angepasst werden k¨ onnen, werden bei Maßen mit geringer Qualit¨ at die Parameter dynamisch so abge¨ andert, dass das Einzelergebnis besser mit dem Gesamtergebnis korreliert. Dazu wird Glg. 1 um den Parametervektor pi (t) erweitert: (7) Ai (x, t) = Si (IFLL (t), IDRR (x), pi (t)). Angenommen, es existiert eine Funktion, mit der man einen Parametervektor f¨ ur jedes Abstandsmaß f¨ ur jede 2D-Projektion des 3D-Volumens erstellen kann, dann gibt es auch die M¨ oglichkeit, einen Parametervektor an der optimalen Registrierungsposition zu ermitteln durch: p∗i (t) = argmax Si (IFLL (t), IDRR (x∗ ), pi ). pi
(8)
Analog zur Dynamik der Zuverl¨ assigkeit (Glg. 3) l¨asst sich eine Konstante θi definieren, die die Geschwindigkeit beschreibt, mit der sich die Parameter der Maße an die Bilddaten anpassen: θi pi (t) = p∗i (t) − pi (t).
(9)
¨ Kombination verschiedener Ahnlichkeitsmaße
229
¨ Abb. 2. Vergleich einzelner Ahnlichkeitsmaße und der Kombination mit DI durch ¨ Uberlagerung von DRR und R¨ ontgenbild bei einem globalen Optimierungsansatz. Die t und Ezt sind in Millimetern, die Roin-plane und out-of-plane Translationsfehler Exy r tationsfehler E als Winkel der internen Darstellung nach Rodrigues angegeben. Die DI erzielte den besten Registrierungswert.
GC t : 7, 2 mm, Exy Ezt : 8 mm, E r : 33, 9◦
3
GDI t Exy : 0 mm, Ezt : 8 mm, E r : 30, 4◦
NCC t Exy : 1, 6 mm, Ezt : 9, 6 mm, E r : 4◦
PI t Exy : 1, 6 mm, Ezt : 8 mm, E r : 35, 7◦
DI t Exy : 0 mm, Ezt : 8 mm, E r : 2◦
Experimente
F¨ ur die praktischen Experimente wurden vier Datens¨atze ausgew¨ahlt: ein k¨ unstliches Blutgef¨ aß aus Knete und drei Phantomdatens¨atze eines Sch¨adels, eines Thorax und eines Fußes. Sie bestanden jeweils aus einem vorab aufgenommenen 3D-Volumen und mehreren, mit einer C-Bogenanlage aufgenommenen R¨ontgenbildsequenzen. Die R¨ ontgenbilder wurden sowohl einzeln, als auch als komplette Sequenzen (vgl. Abb. 1) gegen die DRRs der 3D-Daten registriert. ¨ Als Ahnlichkeitsmaße wurden NCC, PI, GC und GD aus [1] verwendet. NCC und PI vergleichen direkt die Pixelintensit¨ aten zweier Bilder, w¨ahrend GC und GD auf den Gradientenbildern der Eingebebilder arbeiten. Die Suche nach den optimalen Parametern von Glg. 2 und Glg. 8 wurde mit einem globalen Optimierungsverfahren (uniforme Suche), gefolgt vom lokalen Downhill-Simplex gel¨ ost. Die Resultate zeigen, dass die gradientenbasierten Maße sich gut eignen, um Kanten von Knochen zu registrieren. Dementsprechend werden sie bei den Datens¨ atzen des Phantomfußes und des Sch¨adels hoch gewichtet. Die rein intensit¨ atsbasierten Verfahren liefern hingegen gute Ergebnisse auf homogenen Fl¨achen, wie man sie bei Aufnahmen von Weichteilen (Datensatz des k¨ unstlichen Blutgef¨ aßes, vgl. Abb. 2) findet, und werden dort erwartungsgem¨aß st¨arker gewichtet. Beim Thorax werden alle Verfahren außer PI hoch gewichtet, da dieser Datensatz sowohl große fl¨ achige Bereiche als auch viele Kanten aufweist. Damit ist die von der DI gew¨ ahlte Gewichtung sinnvoll. Die Resultate wurden mit 3D-Plots diskreter Abtastungen der Suchr¨ aume validiert. Dabei zeigte sich, dass vorrangig diejenigen Maße gering gewichtet wurden, bei denen alle Aussagen zu einem Bilddatensatz bei variierendem x sehr a ¨hnlich, und damit undifferenziert waren. In den Experimenten lieferte die Kombination der Abstandsmaße auf allen Datens¨ atzen meist signifikant bessere, aber nie schlechtere Ergebnisse als ¨ das jeweils manuell gew¨ ahlte optimale Einzelmaß. Die Uberpr¨ ufung der automatisch berechneten Gewichte best¨ atigt, dass die Gewichtszunahme wie erwartet
230
T. Feldmann et al.
¨ Abb. 3. Automatische Gewichtung der Zuverl¨ assigkeiten der Ahnlichkeitsmaße u ¨ ber zwanzig Schritte mit Qualit¨ atsmaßen DAS und NoS. Es wird das am besten f¨ ur die Bilddaten aus Abb. 2 geeignete Abstandsmaß NCC bevorzugt.
f¨ ur die Verfahren am st¨ arksten war, die f¨ ur die Bilddaten heuristisch am geeignetsten erschienen (vgl. Abb. 3). Bei den gering gewichteten Maßen stellte sich, wie gew¨ unscht, durch die automatische Parameteradaptierung eine Angleichung der Aussage an das Gesamtergebnis ein.
4
Diskussion
In diesem Beitrag haben wir die DI f¨ ur die 2D/3D-Registrierung adaptiert und ¨ erweitert. Das Verfahren ist in der Lage, verschiedene Ahnlichkeitsmaße zu kombinieren. Es gewichtet dabei stets die Maße am h¨ochsten, deren Aussagen am st¨arksten mit der Gesamtantwort harmonieren. Durch diesen Ansatz k¨onnen deutlich bessere Ergebnisse, als die von den einzelnen verwendeten Bildvergleichsverfahren, erzielt werden. Die DI optimiert zudem automatisch u ¨ ber die ¨ Zeit die freien Parameter der verwendeten Ahnlichkeitsmaße, die bisher heuristisch ermittelt werden mussten. Unsere Experimente belegen die Wirksamkeit der Methode. Da das Verfahren auf herk¨ ommlichen Rechnern mehrere Stunden f¨ ur eine Registrierung ben¨ otigt, ist f¨ ur die Zukunft vorgesehen, das Verfahren unter Ausnutzung von Grafikhardware f¨ ur die 2D-Projektion des 3D-Volumens auf Echtzeitf¨ ahigkeit zu optimieren und eine Vielzahl zus¨atzlicher Bildvergleichsverfahren zu integrieren.
Literaturverzeichnis 1. Penney GP, Weese J, Little JA, Desmedt P, Hill DLG, Hawkes DJ. A Comparison of Similarity Measures for Use in 2-D-3-D Medical Image Registration. IEEE Trans Med Imag 1998;(4):586–595. 2. Triesch J, von der Malsburg C. Democratic Integration: Self-Organized Integration of Adaptive Cues. Neural Computation 2001;(13):2049–2074.
Registration of Histologic Colour Images of Different Staining Ulf-Dietrich Braumann1 , Jens Einenkel2 , Lars-Christian Horn3 , Jens-Peer Kuska1 , Markus L¨ offler1 , Nico Scherf1 and Nicolas Wentzensen4 1
Interdisziplin¨ ares Zentrum f¨ ur Bioinformatik, Universit¨ at Leipzig, 04107 Leipzig 2 Universit¨ atsfrauenklinik Leipzig, 04103 Leipzig 3 Institut f¨ ur Pathologie, Universit¨ at Leipzig, 04103 Leipzig 4 Pathologisches Institut, Universit¨ at Heidelberg, 69120 Heidelberg Email:
[email protected]
Abstract. We have focused our interest on the registration of brightfield transmitted light microscopy images with respect to different histological stainings. For this kind of registration problem we have developed a new segmentation procedure. Based on the obtained consistent segmentations, a nonlinear registration transformation is computed. The applied registration procedure uses a curvature-based nonlinear partial differential equation in order to find the appropriate mapping between the images. Finally, we present an example for the registration of images of two consecutive histological sections from a uterine cervix specimen, whereas one section stained with p16INK4a was mapped onto another with H&E staining.
1
Introduction
The use of diverse stainings of consecutive tissue sections can provide a valuable amount of additional information about the structure and position of different types of tissues. Especially the usage of different immunohistochemical stainings may provide new insights into the interaction of cancer, inflammation and healthy cells in the human body. Multiple- or even double-staining techniques using different immunohistochemical stains applied on one and the same section is difficult due to the interaction of the staining agents, and in many cases is not feasible. One solution for that problem might be the usage of consecutive sections, while the application of different staining protocols is accomplished on separate slices. What basically makes the registration of images of such sections difficult is the partial loss of spatial correspondences between the two sections. The reasons for the deformation between consecutive sections are not only some differences concerning the mechanical stress applied during the preparation, especially while sectioning. The aggressive chemical substances used for the staining usually cause some individual, non-uniform shrinkage of the different tissue types which may be comprised within a certain section. To reconstruct the spatial correspondences between the individual sections the usage of a basically nonlinear registration
232
U.-D. Braumann et al.
procedure is required. However, the registration of differently stained images is not at all straightforward, due to the fact that different stainings may have totally different distributions both in colour as well in position space. So the direct usage of the colour images for the registration process is not possible. This is why we need to accomplish a segmentation step prior to the actual registration which, however, requires the utmost possible consistency referring to the various applied stainings. We consider this intermediate step essential in order to obtain the optimum accuracy for the respective registration transformation. As the segmentation leads to label images, the registration procedure itself still remains based on scalar image data. Depending on the segmentation quality, the registration will restore the correspondences between the tissue boundaries, however some possible correspondence on the level of individual cells is lost. One important restriction of the developed method is the requirement that important (large area) tissue types must be distinguishable in all staining variants.
2
Segmentation
The segmentation plays the central role in the registration of the slices with unequal colours. We focus our interest on the statistical description of the distribution of pixel properties in a d-dimensional feature space. Every staining has an individual distribution in the applied colour space. We operate in the RGB space, but other colour spaces may be used as well. The identification of different tissue types does not only include pixel differences within the colour space. The statistical properties of a pixel’s neighbourhood may also be important[1, 2, 3]. To include these properties into the segmentation, we construct a d-dimensional vector from selected statistical properties of the pixel, see Fig. 1. The neighbourhood is included in the segmentation vector using properties like the colour mean value and by the construction of successive smoothed images (the level index l in Fig. 1). Frequency properties of the respective pixel are included via sampling along an Archimedian spiral, starting at the pixel and analyzing the frequency distribution of the one-dimensional Fourier transform.
l=2 l=1
l=0 Image Mean 3 x 3
Fig. 1. Construction of the segmentation vector from colour and mean and some smoothing levels. In this example the segmentation vector is constructed from the colour of the image and the Gaussian smoothed image, than the mean value of the unsmoothed and the two times smoothed image, giving a 3 × 4 dimensional segmentation vector.
The segmentation vectors yi are used to estimate the distribution P (y) =
K k=1
αk p(y|µk , Σk )
(1)
Registration of Histologic Colour Images of Different Staining
as a linear combination of normal distributions 1 (2 π)−d/2 T −1 exp − (y − µ) · Σ · (y − µ) . p(y|µ, Σ) = √ 2 det Σ
233
(2)
The estimation of the paramters µk , Σk and αk is done using the expectation maximization algorithm [4, 5]. Using the estimated distribution P (y) we assign every pixel in the image a class number αk p(x|µk , Σk ) arg max K k k=1 αk p(x|µi , Σi )
(3)
to obtain the image segmentation. For the two slices with different staining we obtain two segmented images S and S , whereas the class labels assigned by the algorithm must be made consistent between the two segmentations. This means, that the labels in one of the segmentations, say S , must be exchanged to match the same regions as in the image S. The segmentation S may have more classes K than the segmentation S with K classes. This could occur, for instance, when the second staining marks vessels that cannot be identified in the first staining. In such case the class labels must be merged to describe the same region in both segmentations. Merging of two or more classes is also necessary, when a good approximation of the density distribution requires more than a single normal distribution to describe the segmentation vectors of a certain tissue type in one of the two colour images.
3
Registration
From the segmentation we get two images with scalar class label information. These two scalar images are used to compute the displacement field u(x) for the registration. The computation of the displacement field u base on the partial differential equation (4) α ∆2 u − f (x, u) = 0 with
f (x, u) = [S (x) − S(x − u(x))] ∇S(x − u(x))
(5)
This equation was introduced in [6] and recently studied in [7], wherein ∆ denotes the two-dimensional Laplace operator. To allow a smooth convergence for the solution, we introduce an artificial time t and solve the equation ∂u (x, t) + α ∆2 u(x, t) = f (x, u(x, t)) (6) ∂t The time discretisation is done by an implicit midpoint rule, and the dependence on the position coordinate x in the finite difference approximation of ∆2 is resolved using a discrete cos-transform. A detailed description about the solution procedure and the used finite difference approximations can be found in [8]. Finally, when the displacement field for the registration is found, the original colour image is transformed according to this transformation to obtain the registered version of the original data.
234
U.-D. Braumann et al.
Fig. 2. Label exchange and label merging (black circle) to obtain a consistent segmentation for a H&E and p16INK4a stained image pair.
H&E Image
p16
Cancer
Stroma
Inflammation
INK4a
Image
Background
Consistent Segmentation
4
Example
As an example for the process outlined above, we consider two images with H&E and p16INK4a staining, respectively, that should be registered. The tissue types that appear in both images are cancer, inflammation, healthy stroma and additionally the background. This suggests a total of four classes for the segmentation. For the segmentation of the H&E image we use two smoothing levels and choose the colour, the mean value in a 7 × 7 neighbourhood of level l = 0, and the slope of the frequency distribution from the first smoothing level. The p16INK4a image is segmented using the colour of level l = 0 and the colour from the first smoothing level. For the p16INK4a image we need an additional normal distribution to describe the colour of the cancer region. We end up with four classes for the H&E image and five classes for the p16INK4a staining. The colour labels of the p16INK4a segmentation were re-sorted, and the two classes for the cancer region were merged (see Fig. 2 for the summary of the operations). The consistent segmentations obtained by these operations were used to compute the displacement field and were further applied to the original p16INK4a stained image. The result of this operation can be seen in the left part of Fig. 3. To underline the quality of the image registration obtained by the proposed method we show the result for a alternating sequence of H&E and p16INK4a stained images. The consistent segmentation of every slice were registered on the consistent segmentation of its predecessor. The right part of Fig. 3 shows the result of this procedure.
Registration of Histologic Colour Images of Different Staining
235
Fig. 3. Left: Registration field (red lines) obtained by the registration of the segmentations of a p16INK4a image (green channel) onto a H&E stained image (red channel) with the transformed segmentation (blue channel). Middle & right: Illustrative assessment of the obtained reconstruction for an alternating H&E/p16INK4a stained serial section. The oblique plane in the middle image depicts how the virtual cutting plane was basically placed for the virtual section given on the right image.
5
Conclusions and Future Work
We have shown a method for the registration of microscopic sections with different stainings on the base of the consistent segmentation of the respective images. The method was successfully applied onto an alternating sequence of H&E/p16INK4a stained images. Our work continues with the application of the newly developed method for other stainings and the registration of serial sections with more than just two different stainings.
References 1. Manjunath BS, Ohm JR, Vasudevan VV, Yamada A. Color and Texture Descriptors. IEEE Transactions on Circuits and Systems for Video Technology 2001;11(6):703– 715. 2. Lucchese L, Mitra SK. Color Image Segmentation: A State-of-the-Art Survey. Proceeding of the Indian National Science Academy A (Physical Sciences) 2001;67(2):207–221. 3. Manjunath BS, Ma WY. Texture Features for Browsing and Retrival of Image Data. IEEE Transactions on Pattern Analysis and Machine Intelligence 1996;18(10):837– 842. 4. Moon TK. The Expectation-Maximization Algorithm. IEEE Signal Processing Magazine 1996;p. 47–60. 5. Pernkopf F, Bouchaffra D. Genetic-Based EM Algorithm for Learning Gaussian Mixture Models. IEEE Transactions on Pattern Analysis and Machine Intelligence 2005;27(8):1344–1348. 6. Amit Y. A Nonlinear Variational Problem for Image Matching. SIAM Journal on Scientific Computing 1994;15(1):207–224. 7. Fischer B, Modersitzki J. Curvature Based Image Registration. Journal of Mathematical Imaging and Vision 2003;18:81–85. 8. Braumann UD, Kuska JP, Einenkel J, Horn LC, L¨offler M, H¨ ockel M. ThreeDimensional Reconstruction and Quantification of Cervical Carcinoma Invasion Fronts from Histological Serial Sections. IEEE Transactions on Medical Imaging 2005;24(10):1286–1307.
Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen Florian J¨ ager1 , Jingfeng Han1 , Joachim Hornegger1 und Torsten Kuwert2 1
2
Lehrstuhl f¨ ur Mustererkennung, Friedrich-Alexander Universit¨ at ErlangenN¨ urnberg, Martensstraße 3, 91058 Erlangen Email: {jaeger,jingfeng,hornegger}@informatik.uni-erlangen.de Nuklearmedizinische Klinik, Friedrich-Alexander Universit¨ at Erlangen-N¨ urnberg, Krankenhausstraße 12, 91054 Erlangen Email:
[email protected]
Zusammenfassung. Die Fusion funktioneller und morphologischer Bildinformation spielt in der radiologischen Diagnostik eine wichtige Rolle. Allerdings ist eine zuverl¨ assige Registrierung aufgrund der unterschiedlichen bildgebenden Eigenschaften der beiden Modalit¨ aten nur bedingt m¨ oglich. In dieser Arbeit wird ein neues Verfahren zur Registrierung von SPECT und CT Datens¨ atzen vorgestellt, welches es erm¨ oglicht gezielt lokale Deformationseigenschaften aktiver Regionen in die Registrierung zu integrieren. Hierzu wird der Datensatz zun¨ achst mit Hilfe von Fuzzy-C-Means segmentiert und das Ergebnis in die Registrierung integriert. Weiterhin wird ein Regularisierer vorgestellt, welcher a-priori Wissen u ahrend des ¨ ber die Steifheit unterschiedlicher Gewebetypen w¨ Optimierungsprozesses nutzt und somit das Ergebnis beeinflusst und verbessert. Die vorgestellte Methode wurde auf realen, klinisch relevanten 3D-Volumendatens¨ atzen evaluiert.
1
Einleitung
Eine wichtige Anwendung der Medizinischen Bildverarbeitung ist die Detektion und Quantifizierung von L¨ asionen. Hierzu wird oftmals auf die Vorz¨ uge mehrerer verschiedener bildgebender Verfahren zur¨ uckgegriffen. Morphologische Bilddaten, wie CT-Aufnahmen, werden dabei zur Quantifizierung und Lokalisation und funktionelle Daten, z.B. SPECT-Aufnahmen, zur Detektion sowie Einordnung (maligne oder benigne) verwendet. Aufgrund der wenigen strukturellen Informationen der SPECT-Bilder m¨ ussen die darin gefundenen Herde auf die CT-Daten abgebildet werden, damit f¨ ur die Behandlung (z.B. Ablation) relevante Regionen von unrelevanten unterschieden werden k¨onnen. In der derzeitigen klinischen Routine erfolgt diese Abbildung per Hand durch den behandelnden Arzt. Um eine schnelle und sichere Zuordnung (d.h. geringe interund intra- Beobachtervariabilit¨ at) der detektierten L¨asionen (Hotspots) in den SPECT Bildern zu den hochaufl¨ osenden CT Aufnahmen zu gew¨ahrleisten, ist es w¨ unschenswert diese automatisch mittels multi-modaler nicht-starrer Registrierung zu berechnen. Ohne ortsabh¨ angige Beschr¨ankung der Deformationen f¨ uhrt
Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen
237
dies oftmals zu medizinisch nicht signifikanten Ergebnissen, da alle Regionen der Datens¨ atze ¨ aquivalent behandelt und unterschiedliche Verformungseigenschaften (z.B. leicht verformbar, steif) ausser acht gelassen werden. Aktive Regionen, d.h. Bereiche mit hohen Grauwertintensit¨ aten in SPECT-Datens¨atzen, bezeichnen Strukturen, welche einen erh¨ ohten Stoffwechsel besitzen. Leider decken sich diese meist nicht mit der struktuellen Information der CT-Daten. Daraus ergibt sich das Problem, dass aktive Regionen durch die Registrierung unrealistisch stark deformiert werden. In dieser Arbeit wird ein neuer Ansatz pr¨asentiert, welcher die Wahrscheinlichkeit, dass ein Voxel Teil einer aktiven Region eines SPECTDatensatzes ist, als a-priori Wissen in den Registrierungsprozess integriert.
2
Stand der Forschung
Unter Registrierung wird das Auffinden einer Transformation zwischen einem Referenzbild R und einem Templatebild T verstanden, so dass der Abstand der beiden bez¨ uglich eines gew¨ ahlten Kriteriums minimal ist. Die Anwendung ist dabei ausschlaggebend f¨ ur die Wahl des Abstandmaßes. Bei mono-modalen Registrierproblemen wird h¨ aufig die Summe der quadratischen Abst¨ande verwendet, im multi-modalen Fall die Transinformation. Die Minimierung solcher Differenzmaße f¨ uhrt normalerweise zu einem sehr schlecht konditionierten Optimierungsproblem. Daher m¨ ussen zus¨ atzlich Regularisierungsans¨atze in Betracht gezogen werden. In diesem Artikel wird ein Regularisierer eingesetzt, welcher die Kr¨ ummung des Deformationsfeldes bestraft. Dies entspricht einer Gl¨attung des Deformationsfeldes. Ein m¨ oglicher Ansatz zur L¨osung des resultierenden Problems der nicht-starren Registrierung ist die Variationsrechnung. Hierbei muss das Funktional J [u; T, R] = D[u; T, R] + αS[u] (1) minimiert werden. D repr¨ asentiert ein Abstandsmaß zwischen den Bildpaaren, S entspricht einem Regularisierer, welcher z.B. die Glattheit des Ergebnisses garantiert und u : IR2 → IR2 definiert eine Funktion welche dem Deformationsfeld in Abh¨ angigkeit der Position x entspricht. Der Faktor α regelt die Steifheit des Gewebes. In den meisten aktuellen Algorithmen schr¨ankt der Regularisierer die Deformation in allen Bereichen gleich stark ein, d.h. verschiedene bekannte Gewebeeigenschaften bleiben unber¨ ucksichtigt. Um Wissen in den Registrierungsprozess zu integrieren, werden h¨ aufig entweder verschiedene Regularisierungsterme (z.B. elastische und diffusionsbasierte Gl¨ atter) kombiniert oder ein Nachverarbeitungsschritt im Anschluss an jede Iteration der Optimierung durchgef¨ uhrt (z.B. ortsabh¨ angige Gl¨ attung des Deformationsfeldes) [1]. Analog zu der hier pr¨ asentierten Methode gibt es Ans¨ atze, die beispielsweise Wissen u ¨ ber Deformationseigenschaften mit Hilfe eines Maskenbildes direkt in den Regularisierer einbinden [2].
238
3
F. J¨ ager et al.
Methoden
Der in dieser Arbeit pr¨ asentierte wissensbasierte Registrierungsansatz kann in zwei Teilbereiche gegliedert werden. Im ersten Schritt wird eine Wahrscheinlichkeitskarte bestimmt, welche die Zugeh¨ origkeit eines Voxels der SPECTAufnahme (des Templatebildes) zur Klasse der aktiven Regionen beschreibt. Anhand dieser wird die ¨ ortliche Verteilung der Steifheitskoeffizienten berechnet, d.h. je wahrscheinlicher ein Voxel einem Hotspot entspricht, desto h¨oher ist der ihm zugewiesene Koeffizient. Zur Bestimmung der Wahrscheinlichkeitskarte wird eine modifizierte Version des Fuzzy-C-Means-Algorithmus [3] verwendet. Hierbei wird die Nachbarschaft jedes Voxels in die Berechnung mit einbezogen. Damit kann das Optimierungsproblem der Klassifikation durch folgenden Term beschrieben werden: J=
Nc n
2 am i,k yk − ci +
i=1 k=1
Nc n λ am yr − ci 2 → min, i,k NR i=1 k=1
(2)
yr ∈NR
wobei Nc die Anzahl der Klassen, n die Anzahl der Voxel, ci die Klassenzentren, NR die Nachbarschaft, NR deren Kardinalit¨ at, yr die beobachteten Intensit¨aten, m einen Skalierungsfaktor und λ den Einfluss der Nachbarschaft beschreibt. F¨ ur die Partitionsmatrix ai,k gelten die Wahrscheinlichkeitsbedingungen i ai,k = 1 und ai,k ≥ 0. Zur Regularisierung wird die Zugeh¨origkeit eines Voxels zur Klasse ahlt. Im zweiten Schritt wird die Registrierung der κ mit κ = arg maxβ cβ gew¨ beiden Datens¨ atze durchgef¨ uhrt, wobei das zuvor gewonnene Maskenbild zur Restriktion der Deformationen abh¨ angig von der Steifheit bestimmter Regionen genutzt wird. Die Integration der Steifheitskoeffizienten erfolgt u ¨ ber einen ortsabh¨ angigen Regularisierer. Dieser basiert auf der zweiten Ableitung des Verschiebungsfeldes, bestraft also die Kr¨ ummung des Deformationsfeldes. Affine Transformationen werden hingegen nicht eingeschr¨ankt. Weiterhin beinhaltet der Regularisierer eine ortsabh¨ angige differenzierbare Funktion b : IRd → IR. Daraus ergibt sich f¨ ur dessen kontinuierliche Version: 1 [u] := 2 d
S
spatial
l=1
' b(ϕ(x))(ul )2 dx,
(3)
Ω
wobei dem Laplace-Operator entspricht und x ∈ IRd die Position innerhalb der Daten, d die Dimension, meistens 2D Bilder bzw. 3D Volumen und u das Deformationsfeld in Abh¨ angigkeit von x darstellt. ϕ : IRd → IRd ist die Abbildung ϕ(x) = x − u(x). Die Minimierung des Funktionals J erfolgt mittels der EulerLagrange Gleichung. Hierf¨ ur muß die Gˆ ateaux-Ableitung dJ [u; T, R] gebildet werden. Die Ableitung des vorgestellten Gl¨ atters ergibt den Differentialoperator Aspatial [u] = dS spatial [u] = b(ϕ(x))2 u.
(4)
Die diskrete Version der Funktion b wird definiert als b(x) = α + γaκ,j . Dabei ist j der Index in der Partitionsmatrix des Voxels an der Position x im Templatebild. α beschreibt die Grundsteifheit - entspricht α in Gleichung 1 - und γ den
Wissensbasierte nicht-starre Registrierung von SPECT/CT Datens¨ atzen
239
Einfluss der Wahrscheinlichkeitskarte. Damit kann der diskrete Differentialoperator Aspatial durch das Matrixprodukt BAcurv berechnet werden. Acurv entspricht dem Operator der kr¨ ummungsbasierten Registrierung [4]. B ist definiert als B = diag(b(ϕ(x1 )), b(ϕ(x2 )), . . . , b(ϕ(xn ))). Aufgrund der Ortsabh¨angigkeit der Matrizen kann das Gleichungssystem nicht mittels der Diskreten Cosinus Transformation gel¨ ost werden. Der L¨ osungsansatz, der zur Berechnung der Experimente verwendet worden ist, basiert auf einem Gradientenabstiegsverfahren.
Abb. 1. Korrespondierende Schichten eines zur Evaluierung verwendeten Datensatzes und das Ergebnis der Registrierung: Original CT Volumen (oben links), original SPECT Volumen (oben mitte), verwendete Wahrscheinlichkeitskarte (oben rechts), deformiertes Volumen ohne ortsabh¨ angige Regularisierung (unten links) und mit ortsabh¨ angiger Regularisierung (unten rechts). .
4
Ergebnisse
Die vorgestellte Methode wurde auf mehreren klinischen SPECT/CT Datens¨ atzen getestet. Um die Ergebnisse der Registrierung besser Evaluieren zu k¨onnen wurden Aufnahmen eines SPECT/Spiral CT Systems verwendet. Hierbei werden beide Volumen parallel akquiriert. Damit sind diese weitgehend registriert, was es erm¨ oglicht die Datens¨ atze als Goldstandard zu verwenden. Die Ergebnisse der Registrierung der Datens¨ atze ohne ortsabh¨angige Regularisierung zeigten, dass prim¨ ar Bereiche hoher Stoffwechselaktivit¨at stark deformiert wurden. Durch die ortsabh¨ angige Regularisierung wird dies weitgehend unterbunden. Allerdings ben¨ otigt diese f¨ ur zufriedenstellende Ergebnisse weit mehr Iterationen, da Bereiche mit hohen Steifheitskoeffizienten viel langsamer trans-
240
F. J¨ ager et al.
formiert werden als Regionen mit kleineren Werten. Abbildung 1 zeigt das Ergebnis einer Registrierung mit und ohne ortsabh¨angiger Regularisierung. Dabei ist deutlich zu erkennen, dass beide Methoden schwache Kanten des SPECTDatensatzes verst¨arken. Aufgrund der Maskierung mittels der zuvor bestimmten Wahrscheinlichkeitskarte zeigt das Ergebnis der pr¨asentierten Methode in Regionen hoher Stoffwechselaktivit¨ at kaum Deformationen.
5
Diskussion
Wir konnten zeigen, dass mit Hilfe der vorgestellten Methode die Integration von a-priori Wissen in den Optimierungsprozess m¨oglich ist und damit die Ergebnisse der Registrierung aus medizinischer Sicht plausibler werden. Wegen der grossen Intensit¨ atsunterschiede zwischen aktiven Regionen (z.B. der Milz) und Regionen mit geringerer Stoffwechselaktivit¨ at k¨onnen SPECT Bilder leicht segmentiert und damit ortsabh¨ angige Steifheitskoeffizienten zugewiesen werden. Die bisher erzielten Ergebnisse sprechen daf¨ ur, dass der pr¨asentierte Ansatz gut f¨ ur die Registrierung von SPECT und CT Datens¨ atzen geeignet ist. Allerdings ist die Methode f¨ ur den klinischen Einsatz im Moment nur bedingt einsetzbar, weil die Laufzeit, abh¨ angig von der Gr¨ oße der betrachteten Datens¨atze, noch weiter reduziert werden muss. Da die vorgestellte Methode nicht auf die Registrierung von SPECT/CT Datens¨ atzen beschr¨ ankt ist, sind weitere Einsatzgebiete (z.B. die Registrierung von PET/CT oder MRT/CT Datens¨atzen) denkbar. Vorraussetzung hierf¨ ur ist allerdings die zuverl¨ assige Zuweisung der Steifheitskoeffizienten zu den unterschiedlichen Gewebearten. Danksagung. Wir m¨ ochten der Firma Hipgraphics f¨ ur ihre Unterst¨ utzung und der kostenlosen Bereitstellung des Volumenrenderes InSpace danken. Weiterhin m¨ ochten wir der Deutschen Forschungsgemeinschaft (DFG) und dem SFB 603, TP C10, f¨ ur die finanzielle Unterst¨ utzung danken.
Literaturverzeichnis 1. Staring M, Klein S, Pluim JPW. Nonrigid Registration with Adaptive, ContentBased Filtering of the Deformation Field. In: Proc of SPIE Medical Imaging. vol. 5747; 2005. p. 212–221. 2. Kabus S, Franz A, Fischer B. On Elastic Image Registration with Varying Material Parameters. In: Procs BVM; 2005. p. 330–334. 3. Ahmed MN, Yamany SM, Mohamed N, Farag AA, Moriarty T. A Modified Fuzzy CMeans Algorithm for Bias Field Estimation and Segmentation of MRI Data. IEEE Trans Med Imaging 2002;21(3):193–199. 4. Modersitzki J. Numerical Methods for Image Registration. Oxford University Press, Oxford New York; 2004.
Computergestu ¨tzte Auswertung koronarangiographischer Bildfolgen hinsichtlich des Myocardialen Blushgrades M. Erbacher1 , G. Korosoglou2 und H. Dickhaus1 1 Institut f¨ ur Medizinische Biometrie und Informatik, Abteilung Medizinische Informatik, 69120 Heidelberg 2 Kardiologische Abteilung des Universit¨ atsklinikums Heidelberg, 69120 Heidelberg Email:
[email protected]
Zusammenfassung. Aufgrund der hohen Zahl an Sterbef¨ allen in Folge von Herzkreislauferkrankungen, ist es w¨ unschenswert eine quantitative Aussage f¨ ur die Durchblutung des Herzmuskels zu erhalten. Es hat sich gezeigt, dass die Bestimmung des myocardialen Blushgrades gegen¨ uber der alleinigen Bestimmung des TIMI-Frame-Counts Vorteile f¨ ur die Bewertung des Patientenzustands bringt. Um die Bestimmung der Blushgrades zu verbessern, wird eine Methode zur Bewegungskompensation vorgestellt. Das vorgestellte Verfahren kann Translationen und Rotationen korrigieren. Außerdem wird auf den Nutzen der bei der Auswertung berechenbaren Parameterbilder eingegangen. Dabei werden sowohl neue Parameter vorgestellt, wie auch der Nutzen zur Bestimmung der ROI erl¨ autert.
1
Problemstellung
Nach Angaben des Statistischen Bundesamts wird die H¨alfte aller Sterbef¨alle durch eine Herz-Kreislauferkrankung verursacht. Ungef¨ahr zwei Drittel dieser Todesf¨ alle entstehen durch die koronare Herzkrankheit (KHK). Die Zahl der Infarkte, von denen man annimmt, dass sie sich sehr h¨aufig aus einer KHK entwickeln, liegt bei etwa 200.000 pro Jahr; davon verlaufen ca. 35% t¨odlich [1]. Der Trend dieser Zahlen ist zunehmend. Routinem¨aßig wird bei diesen Erkrankungen bei Stenoseverdacht eine Koronarangiographie durchgef¨ uhrt. W¨ahrend eines solchen Eingriffs wird zur Aufl¨ osung einer Stenose normalerweise eine PTCA (pulmonare transluminale Koronarangioplastie) durchgef¨ uhrt. Nach einem solchen Eingriff ist es w¨ unschenswert direkt aus der Angiographie einen objektiven Wert f¨ ur die Durchblutung des Myokards zu erhalten.
2
Stand der Forschung
Zur Bewertung des Erfolges einer PTCA werden unterschiedliche Verfahren eingesetzt. Zum einen kann eine visuelle Absch¨ atzung des Grades der Diameterstenose durch den Kardiologen erfolgen. Dieses Verfahren leidet darunter, dass von
242
M. Erbacher, G. Korosoglou und H. Dickhaus
einer Projektion auf das komplette Gef¨ aß geschlossen werden muss. Eine weitere M¨oglichkeit ist das von Gibson entwickelte Verfahren des TIMI-Frame-Counts. Hierbei wird die Flussgeschwindigkeit in den Koronarien bestimmt. Beide Verfahren sagen nichts u ¨ ber die Durchblutung des Myokards aus wie Stone et. al. [2] gezeigt haben. Eine dritte M¨ oglichkeit ist die Bestimmung des so genannten Blushgrades. Dabei wird aus der Abschattung des Myokards durch das Kontrastmittel auf dessen Durchblutung geschlossen. Ein computergest¨ utztes Verfahren zur Bestimmung des Blushgrades existiert bereits [3]. Durch die unzureichende Bewegungskompensation sind aber viele Angiographieserien nur schlecht oder gar nicht auswertbar. In der Literatur gibt es schon verschiedene Ans¨atze zur Bewegungskompensation in angiographischen Bildfolgen [4, 5]. Diese zeichnen sich jedoch h¨ aufig durch einen hohen Rechenaufwand aus. Das ist bei der gegebenen Fragestellung, bei der die Kardiologen eine Online-Auswertung w¨ unschen, ein entscheidender Nachteil.
3
Wesentlicher Fortschritt durch den Beitrag
W¨ ahrend der Aufnahme einer Angiographieserie kann es dazu kommen, dass der Aufnahmefokus verschoben wird (in den von uns untersuchten Daten bei ca. 20% aller Serien). Das geschieht immer dann, wenn der behandelnde Arzt nach Beginn der Aufnahme feststellt, dass sich das Zielgebiet nicht im sichtbaren Bereich befindet. Durch diese Bewegung ist die Bestimmung des Blushgrades ohne Bewegungskompensation nicht m¨ oglich. Das im Folgenden vorgestellte Verfahren dient dazu, solche Bewegungen zu kompensieren und dadurch die Auswertbarkeit zu verbessern. Außerdem wird eine Methode erl¨autert, mit deren Hilfe ein f¨ ur den Blush relevantes Gebiet einfach bestimmt werden kann.
4
Methoden
Die Erstellung von kontrastreichen Angiographiefolgen wird durch ein Differenzbildverfahren erreichet. Da es f¨ ur eine sinnvolle Differenzbildung n¨otig ist, dass sich die einzelnen Bilder nur in dem interessanten Aspekt, in diesem Fall der Verteilung des Kontrastmittels, unterscheiden, gilt es Bewegungen m¨oglichst vollst¨ andig zu eliminieren. Weil in dem existierenden Verfahren nur Bilder betrachtet werden, die dieselbe Phase des Herzzyklus zeigen, kann man davon ausgehen, dass die Form des Herzens konstant ist. Aus diesem Grund und da die Bewegung der R¨ ontgenkamera keine Deformation verursacht, kann der Bewegungseffekt manuell behoben werden. Eine solche Kompensation ist jedoch zeitintensiv. Um eine schnellere Korrektur zu erm¨ oglichen, soll diese Verschiebung durch ein Matchingverfahren automatisch kompensiert werden. Der von uns gew¨ahlte Ansatz geht davon aus, dass sich die zu matchenden Bilder nur in ihrer Lage zueinander unterscheiden. Allerdings stellt das sich u ¨ ber die Zeit ausbreitende Kontrastmittel ein Problem dar. Um dieses zu vermeiden werden immer zwei im zeitlichen Ablauf auf einander folgende Bilder zur Deckungsgleichheit gebracht. Anschließend
Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen
243
werden die Transformationen relativ zum jeweils vorherigen Bild ermittelt und die Korrektur durchgef¨ uhrt. Dadurch wird eine nahezu identische Lage f¨ ur alle Bilder gew¨ ahrleistet. F¨ ur die Optimierung wird ein angepasster Differenzoptimierer verwendet. Dieses Verfahren wird so modifiziert, dass Pixel, die Kontrastmittel in den Arterien darstellen, nur dann beachtet werden, wenn sie in beiden Bildern Arterien zugeordnet werden. Das geschieht durch Einstellen eines Schwellenwerts, der angibt ab welchem Wert ein Pixel einer Arterie zugeh¨orig betrachtet werden soll. Um aus einer derart gewonnenen Serie den Blushgrade bestimmen zu k¨onnen, muss der zu untersuchende Bereich, die Region of Interest (ROI), definiert werden. Dabei ist wichtig, dass sich dort keine st¨orenden Einfl¨ usse wie zum Beispiel Arterien, Venen oder Atmenbewegungen des Zwerchfells auswirken. Zur Unterst¨ utzung des Kardiologen bei der Auswahl der ROI werden so genannte Parameterbilder ermittelt. Sie quantifizieren einen bestimmten Aspekt der aufgenommenen Bildfolge. Als besonders n¨ utzlich hat sich dabei der Zeitpunkt des Auftretens des maximalen Grauwertes erwiesen. Hierzu wird f¨ ur jedes Pixel dieser Zeitpunkt bestimmt und an der entsprechenden Stelle im Parameter-Bild eingetragen. In dieser Darstellung sind die Arterien gut vom Myokard zu unterscheiden, da das Kontrastmittel dort zeitversetzt ankommt. Eine noch bessere Trennung von Myokard und Arterien kann man erreichen, indem man den Quotienten aus maximalem Grauwert und dem Zeitpunkt seines Auftretens als Parameter verwendet (vgl. Abb. 1). Durch diese zus¨atzliche Information wird verhindert, dass Arterien und Myokardbereiche, die r¨aumlich nah am Punkt der Kontrastmittelgabe liegen, denselben Wert erhalten.
5
Ergebnisse
Durch die vorgestellte Bewegungskompensation wird die Auswertbarkeit von Angiographiefolgen erh¨ oht. Folgen, in denen es zu einer Verschiebung des Aufnahmebereichs gekommen ist, k¨ onnen korrekt ausgewertet werden. Das wurde von uns in einer Studie mit 100 Patienten nachgewiesen. Von diesen 100 Serien waren ohne Bewegungskompensation 60% auswertbar. Durch Nutzung des beschriebenen Verfahrens wurde die Auswertung von weiteren 20% der Serien erm¨oglicht. Eine Auswertung der restlichen 20% ist aus mannigfachen Gr¨ unden nicht m¨oglich und soll Gegenstand weiterer Untersuchungen sein. Abb. 1 zeigt den Unterschied im Ergebnis der Durchblutungsbestimmung ohne und mit Bewegungskompensation. W¨ ahrend die Kurve f¨ ur die Auswertung ohne Kompensation einen schlechten Abfluss des Kontrastmittels zeigt (maximal 5% pro Sekunde), ist dies nach der Kompensation ( maximal 17% pro Sekunde) nicht mehr der Fall. Auch die maximalen Werte unterscheiden sich deutlich: Vor der Kompensation liegt der Maximalwert bei ca. 60, danach bei 29. Anhand des eben genannten Beispiels wird deutlich, dass eine Bewegungskorrektur f¨ ur die Auswertung relevant ist, da sonst unter Umst¨ anden falsche Schl¨ usse aus der Ergebnissen gezogen werden. Abb. 1 veranschaulicht außerdem, dass Arterien und Artefakte in den Parameterbildern deutlich zu erkennen sind. Insgesamt kann geschlossen werden,
244
M. Erbacher, G. Korosoglou und H. Dickhaus
Abb. 1. Parameterbild f¨ ur den Quotienten aus maximalem Grauwert und dem Zeitpunkt seines Auftretens (oben) sowie der Grauwertverlauf innerhalb der ROI (unten) ohne und mit Bewegungskompensation; links ohne Bewegungskompensation, rechts mit Bewegungskompensation.
dass durch die Nutzung der Parameterbilder die Auswertung einfacher und robuster geworden ist, da die ROI nun u ¨blicherweise so gew¨ahlt wird, dass sie keine Artefakte oder Arterien enth¨ alt. Dadurch wird die Variabilit¨at zwischen den Kardiologen, die eine Blushbewertung durchf¨ uhren, geringer. Auch die vorgestellte Bewegungskompensation f¨ uhrt zu einer weiteren Stabilisierung der Ergebnisse, indem sie selbst auch noch geringe Bewegungen korrigiert und damit die Anzahl der Artefakte reduziert.
6
Diskussion
Das vorgestellte Verfahren ist in der Lage, Verschiebungen des Aufnahmebereiches zu kompensieren und den Kardiologen bei der Auswahl einer optimalen ROI f¨ ur die Blushbewertung zu unterst¨ utzen. 20% der untersuchten Serien wiesen u. a. eine starke Atmenbewegung des Zwerchfells auf. Diese konnten bislang durch das vorgestellte Verfahren nicht kompensiert werden. Hierf¨ ur soll ein elastischer Matchingasatz mit zus¨ atzlicher Bewegungsabsch¨atzung evaluiert werden.Die Genauigkeit der Bewegungskompensation erscheint nach einer rein visuellen Bewertung gut. Eine genauere Evaluierung wird noch durchgef¨ uhrt.
Computergest¨ utzte Auswertung koronarangiographischer Bildfolgen
245
Literaturverzeichnis 1. Deutschland StatistischesBundesamt. Gesundheitswesen – Todesursachen. Internet: www.destatis.de/themen/d/thm gesundheit.htm (gesehen 13.10.2005); 2003. 2. Stone GW, Lamsky AJ, et al. Beyond TIMI 3 Flow: The importance of restored myocardial perfusion for survival in risk patients undergoing primary or rescue PTCA. J Am Coll Cardiol 2000;35(403A). 3. Malsch U, Dickhaus H, K¨ ucherer H. Quantitative Analyse von Koronarangiographischen Bildfolgen zur Bestimmung der Myokardperfusion. In: Procs BVM; 2003. 4. Hemmendorf M, Andersson MT, Kronander T, Knutsson H. Phase-Based Multidimensional Volume Registration. IEEE Transactions on Medical Imaging 2002;13(12):1536–1543. 5. Buzug TM, Weese J, Lorenz C. Weighted Least Squares for Point-Based Registration in Digital Subtraction Angiography (DSA). In: SPIE Vol. 3661; 1999.
A Variational Framework for Joint Image Registration, Denoising and Edge Detection Jingfeng Han1 , Benjamin Berkels2, Martin Rumpf2 , Joachim Hornegger1, Marc Droske3 , Michael Fried1 , Jasmin Scorzin2 and Carlo Schaller2 1
Universit¨ at Erlangen-N¨ urnberg, 2 Universit¨ at Bonn,
3
University of California
Abstract. In this paper we propose a new symmetrical framework that solves image denoising, edge detection and non–rigid image registration simultaneously. This framework is based on the Ambrosio–Tortorelli approximation of the Mumford–Shah model. The optimization of a global functional leads to decomposing the image into a piecewise–smooth representative, which is the denoised intensity function, and a phase field, which is the approximation of the edge-set. At the same time, the method seeks to register two images based on the segmentation results. The key idea is that the edge set of one image should be transformed to match the edge set of the other. The symmetric non–rigid transformations are estimated simultaneously in two directions. One consistency functional is designed to constrain each transformation to be the inverse of the other. The optimization process is guided by a generalized gradient flow to guarantee smooth relaxation. A multi–scale implementation scheme is applied to ensure the efficiency of the algorithm. We have performed preliminary medical evaluation on T1 and T2 MRI data, where the experiments show encouraging results.
1
Introduction
Image registration, image denoising and edge detection are three important and still challenging image processing problems in the field of medical image analysis. Traditionally, solutions are developed for each of these three problems mutually independent. However, in the various applications, the solutions of these problems are depend on each other. Indeed, tackling each task would benefit significantly from prior knowledge of the solution of the other tasks. Here, we treat these different image processing problems in an uniform mathematically sound approach. There already have been some attempts in the literature to develop methods aligning the images and detecting the features simultaneously [1, 2, 3, 4]. Due to our knowledge, most of the existing approaches are restricted to lower dimensional parametric transformations for image registration. Recently, in [5, 6] a novel approach for non–rigid registration by edge alignment has been presented. The key idea of this work is to modify the Ambrosio–Tortorelli approximation of the Mumford–Shah model, which is traditionally used for image segmentation,
A Variational Framework for Joint Image Registration
247
so that the new functional can also estimate the spatial transformation between images, but in contrast to the method proposed by Droske et al. our method is fully “symmetric” with respect to the treatment of the edge sets in both images and the transformations in both directions.
2
Method
Assume two gray images R and T are given, whose intensity values are described by the function u0R and u0T , respectively. The goal of the joint framework is to find piecewise smooth representatives uR and uT (denoising), phase field edge functions vR and vT (edge detection) and symmetric non–rigid spatial transformations φ and ψ such that uR ◦ ψ matches uT and uT ◦ φ matches uR (registration). For simplification of presentation, we denote all the unknowns with Φ = [uR , uT , vR , vT , φ, ψ]. The associated functional is defined as u0
u0
R T EG [Φ] = EAT [uR , vR ] + EAT [uT , vT ] + EREG [Φ] → min,
(1)
In what follows, we define and discuss the variational formulation. 2.1
Denoising and Edge Detection 0
u The EAT [u, v] denotes the Ambrosio–Tortorelli (AT) approximation functional proposed in [7, 8]. This functional is originally designed to approximate the Mumford–Shah model [9] for image segmentation. The functional is defined as 0
'
u , EAT [u, v] =
β ν 1 α ∇v2 + (v − 1)2 dx, (u − u0 )2 + v 2 ∇u2 + Ω 2 2 2 4 E1
E2
E3
E4
with parameters α, β, ν ≥ 0. In the Ambrosio–Tortorelli approximation, the edge set is depicted by a phase field function v with v(x) ≈ 0 if x is an edge point and v(x) ≈ 1 otherwise. The term E1 favors u to be as similar to u0 as possible. The term E2 allows u to be singular (large ∇u2 ) where v ≈ 0 and favors u to be smooth (small ∇u2 ) where v ≈ 1. The term E3 constrains v to be smooth. The last term E4 prevents the degeneration of v, i.e. without E4 the functional would be minimized by v ≡ 0, u ≡ u0 . For the details of the Ambrosio–Tortorelli approximation, we refer to [7]. 2.2
Edge Alignment
The main goal of the registration functional EREG is to find the transformations that match the edge sets of image R and image T to each other. In order to explicitly enforce the bijectivity and invertibility of spatial mapping, we estimate the two transformations in two directions simultaneously: φ : Ω → Ω is the transformation from image T to image R and ψ : Ω → Ω is the one from R to T . The functional EREG is a linear combination of an external functional Eext , an internal functional Eint and a consistent functional Econ : EREG [Φ] = µEext [Φ] + λEint [φ, ψ] + κEcon [φ, ψ],
(2)
248
J. Han et al.
Fig. 1. Results of registration of T1/T2 slices with parameters: α = 2550, β = 1, ν = 1, µ = 0.1, λ = 20, κ = 1, = 0.5h. (a, b): The original images u0T 1 and u0T 2 . (c, d): Piecewise smooth functions uT 1 and uT 2 . (e, f ): Phase field functions vT 1 and uT 2 . (g, h): The registered T1 and T2 slices. (i): Blending of transformed T1 slice and phase field function of T2 slice. (j): Blending of transformed T2 slice and phase field function of T1 slice.
a
c
e
g
i
b
d
f
h
j
where µ, λ and κ are just scaling parameters. The three functionals Eext , Eint , Econ are defined as follows: ' Eext [Φ] = 'Ω Eint [φ, ψ] = 'Ω Econ [φ, ψ] = Ω
1 1 (vT ◦ φ)2 ∇uR 2 + (vR ◦ ψ)2 ∇uT 2 dx , 2 2 1 1 Dφ − 112 + Dψ − 112 dx , 2 2 1 1 φ ◦ ψ(x) − x2 + ψ ◦ φ(x) − x2 dx . 2 2
(3) (4) (5)
Here, 11 is the identity matrix. The external functional Eext favors transformations that align zero–regions of the phase field of one image to regions of high gradient in the other image. The internal functional Eint imposes a common smoothness prior on the transformations. The consistency functional Econ constrains the transformations to be inverse to each other, since it is minimized when φ = ψ −1 and ψ = φ−1 . 2.3
Variational Formulation
The definition of the global functional EG [Φ] is mathematically symmetrical with respect to the two groups of unknown [uR , vR , φ] and [uT , vT , ψ]. Thus, we restrict here to variations with respect to [uR , vR , φ]. The other formulas can be deduced in a complementary way.
A Variational Framework for Joint Image Registration
249
Fig. 2. Results of 3D registration. We denote the original MRI volume as R and the artificially deformed volume as T . After symmetric registration, the resampled volume are denoted as R and T respectively. (a) The check board volume of R and T . (b) The check board volume of R and T .(c) The check board volume of T and R . The parameter setting: α = 2550, β = 1, ν = 1, µ = 0.1, λ = 20, κ = 1, = 0.5h.
a
b
c
For testfunctions ϑ ∈ C0∞ (Ω), ζ ∈ C0∞ (Ω, Rd ), we obtain '
∂uR EG , ϑ =
'
2 α(uR − u0R )ϑ + βvR ∇uR · ∇ϑ + µ(vT ◦ φ)2 ∇uR · ∇ϑdx , Ω
ν β ∇uR 2 vR ϑ + (vR − 1)ϑdx 4 ' ν∇vR · ∇ϑ + µ∇uT ◦ ψ −1 2 vR ϑ |det Dψ|−1 dx , + Ω ' ∂φ EG , ζ = µ ∇uR 2 (vT ◦ φ)∇(vT ◦ φ) · ζ + λDφ : Dζ
∂vR EG , ϑ =
Ω
Ω
+ κ([φ ◦ ψ](x) − x) · [ζ ◦ ψ](x) + ([ψ ◦ φ](x) − x)Dψ(h(x)) · ζ(x)dx .
where A : B = ij Aij Bij . At first, a finite element approximation in space is applied [10]. Then, we minimize the corresponding discrete functional by finding a zero crossing of the variation. Because of the high dimensionality of the minimization problem (six unknown functions, two of them vector valued), we employ an EM type algorithm, i.e. we iteratively solve for zero crossings of the variations given before. Since the variations with respect to the images and the phase fields are linear in the given variable, we can solve these equations directly with a CG method. The nonlinear equations for the transformation are solved with a time discrete, regularized gradient flow, which is closely related to iterative Tikhonov regularization, see [11].
3
Results
The first experiment was performed on a pair of T1/T2 MRI slices (See Fig.1a,1b), which have the same resolution (257 × 257) and come from the same
250
J. Han et al.
patient. The experiment results in Fig.1 show that the proposed method successfully removes the noise (Fig.1c,1d) and detects the edge features (Fig.1e,1f ) of T1/T2 slices. Moreover, the method computes the transformations such that the two transformed slices (Fig.1g,1h) optimally align to the original images according to the edge features, see (Fig.1i,1j). The second experiment was designed to demonstrate the effect of the proposed method in 3D. We deformed one MRI volume (129 × 129 × 129) with Gaussian radial basis function (GRBF) and seek to recover the artificially introduced transformation via symmetric registration method. See the registration results in Fig.2. Acknowledgements. The authors gratefully acknowledge the support of Deutsche Forschungsgemeinschaft (DFG) under the grant SFB 603, TP C10. The authors also thank HipGraphic Inc. for providing the software for volume rendering (InSpace).
References 1. Z¨ ollei L, Yezzi A, Kapur T. A Variational Framework for Joint Segmentation and Registration. In: MMBIA’01: Proceedings of the IEEE Workshop on Mathematical Methods in Biomedical Image Analysis. Washington, DC, USA: IEEE Computer Society; 2001. p. 44–51. 2. Chen Y, Thiruvenkadam S, Huang F, Gopinath KS, Brigg RW. Simultaneous segmentation and registration for functional MR images. In: Proceedings. 16th International Conference on Pattern Recognition. vol. 1; 2002. p. 747–750. 3. Young Y, Levy D. Registration-based morphing of active contours for segmentation of CT scans. Mathematical Biosciences and Engineering 2005;2(1):79–96. 4. Pohl KM, Fisher J, Levitt JJ, Shenton ME, Kikinis R, Grimson WEL, et al. A Unifying Approach to Registration, Segmentation, and Intensity Correction. In: MICCAI; 2005. p. 310–318. 5. Droske M, Ring W. A Mumford-Shah Level-Set Approach for Geometric Image Registration. SIAM Appl Math 2005; to appear. 6. Droske M, Ring W, Rumpf M. Mumford-Shah Based Registration. Computing and Visualization in Science manuscript 2005; submitted. 7. Ambrosio L, Tortorelli VM. On the approximation of free discontinuity problems. Boll Un Mat Ital B 1992;6(7):105–123. 8. Ambrosio L, Tortorelli VM. Approximation of functionals depending on jumps by elliptic functionals via Γ -convergence. Comm Pure Appl Math 1990;43:999–1036. 9. Mumford D, Shah J. Boundary detection by minimizing functional. In: Proceedings. IEEE conference on Computer Vision and Pattern Recognition. San Francisco, USA; 1985. 10. Bourdin B, Chambolle A. Implementation of an adaptive Finite-Element approximation of the Mumford-Shah functional. Numer Math 2000;85(4):609–646. 11. Clarenz U, Henn S, Rumpf K M Witsch. Relations between optimization and gradient flow methods with applications to image registration. In: Proceedings of the 18th GAMM Seminar Leipzig on Multigrid and Related Methods for Optimisation Problems; 2002. p. 11–30.
Evaluierung von Registrierungsstrategien zur multimodalen 3D-Rekonstruktion von Rattenhirnschnitten Christoph Palm, Andrea Vieten, Dagmar Bauer und Uwe Pietrzyk Institut f¨ ur Medizin, Forschungszentrum J¨ ulich GmbH, 52425 J¨ ulich Email:
[email protected]
Zusammenfassung. In dieser Arbeit werden drei Strategien zur 3D Stapelung von multimodalen Schnittbildern vorgestellt. Die Strategien werden experimentell anhand von Dualtracer-Autoradiographien evaluiert. Dazu werden neue Maße zur Beschreibung der Konsistenz innerhalb einer Modalit¨ at und der Konsistenz der Modalit¨ aten untereinander entwickelt, die auf bekannten Registrierungsmetriken basieren. Gerade bez¨ uglich der Konsistenz der Modalit¨ aten untereinander zeigen zwei Strategien die besten Resultate: (1) abwechselnde multimodale Registrierung (2) monomodale Rekonstruktion einer Modalit¨ at und multimodale 2D Registrierung der zweiten Modalit¨ at.
1
Einleitung
In der Neurologie werden h¨ aufig bildgebende Verfahren wie MRT und PET eingesetzt, die ein koh¨ arentes 3D-Hirnmodell liefern. Allerdings weisen die Verfahren eine geringe Ortsaufl¨ osung auf. Daher werden bei Tierexperimenten hochaufl¨osende ex vivo Techniken wie Autoradiographie und Histologie von 2D Hirnschnitten verwendet. Der Bezug der Einzelschnitte zueinander geht dabei verloren, da jede Schicht praktisch separat ausgemessen wird. Der Vergleich mit origin¨ aren 3D Verfahren erfordert daher die nachgelagerte Registrierung der Schnittserien zu einem 3D Datensatz. Speziell in der neurologischen Tumorforschung wird durch gleichzeitige Beobachtung verschiedener Eigenschaften wie Rezeptordichte oder pH-Wert die Wirkungsweise eines Tumors auf molekularer Ebene untersucht. Jede dieser Eigenschaften kann durch ein anderes bildgebendes Verfahren visualisiert werden. Allerdings ist f¨ ur jeden Hirnschnitt nur genau ein Verfahren anwendbar. Deshalb werden unter der Annahme geringer morphologischer Ver¨anderungen benachbarte Schnitte verschieden aufgenommen. Bei der Zusammensetzung dieser multimodalen Schnittserien ergibt sich damit das besondere Problem der konsistenten Rekonstruktion eines multimodalen 3D Modells.
2
Stand der Forschung
Die Registrierung eines monomodalen Rattenhirn-Schnittbildstapels, sei es Histologie oder Autoradiographie, wird mangels eindeutiger Landmarken meist
252
C. Palm et al.
Abb. 1. Beispiel eines Schnittbildes mit FET (I) und MET Anreicherung (II). Das gemeinsame Histogramm (III) nach Registrierung zeigt genau ein Cluster. III
II MET Bildwerte
I
FET Bildwerte
intensit¨ atsbasiert gel¨ ost. Als Metriken kommen dabei die normalisierte Korrelation [1] oder Mutual Information in Frage. Einige Verfahren beschr¨anken sich auf eine rigide Registrierung, andere setzen nicht-rigide Techniken ein [2]. Es finden sich nur wenige Ans¨ atze zum speziellen Problem der multimodalen Stapelregistrierung. In [3] wird genau ein Verfahren zur multimodalen Schnittbildregistrierung angewendet ohne die Qualit¨ at zu untersuchen. In diesem Beitrag werden erstmals verschiedene Strategien zur Registrierung von multimodalen Schnittbildserien vorgestellt. F¨ ur eine nicht-rigide Registrierung fehlt eine antatomische Referenz, so dass wir uns hier auf rigide Registrierungstechniken beschr¨ anken. Zur Erzeugung eines Quasi-Goldstandards zur rigiden Registrierung wird die spezielle Aufnahmetechnik der Dual-TracerAutoradiographie (Abschn. 3) genutzt. Damit lassen sich intermodale und intramodale Konsistenzmaße definieren (Abschn. 3), um die Strategien quantitativ zu vergleichen (Abschn. 5).
3
Qualit¨ atsmaße
Die Registrierungsgenauigkeit kann bei multimodalen Bildern wegen der unterschiedlichen Signale nicht in Form von Differenzbildern gemessen werden. Statt dessen werden segmentierte Regionen oder deren Konturen verglichen. Ein solches Verfahren ist auf Schnittserien nicht ohne Weiteres u ¨ bertragbar, weil Differenzen neben der m¨ oglichen Registrierungsungenauigkeit eine weitere Ursache in morphologischen Unterschieden von Schnitt zu Schnitt haben k¨onnen. Dual-Tracer-Autoradiographie: Um morphologische Unterschiede ausschließen zu k¨ onnen, wurde f¨ ur diese Studie die Technik der Dual-TracerAutoradiographie eingesetzt, bei der zwei unterschiedliche Tracer FET (O-2[18 F]fluoroethyl-L-tyrosin) und MET (L-methyl-[3 H]-methionin) gleichzeitig injiziert werden. Die unterschiedliche Halbwertszeit beider Isotope (110 Minuten bzw. 12,3 Jahre) und die M¨ oglichkeit der Abschirmung des Tritiums [3 H], erlauben die Autoradiographie des FET (Abb. 1, I) sofort und des MET (Abb. 1, II) nach Abklingen des 18 F. Damit liegen multimodale autoradiographische Daten bei identischen Hirnschnitten vor. Obwohl beide Modalit¨aten unterschiedliches Rauschverhalten aufweisen, ergibt sich im gemeinsamen Histogramm ein Cluster (Abb. 1, III).
Evaluierung von Registrierungsstrategien
253
Abb. 2. Strategien zur Registrierung zweier Modalit¨ aten A and B: MOP (links), SOP (Mitte), and MOSOP (rechts). Die Schnitte in hellgrau markieren die Referenzbilder, die dunkelgrau markierten Schichten die auszurichtenden Bilder. Theoretisch f¨ uhren alle drei Strategien zu einem konsistenten 3D Modell (III).
A
A
A
B
B
B
I
II
III
I
II
III
I
II
III
Intramodale- und Intermodale Konsistenz: Zur Beurteilung der Registrierungsqualit¨ at unterscheiden wir die intramodale Konsistenz sowie die intermodale Konsistenz. Als Maß f¨ ur die Genauigkeit einer 2D Registrierung zweier ¨ Schnitte wird als regionenbasierter Ansatz das Uberlappungsgebiet (UG) der Schnittsegmente definiert. Bei der intramodalen Konsistenz wird nach der Registrierung jeweils ein monomodaler Schnittbildstapel angenommen, d.h. nur die Schnitte einer Modalit¨at werden zu einem 3D Modell zusammengef¨ ugt. Dabei werden benachbarte Schnitte miteinander verglichen, obwohl sie morphologisch Unterschiede aufweisen. Folglich hilft hier die Technik der Dual-Tracer-Autoradiographie nicht weiter. Die Ergebnisse sind entsprechend vorsichtig zu interpretieren. Als Maß f¨ ur die Registrierungsqualit¨ at des Gesamtstapels wird der Median aller paarweiser Einzelergebnisse verwendet. Bei der intermodalen Konsistenz werden zwei monomodale Stapel miteinander verglichen. Dieser Vergleich bezieht sich auf gleiche Schnitte unterschiedlicher Modalit¨ at. Durch Anwendung der Dual-Tracer-Autoradiographie handelt es sich damit sogar um absolut identische Schnitte, was eine exakte Quantisierung der Registrierungsgenauigkeit zul¨ asst. Auch hier wird als Maß f¨ ur die Gesamtstapel der Median der Einzelergebnisse genutzt.
4
Strategien zur multimodalen Stapel-Registierung
Drei Strategien zur Registrierung der multimodalen Schnittbildstapel werden hier vorgestellt und verglichen: MOP, SOP und MOSOP. – MOP (Modality-Preferred): Zuerst werden beide Stapel monomodal mit einer Reihe von 2D Registrierungen rekonstruiert. Erst dann erfolgt die multimodale Registrierung der 3D Stapel (Abb. 2, links). Mit dieser Strategie wird die Konsistenz der monomodalen Stapel optimiert. – SOP (Sliceorder-Preferred): Beide Modalit¨aten werden gem¨aß der Schnittreihenfolge gemischt. Durch eine Reihe von 2D Registrierungen werden jeweils die morphologisch ¨ ahnlichsten Schnitte unabh¨angig von der Aufnah-
254
C. Palm et al.
Abb. 3. Vergleich der Ergebnisse verschiedener Strategien zur multimodalen Schnittbildstapelung. Dargestellt sind jeweils die Differenzen zwischen MOP und SOP (weiß) sowie zwischen MOP und MOSOP (grau) f¨ ur neun Datens¨ atze. SOP-MOP
UG 0.18
MOSOP-MOP
Datensatz 1
Datensatz 2
Datensatz 3
Datensatz 4
Datensatz 5
Datensatz 6
Datensatz 7
Datensatz 8
Datensatz 9
A B AB
A B AB
A B AB
A B AB
A B AB
A B AB
A B AB
A B AB
A B AB
***
0.10 0.08 0.06 0.04 0.02 0
memodalit¨ at u ¨ berlagert. Durch die wechselnde Aufnahmetechnik sind alle Registrierungen multimodal (Abb. 2, Mitte). – MOSOP (Modality-and-Sliceorder-Preferred): Wie bei MOP wird zun¨achst ein monomodaler Stapel gebildet. Die Schnitte der zweiten Modalit¨at werden dann multimodal in 2D mit den korrespondierenden Schnitten der bereits registrierten ersten Modalit¨ at u ¨ berlagert (Abb. 2, rechts).
5
Ergebnisse
Zur Evaluation wurden neun Datens¨ atze mit Hilfe der Strategien MOP, SOP und MOSOP rigide registriert. Im Rahmen der Einzelregistrierungen wurde die normalisierte Korrelation u ur ¨ ber ein Gradientenabstiegsverfahren optimiert. F¨ die resultierenden Stapel wurde die intramodale- sowie die intermodale Konsistenz berechnet. Jeder Datensatz besteht aus ca. 60 Schnitten, die jeweils mit zwei Modalit¨ aten A und B nach der Technik der Dual-Tracer-Autoradiographie aufgenommen wurden. Die Darstellung der Ergebnisse erfolgt als Differenzen von SOP und MOSOP gegen¨ uber MOP als Referenzstrategie. Die Graphik in Abbildung 3 zeigt die Differenzen f¨ ur alle neun Datens¨ atze mit der intramodale Konsistenz f¨ ur Modalit¨at A, der intramodalen Konsistenz f¨ ur Modalit¨ at B und der intermodalen Konsistenz f¨ ur AB. Hohe Werte bedeuten eine große Verbesserung des Konsistenz von SOP bzw. MOSOP gegen¨ uber MOP. Die intramodale Konsistenz von MOP wurde durch SOP in zwei F¨allen und durch MOSOP in einem Fall deutlich verbessert. Dabei ist zu beachten, dass sich durch die Definition der Strategien automatisch eine identische intramodale Konsistenz f¨ ur A bei MOP und MOSOP ergibt (Abb. 3, graue A-Balken). Bez¨ uglich der intermodalen Konsistenz zeigt sich eine Verbesserung der MOP Basislinie f¨ ur alle neun Datens¨ atze. Dabei verhalten sich SOP und MOSOP
Evaluierung von Registrierungsstrategien
255
Abb. 4. Horizontale und sagitale Sicht auf einen monomodalen 3D Stapel nach Registrierung mit MOP (I+II), SOP (III+IV) and MOSOP (V+VI). Die andere Modalit¨ at ist durch die u ¨ berlagerte Kontur angedeutet.
I
II
III
IV
V
VI
nahezu identisch. Beispielhaft wird der Unterschied zwischen den Ergebnissen der einzelnen Strategien in Abbildung 4 deutlich. Dabei werden zwei Schichten durch den rekonstruierten 3D FET Stapel in jeweils orthogonaler Richtung zum Originalschnitt mit u ¨ berlagerter Kontur des MET Stapels gezeigt. Bei guter intermodaler Konsistenz passt die u ¨ berlagerte Kontur gut. Die intramodale Konsistenz ist dann gut, wenn die inneren Strukturen gut sichtbar sind. Eine glatte Außenkontur z.B. in der sagitalen Sicht hat dagegen keine Bedeutung, da es im Randbereich h¨ aufig zu Artefakten aufgrund der Schnitttechnik kommt.
6
Zusammenfassung und Diskussion
Durch die Dual-Tracer-Autoradiographie konnte erstmals ein Quasi-Goldstandard zur Beurteilung der Registrierungsqualit¨ at von multimodalen Schnittbildstapeln pr¨ asentiert werden. Damit wird eine quantitative Messung der intramodalen Konsistenz und der intermodalen Konsistenz m¨oglich. Weiterhin wurden erstmals systematisch drei Strategien zur Registrierung von multimodalen Schnittbildstapeln vorgestellt. Es zeigte sich, dass generell die Strategien SOP und MOSOP vergleichbar, aber jeweils deutlich der Strategie MOP u ¨berlegen sind. Angesichts der als schwieriger geltenden multimodalen Registrierung war die Vergleichbarkeit der Ergebnisse von SOP und MOSOP nicht zu erwarten. Insbesondere Registrierungsfehler werden bei SOP u ¨ ber beide Stapel propagiert, w¨ ahrend sie sich bei MOSOP eher lokal auswirken. Offenbar ist aber beim vorliegenden Bildmaterial die Registrierungsqualit¨at so hoch, dass diese systematischen Unterschiede keine Bedeutung haben.
Literaturverzeichnis 1. Nikou C, Heitz F, Nehlig A, Namer IJ, Armspach N. A robust statistics-based global energy function for the alignment of serially acquired autoradiographic sections. Journal Neuroscience Methods 2003;124:93–102. 2. Wirtz S, Fischer B, Modersitzki J, Schmitt O. Super-fast elastic registration of histologic images of a whole rat brain for three-dimensional reconstruction. SPIE Medical Imaging 2004;5370:328–334. 3. Goldszal AF, Tretiak OJ, Liu DD, Hand PJ. Multimodality multidimensional image analysis of cortical and subcortical plasticity in the rat brain. Annals Biomedical Engineering 1996;24:430–439.
Interpolation of Temporal Image Sequences by Optical Flow Based Registration Jan Ehrhardt1 , Dennis S¨ aring1 and Heinz Handels1 1
Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg–Eppendorf, 20246 Hamburg Email:
[email protected]
Abstract. Modern tomographic imaging devices enable the acquisition of temporal image sequences. In our project, we study cine MRI sequences of patients with myocardial infarction. Because the sequences are acquired with different temporal resolutions, a temporal interpolation is necessary to compare images at predefined phases of the cardiac cycle. This paper presents an interpolation method for temporal image sequences. We derive our interpolation scheme from the optical flow equation. The spatiotemporal velocity field between the images is determined using an optical flow based registration method. Here, an iterative algorithm is applied, using the spatial and temporal image derivatives and a spatiotemporal smoothing step. Afterwards, the calculated velocity field is used to generate an interpolated image at the desired time by averaging intensities between corresponding points. The behavior and capability of the algorithm is demonstrated on synthetic image examples. Furthermore, quantitative measures are calculated to compare this optical flow based interpolation method to linear interpolation and shape–based interpolation in 5 cine MRI data sets. Results indicate that the presented method statistically significantly outperforms both linear and shape–based interpolation.
1
Introduction
The study of organ motion becomes more and more important, e.g. in cardiac imaging or in radiotherapy treatment planning. But in general, the spatial and temporal resolution of imaging devices is limited and a compromise between spatial resolution, temporal resolution, acquisition time and signal–to–noise ratio must be found. Therefore, in a number of image processing tasks a spatial and temporal interpolation of data sets is necessary to calculate dense motion models for instance. In our project, we compare cardiac cine MRI sequences of different patients, acquired with different temporal resolutions. A temporal interpolation of the image data is necessary to generate images at predefined phases of the cardiac cycle. This paper describes an optical flow based interpolation method for temporal image sequences. Five cine MRI data sets were used to perform a quantitative analysis. Statistical measures were calculated to compare our interpolation algorithm to linear and shape–based interpolation.
Interpolation of Temporal Image Sequences
2
257
Method
The theoretical motivation of our interpolation method is the optical flow equation. Other registration–based interpolation methods for 3D image volumes were presented for example in [1] and [2]. But no theoretical background was provided and the methods are limited to consecutive slices. In contrast, the optical flow equation makes the use of more than two consecutive slices for the calculation of the velocity field possible. Determining the optical flow. The initial hypothesis of optical flow based methods is that the pixel intensities of time varying image regions remain constant: dI(x(t), t)/dt = 0. From the optical flow equation we obtain v = −∇I
∂t I , ∇I2
(1)
where v is the spatiotemporal velocity field and ∇I the spatial image gradient. Equation (1) is ill–posed and additional constrains are necessary [3]. In our implementation the regularization is done by a spatiotemporal Gaussian smoothing of the velocity field. The temporal derivative ∂t I can be simply computed by finite differences or by a convolution with a Gaussian derivative in time direction to take more than two consecutive slices into account. Optical flow based interpolation. From the intensity conservation assumption follows for the image I(x, t) at time t = t0 + δt: I(x(t), t) ≈ I(x(t) − δt · v, t0 ).
(2)
Thus, if the velocity field v is known, we can interpolate the image at time t from an image at time t0 . But in general the intensity conservation assumption might not be fulfilled and structures may appear or disappear between two time steps. Therefore, we use a weighted average between corresponding voxels in the adjacent time frames I(x, ti ) and I(x, ti+1 ): I(x(t), t) = (1 − δt) · I (x(t) − δtv, ti ) + δt · I x(t) − (1 − δt)v −1 , ti+1 , (3) with ti < t < ti+1 , δt = t−ti and a normalized time step ti+1 −ti = 1. In general, the inverse velocity field v −1 can’t be computed directly. In our interpolation scheme an iterative Newton–Raphson method is used to calculate the inverse velocity for each grid point [4]. Evaluation methods. Our interpolation method relies on two assumptions: the intensity conservation assumption and that the algorithm is capable to calculate the correct velocity field v. In a first evaluation we generated a synthetic phantom (see fig. 1). For this image sequence the intensity conservation assumption is violated. The aim was to evaluate the behavior of the algorithm in this case.
258
J. Ehrhardt, D. S¨ aring and H. Handels
Fig. 1. Top row: Two slices of the phantom. Bottom row: Interpolations between the phantom slices with varying time step. Each row shows one line in the interpolated image for a given time step. The position of the line is indicated by the dotted line in the top images. Bottom left: linear interpolation, bottom middle: optical flow based interpolation and bottom right: shape–based interpolation.
y
y
x
t=0
t
t=1
t
x
x
t
x
x
In a second evaluation procedure we calculated quantitative measures to compare our interpolation method with two other methods: linear and shape–based interpolation [5]. Linear interpolation is the most frequently used interpolation technique and was chosen as a baseline reference. The shape–based interpolation algorithm was chosen since it was shown to have the best performance in a comparison of interpolation methods [6]. For the quantitative evaluation five cardiac MRI datasets (ECG-triggered true FISP sequences, between 13 and 21 time frames, 224 × 256 pixels) were used. For evaluation each slice of the temporal image sequence (apart from the first and the last slice) was removed one at a time and the three interpolation methods were used to interpolate the missing slice. Finally, the interpolated slices were compared to the original removed slices. In conformity with the paradigm proposed by Grevera and Udupa three error measures were used: the mean difference (MD), the number of sites of disagreement (NSD) and the largest difference per slice (LDS) (see [6] for an exact definition). To compare two interpolation methods a measure called statistical relevance was used. This measure expresses the degree of importance of the observed difference between the methods, e.g. the statistical relevance between the linear MD and the optical flow based MD is given by: +100 · (1 − M Df low /M Dlin ) , if M Dlin > M Df low . (4) = rfMD low/lin −100 · (1 − M Df low /M Dlin ) , otherwise
Interpolation of Temporal Image Sequences
259
Fig. 2. Top row: A sample slice estimated by linear (left) optical flow based (middle) and shape–based (right) interpolation. Bottom row: Corresponding difference image I int (x) − I orig (x) between the interpolated and original slice.
3
Results
In the first qualitative evaluation we interpolated 20 slices between the images of the phantom at varying time steps δt ∈ [0, 1]. The bottom row of fig. 1 gives a comprehensive sketch of the behavior of the different interpolation methods. Each row of the images show one line of the interpolated image for a given time step. Although the intensity constrain is violated the optical flow based method produced satisfactory results. In this case a compromise between intensity–based and shape–based interpolation was found. In a second evaluation five cardiac MRI datasets were used. Table 1 shows the statistical relevance of the error measures MD and NSD and the mean statistical relevance of LSD (averaged over the slices) to compare the interpolation methods. Positive values indicate that the optical flow based method performed better. The results in table 1 show that the optical flow based interpolation outperformed linear and shape–based interpolation in most cases significantly. In contrast to NSD and LDS only a slight improvement of the mean difference (MD) is indicated. Since a large part of the displayed structures doesn’t change over the cardiac cycle the mean difference is strongly influenced by noise. If the image structures change considerably between adjacent slices, the most noticeable improvements by our method were observed. In fig. 2 sample slices estimated by the three interpolation methods and corresponding difference images
260
J. Ehrhardt, D. S¨ aring and H. Handels
Table 1. Statistical relevance values of mean difference (MD), number of sites of disagreement (NSD) and largest difference per slice (LDS) to compare the optical flow based with linear and shape–based interpolation. Positive values indicate the optical flow method performed better. A dash in the table indicates that the difference between the two methods was not statistically significant (paired student’s t–test, p ≤ 0.05).
data set MRI MRI MRI MRI MRI
01 02 03 04 05
statistical flow/lin r M D r NSD r LDS 3.35 12.11 14.46 – 13.33 21.95 5.49 9.35 9.97 3.69 8.63 – – 3.07 7.12
relevance flow/shape r M D r NSD r LDS 3.4 19.91 20.72 1.47 24.65 26.3 3.05 8.19 16.07 2.84 9.18 17.68 3.02 14.24 12.75
were shown. The linear interpolated image appears blurred and large differences can be observed. The shape-based interpolation conserves edges of image structures but small details are lost. The optical flow based interpolation performs more accurately and only few differences are shown in the difference image.
4
Conclusion
The quantitative results show that the optical flow based method clearly outperforms the linear and shape–based interpolation. Furthermore, in our experiments the optical flow based method was computational less expensive than the shape– based interpolation. But our interpolation method relies on two assumptions: the intensity conservation assumption and that the algorithm described is capable to calculate the correct velocity field. Therefore, further evaluation is necessary to study the robustness of the algorithm.
References 1. Goshtasby A, Turner DA, Ackerman LV. Matching of tomographic slices for interpolation. IEEE Trans Med Imaging 1992;11(4):507–516. 2. Penney GP, Schnabel A, Rueckert D, Viergever MA. Registration–based interpolation. IEEE Trans Med Imaging 2004;23(7):922–926. 3. Horn BKP, Schunck BG. Determining optical flow. Artif Intell 1981;17(1-3):185– 203. 4. Press WH, Teukolsky SA, Vetterling WT, Flannery BP. Numerical recipes in C. Cambridge University Press; 1992. 5. Grevera GJ, Udupa JK. Shape–based interpolation of multidimensional grey–level images. IEEE Trans Med Imaging 1996;15(6):881–892. 6. Grevera GJ, Udupa JK. An objective comparison of 3–D image interpolation methods. IEEE Trans Med Imaging 1998;17(4):642–652.
GPU Accelerated Image Registration in Two and Three Dimensions A. K¨ ohn, J. Drexl, F. Ritter, M. K¨ onig and H.O. Peitgen MeVis - Center for Medical Diagnostic Systems and Visualization Universit¨ at Bremen
Abstract. Medical image registration tasks of large volume datasets, especially in the non-rigid case, often put a heavy burden on computing resources. GPUs are a promising new approach to address computational intensive image processing tasks. We investigate recently introduced GPU hardware features that accelerate 2D and 3D rigid and nonrigid registration tasks. Our implementation is entirely GPU based.
1
Introduction
Strzodka et al. [1] describe an implementation of a 2D non-rigid registration algorithm on a graphics processor (GPU) using DirectX 9 compatible hardware. They use the regularized gradient flow (RGF) algorithm originally introduced by Clarenz et al. [2]. RGF is a fast state-of-the-art registration algorithm set in the framework of variational calculus, regularization theory, and deterministic annealing (multiscale) optimization methods, similar to the ”velocity-based diffusion registration”of Fischer and Modersitzki [3]. We explore the extension of RGF to 3D on a GPU. Furthermore, we also provide 2D/3D rigid registration. In contrast to the work of Hastreiter and Soza [4] who used the trilinear interpolation capabilities of graphics hardware to accelerate the deformation of the moving volume but otherwise left the computation on the CPU, our implementation is entirely GPU-based. We provide performance benchmarks for our implementations and compare them to available CPU based implementations.
2
The Algorithms
Image registration is the problem of finding a coordinate transformation Φ to align a template image fT to a reference image fR , so that fR ≈ fT ◦ Φ. We focus on the sum-of-squares difference (SSD) metric: ' 1 E= [fR (x) − fT (Φ(x))]2 dx = min! (1) 2 Ω =:e(x)
with Ω = [0; 1]d , d as the image dimension [2].
262
A. K¨ ohn et al.
Rigid Registration with the SSD criterion: Let Φ(x, p) be a coordinate transform parameterised by the vector p. The gradient descent algorithm to compute an optimal p∗ for (1) can be written as a differential equation: p˙ = −∇E,
p(0) = p0
with the gradient of E with respect to p given by: ' ∇E = −e(x)J T ∇fT (Φ(x, p))dx
(2)
(3)
Ω
and J as the Jacobian: Jij = ∂p∂ j Φi of the coordinate transform. For rigid registration, Φ is a linear rigid transformation (3D: three translations and three rotations). In our code we employ an explicit formula for the computation of the Jacobian, as we found that using finite difference approximations can lead to convergence problems. Nonlinear Registration via RGF: In this case we deal with a freeform deformation parameterised by a displacement field u(x): Φ(x) = x + u(x). The ”Gradient Flow”is the Gateaux-Derivative of E with respect to u: E [u] = −e(x)∇fT (x + u(x)) The RGF algorithm consists in updating the smoothed gradient flow: u˙ = −B E [u],
u(0) = u0
(4)
to find an optimal u∗ , with a d-dimensional linear smoothing operator B. The smoothing (i.e. regularization) is necessary to bring a certain amount of ”coherence”into the free-form deformation Φ. Time-Discretization and Annealing: The time discretization of the differential equations is done by using the explicit Euler rule [2]. The step size of the explicit Euler step is determined by employing the well-known Armijo rule [2]. A deterministic annealing strategy is used to avoid local minima. The strategy works on a Gaussian image pyramid of fR and fT , the pyramid scale plays the role of the annealing temperature [2]. Choosing the smoothing operator B in RGF: Following a suggestion of Clarenz [2], we regularize the gradient flow with a Gaussian filter instead of using a multigrid smoother [1]. The main advantage of a multigrid smoother is that more global deformations can get corrected. But this is also achieved by using a multiscale approach, which justifies the use of a simple filtering instead of the comparably expensive multigrid smoother. A similar approach can be found in [5].
GPU Accelerated Image Registration in Two and Three Dimensions
263
Table 1. comparison of voxel accumulation methods (256*256*128 fp16 texture with 1 channel) method A B C1 C2
3 3.1
memory 18 mb (16+2) 160 kb (128+32) 160 kb 160 kb
RT switches 255 1024 8 8
time GPU1 130.79 ms 52.16 ms 23.73 ms 18.14 ms
time GPU2 343.36 ms 42.6 ms 12.29 ms 9.84 ms
GPU Implementation Issues General Outline
The GPU Programming is done entirely in the OpenGL GPU language GLSL. We used a GeForce 6800 PCI-E 256MB(GPU1) and a GeForce 6800 GT AGP 256MB (GPU2) board for the benchmarks. Render to texture: A particular problem arises when attempting to implement image processing algorithms that employ iteration over images. To pass result images from one iteration step as the input to the next iteration step one employs a technique called ”render to texture”. We use the new Framebuffer Objects (part of the OpenGL 2.0 specification). In [1] so-called Pbuffers have been used for this purpose. According to benchmarkings done by us, Framebuffer objects are 10-20 times faster than Pbuffers. 3.2
Rigid Registration
Warping: For the rigid case, we use hardware accelerated image warping of the moving image fT (via the OpenGL texture matrix) with activated linear interpolation. Voxel accumulation in 3D: To compute spatial discretized versions of E or a component of the gradient vector ∇E, the GPU has to accumulate the voxels of a volume into a scalar value. We want to take maximal advantage of GPU parallelism and hardware acceleration in the 3D case. We have investigated three methods for this problem and compared them for the task of computing E. The basic idea of all methods is again a pyramidal scheme and employing the linear interpolation hardware of the GPU (Figure 1). Method C also exploits the blending capabilities of graphics hardware, which enable one to linear combine the already written pixel/voxel with the new computed one. Method C is further improved by sampling multiple slices in one pass (method C2). This saves rendering passes and utilizes the graphics pipeline more efficiently. See Table 1 for a comparison of the voxel accumulation methods. The results show that method C is the best choice. Comparing the results of the two GPUs, one can also observe that method C scales the best when using faster hardware.
264
A. K¨ ohn et al. Fig. 1. Voxel accumulation methods
Method A: 3D buffer
Method B: 2D buffer for each slice of the 3D texture:
successively average 8 neighbouring texels via linear interpolation until each dimension is reduced to 1 texel
successively average 4 neighbouring texels via linear interpolation until each dimension is reduced to 1 texel and do this for each slice
Method C: 2D buffer with blending
render all slices to a temporary 2D texture with blending switched on, then reduce texture to 1 texel as described above
Using Multiple Render Target (MRT): Since there is currently no support to render to a slice of a 3D texture, one has to use an expensive workaround by rendering to a 2D texture and copying the contents back to the 3D texture. One can avoid this for the rigid case by computing ∇E in one pass. But since dim(∇E) = 6, and a texture can only hold four components, we would have to compute ∇E in two passes, wasting computational resources. Instead, employing the MRT feature of current GPUs allows rendering to four textures in one pass. 3.3
Non-rigid Registration
The displacement field u is represented as a 2D respectively 3D texture in GPU memory, but on a coarser resolution than the images. Since the regularization removes higher spatial frequencies from the displacement field this results in virtually no loss of information regarding the Nyquist Theorem. The required upsampling during the transformation of the moving image fT is done by hardware using linear interpolation. Update of the displacement field is performed by an explicit Euler step in the differential equation (4). To implement this on the GPU, we again employ blending u := u + η u, ˙ with stepsize η determined by Armijo’s rule. To evaluate the metric, we use the same approach as described above for the rigid case.
4
Results
We presented some methods to significantly improve performance for rigid and non-rigid registration algorithms using state-of-the-art graphics hardware. Table 2 shows some results. Please note that the GPU timings for the 3D non-rigid case contains expensive copy operations, hence we provided estimated timings without taking them into account (in brackets). We compared our approach with a simplex (Nelder-Mead) based and a steepest descent based algorithm for the rigid case. The later uses finite differences to calculate the gradient. We provided
GPU Accelerated Image Registration in Two and Three Dimensions
265
Table 2. Results of our registration implementations rigid 2D resolution 256*256 iterations 77 GPU time 105 ms t/iter 1.36 ms iterations 47 / 58 CPU time 656 ms / 6.1 s t/iter 14 ms / 105 ms CPU: Pentium 4 3.4 GHz 2GB
3D 256*256*128 76 5.24 s 69 ms 219 / 36 180 s / 260 s 822 ms / 7.2 s RAM - GPU: GeForce
non-rigid 2D 3D 256*256 256*256*128 67 16 200 ms 62.5 s (9.2 s) 2.98 ms 3.9 s (575 ms) 42 4.21 s 100 ms 6800 PCI-E 256MB
both timings; the first belongs to the simplex based registration. We only had CPU code for the 2D non-rigid case.
5
Discussion
GPU based image registration achieves a significant speedup for the 2D case and the 3D rigid case. For 2D rigid we obtained a speed advantage of factor 10 for the GPU per iteration, and a speed advantage of factor 12 for 3D rigid. This allows us to register a 256x256x128 voxels volume in approx. 5 seconds. Our 3D non-rigid registration however is not as fast as one would expect. The reason for this is a memory copy bottleneck: Current NVIDIA and ATI drivers don’t support rendering to a slice of a 3D volume so we have to render to a 2D texture and copy the results back to the 3D texture. This amounts to 80%-90% of the total computation time. Therefore, a huge speedup can be expected with the introduction of future drivers that support the render-to-3D-slice interface. Acknowledgments. We’d like to thank Dr. Robert Strzodka (Stanford University, Computer Science) for sharing his ideas with us, and Tobias B¨ ohler (MeVis) for the 2D RGF CPU code.
References 1. Strzodka R, Droske M, Rumpf M. Image Registration by a Regularized Gradient Flow - A Streaming Implementation in DX9 Graphics Hardware. Computing 2004. 2. Clarenz U, Droske M, Rumpf M. Towards fast non-rigid registration in Inverse Problems, Image Analysis and Medical Imaging. AMS Special Session Interaction of Inverse Problems and Image Analysis 2002;313:67–84. 3. Modersitzki J. Diffusion registration. Oxford University press; 2005. p. 153. 4. Soza G, Bauer M, Hastreiter P, Nimsky Ch, Greiner G. Non-Rigid Registration with Use of Hardware-Based 3D B´ezier Functions. MICCAI 2002;p. 549–556. 5. Stefanescu R, Pennec X, Ayache N. Grid-enabled non-rigid registration of medical images. Parallel Processing Letters 2004;14:197–216.
Hardwaregestu ¨tztes Stippling von medizinischen Oberfl¨ achenmodellen Alexandra Baer, Christian Tietjen, Martin Spindler und Bernhard Preim Institut f¨ ur Simulation und Graphik Otto-von-Guericke Universit¨ at Magdeburg, 39106 Magdeburg Email:
[email protected]
Zusammenfassung. In dieser Arbeit wird ein texturbasiertes Verfahren zur hardwaregest¨ utzten Stippling-Darstellung vorgestellt, welches auf beliebige medizinische Oberfl¨ achen angewendet werden kann. Unter Verwendung von Shadern werden Stippling-Texturen auf die Oberfl¨ achen aufgebracht und eine echtzeitf¨ ahige 3D-Visualisierung generiert. Ferner erm¨ oglicht das Verfahren eine Stippling-Darstellung der Oberfl¨ achen ohne notwendige Vorverarbeitungsschritte und unabh¨ angig von der Komplexit¨ at des Objektgitters. Die Anforderungen an traditionelle Stippling-Illustrationen sowie an interaktive NPR-Darstellungen, wie Frame-Koh¨ arenz und Skalierbarkeit, wurden ber¨ ucksichtigt und in der Umsetzung integriert.
1
Einleitung
In der computergest¨ utzten medizinischen Ausbildung und Therapieplanung ist es oft wichtig, interessante und relevante anatomische Strukturen in ihrem Kontext u ur oft ¨ bersichtlich darzustellen. In anatomischen Atlanten werden hierf¨ illustrative Darstellungen anstelle von Photographien verwendet, da derartige simplifizierte Illustrationen eine schnelle Informationsverarbeitung erm¨oglichen. Bevorzugt werden Techniken wie Silhouetten, Schraffur oder Stippling eingesetzt. Stippling ist eine Punktiertechnik, bei der die Helligkeit und die Form der Objekte durch die lokale Punktdichte auf der Struktur realisiert werden. Diese Illustrationstechnik eignet sich hervorragend, um Kontextstrukturen unauff¨allig darzustellen und zugleich die Form der Struktur zu verdeutlichen. Stippling ist f¨ ur Organoberfl¨ achen einsetzbar, welche keine spezifische Kr¨ ummung oder Richtung aufweisen. In dieser Arbeit werden Oberfl¨achen genutzt, die aus Segmentierungsergebnissen von CT- oder MRT-Daten abgeleitet sind. Die gewonnenen Oberfl¨ achenmodelle durchlaufen einen mehrstufigen Prozess und werden aus dem Originalobjekt mittels Segmentierung, Oberfl¨ achengenerierung und -gl¨attung gewonnen [1].
2
Verwandte Arbeiten
In der Vorarbeit [2] wird eine Klassifizierung von Strukturen bzw. Objekten in Fokus-, fokusnahe und Kontextobjekte eingef¨ uhrt, um auf dieser Basis Darstellungsattribute zu definieren und zuzuweisen. [2] beschreiben eine Kombination
Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen
267
von Silhouetten mit Oberfl¨ achen und Verfahren zur Volumenvisualisierung, wobei die Integration von Stippling als eine zus¨ atzliche Darstellungstechnik vorgestellt wird. In der Computergrafik existieren verschiedene Ans¨atze, die eine Visualisierung der Daten u oglichen. F¨ ur eine interaktive Echtzeit¨ ber Stippling erm¨ Visualisierung m¨ ussen einerseits spezielle Anforderungen an die Skalierbarkeit der Punkt-Primitive auf der Objektoberfl¨ ache sowie an die Frame-Koh¨arenz erf¨ ullt sein und andererseits wesentliche Merkmale einer Stippling-Illustration integriert werden. Die hierf¨ ur geeigneten Methoden k¨onnen in objekt-, volumenund texturbasierte Ans¨ atze unterteilt werden. [3] entwickelten ein direktes Volumen-Rendering-Verfahren, mit dem medizinische Volumendaten u ¨ ber Stippling dargestellt werden. [4] ist ein objektbasiertes Verfahren, um eine Animation statischer Oberfl¨ achenmodelle zu erm¨ oglichen. Beide Verfahren erzeugen in einem Vorverarbeitungsschritt eine maximale Anzahl von Punkten. Wird zu nah an die Struktur herangezoomt, reicht die Anzahl der vordefinierten Punkte nicht mehr aus, um die Struktur angemessen darstellen zu k¨onnen. Bisherige Ans¨atze haben eine hohe Vorverarbeitungszeit, sind nicht beliebig skalierbar oder frame-koh¨ arent und k¨ onnen nicht problemlos mit anderen Verfahren kombiniert werden. Texturbasiertes Stippling ist sehr effizient, erfordert allerdings eine verzerrungsfreie Texturabbildung. Wenn keine Texturkoordinaten f¨ ur die Modelle festgelegt sind, wird die Textur u urfel) auf ¨ ber eine Zwischengeometrie (Zylinder, W¨ das eigentliche Modell projiziert. Von der Grafik-Hardware wird bestenfalls das Cube-Mapping unterst¨ utzt, welches einen umliegenden texturierten W¨ urfel auf das Objekt abbildet. Das Polycube-Verfahren [5] erm¨oglicht f¨ ur komplexe Objekte eine Texturabbildung mit geringer Verzerrung. Hierbei muss in einem Vorverarbeitungsschritt das Objekt in eine W¨ urfelhierarchie unterteilt werden. F¨ ur texturbasierte Techniken wurden die Tonal-Art-Maps (TAM) eingef¨ uhrt [6]. TAMs sind Texturen, die Koh¨ arenz zwischen verschiedenen Helligkeits- und Aufl¨osungsstufen besitzen und somit Frame-Koh¨ arenz und Skalierbarkeit gew¨ahrleisten. Die Texturkoordinaten m¨ ussen dazu vorab festgelegt werden.
3
Methode
Die ben¨ otigten Oberfl¨ achen werden mittels Marching Cubes aus bin¨aren Segmentierungsmasken erstellt. F¨ ur den Einsatz von illustrativen Techniken ist in der Regel noch eine Gl¨ attung der Oberfl¨ achen n¨otig, um m¨ogliche resultierende Artefakte wie Ausfransungen bzw. Treppenstufen nicht unvermeidlich zu betonen. Die Auswahl und Parametrisierung der Gl¨attungsverfahren h¨angt dabei von der Art der anatomischen Struktur z.B. Organ oder Muskel ab [1]. Die gewonnenen Dreiecksnetze k¨ onnen dann von der Grafik-Hardware beschleunigt texturiert werden. Die Texturabbildung erfolgt im Fragment Shader und setzt sich aus dem Cube Mapping und dem Polycube-Ansatz zusammen, um m¨ogliche Texturverzerrungen zu minimieren.
268
A. Baer et al.
Abb. 1. Eine Darstellung des Herzens, wobei die Oberfl¨ ache ausschließlich durch Punkte repr¨ asentiert wird, sowie eine Detailansicht nach Heranzoomen eines bestimmten Objektbereiches.
Da nur Stippling-Punkte dargestellt werden sollen, lassen sich diese Verfahren stark vereinfachen. Zum einen entfallen zeitintensive Operationen zur Generierung eines objektspezifischen Polycubes, da der Objektraum als eine Unterteilung in Einheitsw¨ urfel betrachtet wird und somit keine Umformungen des Objektes notwendig sind. Zum anderen ist eine Textur f¨ ur alle Seiten an Stelle von sechs Texturen beim Cube Mapping ausreichend. Aufgrund der verwendeten Stippling-Textur sind alle Berechnungen f¨ ur die Texturabbildung anhand eines Referenzw¨ urfels durchf¨ uhrbar. Die Koordinaten der Eckpunkte werden mittels Modulo-Operation in diesen W¨ urfel abgebildet. F¨ ur einen Oberfl¨ achenpunkt wird zun¨ achst durch die Beleuchtungsberechnung der Grauwert ermittelt und somit die zu verwendende Textur bestimmt. Der Schnittpunkt der Normalen mit der W¨ urfelseite definiert das korrespondierende Texel. Stauchungen und Streckungen der Textur auf dem Objekt k¨onnen mit der Unterteilung in mehrere W¨ urfel sowie durch die Betrachtung des NormalenVektors f¨ ur die Bestimmung der W¨ urfelseite minimiert werden. Es wird eine Ann¨ aherung an eine fl¨ achentreue und konforme Abbildung erreicht. Der W¨ urfel muss geeignet skaliert werden. Wird er zu klein, wird die Textur zu einer grauen Fl¨ ache interpoliert. Wird der W¨ urfel zu groß, kann die Textur nicht mehr verzerrungsfrei abgebildet werden. Außerdem w¨ urde bei einem sehr hohen Zoomfaktor die Punktdichte der Textur sehr gering ausfallen. Deswegen wird das MIP-Mapping u urfelgr¨oße realisiert. Die ¨ber eine variierende W¨ Kantenl¨ ange eines W¨ urfels entspricht immer einer Zweierpotenz (die kleinste W¨ urfell¨ ange ist 1). Wenn nah an das Objekt herangezoomt wird, erfolgt eine Un¨ terteilung des Objektes in mehr W¨ urfel (siehe Abb. 1). Zur Uberblendung auf die h¨ohere W¨ urfelhierarchie wird das TAM-Konzept genutzt. Die Punktverteilung
Hardwaregest¨ utztes Stippling von medizinischen Oberfl¨ achenmodellen
269
Abb. 2. Kombination verschiedener Illustrationstechniken zur Darstellung von Kontextobjekten und fokusnahen Strukturen (Leber mit intrahepatischen Strukturen).
auf der Textur ist selbst¨ ahnlich aufgebaut, so dass die dunklen Punkte bei halber Kantenl¨ ange in der großen Texturabbildung enthalten sind. Die gleichm¨aßige Verteilung der Punkte wurde mit dem Poisson-Disk-Verfahren umgesetzt [7].
4
Ergebnisse
Es wurden verschiedene medizinische Modelle (Gehirn, Herz, Leber, Niere etc.) visualisiert und die Geschwindigkeit ihrer Darstellung in Frames per Second (fps) gemessen (siehe Abb. 1 und 2). Zus¨ atzlich wurde ein Stanford Bunny (kein medizinisches Objekt) gew¨ ahlt, um einen Vergleich zu in anderen Ver¨offentlichungen vorgestellten Verfahren zu erm¨ oglichen. Alle Werte wurden auf einer Nvidia GeForce 6600 GT PCI Express Grafikkarte gemessen. Die Auswertung hat gezeigt, dass mit Verwendung der Shader die Darstellungsgeschwindigkeit bei dem Stanford Bunny 63 fps betr¨ agt, unabh¨ angig von der Menge der StipplingPunkte auf dem Objekt. Der objektbasierte Ansatz [4] erreicht bei diesem Objekt 56 fps mit einer Nvidia GeForce 4 Grafikkarte und 120.000 generierten Punkten. Außerdem ben¨ otigt er eine aufw¨ andige Vorverarbeitung von 2:31min. Mit unserem Ansatz kann eine Stippling-Darstellung unabh¨angig von der Menge der darzustellenden Punkte erfolgen. Die Anzahl der Punkte wird f¨ ur die Textur festgelegt und wirkt sich demzufolge nicht nachteilig auf die Darstellungsgeschwindigkeit aus. Alle auszuf¨ uhrenden Berechnungen werden direkt auf der Grafikkarte und ohne vorherige Vorverarbeitung des Geometriemodells ausgef¨ uhrt. Das Verfahren ist einfach, aber sehr effektiv. Die Vorteile liegen u.a. darin, dass keine Parametrisierung notwendig ist. Die Dichte, Gr¨oße und Farbe
270
A. Baer et al.
der Punkte sind vom Benutzter beliebig einstellbar. Die Darstellung ist framekoh¨arent und kann beliebig skaliert werden. Eine Verzerrung der StipplingPunkte durch die Texturabbildung ist nicht wahrnehmbar. Das Verfahren l¨asst sich problemlos in die Rendering-Pipeline [2] integrieren, so dass noch anspruchsvollere Visualisierungen generiert werden k¨ onnen. Abb. 2 zeigt eine Komposition verschiedener Techniken. Strukturen, die Kontextinformationen liefern, werden hier mittels Stippling und Silhouetten abgebildet. Fokusnahe Objekte hingegen werden u ¨ ber Transparenz, Farbe oder wie in Abb. 2 u ¨ ber verschiedene Graustufen hervorgehoben.
5
Diskussion
Einsatzm¨ oglichkeiten dieser Technik liegen in der medizinischen Ausbildung und Therapieplanung. Kombiniert mit [2] ist diese Technik eine Erweiterung der Darstellungsm¨ oglichkeiten von gr¨ oßeren Kontextobjekten. In Bezug auf die Therapieplanung muss eine Evaluierung durchgef¨ uhrt werden, um festzustellen, ob mit dieser Technik eine schnellere Wahrnehmung der dargestellten Informationen gegeben ist. F¨ ur die wichtigen anatomischen Strukturen m¨ ussen Punktdichte und Punktgr¨ oße ebenfalls noch ermittelt werden. Danksagung. Diese Arbeit ist Teil des von der DFG gef¨orderten Schwerpunktprogramms Medical Navigation and Robotics“ (1124, PR 660/3-1). ”
Literaturverzeichnis 1. Bade R, Haase J, Preim B. Grundlegende Algorithmen und Strategien zur Gl¨ attung medizinischer Oberfl¨ achenmodelle. In: SimVis 2006; 2005. . 2. Tietjen C, Isenberg T, Preim B. Combining Silhouettes, Surface,and Volume Rendering for Surgery Education and Planning. In: IEEE/Eurographics Symposium on Visualization (EuroVis); 2005. p. 303–310. 3. Lu A, Morris CJ, Ebert DS, et al. Non-Photorealistic Volume Rendering using Stippling Techniques. In: VIS ’02. Washington, DC, USA: IEEE Computer Society; 2002. p. 211–218. 4. Meruvia-Pastor OE, Freudenberg B, Strothotte T. Real-Time Animated Stippling. IEEE Computer Graphics and Applications 2003;23(4):62–68. 5. Tarini M, Hormann K, Cignoni P, et al. PolyCube-Maps. ACM Transactions on Graphics 2004;23(3):853–860. 6. Praun E, Hoppe H, Webb M, et al. Real-Time Hatching. In: Fiume Eugene, editor. SIGGRAPH ’01; 2001. p. 579–584. 7. McCool M, Fiume E. Hierarchical Poisson Disk Sampling Distributions. In: Proceedings of the conference on Graphics Interface ’92. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.; 1992. p. 94–105.
Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips Dorit Merhof1,2 , Markus Sonntag1,2 , Frank Enders1,2 , Christopher Nimsky2,3 , Peter Hastreiter1,2 and G¨ unther Greiner1 1
2
Computer Graphics Group, University of Erlangen-Nuremberg, Germany Neurocenter, Dept. of Neurosurgery, University of Erlangen-Nuremberg, Germany 3 Dept. of Neurosurgery, University of Erlangen-Nuremberg, Germany Email:
[email protected]
Abstract. For the visualization of diffusion tensor imaging data, different approaches have been presented such as scalar metrics, glyphs or streamlines. Thereby, streamline techniques commonly referred to as fiber tracking provide a comprehensive and intuitive representation. For this reason, they are preferably applied for preoperative planning. The visualization of streamlines is solved by rendering lines or tubes to achieve even more significant results. However, the number of streamlines for a tracking of the whole brain or very dense tract systems may be immense, making a mesh-based tube visualization inefficient. To overcome this problem, we developed an alternative visualization technique for tubes by using textured triangle strips.
1
Introduction
Diffusion tensor imaging (DTI) is a magnetic resonance acquisition technique which has emerged in recent years providing valuable information about the location of white matter tracts within the human brain in vivo. DTI measures diffusion of water which is anisotropic in tissue with high degree of directional organization such as white matter. Thereby, information about the location of neuronal fibers is provided which is of great interest for neurosurgery. The reconstruction of white matter tracts from DTI data is commonly solved by tracking algorithms which utilize streamline techniques known from flow visualization. This visualization strategy provides an intuitive understanding of the spatial relation between fibers and space occupying lesions and is therefore a valuable supplement for neurosurgical planning [1, 2]. Almost all approaches presented in the context of fiber tracking focus on strategies to increase the precision of the computed streamlines. Thereby, filter approaches [3] have been presented as well as alternative streamline propagation techniques [4]. Recent approaches consider wavefront evolution techniques [5] as well as accurate treatment of crossing and branching fibers [6]. However, for the appropriate visualization of the derived fibers, only standard techniques such as lines or tubes are used in most cases.
272
D. Merhof et al.
Currently, most tools for DTI processing use lines or tubes to render fibers. However, utilizing simple line rendering has several disadvantages. In case of curved fibers, lines wider than one pixel suffer from gaps between neighboring segments. Furthermore, a constant width independent of the distance to the camera restricts the quality of visualization. Tubes on the other hand enable a significantly improved visualization, but rendering becomes much more time consuming due to the high geometric complexity restricting their interactive application. To overcome these limitations, we propose an alternative visualization technique using textured triangle strips which are reoriented depending on the viewing direction. Thereby, a visualization very similar to tubes is obtained but with a significantly reduced number of triangles enabling interactive rendering.
2
Material
All datasets used in this work were measured using a Siemens MR Magnetom Sonata Maestro Class 1.5 Tesla scanner. The specifications of the gradient system were a field strength of up to 40 mT/m (effective 69 mT/m) and a slew rate of up to 200 T/m/s (effective 346 T/m/s) for clinical application. DTI datasets were acquired using a field of view of 240 mm resulting in a voxel size of 1.875×1.875×1.9 mm3 . For each of the six diffusion weighted datasets (gradient directions (±1,1,0), (±1,0,1) and (0,1,±1)) and the reference dataset, sixty slices with no intersection gap and an acquisition matrix of 128×128 pixels were measured.
3
Methods
In a first step, fibers were computed using a fiber tracking approach incorporating trilinear tensor interpolation and fourth order Runge-Kutta integration. Fractional anisotropy was used as termination threshold for tracking. Optionally, oriented filters [3] were applied for noise reduction. Subsequently, triangle strips were reconstructed by creating two triangles for each fiber segment. Thereby, a pair of triangle vertices Pi ±1/2 · di was generated from the original streamline vertex Pi using a displacement vector di resulting from the cross product of viewing direction vi and streamline tangent ti . The displacement vector was normalized and scaled to obtain a user-defined width of the triangle strip: di = cwidth ·
vi × ti . vi × ti
Regarding coloring of the triangle strips, a primary color was determined according to the standard color scheme commonly used in DTI visualizations [7]. Thereby, the normalized principal eigenvector components of the local trilinearly interpolated tensor were used as RGB values. To provide a 3D tube effect, texturing of the triangles became darker when approaching the boarder of the
Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips
273
Fig. 1. Comparison of standard fiber rendering using lines (left) or tubes modeled with a triangle mesh (middle) and an alternative triangle-strip based tube representation (right).
triangle strip. This was achieved by using a 1D texture with a luminance and an alpha channel. The luminance channel of the texture was used to store the ambient illumination, the alpha channel stored the specular term. A sine function was used to darken the texture when approaching the border to obtain the visual effect of an illuminated tube. In case of the alpha channel, the result of the sine function was raised to a power of 16 to generate specular highlights. To obtain a realistic representation at the end of each fiber, tapering was used. Thereby, two further triangles were generated for each end of the fiber to terminate the streamline. Tapering provides a more tube-like representation at the end of each fiber where otherwise the flat geometry would become apparent.
4
Results and Discussion
In comparison to lines, tubes provide a much better 3D representation of streamlines. Rendering of lines results in gaps between neighboring segments if the lines are wider than one pixel. More severely, lines have a constant width independent of the distance to the camera which highly restricts the quality of visualization. Tubes on the other hand enable a significantly improved visualization, but rendering becomes much more time consuming due to the high geometric complexity. Triangle strips provide a good trade-off between visual quality and interactive application. A comparison between rendered lines, geometry tubes and triangle strips simulating tubes is presented in Figure 1. The approach was evaluated for whole brain trackings in brain tumor patients as well as healthy volunteers based on a data basis consisting of 28 datasets. Depending on the density of seed points and the tracking threshold, a tracking of the whole brain comprised about 1 000 up to 10 000 fibers. The average number of points for each fiber was in the range of 150. According to our expectations, rendering of tubes was by far slower than our novel technique due to a much higher number of triangles (Table 1). In our approach, two triangles are needed for each fiber segment. Contrary to that the geometric representation of a tube
274
D. Merhof et al.
Table 1. Frame rates in fps (frames per second) depending on the visualization technique (lines, tubes or triangle strips) and illumination for different graphics card storage options. VBOs Lines (no illumination) 242.5 fps Lines (illuminated) 153.3 fps Tubes (no illumination) 10.0 fps Tubes (illuminated) 10.0 fps Triangle Strips Tapering (no illumination) 80.9 fps Triangle Strips Tapering (illuminated) 61.9 fps Triangle Strips (no illumination) 85.3 fps Triangle Strips (illuminated) 65.4 fps
VAs 135.4 fps 135.1 fps 9.9 fps 9.9 fps 39.7 fps 39.7 fps 42.2 fps 42.2 fps
DLs 219.9 fps 153.1 fps 8.9 fps 8.9 fps 81.2 fps 61.8 fps 85.6 fps 65.1 fps
45.3 45.2 2.7 2.7 14.6 14.6 16.6 16.6
IM fps fps fps fps fps fps fps fps
segment requires at least 12 or more triangles to obtain a sufficient rendering result. In comparison to the rendering of lines, our approach achieved lower frame rates but the visualization was considerably improved. The performance measurements were obtained for a rendering viewport of 600×800 pixels on a NVidia Geforce 6800 graphics card with 256 MB graphics memory. A tracking of the whole brain consisting of approximately 300 000 vertices was generated and used for the measurements. Table 1 shows the measurement results for lines, geometry-based tubes with 12 triangles per segment and triangle strips. In case of tubes, 3.6 million triangles were rendered. In case of triangle strips 0.6 million triangles were necessary. Variations of the frame rate also originate from implementation aspects depending on whether Vertex Buffer Objects (VBOs), Vertex Arrays (VAs), Display Lists (DLs) or Immediate Mode (IM) were applied. With respect to clinical application, tube representations enable a better inspection of the data (Figure 2) and consequently an improved diagnosis. In the context of practical use, interactivity of the rendering procedure is of major concern since clinical acceptance is directly related to usability and interactive manipulation. The presented approach provides the physician with interactive high quality tube renderings of tracked fibers.
5
Conclusion
We presented a novel method for the visualization of fiber tracts derived from DTI data using textured triangle strips which is an alternative visualization strategy for tubes. This approach overcomes the disadvantages of both line and geometry-based tube representation. It is more efficient in terms of rendering times compared to tubes which is of particular importance if a large number of streamlines has to be visualized. In comparison to lines, the tube visualization provided by triangle strips is much better. Overall, the presented technique clearly improves the visualization compared to line representations and circumvents high rendering times encountered with tubes. For medical application, this
Streamline Visualization of Diffusion Tensor Data Based on Triangle Strips
275
Fig. 2. Comparison of line rendering (left) and triangle-strip based tube representation (right) in a 68-year old male patient with an astrocytom (WHO grade III) adjacent to the pyramidal tract.
is of high value since an interactive visualization is provided showing tube-like, high quality fibers. Acknowledgments: This work was supported by the Deutsche Forschungsgemeinschaft in the context of SFB 603, Project C9 and the Graduate Research Center “3D Image Analysis and Synthesis”.
References 1. Clark CA, Barrick TR, Murphy MM, Bell BA. White matter fiber tracking in patients with space-occupying lesions of the brain: a new technique for neurosurgical planning? Neuroimage 2003;20(3):1601–1608. 2. Nimsky C, Ganslandt O, Hastreiter P, Wang R, Benner T, Sorensen AG, et al. Intraoperative diffusion-tensor MR imaging: shifting of white matter tracts during neurosurgical procedures - initial experience. Radiology 2005;234(1):218–225. 3. Zhukov L, Barr A. Oriented Tensor Reconstruction: Tracing Neural Pathways from Diffusion Tensor MRI. In: Proc. IEEE Visualization; 2002. 4. Lazar M, Weinstein DM, Tsuruda JS, Hasan KM, Arfanakis K, Meyerand ME, et al. White Matter Tractography Using Diffusion Tensor Deflection. Human Brain Mapping 2003;18(4):306–321. 5. Jackowski M, Kao CY, Qiu M, Constable RT, Staib LH. White matter tractography by anisotropic wavefront evolution and diffusion tensor imaging. Medical Image Analysis 2005;9:427–440. 6. Vilanova A, Berenschot G, van Pul C. DTI Visualization with Streamsurfaces and Evenly-Spaced Volume Seeding. In: Proc. Joint EG/IEEE TCVG VisSym; 2004. p. 173–182. 7. Pajevic S, Pierpaoli C. Color schemes to represent the orientation of anisotropic tissues from diffusion tensor data: Application to white matter fiber tract mapping in the human brain. Magnetic Resonance in Medicine 1999;42(3):526–540.
Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen fu ¨r die medizinische Ausbildung Silke Hacker und Heinz Handels Institut f¨ ur Medizinische Informatik, Universit¨ atsklinikum Hamburg-Eppendorf, 20246 Hamburg Email:
[email protected]
Zusammenfassung. Da einerseits omputerbasierte anatomische Atlanten in der Regel von einem Individuum abgeleitet sind, andererseits die morphologische Variabilit¨ at in vielen medizinischen Fragestellungen eine wichtige Rolle spielt, verfolgen wir das Ziel, einen Atlas zu entwickeln, der die Formvariabilit¨ at von ausgew¨ ahlten anatomischen Strukturen repr¨ asentieren kann. Die Grundlage f¨ ur dieses Projekt bildet der VOXELMAN-Atlas der inneren Organe. F¨ ur die Modellierung der anatomischen Formen verwenden wir die M-rep-Repr¨ asentation, die eine kompakte Beschreibung von anatomischen Objekten auf der Basis ihrer Mittelachsen bietet. Als Beispielobjekte haben wir ein Kollektiv von Nieren zur Beschreibung von inter-individueller Variabilit¨ at und die Lunge zur Beschreibung von dynamischen Organverformungen gew¨ ahlt. Durch die Integration einer Formbeschreibung in den VOXEL-MAN-Atlas ist es nun m¨ oglich Formvarianten eines Organs, z.B. durch Angabe von Alter oder Geschlecht, abzufragen oder sich die mittlere Form eines Kollektivs anzeigen zu lassen. Neben einer Oberfl¨ achendarstellung ist auch eine Volumendarstellung der Formvarianten m¨ oglich, die sich aus der Verformung des jeweiligen Referenzorganes nach Maßgabe der Formbeschreibung ergibt.
1
Einleitung
Dreidimensionale anatomische Atlanten stellen in der medizinischen Ausbildung eine sinnvolle Erg¨ anzung zu den klassischen Anatomieatlanten in gedruckter Form dar. Gegen¨ uber der statischen Darstellung in B¨ uchern erm¨oglichen sie ein interaktives Erlernen der menschlichen Anatomie und machen r¨aumliche Zusammenh¨ ange f¨ ur den Studierenden anschaulicher und begreifbarer. Trotz der hohen Qualit¨ at, die computerbasierte anatomische Atlanten inzwischen erreicht haben, ist ihr Nutzen dadurch eingeschr¨ ankt, dass die Daten, auf denen die Atlanten basieren, in der Regel von einem einzigen oder einigen wenigen Individuen stammen. Sie sind daher nicht repr¨ asentativ f¨ ur die menschliche Anatomie im Allgemeinen. Anatomische Strukturen weisen jedoch zum Teil betr¨achtliche Unterschiede bez¨ uglich ihrer Gr¨ oße und Form auf – zum einen aufgrund nat¨ urlicher
Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen
277
Variabilit¨ at und zum anderen in Abh¨ angigkeit von Faktoren wie z.B. Alter, Geschlecht oder Krankheit. Da die Darstellung von Variabilit¨at f¨ ur viele medizinische Fragestellungen von großer Bedeutung ist, wird ein K¨orpermodell entwickelt, das die Formvariabilit¨ at von ausgew¨ ahlten anatomischen Strukturen in geeigneter Weise repr¨ asentieren kann. Die Kenntnis der Variabilit¨ at in der Anatomie wurde bisher in der medizinschen Ausbildung fast ausschließlich in aufz¨ ahlender Art und Weise vermittelt, z.B. in Form von Bilder- oder Pr¨ aparatesammlungen. Die Integration von Variabilit¨ at in einen anatomischen Atlas ist ein komplexes Problem, das noch nicht allgemeing¨ ultig gel¨ ost wurde. Die gr¨ oßten Erfolge wurden bisher bei populationsbasierten Atlanten des Gehirns erzielt [1]. Hierbei handelt es sich meist um deformationsbasierte Atlanten, bei denen eine Referenzanatomie elastisch auf individuelle Anatomien verformt wird und die Abweichungen dann durch Deformationsfelder beschrieben werden. Diese k¨ onnen durch farbcodierte Visualisierungen dargestellt werden. F¨ ur Atlanten, die beispielsweise die inneren Organe darstellen, erscheint ein solcher Ansatz jedoch weniger geeignet, da sich nicht nur die Form von Organen, sondern auch ihre unterschiedliche Lage und Ausrichtung in den Deformationsfeldern widerspiegelt, wodurch ihre Interpretation erschwert wird. Eine Alternative ist hier die Beschreibung von anatomischen Strukturen mit Formmodellen, wie z.B. Punktwolkenmodelle, skelettbasierte Modelle oder Fourier Surfaces. Ein solcher organbezogener Ansatz erm¨oglicht eine Charakterisierung von Organformen unabh¨ angig von ihrer Position und insbesondere auch eine Berechnung von mittleren Organformen in einem Kollektiv.
2
Methoden
Den Ausgangspunkt dieses Projektes bildet der an unserem Institut entwickelte VOXEL-MAN-Atlas der inneren Organe [2], der auf den Datens¨atzen des Visible-Human-Projektes [3] beruht. F¨ ur die Modellierung der Formvarianten der Organe und deren Variabilit¨ at haben wir ,,M-reps“ (,,medial representation“) verwendet, die eine spezielle Variante der skelettbasierten Modelle darstellen [4]. Bei den M-reps werden die Mittelachsen durch diskrete Punkte (,,mediale Atome“) beschrieben. Diese werden durch einen Parametervektor repr¨asentiert, der lokale Forminformationen beinhaltet (Position, Objektradius, Orientierung, Objektwinkel). Auf diese Weise wird eine sehr kompakte Beschreibung von Objekten erreicht (Abb. 1). Eine M-rep-Figur setzt sich aus einem Gitter oder einer Kette solcher medialen Atome zusammen. Um Formvarianten eines Objektes miteinander in Bezug bringen zu k¨ onnen, ist es erforderlich eine geometrische Korrespondenz zwischen den Formmodellen zu definieren. Bei den Mreps geschieht dieses auf der Grundlage eines figurenbezogenen Koordinatensystems, das auf dem medialen Gitter basiert. F¨ ur eine statistische Beschreibung der Formvarianten eines Kollektivs wird eine erweiterte Form der klassischen Hauptkomponentenanalyse, die so genannte ,,Principal Geodesic Analysis“ verwendet. Diese Methode wurde von Fletcher et
278
S. Hacker und H. Handels
Abb. 1. Ein M-rep-Modell einer Niere. Links: Struktur des M-rep-Gitters mit 3 x 5 medialen Atomen. Rechts: Zugeh¨ orige Oberfl¨ achendarstellung.
al. [5] speziell f¨ ur die Anwendung von M-rep-Parametern entwickelt, welche u.a. Winkel beinhalten. Als Beispielobjekt f¨ ur die Entwicklung der Methodik zur Integration von Formmodellen in den VOXEL-MAN-Atlas haben wir ein M-rep-Modell der linken Niere verwendet, welches auf der Basis von CT-Datens¨atzen erstellt wurde und uns f¨ ur 48 Formauspr¨ agungen verschiedener Individuen zur Verf¨ ugung stand. F¨ ur die Verkn¨ upfung des Nierenmodells mit dem Volumenmodell haben wir auch ein M-rep-Modell der Visible-Human-Niere erstellt, welches als Referenz dient und die gleiche mediale Struktur aufweist wie die u ¨ brigen Nierenmodelle, so dass eine geometrische Korrespondenz zwischen den M-rep-Modellen hergestellt werden kann. Um neben einer oberfl¨ achenbasierten Darstellung der Formvarianten auch eine volumenbasierte Darstellung zu erm¨oglichen, wurde auf der Basis der M-rep-Koordinaten ein Verfahren entwickelt, das die Verformung von Organen aus dem Volumenmodell nach Maßgabe der M-rep-Formbeschreibung erm¨ oglicht. Als Beispiel f¨ ur die Darstellung von Organverformungen aufgrund von dynamischen Prozessen haben wir auf der Basis von 4D-CT-Datens¨atzen des Atemzyklus Mrep-Modelle des linken und rechten Lungenfl¨ ugels erstellt [6]. Als Grundlage haben wir Datens¨ atze von vier Lungentumorpatienten verwendet und die M-rep-Modelle an 10 bzw. 11 Zeitpunkte des Atemzyklus angepasst. Abbildung 2 zeigt das M-rep-Modell des linken Lungenfl¨ ugels eines dieser Patienten. Es besteht aus 6 x 7 medialen Atomen.
3
Ergebnisse
Durch die Integration der M-rep-Formbeschreibung in den VOXEL-MAN-Atlas ist es nun m¨ oglich, innerhalb des Atlasses verschiedene Auspr¨agungen eines Organs, wie zum Beispiel der Niere, abzufragen und zu visualisieren. Sind Zusatzinformationen zu den einzelnen Formvarianten verf¨ ugbar, wie z.B. Alter, Geschlecht und ggf. Pathologie, so k¨ onnen dieses vom Benutzer abgefragt werden. Neben der Darstellung individueller Formvarianten ist es z.B. auch m¨oglich, sich die mittlere Form eines Kollektivs von Objekten anzeigen zu lassen.
Repr¨ asentation und Visualisierung von 3D-Formvarianten von Organen
279
Abb. 2. Ein M-rep-Modell des linken Lungen߬ ugels in drei Zeitpunkten des Atemzyklus. Links: Maximale Inspiration. Rechts: Maximale Expiration.
In einem ersten Schritt lassen sich die Formvarianten der Niere als Oberfl¨ achenmodell anzeigen, welches sich aus dem M-rep-Modell sehr schnell errech¨ nen l¨ asst. Auf diese Weise kann man sich rasch einen Uberblick u ¨ ber die Formenvariabilit¨ at eines Kollektivs von Organen verschaffen. Dar¨ uber hinaus ist auch eine Volumendarstellung der Formvarianten m¨ oglich, die sich aus einer Verformung der Referenzniere aus dem Volumenmodell auf der Basis der M-rep-Koordinaten ergibt (Abb. 3). Hiermit werden eine realistische visuelle Darstellung der Formvarianten und auch die Visualisierung von Texturen des Organinneren, z.B. durch das Setzen von Schnitten erm¨ oglicht. Sinnvoll ist dies nat¨ urlich nur, wenn es sich hierbei nicht um eine pathologische Variante handelt, die sich in seiner Struktur von einer gesunden Niere wesentlich unterscheidet.
4
Diskussion und Ausblick
Es wurde ein neues Konzept f¨ ur einen anatomischen Atlas vorgestellt, der die Formvariabilit¨ at von Organen bzw. Organgruppen eines Kollektivs und auch Formver¨ anderungen von Organen aufgrund von dynamischen Prozessen repr¨ asentieren kann. Durch die Verkn¨ upfung des VOXEL-MAN-Atlasses mit der M-rep-Formbeschreibung werden die Vorteile beider Methoden kombiniert. Der VOXEL-MAN-Atlas erm¨ oglicht eine hohe Qualit¨at in der visuellen Darstellung von anatomischen Strukturen auf der Basis fotografischer Farbschichtbilder. Er stellt außerdem eine umfangreiche anatomische Wissensbasis in Form eines semantischen Netzwerkes zur Verf¨ ugung, die es erlaubt, anatomische Strukturen abzufragen. Eine effiziente Darstellung der Variabilit¨at von Organen, basierend auf gr¨ oßeren Kollektiven, ist mit einem volumenbasierten Ansatz jedoch nicht m¨oglich. Die M-rep-Modellierung erm¨ oglicht dagegen eine kompakte Beschreibung von Formvariabilit¨ at. Gegen¨ uber anderen Formmodellen hat sie außerdem den Vorteil, dass eine geometrische Korrespondenz nicht nur zwischen Oberfl¨achenpunkten sondern auch zwischen Volumenpunkten definiert werden kann.
280
S. Hacker und H. Handels
Abb. 3. Volumenbasierte Darstellung von Formvarianten der linken Niere im VOXELMAN-Atlas. Rechts: Referenzniere aus dem Volumenmodell. Links: Formvariante der Niere auf der Basis einer M-rep-Beschreibung (der Schnitt gibt einen Blick in das Innere der Niere).
Zu unseren n¨ achsten Schritten geh¨ ort die Selektion und Berechnung von geeigneten Formparametern aus den M-rep-Modellen, die eine Charakterisierung verschiedener Formklassen erm¨ oglichen. Weiterhin sollen erweiterte Visualisierungstechniken f¨ ur die Darstellung von Formunterschieden eines Organs implementiert werden. Danksagung: Wir bedanken uns bei Prof. Stephen Pizer und der Bildverarbeitungsgruppe (MIDAG) von der UNC in Chapel Hill, USA f¨ ur die Bereitstellung der Software ,,Pablo“ und die Unterst¨ utzung bzgl. der M-reps. Den Mitarbeitern ¨ der Radioonkologie an der UNC danken wir f¨ ur die freundliche Uberlassung der Nierendaten. Dieses Projekt wird unterst¨ utzt von der Deutschen Forschungsgemeinschaft.
Literaturverzeichnis 1. Toga RW, Mazziotta JC, editors. Brain Mapping - The Methods. Academic Press, San Diego; 2002. p. 727–755. 2. H¨ ohne KH, Pflesser B, Pommert A, Riemer M, Schubert R, Schiemann T, et al. A Realistic Model of Human Structure from the Visible Human Data. Method Inform Med 2001;40:83–89. 3. Spitzer V, Ackermann M, Scherzinger A, Withlock D. The Visible Human Male: A Technical Report. J Am Med Inform Assoc 1996;3(2):118–30. 4. Pizer SM, Fletcher PT, Joshi S, Stough J, Thall A, Chen JZ, et al. Deformable M-reps for 3D Medical Image Segmentation. IJVC 2003;55. 5. Fletcher PT, Joshi S, Pizer SM. Gaussian Distribution on Lie Groups and their application to Statistical Shape Analysis. IPMI 2003. 6. Ehrhardt J, S¨ aring D, Handels H. Optical Flow-based Interpolation of Temporal Image Sequences. In: Procs BVM; 2006.
Extracting Consistent and Manifold Interfaces from Multi-valued Volume Data Sets Stephan Bischoff and Leif Kobbelt Lehrstuhl f¨ ur Informatik 8, RWTH Aachen, 52056 Aachen Email: {bischoff,kobbelt}@informatik.rwth-aachen.de Abstract. We propose an algorithm to construct a set of interfaces that separate the connected components of a multi-valued volume dataset. While each single interface is a manifold triangle mesh, two or more interfaces may join consistently along their common boundaries, i.e. there are no T-junctions or gaps. In contrast to previous work, our algorithm classifies and removes the topological ambiguities from the volume before extracting the interfaces. This not only allows for a simple and stable extraction algorithm, but also makes it possible to include user constraints.
1
Motivation and Previous Work
Let there be a three-dimensional voxel grid with one (tissue) label per voxel. Our goal is to extract the interfaces between all adjacent tissues as triangle meshes, i.e. the result is a set of triangle meshes each separating voxels of two different tissue types. These meshes can then be used in downstream applications, e.g. active contour models [1]. Of course, we want to guarantee certain quality properties: 1. Each triangle mesh should be a subset of a 2-manifold (in particular we allow it to have have a boundary, and the boundary can touch itself). 2. The boundaries of the triangle meshes should consistently fit together, i.e. no gaps, T-junctions or other artifacts should occur. Unfortunately the above problem is ill-posed: Consider four voxels joining along a common edge and let there be two tissue types A and B such that the two pairs of two diagonally opposing voxels have the same tissue type. If the extraction algorithm simply extracts the interface between tissue A and B, we get a nonmanifold reconstruction along the common edge. The problem becomes even worse when voxels of different tissue types join at a common vertex. This is the reason why a naive generalization of the standard Marching Cubes algorithm does not produce valid results. In this work we present a simple and efficient algorithm that solves the above problem. It does so by repairing the ambiguous voxels in the voxel grid before extracting the meshes. This not only leads to a very simple extraction algorithm but furthermore, the user can easily specify additional constraints, like e.g. that tissues A and B should always be separated by a layer of tissue C. Our algorithm is hence also able to incorporate a-priori knowledge and thus compensate for noise that might be present in the raw data.
282
S. Bischoff and L. Kobbelt
Previous work. There are a number of approaches that (partly) solve the above problem. Reitinger [2] uses a domain subdivision-strategy but cannot guarantee that no singularities occur. The algorithm presented by Hege [3] produces guaranteed quality output but is very complex in terms of analyzing configurations and size of lookup tables. M¨ uller [4] presents a method based on simplices which in general produces arbitrary complexes instead of manifolds. All these methods have in common that they try to fix the extraction algorithm such that it can handle ambiguous cases. In contrast, our algorithm simply fixes the volume before extraction, so the extraction algorithm is kept simple.
2
Method
Let V be a set of voxels and let ∂V be the set of V ’s boundary vertices, edges and faces. We say that an edge e is critical in ∂V , if it is contained in four pairwise distinct faces of ∂V . Likewise a vertex v is critical in ∂V if it either is the end-vertex of a critical edge in ∂V or if it belongs to the singular configuration depicted critical edge to the right. Hence critical edges and vertices represent the nonmanifold parts of ∂V . Now let Vi the set of voxels labelled i. Usually ∂Vi contains critical elements and so we cannot use simple Marching Cubes like algorithms to reconstruct ∂Vi . Hence, our goal is to replace the sets Vi by geometrically similar voxel sets singular Vi such that ∂Vi does not contain any critical elements for all i. critical vertex 2.1
Removal of Critical Elements
Let us call an edge critical if it is critical in ∂Vi for some label i. In that case we call the smallest such i the dominant label at e. Critical vertices and their dominant labels are defined analogously. We can deduce solely from the voxels containing an edge or vertex whether that edge or vertex is critical or not. Thus we can efficiently collect all critical vertices and edges by iterating once over the whole volume. The main idea of our algorithm is to remove a critical element (edge or vertex) x by fattening it, i.e. we replace edges by small (discrete) cylinders and vertices by small (discrete) balls. For this we subdivide the voxels that contain x and relabel the subvoxels in a neighborhood of x by x’s dominant label. Figure 1a demonstrates this idea in two dimensions where a 3 × 3 subdivision of the pixels is sufficient to separate and resolve the complex vertices. In three dimensions we require at least a 5×5×5 subdivision and we need differently sized neighborhoods for vertices and edges in order not to introduce new critical elements in the process. We now make the above ideas mathematically precise: Each voxel that intersects a critical element x is (conceptually) subdivided into 5 × 5 × 5 subvoxels and each subvoxel inherits the label of its parent. We define the k-neighborhood N k (x) of x as N 0 (x) = {x} and N k (x) = {all subvoxels that intersect N k−1 (x)}.
Extracting Consistent and Manifold Interfaces
283
Fig. 1. Critical elements are resolved by subdividing and relabeling the adjacent voxels appropriately. In two dimensions a 3×3 subdivision is sufficient (a), in three dimensions a 5 × 5 × 5 subdivision is needed (b, subvoxels are shown distorted).
a)
b)
Fig. 2. The top row shows a symmetrical voxel configuration where six critical edges meet in a common vertex. Fattening this configuration on a 33 subdivision by 1neighborhoods introduces new critical edges. The same configuration and its proposed fattening on a 53 subdivision using 2-neighborhoods for vertices and 1-neighborhoods for edges is shown in the bottom row. In this case no new critical elements are created.
A simple two-step algorithm then removes all critical elements (Fig. 1b): First, we resolve all critical edges e by relabeling all subvoxels in N 1 (e) to e’s dominant label. Second, we resolve all critical vertices v by relabeling all subvoxels in N 2 (v) to v’s dominant label. The reason for choosing a larger neighborhood for the critical vertices than for the critical edges is that edges meeting at a common vertex must be well separated in order not to introduce new critical elements (Fig. 2). Note that in an implementation the subdivision and relabeling need not be actually carried out, but can be easily computed on the fly. Furthermore, the new voxel sets Vi (now containing regular-sized voxels as well as subvoxels) are geometrically close to the original sets Vi , i.e. they are not more than 1/2 voxel apart.
284
S. Bischoff and L. Kobbelt
Fig. 3. a) Three tissues A, B, C are separated by a thin layer of tissue D. b) The finite grid resolution leads to discretization artifacts. c) Incorporating a-priori knowledge yields the correct reconstruction.
C
C D A a)
C
D
D
D
D
B b)
A
B
c)
A
B
Incorporating User Constraints Suppose we have three tissues A, B, C which we know to be separated by a thin layer of tissue D (Fig. 3a). Due to noise or limited resolution, it might not be possible to accurately capture D on a coarse voxel grid (Fig. 3b). However, it is easy to modify our algorithm such that it takes this a-priori knowledge into account. For this we define a face f to be critical, if f separates label A from label B (or B from C, or C from A), and the dominant label of f is set to D. Then we proceed analogously to the removal of critical edges and critical vertices, this time however, we need a 7 × 7 × 7 subdivision (5 × 5 in the twodimensional case), in order to separate adjacent critical faces. To be more precise, we subdivide all voxels that contain a critical element and then resolve all critical faces/edges/vertices x (in that order) by relabeling all subvoxels in N 1 (x), N 2 (x), N 3 (x), to x’s dominant label (Fig. 3c). 2.2
Extraction of the Patches
To extract the patches we consider each (sub-)voxel face in turn. If the face separates two differently labelled voxels we extract a triangulated quadrangle for that face. Faces that are adjacent to subvoxel faces are triangulated by connecting its barycenter to the surrounding vertices by a triangle fan. We then apply a simple remeshing algorithm that is aware of common patch boundaries to remesh the extracted patches to a user-prescribed target edge length [5]. This algorithm also smoothes the patches and removes the typical staircase-artifacts that are due to the discrete nature of the voxels.
3
Results
We tested our algorithm on synthetic as well as on a number of real data sets of human hearts. As there are usually very few critical elements (typically less than 20 singular critical vertices and less than 300 critical edges) the overhead in memory consumption, running time and output complexity is very low. A typical 256 × 256 × 256 volume containing eight different tissues takes less than 2 minutes to extract and remesh to a target edge length of 2mm. Figure 4 shows reconstructions at different target edge lengths while Figure 5 shows the different stages of the algorithm and the effect of incorporating a-priori knowledge.
Extracting Consistent and Manifold Interfaces
285
Fig. 4. Reconstruction of a human heart at a target edge length of 2mm (a) and 4mm (b). By hiding some of the boundary patches, the interior patches become visible (c).
a)
b)
c)
Fig. 5. a) A closeup on the reconstruction before remeshing clearly shows the subdivided parts. b) The same part after remeshing to a target edge length of 2mm. c) A reconstruction where two tissues are automatically separated due to user constraints.
a)
b)
c)
Acknowledgments: We want to thank O. Ecabert, J. Peters and J. Weese, Philips Research Aachen, for helpful discussions and for providing the datasets.
References 1. Ecabert O, Peters J, Lorenz C, von Berg J, Vembar M, Subramanyan K, et al. Towards Automatic Full Heart Segmentation in Computed-Tomography Images. In: Computers in Cardiology; 2005. 2. Reitinger B, Bornik A, Beichel R. Consistent Mesh Generation for Non-binary Medical Datasets. In: Bildverarbeitung f¨ ur die Medizin; 2005. p. 183–187. 3. Hege HC, Seebass M, Stalling D, Zoeckler M. A Generalized Marching Cubes Algorithm Based on Non-Binary Classifications; 1997. 4. M¨ uller H. Boundary Extraction for Rasterized Motion Planning. In: Modelling and Planning for Sensor Based Intelligent Robot Systems; 1994. p. 41–50. 5. Botsch M, Kobbelt L. A Remeshing Approach to Multiresolution Modeling. In: Symp. Geometry Processing; 2004. p. 189–196.
Restoration of the Sphere-Cortex Homeomorphism Andreas Mang1 , Michael Wagner2 , Jan M¨ uller1 , Manfred Fuchs2 and Thorsten M. Buzug1 1
Department of Mathematics and Technology, RheinAhrCampus Remagen, 53424 Remagen, Germany 2 Compumedics Neuroscan, 20255 Hamburg, Germany Email:
[email protected],
[email protected]
Abstract. The proposed algorithm has been developed as a pre-processing tool for inflating cortical surface meshes, which have been created using segmentation and subsequent triangulation of magnetic resonance images (MRI) [1]. It works directly on the triangulated surface and is therefore completely independent from the underlying segmentation. It needs no other information than the triangle mesh itself, which makes it generally applicable for the removal of topological noise. The homeomorphism between cortical surface and sphere is re-established by removing handles and opening connections. Moreover, the presented approach guarantees a manifold mesh by locally examining connectivity in the neighbourhood of each vertex and removing non-manifold components. It will be embedded into the source reconstruction software package CURRY (Compumedics Neuroscan, El Paso, TX, USA).
1
Introduction
CURRY is a multimodality neuroimaging tool, which allows the integration of EEG, MEG or ECoG with other functional or anatomical imaging modalities, such as MRI, CT, fMRI, SPECT and PET. Sources of brain activity are computed from these data. The source reconstruction results are, besides other visualization techniques, directly mapped onto the triangulation of the cerebral cortex. Due to the intrinsic complex structure and the folding pattern of the cortical surface the visual inspection of neuronal activity, which is mapped directly onto the mesh, is difficult. Functional foci might be hidden inside sulci and in addition, functionally widely separated foci on opposite walls of a sulcus might appear to be close together. Hence, for visualization purposes, deformation techniques like flattening, inflation or spherical inflation (see e.g. [2]) to unfold the cortical surface are widely used in the neuroscience community. These methods are based on a well known fact from Riemannian geometry: any 2-manifold, such as the cerebral cortex (if the brain stem is artificially closed), without topological artefacts can be mapped conformally onto a sphere and local parts thereof to a disk in R2 [3].
Restoration of the Sphere-Cortex Homeomorphism
287
Fig. 1. Handle connecting two potentially different gyri within three iteration steps of the unfolding process, where (a) is the initial surface and (c) illustrates an almost completely smoothed surface.
(a)
(b)
(c)
However, due to imaging noise, image inhomogeneities and the partial volume effect connections across potentially disparate parts of the cortex are produced during segmentation or triangulation, respectively. These erroneous and anatomically incorrect connections, so-called handles, lead to distortions in the unfolded representation of the cortical surface (see fig. 1). Thus, it is necessary to remove them in order to re-establish the homeomorphism between sphere and brain. During the last few years extensive research has been aimed at producing topologically correct representations of the cortex. Besides manual editing (see e.g. [2]), different automatic approaches for the topologically correct reconstruction of cortical surfaces from MRI are presented in the literature. They can be divided into three groups: there are (i) methods that enforce topology constraints during segmentation (see e.g. [4]), (ii) methods that correct the segmentation results directly on volumetric data (see e.g. [5], [6]) and (iii) methods that work on triangulated surfaces (see [7], [8]). The approach presented here belongs to group (iii).
2
Materials and Methods
It is desired to find a method that leaves the surface geometry essentially unchanged, except in regions where topological artefacts are detected. The method presented here is based on a wave propagation concept, which was first introduced by Guskov and Wood [9]; errors are identified by analysing the genus of local patches. 2.1
Preliminaries
Before introducing the algorithm for topological noise removal the combinatorial structure of a manifold triangulation needs to be defined. Mathematically, an ndimensional manifold is a so called Hausdorff Space, which is locally isomorphic to a Euclidiean n-space. Thus, a compact connected 2-manifold is a topological space, where every point has a neighbourhood being topologically equivalent to an open disk in R2 [10]. The combinatorial structure of such a triangulated 2-manifold M (K, x) can be represented through an abstract simplicial complex K, where x : V → R3 denotes the coordinate function for each vertex v ∈ V . It
288
A. Mang et al.
embeds K in R3 . V = {v1 , v2 , . . . , vn } is the set of vertices in the mesh. Formally, a q-dimensional simplicial complex denotes a finite collection K of i-dimensional (i = 0, 1, . . . , q) simplices σ. Each simplex σ ∈ K is a convex hull of a set of i + 1 affine independent points - the so called vertices. 2.2
Non-manifold Components
In subsection 2.1 it was stated that any point of a manifold triangulation has a neighbourhood, which is topologically equivalent to an open disk in R2 . Thus, in order to guarantee a manifold triangulation, which is an essential underlying principle for the presented approach, all non-manifold components need to be identified and removed in a first step. This can be done quite easily by locally examining the connectivity in the neighbourhood of each vertex: M is called a manifold mesh, when (i) the three corners of a triangle refer to different vertices (no zero area), (ii) each edge bounds exactly two triangles and (iii) the star St (σ) = {τ ∈ K : τ ⊆ σ} of each vertex v forms a single cone. The star St (σ) of a simplex σ is a subcomplex of K and defined as all simplices τ containing σ [11]. In particular, it is the union of all edges and triangles incident upon v. 2.3
Topological Artefacts
Having removed all non-manifold components by introducing new vertices to the mesh and thus, breaking all non-manifold components, the next step is to locate and remove topological artefacts. The presence of these errors can be detected by computing the Euler number χ (M ) ≡ |V | − |E| + |F | = 2 − 2g (M ) , where |V |, |E| and |F | denote the number of vertices, edges and faces of M , respectively; g (M ) is the genus of the surface M . It is an invariant property of a manifold and denotes the largest number of non-intersecting simple closed curves that can be drawn on a surface, without separating it [9]. Cutting the surface along such a curve does not yield disconnected components of the surface. For a sphere S 2 the genus g = 0 and accordingly, the Euler number χ = 2. Hence, the cerebral cortex also represents a so called genus zero surface. However, as both χ and g are global scalar values, neither the Euler number nor the genus include information about the location or the size of a topological defect. Thus, in order to identify topological errors, a local measure of χ or g is needed instead of a global one. Accordingly, patches P (T, K) iteratively are grown around each vertex v ∈ V within a defined neighbourhood, where P (T, K) denotes a subcomplex of K, given by a set of triangles T . Starting from a seed / P (T, K) are added iteratively from the star St (vi ) of vertex vs , triangles Ti ∈ each vertex vi at the border of P (T, K). Doubling all components of P (T, K) besides the edges and vertices at its border, i.e. gluing P (T, K) to its copy, ˜ will result in a 2-manifold representation P(T, K) of the patch P (T, K). Thus, ˜ if no handle is located inside the manipulated subcomplex P(T, K) its genus
Restoration of the Sphere-Cortex Homeomorphism
289
Table 1. Removing topological artefacts on real brain data. #T and #V denotes the number of triangles and vertices in the tessellation, respectively. n is the number of non manifold components and g is the genus of the triangulated cortical surface. The given timings are for an AMD Athlon 1.5 GHz with 512 MB RAM.
#T 85460 74410 40084 144052
Before #V 42628 37126 19957 71955
g 44 32 38 34
n #T 34 85644 43 74484 30 40238 11 144222
After #V 42771 37228 20092 72085
g 9 2 2 5
n triangle size time time per vertex 0 2.0 mm 223 sec 5.23 msec 0 2.0 mm 242 sec 6.52 msec 0 2.5 mm 88 sec 4.41 msec 0 1.0 mm 338 sec 4.70 msec
˜ g P(T, K) = 0. Otherwise, a topological artefact is detected. In contrast to the approach presented in [10], each topological defect is not corrected directly after its detection. Instead, the smallest correcting cuts are identified first. Each vertex v is encoded with a number η (v) denoting the iteration step on which the artefact was detected. Subsequently, connected vertices carrying values η (v) smaller than their neighbor’s denote candidates for topological correction. After identifying areas with small values η (v) a non-intersecting cut is found on one side of the isolated area surrounding the handle or the tunnel. Having assured that the cut will not result in separated parts of the cortical surface, vertices along the cut are doubled. Consequently, the corresponding handle or the tunnel, respectively, is broken into two parts . Afterwards, the produced holes inside the triangle mesh are sealed and consequently, the topological defects are removed.
3
Results and Discussion
We have presented an approach to repair triangulated surfaces of the cerebral cortex, which is completely independent from the underlying segmentation. It needs no other information than the triangle mesh itself, which makes it generally applicable for the reduction of topological artefacts. Thus, it might be applied to other surface models besides triangulated representations of the cerebral cortex. The presented approach repairs local topological artefacts of triangle meshes with a time-complexity of O(N ). It is implemented in C++ and will become part of the source reconstruction software CURRY (Compumedics Neuroscan, El Paso, TX, USA). First results can be seen in tab. 1. The algorithm removes any non-manifold components produced by the triangulation. Moreover, nearly all topological artefacts present on the cortical surface are eliminated. For the removal of the topological noise the patch radius η (v) was set to approximately 15 mm. Unfortunately, the algorithm is not capable of removing all handles or holes (see tab. 1). The decision of filling the associated tunnel or cutting the handle is dependent on the diameter of the hole or the handle, respectively. In some cases the perimeter of the handle or the cavity is larger than the predefined maximal radius η (v) of the patch (15 mm in our case).
290
A. Mang et al.
Fig. 2. Comparision between (a) initial and (b) inflated representation of the cortical surface. The colouring illustrates the curvature; sulci are coloured red and gyri are coloured green.
(a)
(b)
Thus, the artefact is not detected. However, having removed most topological artefacts, the surface can be inflated properly for visual inspection of functional foci (see fig. 2).
References 1. Wagner M. Rekonstruktion neuronaler Str¨ ome aus bioelektrischen und biomagnetischen Messungen auf der aus MR-Bildern segmentierten Hirnrinde. Ph.D. thesis. TU Hamburg Harburg; 1998. 2. Fischl B, Sereno MI, Dale MA. Cortical Surface-Based Analysis I and II. NeuroImage 1999;9:179–207. 3. Evens L, Thompson R. Algebraic Topology; 2002. Northwestern University of New York. 4. Han X, Xu C, , Prince JL. A Topology Preserving Level Set Method for Geometric Deformable Models. IEEE Trans Pattern Anal 2003;25:755–768. 5. Shattuck DW, Leahy RM. Automated Graph-Based Analysis and Correction of Cortical Volume Topology. IEEE Trans Med Imaging 2001;11:1167–1177. 6. S´egonne F, Grimson E, Fischl B. Topological Correction of Subcortical Segmentation. In: LNCS 2879; 2003. p. 695–702. 7. S´egonne F, Grimson E, Fischl B. A Genetic Algorithm for the Topology Correction of Cortical Surfaces. In: Christensen GE, Sonka M, editors. LNCS 3565; 2005. p. 393–405. 8. Guskov I, Wood ZJ. Topological Noise Removal. In: Watson B, Buchanan JW, editors. Proceedings of Graphic Interface 2001; 2001. p. 19–26. 9. Wood ZJ. Computational Topology Algorithms for Discrete 2-Manifolds. Ph. D. dissertation. California Institute of Technology; 2003. 10. Gumhold S. Mesh Compression. Ph. D. dissertation. Fakult¨ at f¨ ur Informatik Eberhard-Karls-Universit¨ at zu T¨ ubingen; 2000. 11. MacLaurin C, Robertson G. Euler Characteristic in Odd Dimensions. Australian Mathematical Society Gazette 2003;30:195–199.
Integrierte Visualisierung von Anatomie und Perfusion des Myokards zur Fru ¨ herkennung der Koronaren Herzkrankheit Steffen Oeltze1 , Anja Kuß1 , Anja Hennemuth2 , Caroline K¨ uhnel2 und Bernhard Preim1 1 Institut f¨ ur Simulation und Graphik, Otto-von-Guericke-Universit¨ at Magdeburg, 39016 Magdeburg 2 MeVis - Centrum f¨ ur Medizinische Diagnosesysteme und Visualisierung gGmbH, Universit¨ at Bremen, 28359 Bremen Email:
[email protected]
Zusammenfassung. Wir beschreiben die integrierte Visualisierung von anatomischen Daten des linken Ventrikels und der Koronargef¨ aße mit Ruhe/Stress Perfusionsdaten des Myokards. Der anatomische Zusammenhang zwischen Myokardregionen in den Perfusionsdaten und den versorgenden Abschnitten der Koronargef¨ aße wird durch eine interaktive 3d-Visualisierung illustriert. Diese kann im Rahmen der Fr¨ uherkennung der Koronaren Herzkrankheit f¨ ur die Detektion h¨ amodynamisch relevanter Stenosen genutzt werden. Weiterhin unterst¨ utzen die integrierte Visualisierung korrespondierender Parameter der Kontrastmittelanflutung und -auswaschung basierend auf Ruhe/Stress Perfusionsdaten und die automatische Hervorhebung signifikanter Unterschiede den Ruhe/Stress Vergleich und erleichtern die Detektion minderperfundierter Regionen.
1
Einleitung
Die Koronare Herzkrankheit (KHK) kennzeichnet eine Verengung (Stenose) oder Blockade der Koronargef¨ aße deren Folgen h¨ aufige Todesursachen sind. Herzinfarkt und Herzinsuffizienz resultieren aus einer Isch¨amie, der Unterversorgung des Myokards mit Blut. Am Beginn der Isch¨ amiekaskade steht die durch Stenosen bedingte Perfusionsst¨ orung. Die Lokalisierung dieser St¨orung im Myokard gekoppelt mit dem Wissen u ¨ ber die versorgenden Koronargef¨aße ist wichtig f¨ ur die Fr¨ uherkennung. Daf¨ ur werden dynamische Bilddaten in Ruhe und unter Stressbelastung akquiriert, um die Anreicherung eines Kontrastmittelbolus zu untersuchen. Der Vergleich von Perfusion in Ruhe und unter Stress ist wichtig, da die Autoregulation des Herzens in Ruhe den durch Stenosen eingeschr¨ ankten Blutfluss kompensieren kann. Perfusionsdaten beschreiben u ¨ ber Signalver¨ anderungen Anflutungs- und Auswaschungsvorg¨ange eines Kontrastmittels im Zielgewebe. Durch die Abtragung der Signalintensit¨aten korrespondierender Bildpunkte gegen die Zeit entstehen Zeit-Intensit¨ats-Kurven. Kurvenparameter, wie die maximale Signalintensit¨ at und die Zeitdauer bis zum Erreichen
292
S. Oeltze et al.
dieses Maximums, charakterisieren die Durchblutung und k¨onnen schichtbasiert als Parameterkarte dargestellt werden. Eine integrierte Visualisierung der Parameter aus Ruhe und Stress und die Hervorhebung auff¨alliger Regionen erlauben die Detektion von Arealen mit verz¨ ogerter und verminderter Perfusion.
2
Stand der Forschung
Kommerzielle Workstations [1], Forschungsprototypen [2] und bisherige Studien [3], [4] nutzen die standardisierte Korrespondenz [5] zwischen Myokardperfusion und den versorgenden Koronargef¨ aßen zur Detektion der KHK. Bulls-Eye-Plots repr¨ asentieren diese Korrespondenz und dienen der Visualisierung von Perfusionsparametern. F¨ ur eine patientenindividuelle Analyse pr¨asentieren [6] die 3dFusion von SPECT- Perfusionsdaten und MR-Koronarangiographien (MRA). Die linksventrikul¨ are Oberfl¨ ache wird in den SPECT-Daten segmentiert. Der Koronarbaum wird aus biplanaren Projektionen rekonstruiert. Die kombinierte 3d-Repr¨ asentation und eine Abbildung der Perfusionsdaten auf den Ventrikel gestatten eine genaue Zuordnung der Myokardregionen zu den versorgenden Gef¨aßabschnitten. Da die Rekonstruktion der Koronarien aus MRA-Daten artefaktbehaftet ist und MRA eine invasive Prozedur ist, wird in [7] die Fusion von CT-Koronarangiographien (CTA) und SPECT-Perfusionsdaten diskutiert.
3
Methoden
F¨ ur die Erprobung der Algorithmen wurden MR Ruhe/Stress Perfusionsdaten (3 Schichten) und CTA-Daten (<= 238 Schichten) genutzt. Zur Bewegungskorrektur sowie zum Matching der Phasen wurde eine Kombination von starrer und ¨ elastischer Registrierung genutzt, wobei Mutual Information als Ahnlichkeitsmaß und ein Gradientenabstiegsverfahren zur Optimierung gew¨ahlt wurden [8]. Aus den Perfusionsdaten wurden Volumina der charakteristischen Parameter berechnet. Als relevant wurden die mittlere Transitzeit des Bolus, die Steilheit der Zeit-Intensit¨ ats-Kurve ( up-slope“) und ihr Maximum eruiert [9]. Aus dem up” ” slope“ in Ruhe und Stress l¨ asst sich der Perfusionsreserveindex als Indikator f¨ ur die h¨ amodynamische Relevanz einer Koronarstenose berechnen. Neben der u ¨ blichen Betrachtung der Perfusionsdaten im cine-Modus wurden weitere Visualisierungstechniken entwickelt, die im Folgenden beschrieben werden. 3.1
Bulls-Eye-Plot
Die Visualisierung basiert auf Segmentierungen von Endokard und Epikard in Ruhe und unter Stress. Diese werden genutzt, um das Myokard in den Perfusionsdatens¨ atzen AHA-konform in 16 Segmente (3 Schichten) einzuteilen. F¨ ur jedes Segment kann f¨ ur unterschiedliche Parameter der Mittelwert bestimmt und im Bulls-Eye-Plot farbkodiert werden. Zur Gegen¨ uberstellung eines Parameters in Ruhe und Stress wird jedes Segment des Plots der L¨ange nach zweigeteilt wird und jedem Teil ein Wert zugewiesen. Weiterhin kann der Plot den korrespondierenden Regionen in den Originalschichten u ¨berlagert werden.
Integrierte Visualisierung von Anatomie und Perfusion des Myokards
3.2
293
Parameterkarten
Basierend auf den Segmentierungsmasken von Endokard und Epikard kann die Visualisierung der Parameter auf das Myokard beschr¨ankt werden. Mittels simultaner schichtweiser Auswertung der Parametervolumina aus Ruhe und Stress l¨asst sich ein qualitativer Vergleich realisieren. Eine Interpretationshilfe bieten die Auswahl einer synchronisierten ROI und die Anzeige korrespondierender gemittelter Zeit-Intensit¨ ats-Kurven. F¨ ur eine schnellere Auswertung werden auff¨ allige Bereiche hervorgehoben. So unterscheidet sich der Parameter up” slope“ in minderperfundiertem Gewebe in Ruhe kaum von dem berechneten Wert unter Stress. Von besonderer Bedeutung ist ferner die aus dem Parameter up-slope“ f¨ ur Ruhe und Stress abgeleitete Parameterkarte f¨ ur den Perfusi” onsreserveindex. Hier werden Areale, die auf eine relevante Stenose hindeuten, automatisch schwellwertbasiert hervorgehoben. Die nach [3] bestimmten Schwellwerte wurden als Initialwerte f¨ ur die Hervorhebung (eine transparente farbige ¨ Uberlagerung) genutzt. Weiterhin werden Multiparametervisualisierungen [10] genutzt, um z.B. korrespondierende Ruhe/Stress Parameter in einer Darstellung gegen¨ uberzustellen. 3.3
Herzkranzgef¨ aße und linker Ventrikel
Aus den CTA-Daten wurden der epikardiale linke Ventrikel und das Gef¨aßskelett der Herzkranzarterien bestimmt. Weiterhin wurden die Abschnitte der Gef¨aße (RCA, RCX, LAD) nach Versorgungsgebieten identifiziert und manuell gekennzeichnet. Die epikardiale Struktur wird mittels einer schwellwertbasierten 3dOberfl¨ achenvisualisierung dargestellt. Die Herzkranzarterien werden durch Convolution Surfaces rekonstruiert [11], wobei RCA, RCX und LAD unterschiedlich eingef¨ arbt sind. Zur Darstellung des Zusammenhangs zwischen einer Minderperfusion und einer Pathologie der Herzkranzgef¨ aße sind der Bulls-Eye-Plot und die 3d-Ansicht miteinander gekoppelt. So kann ein im Plot auff¨alliges Segment vom Benutzer ausgew¨ ahlt werden. Unter Ber¨ ucksichtigung der in [5] aufgestellten Bezeichnung und Zuordnung der Segmente zu Abschnitten der Herzkranzarterien wird der entsprechende Gef¨ aßabschnitt fokussiert (Abb. 1). Hierzu wird die Kameraposition mittels skriptbasierter Animationen auf einem Pfad um den Ventrikel bewegt [12]. Ist der verd¨ achtige Gef¨ aßabschnitt lokalisiert, kann in der 3d-Ansicht basierend auf einer MPR durch die originalen CTA-Daten nach einer stenotischen Ver¨ anderung gesucht werden. Aufgrund der Kosten der CTA liegen diese Daten h¨aufig nicht zusammen mit den Perfusionsdaten vor. In diesem Fall k¨ onnen Standardmodelle von Ventrikel und Herzkranzgef¨ aßen verwendet werden. Diese erlauben die Hervorhebung verd¨ achtiger Gef¨ aßabschnitte und bieten eine Kommunikationsgrundlage zwi¨ schen dem Kardiologen und den weiterbehandelnden Arzten. Hierbei ist jedoch zu beachten, dass die in [5] standardisierte Zuordnung der Versorgungsgebiete olkerung g¨ ultig ist. nur bei ≈ 80% der Bev¨
294
S. Oeltze et al.
Abb. 1. Anatomie und Perfusion des Myokards eines unter Atherosklerose der rechten Koronararterie leidenden Patienten. Oben links: Mittlere Schicht des originalen Perfusionsdatensatzes mit Segmenteinteilung des Myokards. Oben rechts: Mittlere Schicht des Parametervolumens TTP. Das Infarktareal erscheint inferior als helle Region. Mitte links: Selektion von 2 Segmenten des Bulls Eye Plots welcher den Parameter TTP farbkodiert. Hohe Werte (verz¨ ogerte Perfusion) sind hell, niedrige Werte dunkel repr¨ asentiert. Unten links: Mit den selektierten Segmenten korrespondierende Zeit-Intensit¨ ats-Kurven. Unten rechts: Mit den Segmenten korrespondierender Koro¨ narast (RCA). Der Animationsverlauf ist durch die semitransparente Uberlagerung eines fr¨ uheren Zeitschritts illustriert.
4
Diskussion
In dieser Arbeit wurden Methoden f¨ ur die integrierte Visualisierung von Ruhe/Stress Perfusionsdaten und anatomischen CTA-Daten beschrieben. Die Zweiteilung der Segmente des Bulls-Eye-Plots erlaubt die Gegen¨ uberstellung der Per-
Integrierte Visualisierung von Anatomie und Perfusion des Myokards
295
fusion unter Ruhe und Stress. Eine genauere Lokalisierung von Perfusionsdefiziten unterst¨ utzen die Darstellung durch Parameterkarten und den Vergleich von in Ruhe und Stress korrespondierenden Parametern innerhalb einer Multiparametervisualisierung. Unterst¨ utzt wird die visuelle Interpretation durch eine schwellwertbasierte Hervorhebung auff¨ alliger Unterschiede der berechneten Parameter. Die Markierung von Regionen mit anormalen Werten des Perfusionsreserveindex unterst¨ utzt die Detektion relevanter Stenosen. Die Fr¨ uherkennung der KHK wird weiterhin durch die interaktive Kopplung von Bulls-Eye-Plot und 3d-Gef¨ aßdarstellung erleichtert. Die beschriebene Entwicklung basiert auf Diskussionen mit Kardiologen, bedarf aber noch einer klinischen Evaluierung.
Literaturverzeichnis 1. Medis. QMassMR. http://www.medis.nl/Products/QMassMR.htm; 2005. 2. Heiberg E. Segment. http://segment.heiberg.se; 2005. 3. Al-Saadi N, Gross M, Bornstedt A, et al. Comparison of various parameters for determining an index of myocardial perfusion reserve in detecting coronary stenosis with cardiovascular MRT. Z Kardiol 2001;90(11):824–34. 4. Giang TH, Nanz D, Coulden R, et al. Detection of coronary artery disease by magnetic resonance myocardial perfusion imaging with various contrast medium doses: first European multi-centre experience. Eur Heart J 2004;25(18):1657–65. 5. Cerqueira MD, Weissman NJ, Dilsizian V, et al. Standardized myocardial segmentation and nomenclature for tomographic imaging of the heart. Circulation 2002;105(4):539–42. 6. Schindler TH, Magosaki N, Jeserich M, et al. Fusion imaging: combined visualization of 3D reconstructed coronary artery tree and 3D myocardial scintigraphic image in coronary artery disease. Int J Card Imaging 1999;15(5):357–68; discussion 369–70. 7. Nakajo H, Kumita SI, Cho K, et al. Three-dimensional registration of myocardial perfusion SPECT and CT coronary angiography. Ann Nucl Med 2005;19(3):207– 15. 8. Rueckert D, Sonoda LI, Hayes C, et al. Nonrigid registration using free-form deformations: application to breast MR images. IEEE Trans Med Imaging 1999;18(8):712–21. 9. Hombach V, Grebe O, Botnar RM. Kardiovaskul¨ are Magnetresonanztomographie - Grundlagen - Technik - klinische Anwendung. Schattauer; 2005. 10. Oeltze S, Bendicks C, Behrens S, et al. Multiparametervisualisierung zur Exploration dynamischer Bilddaten. In: Bildverarbeitung f¨ ur die Medizin. Informatik aktuell. Springer; 2005. p. 317–21. 11. Oeltze S, Preim B. Visualization of vasculature with convolution surfaces: method, validation and evaluation. IEEE Trans Med Imaging 2005;24(4):540–8. 12. M¨ uhler K, Bade R, Preim B. Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung. Procs BVM. Springer; 2006. p. 296–300 (in diesem Band).
Skriptbasierte Animationen fu ¨r die Operationsplanung und Ausbildung Konrad M¨ uhler1 , Ragnar Bade1 und Bernhard Preim1 1
Institut f¨ ur Simulation und Graphik, Fakult¨ at f¨ ur Informatik, Otto-von-Guericke Universit¨ at Magdeburg, 39106 Magdeburg Email:
[email protected]
Zusammenfassung. Ziel dieses Beitrages ist die Generierung von Animationen aus patientenindividuellen, segmentierten CT- und MRT- Datens¨ atzen. Die Animationsgenerierung erfolgt auf der Basis von Skripten. Daf¨ ur wurde eine Skriptsprache entwickelt, die die Anwendung eines einzigen Skriptes auf mehrere unterschiedliche Datens¨ atze erm¨ oglicht. Zus¨ atzlich erlaubt die Skriptsprache die Definition von Ersetzungsvorschriften. Dies gestattet die Abstraktion von Anweisungen hin zu allgemeinen Beschreibungen von Animationsabl¨ aufen, die auch weniger versierte Nutzer erstellen k¨ onnen. Die Animationen werden sowohl in der Operationsplanung als auch in der medizinischen Ausbildung genutzt.
1
Einleitung
Im klinischen Alltag etabliert sich zur Operationsplanung bei komplexen Fragestellungen, z.B. in der Tumorchirurgie, zunehmend die Nutzung von interaktiven 3d-Visualisierungen auf der Basis segmentierter CT- und MRT-Daten. Diese geben dem Betrachter einen besseren Eindruck von den r¨aumlichen Zusammenh¨ angen der Strukturen als dies bei zweidimensionalen Ansichten der Fall ist. Die interaktive Navigation (Zoom, Rotation) durch den Betrachter einer Darstellung ist jedoch sehr zeitaufwendig. Auch k¨ onnen dabei wichtige Strukturen oder Bereiche u ¨ bersehen werden. Ebenfalls ist die individuelle Anpassung der Visualisierungsparameter der dargestellten Strukturen nur mit großem Interaktionsaufwand zu bewerkstelligen. Der zeitliche Aufwand macht sich im klinischen Alltag beispielsweise bei interdisziplin¨ aren Tumorboardbesprechungen negativ bemerkbar, weil relativ viele Therapieentscheidungen in kurzer Zeit getroffen werden m¨ ussen. Vorbereitete Animationen, die von einem Autor sorgf¨altig erstellt werden, k¨ onnen dagegen effektiv die relevanten Strukturen darstellen und auf Besonderheiten aufmerksam machen. Allerdings ist die Erstellung solcher Animationen f¨ ur den Autor sehr aufw¨ andig. Daher war es unser Ziel, ein System zur Generierung von Animationen aus patientenindividuellen Daten zu entwickeln. Dabei soll die Beschreibung einer einzigen Animation auf verschiedene Datens¨atze anwendbar sein. So k¨ onnen mit einer Beschreibung f¨ ur eine Fragestellung reproduzierbare Animationen aus ¨ ahnlichen Datens¨ atzen generiert werden. Die Beschreibung der
Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung
297
Animationen soll sowohl f¨ ur weniger versierte Nutzer einfach und schnell m¨oglich sein, wie auch erfahrenen Benutzern gen¨ ugend Freiheiten lassen, Animationen nach sehr speziellen Anforderungen zu generieren. Grundlage der Visualisierung der Animationen sind segmentierte Strukturen aus CT- und MRT-Schichtdatens¨ atze, die als Oberfl¨achenvisualisierungen vorliegen. Diese Strukturen k¨ onnen mit unterschiedlichen Visualisierungsparametern wie Farbe und Transparenz dargestellt werden.
2
Stand der Forschung
Fr¨ uhe Systeme der automatischen Animationsgenerierung wie Betty [1] und Esplanade [2] basieren auf der hierarchischen Aufschl¨ usselung von abstrakten Kommunikationszielen hin zu elementaren Animationsanweisungen. Ein Nachteil ¨ ist hier die fehlende Flexibilit¨ at im Bezug auf kleine Anderungen an den Animationen. So m¨ ussen entweder komplette Kommunikationsziele neu definiert und beschrieben werden oder bestehende Kommunikationsziele global modifiziert werden. Skriptsprachen bieten eine gr¨ oßere Flexibilit¨at. Sie haben unter anderem in Multimedia-Entwicklungswerkzeugen eine weite Verbreitung erfahren. Dabei werden Skriptsprachen f¨ ur ein weitaus gr¨ oßeres Aufgabenspektrum genutzt, als zur reinen Animationserzeugung. Der gr¨ oßere Funktionsumfang bringt allerdings einen wesentlich komplexeren Aufbau und eine umfangreichere Syntax hervor, als f¨ ur die Erzeugung von Animationen ben¨ otigt wird. In aktuellen, auf medizinische Visualisierung spezialisierten Softwaresystemen (z.B. MeVisLab, Amira) sind einfachste M¨oglichkeiten der Animationserzeugung auf medizinischen Volumendaten vorhanden. Diese beschr¨anken sich aber meist auf einfache Rotationen der Szene. In MeVisLab k¨onnen auch die Interaktionen eines Benutzers in einer interaktiven Darstellung als Video mitgeschnitten werden. Diese Methode ist aber sehr ungenau und nicht reproduzierbar. Ein Ansatz zur Animationsbeschreibung im Bereich der Anatomieausbildung findet sich im ZoomIllustrator [3]. Ziel ist es dort, in einer interaktiven Darstellung dem Nutzer einen optimalen Standpunkt zur Sicht auf die Objekte im Fokus zu gew¨ ahrleisten und die Kamera n¨ otigenfalls animiert an eine solche Position zu bewegen. Zus¨ atzlich wird der Verlauf von Objekten durch Zeigeger¨ate veranschaulicht. Die dort verwendete Skriptsprache ist allerdings schwer zu handhaben. Die Grundlage des Systems bilden wenige ausgesuchte Polygonmodelle idealisierter anatomischer Strukturen, womit das Konzept f¨ ur den massenhaften Einsatz mit patientenindividuellen Daten nicht geeignet ist.
3
Methoden
Bei unserem Verfahren zur Animationserzeugung nutzen wir einen skriptbasierten Ansatz. In einem Skript sind in Form von einzelnen Anweisungen die Verhaltensweisen der Objekte (anatomischer Strukturen) und der Szene einer Darstellung beschrieben. Die Anweisungen sind objektbezogen und damit daten-
298
K. M¨ uhler, R. Bade und B. Preim
satzunabh¨ angig. Erst durch die Anwendung eines Skriptes auf einen Datensatz bzw. dessen dreidimensionale Darstellung wird die konkrete Animation generiert. Dies erm¨ oglicht die Anwendung sowohl f¨ ur die Therapieplanung wie f¨ ur die vergleichende Anatomie in der Lehre. Eine einzelne Skriptanweisung gliedert sich in vier Bereiche: eine Zeitangabe, eine Objektbezeichnung, den Anweisungsnamen und Parameter (Listing 1). Eine Ver¨ anderung, die die Anweisung in der Darstellung hervorruft, wird u ¨ber den Zeitbereich interpoliert. Time Object Command [Parameter] [0,10] ’Tumor’ emphasize Listing 1. Aufbau einer Skriptanweisung sowie eine Beispielanweisung zur Hervorherung des Tumor-Objektes. Damit die Skriptsprache auch von Nutzern ohne Programmierkenntnisse verwendet werden kann, haben wir aufbauend auf der Idee von Karp&Feiner [2] einen hierarchischen Ansatz mit unterschiedlichen Abstraktionsstufen entwickelt. Die unterste Stufe wird dabei von LowLevel-Anweisungen gebildet. Sie erlauben eine pr¨ azise Beschreibung der Animation und sind in ihrem Umfang und ihrem Aufbau komplex. Verschiedene LowLevel-Anweisungen k¨onnen zu HighLevelAnweisungen zusammengefasst werden. Dazu werden Ersetzungsvorschriften definiert. Eine HighLevel-Anweisung wird mit Hilfe dieser Ersetzungsvorschriften durch eine oder mehrere Anweisungen ersetzt. Hier ist, wie auch im Skript selbst, eine beliebige Mischung von HighLevel- und LowLevel-Anweisungen m¨oglich. Auch k¨ onnen Parameter auf der HighLevel-Ebene vereinfacht werden (z.B. red anstelle des genauen RGB-Farbwertes). Eine weitere Ersetzung findet bei den Objektbezeichnungen statt. Hier k¨ onnen Objekte zu Objektgruppen beliebig kombiniert werden. Eine Anweisung, die sich auf das Objekt Lung bezieht, hat so Auswirkungen sowohl auf das Objekt LungLeft wie auch LungRight. Der Anweisungsumfang der Skriptsprache kann so einfach erweitert und an die jeweiligen Erfordernisse des Autors angepasst werden. Eine Umwandlung der Objektbezeichnungen und Parameter in exakte Koordinaten erfolgt erst direkt bei der Ausf¨ uhrung des Skriptes. Als Bezugspunkt dient das Zentrum und die Ausdehnung der jeweiligen bounding box der Objekte. Dies erm¨ oglicht die Anwendung eines einzigen Skriptes auf viele Datens¨atze. [0] ’System’ init [0,10] ’All’ overview [10,14] ’Meniscus’ explodeOn [27,33] ’Meniscus’ explodeOff Listing 2. Beispielskript zur Animation eines Knies.
Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung
299
Abb. 1. Einzelbilder einer Animation, die mit dem Skript in Listing 2 erzeugt wurde.
4
Beispiel
Mit Hilfe des Listings 2 wurde die 3d-Darstellung eines segmentierten Knies ani¨ miert (siehe Abb. 1). Es wird zuerst ein Uberblick u ¨ ber die Darstellung gegeben und anschließend der Meniscus n¨ aher betrachtet. Hierbei sollten mehre verschiedene Knie-Datens¨ atze animiert werden um die pathologischen Unterschiede der Menisken zu veranschaulichen.
5
Ergebnisse
Durch den von uns entwickelten Ansatz einer skriptbasierten Generierung von Animationen ist es m¨ oglich geworden, effizient und reproduzierbar Animationen aus segmentierten Schichtbilddaten zu generieren. Der Schwerpunkt lag hierbei auf Animationen f¨ ur die Operations- und Therapieplanung. Das entwickelte Animationssystem ist adaptiv, das heißt, es k¨ onnen eine einzige Beschreibung einer Animation auf mehrere patientenindividuelle Datens¨atze anwendet und so gleichartige Animationen ohne Mehraufwand generiert werden. Die Skriptsprache ist abstrahierbar, so dass auch weniger erfahrene Autoren mit geringem Lernaufwand Animationsbeschreibungen entwickeln k¨onnen. Die Skriptsprache wurde als Teil der Software zur Analyse und Visualisierung medizinischer Daten MeVisLab implementiert. Dadurch konnten wir das Animationssystem erfolgreich zur Generierung von Animationen aus einer Vielzahl verschiedenster patientenindividuellen Datens¨atze (Abdominal-CT, MRTs von Knie- und Schultergelenken, HNO-Datens¨atze) nutzen. Diskussionen mit ¨ Arzten zeigen, dass solche Animationen effizient die relevanten Informationen vermitteln k¨ onnen. Diese Animationen stellen eine gute Erg¨anzung zu statischen 3d-Darstellungen und eine Alternative zu interaktiven Darstellungen in der Operationsplanung dar. Derzeit findet das System zus¨atzlich Anwendung in einem Lernsystem zur fallbasierten chirurgischen Ausbildung [4].
300
K. M¨ uhler, R. Bade und B. Preim
Die Reproduzierbarkeit der Animationen l¨ asst sich zus¨atzlich dazu nutzen, statische Bilder mit genau definierten Parametern zu erzeugen. Dabei kann durch eine Reihe von Anweisungen eine visuelle Parametrisierung (z.B. bestimmte Farben) aller Objekte sowie eine immer gleiche Sicht auf die Darstellung f¨ ur unterschiedliche Datens¨atze erreicht werden.
6
Diskussion
Der Anweisungsumfang der Skriptsprache ist erweiterbar: Zum Einen durch die Definition neuer HighLevel-Anweisung auf der Basis schon bestehender Anweisungen. Zum Anderen durch die Implementierung neuer LowLevel-Anweisungen zur Manipulation weiterer Parameter der Darstellungen. Dies bietet ein großes Potential sowohl f¨ ur die Darstellung von speziellen Hervorhebungstechniken wie auch der Animation einer Vielzahl medizinischer Fragestellungen. Derzeit wird ein Authoringsystem entwickelt, mit dem Autoren ohne Kenntnis der Skriptsprache Animationsbeschreibungen direkt manipulativ generieren und testen k¨ onnen. Mit der Fertigstellung eines solchen Authoringsystems ist dann eine klinische Evaluierung des gesamten Systems m¨oglich. Ein weiterer Ansatz f¨ ur Erweiterungen des Konzeptes liegt in der Nutzung von Animationen in interaktiven Darstellungen. Solche interaktiven Animationen k¨ onnen genutzt werden, um beispielsweise bei der Selektion eines Objektes in einer 3d-Visualisierung die Kamera automatisch an eine g¨ unstige Position mit guter Sicht auf das Objekt zu bewegen. Auch k¨ onnten Wechsel von Hervorhebungen einzelner Objekte in einer interaktiven Darstellung mit Hilfe skriptbasierter Animationen visualisiert werden. Danksagung: Wir danken Jeanette Cordes f¨ ur die aufw¨andige Handarbeit der vielen Segmentierungen. Bei Dr. Stephan Sievers bedanken wir uns f¨ ur die Bereitstellung der gezeigten MRT-Daten. Dieses Projekt wurde im Zusammenhang mit dem SOMIT-FUSION-Projekt durch das BMBF gef¨ordert (FKZ 01-BE03B).
Literaturverzeichnis 1. Butz A. Betty: Planning and Generating Animations for the Visualization of Movements and Spatial Relations. In: Advanced Visual Interfaces. ACMPress; 1994. 2. Karp P, Feiner S. Automated presentation planning of animation using task decomposition with heuristic reasoning. In: Graphics Interface; 1993. p. 118–127. 3. Preim B, Ritter A, Steinicke G. Gestaltung von Animationen zur Erkl¨ arung komplexer 3D-Modelle. In: Simulation und Animation f¨ ur Planung, Bildung und Pr¨ asentation. Magdeburg; 1996. p. 255–266. 4. Bade R, Mirschel S, Oldhafer KJ, Preim B. Ein fallbasiertes Lernsystem f¨ ur die Behandlung von Lebertumoren. Procs BVM. Springer; 2004. p. 438–442.
Verzerrung einer virtuellen Szene zur Erweiterung der Realit¨ at eines Endoskopiebildes Ingmar Wegner, Philipp Wolber, Bj¨ orn Gebhard, Marcus Vetter und Hans-Peter Meinzer Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum, 69120 Heidelberg Email:
[email protected]
Zusammenfassung. Mit der Hilfe eines Endoskops kann das Innere des menschlichen K¨ orpers minimalinvasiv erkundet werden. Die Optik des Instruments ist so aufgebaut, dass sie einen weiten Bereich der um die Spitze liegenden Strukuren aufnimmt. Dadurch wird das Bild jedoch auch stark verzerrt ( Fischauge-Effekt“). F¨ ur die Erweiterung die” ses Bildes mit virtuellen Objekten (Augmented Reality) m¨ ussen nun die virtuellen Objekte gleichermaßen verzerrt werden. Erst dadurch ist eine korrekte Verbindung von realen und virtuellen Objekten m¨ oglich. Dieser Beitrag beschreibt ein Verfahren, mit dem dies unter Ber¨ ucksichtigung der Echtzeitf¨ ahigkeit m¨ oglich ist.
1
Einleitung und medizinischer Hintergrund
Ein interaktives System, welches in Echtzeit reale und virtuelle Objekte miteinander verbindet, nennt man Augmented Reality (AR) System. Auch wenn die AR-Technik sich in manchen Gebieten etabliert hat, befindet sie sich immer noch stark in der Entwicklungsphase. Flugzeugpiloten bekommen das Bild der Landebahn auch bei Nebel virtuell angezeigt, Auto-Navigationssysteme werden so erweitert, dass in einem Display die reale Straße von einem virtuellem Weg u onnen bereits zerst¨orte historische Geb¨aude an ¨ berlagert wird und Touristen k¨ Ort und Stelle virtuell neu aufleben sehen. Probleme bereitet der AR-Technik insbesondere die Registrierung der realen mit virtuellen Strukturen sowie die Erhaltung der Echtzeitf¨ ahigkeit. In der Medizin tragen AR-Systeme eine große Verantwortung und setzen sich daher hier nur langsam durch. In diesem Gebiet spielt die Genauigkeit die wichtigste Rolle. Beispielsweise ein an falscher Stelle eingezeichneter virtueller Tumor kann enorme Auswirkungen auf den Verlauf einer Operation haben. Durch die stetig steigende Rechnerleistung k¨onnen jedoch auch immer genauere Berechnungen durchgef¨ uhrt werden, so dass Verfahren mit guter Genauigkeit zunehmend auch echtzeitf¨ ahig werden und somit die an sie gestellte Verantwortung u onnen. ¨ bernehmen k¨ Ein Prototyp eines solchen Systems setzt es sich zur Aufgabe, die Orientierung und Wegfindung innerhalb der Lunge zu verbessern [1]. Ein VideoBronchoskop (flexibles Endoskop f¨ ur die Lunge) wird hierzu in das Innere der
302
I. Wegner et al.
Abb. 1. Unverzerrtes (oben links) und durch das beschriebene Verfahren verzerrte Bild (oben rechts). Deutliche Verzeichnung eines mit einem Bronchoskop abgelichteten regelm¨ aßigen Schachbrettmusters (links unten). Die pixelartigen Artefakte werden von den einzelnen Glasfaserstr¨ angen des Bronchoskops verursacht. Das Ergebnisbild zeigt im realen Videobild einen d¨ unnen virtuellen Pfad (unten rechts).
Lunge vorgeschoben. Die Vielzahl der Abzweigungen erschwert dabei das zielgerichtete Auffinden einer bestimmten Position. Der Einsatz eines Navigationssystems hilft hier weiter, indem es u.a. die aktuelle Lage des Bronchoskops auf einen pr¨ aoperativ aufgenommenen (CT/MRT) Bronchialbaum registriert und einen berechneten Pfad hin zu einer definierten Stelle in das Videobild einzeichnet. Die Optik eines solchen Endoskops ist so aufgebaut, dass ein m¨oglichst großer Bereich der vor der Spitze liegenden Strukturen am Okular bzw. im Videobild zu erkennen ist. Dadurch entsteht eine radial-symmetrische Verzeichnung [2, S.120], die man umgangssprachlich auch als Fischauge-Effekt“ bezeichnet. Die starke ” Verzeichnung stellt Objekte in der Mitte des Bildes normal groß oder sogar gr¨oßer dar. In den Seiten des Bildes erscheinen die Objekte extrem gestaucht (s. Abb. 1 links unten). Hierdurch stellt sich die vom Endoskopist ben¨otigte Ansicht ein: Eine genaue Sicht in der Mitte und eine Rundumsicht an den Seiten. Will man nun im Speziellen das Videobild des Bronchoskops durch virtuelle Objekte erweitern, muss man diese starke Verzeichnung mitber¨ ucksichtigen. Andernfalls passen die virtuellen Objekte nicht in das verzerrte Bild. Der Endoskopist ist das stark verzerrte Bild gewohnt und kann es richtig interpretieren. Eine Entzerrung des Videobildes w¨ urde eine Ver¨ anderung seiner Gewohnheiten darstellen. Also
Verzerrung einer virtuellen Szene
303
muss ein Verfahren entwickelt werden, welches die kameraspezifischen Parameter bestimmt und anhand derer die virtuellen Objekte gleich dem Videobild verzerrt, so dass beide Bilder u ¨ bereinander in Echtzeit dargestellt werden k¨onnen. Ein notwendiger Schritt hierzu ist die Kamerakalibrierung. F¨ ur die Extraktion der kameraspezifischen Parameter existieren mehrere freie Applikationen, von denen jedoch nur die wenigsten die gew¨ unschten Parameter zufriedenstellend errechnen k¨ onnen. Das ARToolkit[3] beispielsweise berechnet die Kameraparameter nur rudiment¨ ar und geht davon aus, dass w¨ahrend der darauffolgenden Echtzeitregistrierung von realem Marker auf virtuelles Objekt die Fehler der Kalibrierung unbedeutend werden. Außerdem bezieht sich das Toolkit lediglich auf geringe optische Fehler und nicht auf eine starke Verzerrung. Anders als das ARToolkit konzentriert sich die freie Camera Calibration Toolbox for Matlab“ ” [4] darauf, die Parameter so genau wie m¨ oglich zu errechnen. Das Resultat besteht aus den ben¨otigten Parametern sowie dem jeweiligen relativen Fehler. Zur Realisation von Entzerrungen von Kamerabildern in Echtzeit ver¨offentlichte Michael R. Bax einen Beitrag und zeigte, dass sich Grafikkarten zu dem Zwecke gut eignen [5].
2
Methoden und Workflow
Das hier vorgestellte Verfahren wird in dem Projekt Navigierte Bronchoskopie“ ” [1] eingesetzt. Da dieses Projekt mit dem OpenSource Toolkit MITK (Medical Imaging Interaction Toolkit [6]) realisiert ist, wurde das Verfahren ebenfalls ins MITK integriert. MITK kombiniert die freien Toolkits ITK und VTK und erweitert sie um die f¨ ur die medizinische Bildverarbeitung notwendigen Algorithmen (Datenhaltung, Interaktion etc.). VTK nutzt u.a. OpenGL als API. Die Ver¨anderung der Parameter der virtuellen OpenGL-Kamera kam hier nicht infrage, da dadurch auch das Videobild im Hintergrund mitverzerrt werden w¨ urde. Also wurde ein Verfahren entwickelt, welches unter Benutzung des OpenGL Depth- und Alpha-Testing alleinig die virtuelle Szene verzerrt. Das Verfahren sieht zun¨ achst vor, einmalig die kameraspezifischen Parameter mit der von Mei entwickelten Camera Calibration Toolbox for Matlab“ [4] zu errechnen. Die ” ben¨otigten Parameter unterteilen sich in fc (Brennweite), cc (Verzerrungsmittelpunkt) und kc (Parameter f¨ ur die radial- und tangential-symmetrische Verzeichnung). Die Kalibrierung ergab f¨ ur das verwendete Bronchoskop der Firma Karl Storz Endoskope die folgenden Parameter:
f c1 = 349.678 f c2 = 349.179 cc1 = 388.898 cc2 = 292.266 kc1 = −0.378 kc2 = 0.092 kc3 = 0.000 kc4 = 0.000 kc5 = 0.000 Wie wir am Ergebnis sehen, k¨ onnen die tang.-sym. Parameter kc3 und kc4 aufgrund der Qualit¨ at der Optik vernachl¨ assigt werden. kc5 beschreibt st¨arkere rad.-sym. Verzeichnungen als sie bei einem Endoskop vorkommen und kann somit ebenfalls vernachl¨ assigt werden. Durch die so vereinfachte Formel nach Mei l¨aßt
304
I. Wegner et al.
sich nun zu jedem unverzerrten virtuellen Bildpunkt mit den Koordinaten XOrig und YOrig ∈ [0, 1] ein verzerrter Bildpunkt XDist und YDist ∈ [0, 1] berechnen: XDist = f c1 · (1.0 + kc1 · r2 + kc2 · r4 ) · XOrig + cc1 YDist = f c2 · (1.0 + kc1 · r2 + kc2 · r4 ) · YOrig + cc2 Die errechneten Koordinaten XDist und YDist k¨onnen in einer Tabelle gespeichert und f¨ ur den Aufbau eines Gitternetzes herangezogen werden. Das Gitternetz verzerrt dann das Originalbild entsprechend der Kameraparameter. Daf¨ ur wird die virtuelle Szene von OpenGL zun¨ achst dem Alpha-Hintergrundwert 0 initialisiert. Die virtuellen Objekte werden gezeichnet, jedoch noch nicht dem Betrachter angezeigt, sondern im Texturspeicher der Grafikkarte gespeichert. Hierauf wird die virtuelle Szene gel¨ oscht und von perspektivischer Projektion auf orthographische Projektion umgeschaltet. Innerhalb der Szene wird eine Ebene, bespannt mit der aktuellen Textur des Endoskopievideobildes, platziert. Vor dieser Ebene werden nun aus den zuvor berechneten Verzweigungspunkten unterschiedlich geformte Kacheln erstellt. Das in den Texturspeicher kopierte Bild wird in gleich große Teile zerlegt und mit aktiviertem Alpha-Test jeweils auf eine Kachel gespannt. Dadurch wird eine zusammenh¨angende Ebene aus mehreren Teilst¨ ucken zusammengebaut, die die vorher kopierte Szene verzerrt zeigt. Durch den Alpha-Test werden lediglich die gezeichneten Objekte und nicht der Hintergrund der kopierten Szene dargestellt, so dass das dahinter liegende Videobild im Hintergrund der virtuellen Objekte gezeichnet wird. Nach einem Befehl zur Anzeige (glSwapBuffer) sieht der Lungenspezialist die verzerrten virtuellen Objekte vor dem Endoskopievideobild dargestellt.
3
Ergebnisse
Durch das vorgestellte Verfahren kann eine wesentliche Verbesserung im Bereich der erweiterten Realit¨ at mit einem verzerrten Endoskopiebild erreicht werden. Das hier beschriebene Verfahren ist im MITK implementiert und steht somit ¨ der Offentlichkeit zur Verf¨ ugung. Die beschriebene Formel wurde in der Klasse mitkARMapper2D.cpp in Zeile 83pp umgesetzt. Durch das Verfahren sind alle von VTK bzw. OpenGL gezeichneten Objekte verzerrt, so dass nach einer geeigneten Registrierung die beiden Teilbilder (virtuell und real) u ¨bereinander passen (s. Abb. 1 rechts unten). Die Echtzeitf¨ahigkeit eines Systems bleibt erhalten, da das Verfahren mit OpenGL implementiert ist und somit haupts¨ achlich die heutzutage meist unterforderte Rechenleistung der Grafikkarte benutzt. Die Generierung der Koordinaten zur Verzerrung wird ebenfalls nur einmal aufgerufen, da davon ausgegangen wird, dass sich die Kameraparameter bei Laufzeit nicht ¨ andern. Grundlegende Performancetests zeigten keine Beeintr¨ achtigung der Echtzeitf¨ ahigkeit eines AR-Systems. F¨ ur einen Lungenspezialisten bedeutet dies, dass zum ersten Mal ein virtueller Leitpfad hin zu einem definierten Bronchus stimmig in das gewohnte Bronchoskopievideobild
Verzerrung einer virtuellen Szene
305
angezeigt werden kann und dass somit der Zielbronchus auf direktem Wege intuitiv gefunden werden kann. Hierdurch kann beispielsweise die Diagnose sowie Therapie von Lungenkrebs verbessern werden.
4
Diskussion
Durch die Verzerrung der virtuellen Szene k¨ onnen je nach St¨arke der Verzeichnung geringf¨ ugige Artefakte auftreten. Diese Artefakte ¨außern sich darin, dass in Regionen der Vergr¨ oßerung vorher scharfe virtuelle Objekte unscharf gezeichnet werden (s. Abb. 1 rechts oben). Dies ist damit begr¨ undet, dass der Informationsgehalt durch das Verfahren nicht nachtr¨ aglich vergr¨oßert werden kann. So werden Kanten, die zuvor kaum sichtbar waren, vergr¨ oßert und somit verdeutlicht. Die Qualit¨ at der virtuelle Szene wird also an Stellen der Vergr¨oßerung (Zentrum) verringert. Verglichen mit der relativ schlechten Qualit¨at eines Video-Bronchoskops (s. Abb 1 links unten) bedeutet dies jedoch keinen signifikanten Verlust. Ebenso außert sich dies kaum, wenn nur wenig bzw. kleine Objekte, z.B. ein d¨ unner ¨ virtueller Pfad, in das Videobild eingeblendet wird. Das Verfahren geht davon aus, dass sich die Kameraparameter nicht w¨ahrend der Laufzeit ¨ andern. Die Generierung der Kachelkoordinaten stellt zwar keine zeitkritische Berechnung dar, doch m¨ ußten die kameraspezifischen Parameter zuerst mit der Toolbox neu berechnet werden. Durch eine Verfeinerung des Verzweigungsnetzes wird die Anzahl der Kacheln vergr¨ oßert. Hierdurch wird die Genauigkeit der Verzerrung verbessert, jedoch auch die Prozessorlast der Grafikkarte erh¨oht, was eine Verringerung der Bildwiederholungsfrequenz zur Folge hat. Durch die zusammenh¨angenden Ka¨ cheln sind jedoch keine Uberg¨ ange zu erkennen, so dass bereits wenige Kacheln (21 x 21) eine Aufl¨ osung ergeben, bei der keine Spr¨ unge in der Verzerrung zu sehen sind.
Literaturverzeichnis 1. Wegner I, Vetter M, Schoebinger M, Wolf I, Harms W, Becker HD, et al. Entwicklung eines Navigationssystems fuer die endoluminale Brachytherapie; 2005. p. 213–216. 2. Luhmann T. Nahbereichsphotogrammetrie. 2nd ed. Herbert Wichmann Verlag, Heidelberg; 2003. 3. Billinghurst M, Kato H. Collaborative Augmented Reality. Communications of the ACM 2002;45(7):64–70. 4. Mei C. Camera Calibration Toolbox for Matlab. 2005; INRIA. www.vision.caltech.edu/bouguetj/calib doc/index.html. 5. Bay MR. Real-time lens distortion correction using texture mapping. vol. 5029; 2003. p. 249–256. 6. Wolf I, Vetter M, Wegner I, Nolden M, B¨ ottger T, Hastenteufel M, et al. The Medical Imaging Interaction Toolkit (MITK). vol. 5367; 2004. p. 16–27.
Modeling Dynamic Aspects in Virtual Interactive Environments Mathias Seitel1 , Vivek Vaidya2 , Raghu Kokku2 and Rakesh Mullick2 1
Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum, 69120 Heidelberg 2 Imaging Technologies Lab, GE India Technology Centre, Bangalore, India Email:
[email protected]
Abstract. Virtual 3D environments are found in a wide range of applications, like entertainment software, industrial simulations and virtual reality in medical imaging. Modern graphics hardware supports real-time rendering of highly complex virtual worlds; at the same time, extensive interaction capabilities are required to make an application useful. Graphical scenes are commonly composed of many reusable and recurring elements in a well-defined hierarchical way. In this work, a similar approach is proposed for modeling interaction capabilities. Comparable to the elements of a graphical scene, interaction mechanisms often consist of multiple components. By modeling these components as reusable objects, complex interaction mechanisms can easily be realized. The usefulness of this method is demonstrated in an application for visualizing 3D medical data, in which it has been applied to design both the 3D user interface and several interactive tools for manipulating medical datasets.
1
Problem
Procedures for visually exploring three dimensional medical image data have become an integral part of clinical practice. While 2D slice views have proved to be most useful for precisely navigating through the data, 3D views usually offer a better overall picture. Many applications limit their interaction aspects (like data probing, defining regions of interests, or setting seed points) to 2D views and provide only basic navigation capabilities in 3D views. While this is reasonable for situations in which 3D would rather occlude details or hamper precise navigation, 3D still holds much untapped potential for interaction. Recent improvements in hardware (e.g. high-precision 3D input devices and graphics boards capable of dynamically visualizing 3D data) have further paved the way for new 3D interactive applications in medical imaging. One difficulty with 3D interactions is the increased level of complexity – creating 3D environments that appear natural and are intuitively usable is not trivial. Besides graphical components, the modeling of interaction aspects (what we call Behaviors) remains a major challenge.
Modeling Dynamic Aspects in Virtual Interactive Environments
307
Fig. 1. InteractionObjects and Behaviors. InteractionObjects can be composed to hierarchies and thus constitute the scene graph of the application (left). Each InteractionObject has a set of dynamically associated Behaviors which define its interactive capabilities (right). A RotaryKnob inherits all Behaviors of a general Button and adds a RotaryBehavior which allows the button to be grabbed and rotated around the Z axis. Events are issued at each rotary movement to inform consumers about the new rotation angle (which can be linked to a control value in the application). A Menu has an associated Layout which takes care of the spatial arrangement of the Menu’s children. Workspace
ShapeBehavior
Button Volume
HighlightableBehavior
Menu ClickableBehavior
ROIWidget
ControlPoint
2
Button
ControlPoint
RotaryKnob RotaryKnob
RotaryBehavior
Menu
BarGroupLayout
Related Work
A large variety of systems for visualizing medical image data is available nowadays. Besides commercial applications, various scientific platforms and open source solutions exist, like the Visualization Toolkit (VTK), a popular framework offering many 2D and 3D visualization features and interaction capabilities. Systems like the Medical Imaging Interaction Toolkit (MITK) [1] or Slicer [2] integrate and extend VTK functionality. Human-machine interaction in virtual environments is a broad research field affecting many scientific areas. Various approaches for modeling interaction aspects exist [3, 4, 5]. Gleicher [6] describes a system in which interaction characteristics are realized with numerical constraints. Similar to our approach, the method prevents undesired exposure of internal object details and allows for a combination of complementing interaction aspects.
3
Methods
In this work we propose a new method for modeling dynamic aspects (interactions or animations) in virtual environments. Instead of integrating dynamic aspects into the virtual objects they are applicable to, we model them as universal components that can be arbitrarily associated with objects. The process of modeling dynamic aspects thus becomes more general and well-defined, which facilitates the creation of highly flexible and reusable interaction mechanisms. Our approach focuses on modeling Behaviors – or dynamic aspects – separate from the environment’s virtual objects (called InteractionObjects in the
308
M. Seitel et al.
following). A Behavior can for example be the ability of an InteractionObject to be moved around by the user, or describe how an object is animated, or specify its reaction on mouse clicks. Behaviors are associated with InteractionObjects: A volume dataset may be grabbable (GrabbableBehavior), while a button may react on mouse clicks (ClickableBehavior). Any InteractionObject can be associated with a multitude of Behaviors, which allows for a flexible and fine-grained specification of its dynamic aspects. InteractionObjects have a visual representation and can form hierarchies; they make up the scene graph of the environment (Fig. 1). The main benefits of this concept are: – Reusability: Behaviors are modeled independent of InteractionObjects and can be used in different contexts. Information exchange between Behaviors and InteractionObjects happens via events and abstract properties. Some Behaviors are dependent on others (for example an AnimationBehavior might only be activated when another Behavior detects that the user input device is hovering over an object). The logic of these dependencies can usually be encapsulated in the Behaviors themselves, using the concerned InteractionObject merely as a mediator. – Dynamic Behavior changes: Due to the loose coupling of InteractionObjects and Behaviors, replacing the Behaviors at run-time becomes very simple. This can be particularly useful when different, context-dependent operations are to be executed on an object (e.g. probing at one time, window-leveling at another time), or for creating a highly dynamic 3D user interface, as will be exemplified below. The concept of Behaviors and InteractionObjects facilitates the creation and management of complex interaction schemes. Examples for more sophisticated use-cases are: – Layouts: In a user interface, objects often need to be grouped together, both logically and visually (for example buttons). In our approach, the arrangement of these objects is controlled by Layouts, specialized Behaviors that are associated with the parent object of a group. Each Layout implements a specific layout algorithm, determining the spatial arrangement of the objects - e.g. in horizontal or vertical bars, in a box, or in a circle. Since Behaviors are loosely associated with InteractionObjects, Layouts can be changed at run-time. – Animations: Sometimes InteractionObjects are repositioned in the environment (e.g. when the Layout of their group changes). The AnimationBehavior serves the purpose of making this transition smooth. The object will be seen moving gradually from the old to the new location, which adds to the visual appeal of the application. Any InteractionObject can be made animated simply by including the AnimationBehavior in its list of Behaviors. – Tool specific Behaviors: While some Behaviors (e.g. Layouts) are not directly associated with user-interactions, others relate to individual Tools (the virtual representation of input devices). An environment with different Tools
Modeling Dynamic Aspects in Virtual Interactive Environments
309
Fig. 2. The VizDrive application. The 3D user interface provides interaction capabilities for controlling the application and manipulating datasets. Left: A dynamic MR scout scan projected on top of a clipping plane. Right: Changing the volume rendering transfer function with a 3D widget.
can associate each Tool with a distinct set of interactive capabilities. The left hand Tool could be used to grab and hold a dataset, while the right hand Tool (possibly haptic enabled) would permit probing or manipulating the dataset. Tools can activate certain Behaviors, and Behaviors in turn affect InteractionObjects.
4
Results
The concept has been implemented in VizDrive [7], a system for stereoscopic visualization of medical image data with hand-immersed interaction support (Fig. 2). The application includes various components that are based on interaction mechanisms, for example probing instruments, ROI widgets, segmentation plug-ins, visualization controls, or the 3D user interface itself. In creating these components, our approach of modeling interactions has proved to be very effective. Assembling rather complex interaction patterns becomes straightforward as we can resort to a set of universal Behaviors. Transient object properties are easily realized and mainly avail the graphical user interface. All these factors lead to a clean and maintainable software design.
5
Discussion
We have presented a novel approach of modeling interaction aspects in virtual 3D environments. Our concept promotes a modular design of dynamic aspects in 3D environments. We believe that the proposed separation of dynamic and static aspects can significantly help in simplifying the creation of practical virtual tools. Future work consists in further exploration of Behavior capabilities. Haptic aspects could for example be realized with special Behaviors that can query an
310
M. Seitel et al.
object’s geometric features. By grouping interdependent Behaviors into specialized units, reusing standard object characteristics could be further simplified.
References 1. Wolf I, Vetter M, et al. The medical imaging interaction toolkit. Medical Image Analysis 2005;9(6):594–604. 2. Gering D, et al. An integrated visualization system for surgical planning and guidance using image fusion and an open MR. Journal of Magnetic Resonance Imaging 2001;13(6):967–975. 3. Kallmann M, Thalmann D. Modeling Objects for Interaction Tasks. In: Procs Eurographics Workshop on Animation and Simulation; 1998. 4. D¨ ollner J, Hinrichs K. Object-Oriented 3D Modeling, Animation and Interaction. The Journal of Visualization and Computer Animation 1997;8(1):33–64. 5. Renzulli P, Kreylos O, Klein E, Staadt O, Hamann B. Toward Higher-Level Interaction Paradigms for Virtual Reality. In: NSF Collaborative Virtual Reality and Visualization Workshop; 2003. 6. Gleicher M. A Graphics Toolkit Based on Differential Constraints. In: Proc. ACM symposium on User interface software and technology; 1993. p. 109–120. 7. Mullick R, Hardy C, Raghu K, Darrow R. A Novel Hand-Immersed Paradigm for Interactive Medical Image Acquisition. In: Procs MMVR (Medicine Meets Virtual Reality). vol. 111; 2005.
Simulation und kombinierte Visualisierung von aktivierten Hirnarealen, Diffusionstensordaten und Magnetenzephalographie (MEG)-Signalverl¨ aufen Tobias M¨ onch und Johannes Bernarding Institut f¨ ur Biometrie und Medizinische Informatik, Medizinische Fakult¨ at, Otto-von-Guericke Universit¨ at Magdeburg, Leipziger Str. 44, 39120 Magdeburg Email:
[email protected]
Zusammenfassung. Die komplement¨ are Fusion unterschiedlicher Neuroimaging-Daten erm¨ oglicht neuartig Bild- und Signalanalyse. Es wurde ein SPM-kompatibles Software-Tool implementiert, das MEG-, morphologische, funktionelle und Diffusionstensor-MRI-Daten simultan visualisiert. Es k¨ onnen weiterhin die Signalverl¨ aufe aktivierter Gebiete interaktiv simuliert und anschließend zum Test standardisierter Auswertesoftware eingesetzt werden.
1
Problemstellung
Anhand von funktionellen MRI- und MEG-Daten l¨asst sich die Lage aktivierter Hirnareale feststellen. Die Verbindung verschiedener Hirnareale kann mittels Diffusionstensorbildgebung (DTI) berechnet werden. Eine Evaluierung und weitere Analyse der Ergebnisse hinsichtlich einer verbesserten Orts- und Zeitaufl¨osung sowie der Verbindung aktivierter Hirnareale, erfordert die Kombination der drei ¨ Bildmodalit¨ aten. Zur Uberpr¨ ufung der Auswertungen ist eine Simulation der Daten notwendig. Zwar existieren Tools zur Visualisierung von fMRI und DTI sowie von fMRI und MEG Daten, es gab aber keine Fusion und Darstellung aller drei Funktionalit¨ aten. Zus¨ atzlich sollte die transparente Einbindung in die Standardauswerteapplikation SPM“ entwickelt werden. ”
2
Stand der Forschung
Zur Analyse funktioneller Zeitreihen wird von den meist verwendeten Applikationen SPM“ (MATLAB-basiert) oder BrainVoyager“ das General Linear ” ” ” Model“ eingesetzt. Durch umfangreiche Vorverarbeitungsschritte (Interpolation, Normalisierung, Gl¨ attung) werden die originalen experimentellen Bilddaten oft stark ver¨ andert. Zur Darstellung der mit SPM“ gewonnenen Resultate stehen ” nur sehr eingeschr¨ankte M¨ oglichkeiten zur Verf¨ ugung, da hier eine Abh¨angigkeit von den in MATLAB enthaltenen Funktionen vorliegt, welches keine direkten
312
T. M¨ onch und J. Bernarding
Volumenvisualisierungstechniken (z.B.: RayCasting, 3D Texture Mapping) bereitstellt. Es werden vor allem Maximum-Intensity-Projektionen, aber auch statische 3D-Darstellungen und einfache 2D-Ansichten mit Farb¨ uberlagerungen eingesetzt, welche nur teilweise die korrekte Absch¨atzung r¨aumlicher Verh¨altnisse erm¨ oglichen und wenig Interaktion zulassen. Es sind nur orthogonale Ansichten m¨oglich, was eine genaue Lokalisation z.B. im occipito-temporo-parietalen Bereich oft sehr erschwert. Von K¨ onig et al. [1] wurden verbesserte M¨oglichkeiten zur Visualisierung anatomischer und funktioneller MRI-Daten beschrieben. Dazu z¨ ahlen direkte Volumendarstellungsmethoden mit geeigneten Transferfunktionen, wodurch Ungenauigkeiten, wie sie z.B. bei der Projektion von Aktivierung auf eine Oberfl¨ ache auftreten, vermieden werden. Die zeitliche Aufl¨ osung funktioneller MRI-Daten liegt deutlich unter der des MEG, welches die Aufnahme der Gehirnaktivit¨at im Millisekunden-Bereich zul¨ asst. Hinsichtlich der r¨ aumlichen Aufl¨ osung ist das Verh¨altnis umgekehrt, d.h. MRI erm¨ oglicht eine bessere r¨ aumliche Differenzierung als MEG. DTI wiederum erlaubt die Visualisierung der Faserverbindungen zwischen verschiedenen Hirnarealen, so dass eine kombinierte Visualisierung der drei Modalit¨aten erm¨oglichen sollte, die fr¨ uhe Aktivierung, deren Ausbreitung und zeitliche Weiterentwicklung mit hoher Genauigkeit darzustellen. Eine integrierte Erzeugung von simulierten Phantomdaten w¨ urde es weiterhin erlauben, die Ergebnisse der Standardauswertesoftware genau zu analysieren und zu verifizieren. Applikationen zur Erzeugung von Phantomdaten und Validierung der funktionellen Auswertungsergebnisse, wie z.B. fAIT“ [2], sind h¨ aufig abh¨ angig von der Systemumgebung und damit ” nicht f¨ ur die universelle Kommunikation mit MATLAB-Datenstrukturen geeignet. MATLAB ist optimal f¨ ur die Verarbeitung von Matrizen einsetzbar und stellt daher die Basis der Softwareapplikation SPM“ dar, die zur statistischen Signal” verarbeitung der funktionellen Daten als einer der Standards gilt. F¨ ur fortgeschrittene direkte Visualisierungstechniken ist MATLAB jedoch zu langsam und stellt selbst nur wenige Funktionen bereit. Die freie Bibliothek VTK“ bietet ” dagegen umfangreiche und schnelle Visualisierungsfunktionen und -module. Die Fusion beider Umgebungen erm¨ oglicht die Nutzung der Vorteile dieser Bereiche, um eine geeignete Anwendung f¨ ur die geschilderten Probleme zu entwickeln.
3
Methoden
Im Rahmen des Projektes wurde eine Schnittstelle entwickelt, welche die graphische M¨ achtigkeit von VTK“ und den Funktionsumfang von MATLAB u ¨ ber ” dessen C/C++-Schnittstelle ( mex-Files“) miteinander kombiniert. Da MAT” LAB beim Aufruf eines mex“-Skriptes auf dessen Beendigung wartet, wurden ” zwei parallele, getrennt bedienbare Sessions er¨ offnet, um die kontinuierliche Interaktion mit der MATLAB-Oberfl¨ ache weiter zu erm¨oglichen. Somit steuert je eine Sitzung die VTK-Interaktion und eine die MATLAB-basierte Oberfl¨ache. Die auf dieser Basis entwickelte Software dient zur dreidimensionalen, multimodalen Visualisierung der Resultate funktioneller Auswertungen und ihrer Kor-
Simulation und kombinierte Visualisierung
313
Abb. 1. Die Abbildung zeigt den zeitlichen Verlauf (rechts) eines ausgew¨ ahlten, aktivierten Voxels anhand einer Kombination von anatomischen und funktionellen Daten auf Basis von VTK (unter MATLAB) (links).
relation zur Anatomie. Es wird so m¨ oglich, (segmentierte) anatomische Strukturen, Diffusions- und funktionelle Daten unter Einbeziehung von zeitlich hochaufgel¨ osten MEG-Informationen u ¨ ber direkte und indirekte Volumenvisualisierungsmethoden darzustellen. Zur Darstellung statistisch signifikanter, also aktivierter Areale werden im ¨ 2D-Bereich v.a. farbliche Uberlagerungen verwendet. F¨ ur die 3D-Darstellung werden als direkte Volumenvisualisierungs-Techniken Ray-Casting“ und 3D” ” Texture-Mapping“ eingesetzt. Dadurch wird im Vergleich zu herk¨ommlichen oberfl¨ achenbasierten Darstellungstechniken eine verbesserte Analyse der r¨aumlichen Strukturen erm¨ oglicht, da verdeckt liegende Aktivierungen bei Einsatz von Transparenz nur mittelm¨ aßig erkennbar bzw. r¨aumlich zuzuordnen sind und bei Projektion der Aktivierung auf die Oberfl¨ache z.T. Verzerrungen auftreten. Die anatomischen Daten werden dann mit Informationen u ¨ ber aktivierte Areale und Diffusionsart kombiniert und anhand von geeigneten Transferfunktionen f¨ ur Farbe und Transparenz dargestellt (Abb. 1). Letztere basieren auf MATLAB-Farbtabellen, k¨ onnen frei gew¨ ahlt werden und gew¨ahrleisten so einen ¨ gleichm¨ aßigen Ubergang zwischen den Farbwerten. Individuelle Anpassungen sind weiterhin m¨ oglich. Die Einbeziehung von Diffusionstensor-MRI-Daten in die Visualisierung erfolgt entweder kombiniert oder einzeln die direkte Darstellung von Traktographie-Daten (z.B. aus FSL“ [3]), RGB-Darstellungen der Hauptdif” fusionsrichtungen, Streamlines oder die Berechnung des relativen Anteils der Eigenwerte [4]. Soweit MEG-Messdaten vorhanden sind, werden bei Selektion von Voxeln und Bereichen zus¨ atzlich die zeitlich sehr hoch aufgel¨osten MEG-Zeitverl¨aufe angezeigt, so dass f¨ ur den Nutzer der direkte Vergleich mit fMRI und DTIInformationen m¨ oglich wird. Da die Applikation als ein Erweiterungspaket f¨ ur SPM“ konzipiert ist, kann ” besonders bei der notwendigen Registrierung der einzelnen Datens¨atze auf bereits enthaltene Funktionen, die es erm¨ oglichen, verschiedene Datens¨atze in den gleichen Raum zu transformieren, zur¨ uckgegriffen werden. Es ist klar, dass speziell oberfl¨ achenbasierte Darstellungsmethoden eine saubere Segmentierung vor-
314
T. M¨ onch und J. Bernarding
Abb. 2. Die Abbildung zeigt einen simulierten Zeitverlauf unter Annahme eines Blockdesigns anhand der von G¨ ossl et al. [6] vorgestellten Methode.
aussetzen. Zu diesem Zweck wird hier auf existierende SPM“-Routinen gesetzt, ” die in erster Linie graue und weiße Substanz zuverl¨assig extrahieren [5]. Die Simulation von fMRI-Daten erfolgt anhand des von G¨ossl et al. [6] beschriebenen Algorithmus f¨ ur das Erzeugen einer h¨amodynamischen Antwortfunktion (Abb. 2). Auf diese Weise k¨ onnen Block-Design- und Event-Related¨ahnliche Signale erzeugt werden, die anhand verschiedener Parameter speziell auf bestimmte Bedingungen angepasst werden k¨onnen. Der Benutzer kann im Rahmen der Anwendung zwei- und dreidimensional Bereiche ausw¨ ahlen, in denen entweder eine Aktivierung zu simulieren ist oder deren gemessener zeitlicher Verlauf analysiert und dargestellt werden soll. Zu jeder Zeit k¨ onnen die beschriebenen Visualisierungstechniken angewendet werden, um so die Interpretation der jeweiligen Daten zu erleichtern. Der zu untersuchende Bereich kann u ¨ber Clipping-Ebenen angeschnitten, eingegrenzt und mit zus¨ atzlichen Bildebenen kombiniert werden, die schichtweise die originalen Messdaten anzeigen.
4
Resultate
Die hier vorgestellte Anwendung erm¨ oglicht die Nutzung des vollen Umfangs der VTK“-Klassen in Kombination mit MATLAB-Datenstrukturen. Sie wurde ” sowohl mit simulierten, als auch mit realen fMRI-Daten, bei denen der visuelle Kortex stimuliert wurde, getestet. Die Nutzung von direkten Volumenvisualisierungstechniken erlaubt dabei eine gute r¨ aumliche Absch¨atzung der Verh¨altnisse zwischen Anatomie, Lokalisation und Ausdehnung aktivierter Hirnareale. Hilfreich ist vor allem die M¨ oglichkeit, die Diffusionsdatenvisualisierung anhand der Art der Diffusion zu wichten. Durch interaktive Exploration und Manipulation der 3D-Darstellung konnte eine zuverl¨ assige Unterst¨ utzung bei der gezielten zeitlichen Analyse ausgew¨ahlter Voxel und Areale erreicht werden, was zu einem verbesserten Verst¨andnis der dargestellten Ergebnisse beitr¨ agt. Die Kombination mit MEG-Informationen erm¨ oglicht einen detaillierten Einblick in den zeitlichen Verlauf der Messdaten, so dass fMRI und MEG direkt in Beziehung gesetzt werden k¨onnen.
Simulation und kombinierte Visualisierung
315
Die Analyse der mit der Applikation erzeugten Phantomdaten mit SPM2“ ” zeigte eine gute Reproduzierbarkeit der als statistisch signifikant (p=0.01) aktivierten Hirnareale. Die detektierbare Signalamplitude betrug etwa 2-5 % des Gesamtsignals bei einem Rauschen von ca. 1 % der Aktivierungsamplitude. Falsch positiv aktivierte Areale traten nur in Einzelf¨ allen auf. Die fMRI-Phantomdaten sind damit als realit¨ atsnah anzusehen.
5
Zusammenfassung
Die Unterst¨ utzung der Ergebnisanalyse funktioneller Daten erwies sich als sehr n¨ utzlich. Durch die Kombination von dreidimensionaler, interaktiver, multimodaler Darstellung und Phantomdatenerzeugung konnte besser beurteilt werden, wie sich z.B. von SPM“ durchgef¨ uhrte Operationen (Interpolation bei Norma” lisierung und Realignment, Gl¨ attungen) auf das Aktivierungssignal auswirken. Die Evaluierung der SPM“-Ergebnisse wurde somit deutlich verbessert. Die ” Erzeugung von MEG- und Diffusionsphantomdaten soll in Zukunft weiterer Bestandteil des Projektes sein, um so vor allem die Einsch¨atzung der Ergebnisse unter Einbeziehung verschiedener Modalit¨ aten zu verbessern. Zur Erzeugung von DTI-Phantomdaten werden verschiedene Ans¨ atze getestet (z.B. [7]). Derzeit erfolgt die Erstellung von fMRI-Phantomdaten anhand des von G¨ossl et al. [6] vorgestellten Modells. Eine Erweiterung um zus¨atzliche u ¨ bliche Modelle zur Erstellung einer h¨ amodynamischen Antwortfunktion, wie z.B. u ¨ ber die Faltung mit Gamma-Funktionen, erscheint als sinnvoll, da der Nutzer auf diese Weise optimal angepasste Signalverl¨ aufe erzeugen kann. Die Umsetzung entsprechender Routinen und Benutzerschnittstellen ist daher ein weiteres Projektziel. Es ist vorgesehen, neben den bisher verwendeten Methoden zur Visualisierung von Diffusionstensordaten, auch Tensor-Splatting-Techniken [8] zu realisieren und zu evaluieren.
Literaturverzeichnis 1. K¨ onig A, et al. Multiple Views and Magic Mirrors - fMRI Visualization of the Human Brain. In: Proc of SCCG’99; 1999. p. 130–139. 2. Stenger VA, et al. fAIT. http://www.mrctr.upmc.edu/ andy/ projects/fait/overview.htm. Zuletzt abgerufen am 29.11.2005. 3. Beckmann CF, et al. Advances in functional and structural MR image analysis and implementation as FSL. Neuroimage 2004;23(S1):208–219. 4. Westin CF, et al. Geometrical Diffusion Measures for MRI from Tensor Basis Analysis. In: ISMRM ’97. Vancouver Canada; 1997. p. 1742. 5. Frackowiak RSJ, et al. Human Brain Function, Second Edition. Elsevier Academic Press; 2004. p. 695–706. 6. G¨ ossl C, et al. Bayesian modeling of the hemodynamic response function in BOLD fMRI. Neuroimage 2001;14:140–148. 7. Bergmann Ø, et al. Generating a Synthetic Diffusion Tensor Dataset. In: CBMS; 2005. p. 277–281. 8. Benger W, et al. Tensor Splats. In: Visualization and Data Analysis 2004, Proc. of SPIE. vol. 5295; 2004. p. 151–162.
Ein Algorithmus zur Positionsbestimmung von Patienten und Biopsienadeln mit einem Vierkamerasystem Detlef Richter1 , Jan Egger1 und Gerd Straßmann2 2
1 Fachhochschule Wiesbaden, FB Informatik, 65197 Wiesbaden Unversit¨ atsklinikum Marburg, Abt. f¨ ur Strahlentherapie, 35043 Marburg Email:
[email protected]
Zusammenfassung. Ein tetraoptisch es 3D-Navigationssystem, mit dem die Positionen von Biopsienadeln in Echtzeit am Bildschirm in CTSchnittbildern visualisiert werden, soll in der Brachytherapie Verwendung finden. Um eine Biopsienadel in den CT-Schnittbildern zu visualisieren, werden die Lage des Patienten und die jeweilige Position der Biopsienadel u ¨ ber IR-Leuchtdioden bestimmt. Dabei ist davon auszugehen, dass in den jeweiligen Kamerabildern eine unterschiedliche Anzahl von IR-Leuchtdioden sichtbar ist. Ein Algorithmus, der unter diesen Bedingungen die Positionen von Patienten und Biopsienadeln mit rigider Transformation bestimmt, wird hier vorgestellt.
1
Einleitung und Stand der Forschung
Ein Kamerasystem mit mehr als zwei Kameras, das in der Brachytherapie Verwendung finden kann, existiert bis jetzt nicht. Bisher erfolgte die automatische Patientenregistrierung, d.h. die Bestimmung der Lage eines Patienten, durch ein Stereokamerasystem. Die Position des Patienten wird mit Landmarken, in denen sich IRLeuchtdioden befinden, bestimmt. Die Landmarken sind dabei direkt auf der Haut des Patienten an K¨ orperregionen mit nur geringer Hautverschieblichkeit oder an einer Fixationsmaske angebracht. Die Position der Biopsienadel wird in den Kamerasystemen u ¨ ber einen Tracker, an dem die Biopsienadel und die IRLeuchtdioden befestigt sind, bestimmt. Die IR-Leuchtdioden der Landmarken und die IR-Leuchtdioden des Trackers ergeben unter den Kamerasystemen jeweils ein dreidimensionales IR-Leuchtdiodenmodell im Weltkoordinatensystem. Das Weltkoordinatensystem wird durch das Kalibrierverfahren des Vierkamerasystems definiert [1]. Beim Zweikamerasystem m¨ ussen sich die Landmarken am K¨orper des Patienten oder an einer Fixationsmaske und die IR-Leuchtdioden des Trackers im Sichtbereich beider Kameras befinden, um ihre Positionen im Raum bestimmen zu k¨ onnen. Ist eine IR-Leuchtdiode nur im Sichtbereich einer der Kameras, l¨asst sich die Position dieser IR-Leuchtdiode im Raum nicht mehr berechnen. Daher kann auch die Lage des Patienten oder des Trackers nicht mehr bestimmt werden.
Ein Algorithmus zur Positionsbestimmung
317
Abb. 1. Korrespondenzproblem. Anhand der Kamerabilder kann nicht entschieden werden, welche Punkte aus den Kamerabildern 2, 3 und 4 den Punkten 1 und 2 aus Kamerabild 1 zugeordnet werden m¨ ussen (linkes Bild). Genauso verh¨ alt es sich mit den Punkten 1 und 2 aus Kamerabild 2 und den Punkten aus den Kamerabildern 1, 3 und 4 (rechtes Bild). Analoges gilt f¨ ur die Kamerabilder 3 und 4.
W¨ ahrend der therapeutischen Behandlung m¨ ussen deshalb alle IR-Leuchtdioden von beiden Kameras erfasst werden. Auch muss der Arzt darauf achten, dass er selbst keine der IR-Leuchtdioden verdeckt. Mit einem Vierkamerasystem k¨ onnen dagegen sechs Stereokamerapaare gebildet werden. Dadurch ergibt sich ein wesentlich gr¨oßerer Arbeitsbereich gegen¨ uber dem Zweikamerasystem und damit auch ein wesentlich gr¨oßerer Freiraum beim Anbringen der Landmarken am Patienten. Der behandelnde Arzt kann beispielsweise die Landmarken bei Hals- Kopftumoren an den beiden Seiten des Kopfes des Patienten anbringen, was bei einem Zweikamerasystem zur Sichtbehinderung f¨ uhrt [2,3].
2
Methoden
Aus dem Korrespondenzproblem bei einem Vierkamerasystem ergibt sich, dass f¨ ur die Berechnung der Positionen der IR-Leuchtdioden alle Korrespondenzen in Betracht gezogen werden m¨ ussen (Abb. 1). Alle getesteten IRLeuchtdiodenmodelle wurden durch f¨ unf Punkte definiert. Sind alle f¨ unf IRLeuchtdioden eines Modells in allen vier Kameras sichtbar, k¨onnen mit jedem Stereokamerapaar f¨ unfundzwanzig Punkte berechnet werden. Bei sechs Stereokamerapaaren ergeben das maximal hundertf¨ unfzig Punkte. Diese Obergrenze wird jedoch selten erreicht. Es ist davon auszugehen, dass je nach Position der IR-Leuchtdioden mit den Kameras weniger als f¨ unf IR-Leuchtdioden abgebildet werden (Tab. 1, obere Reihe). Reduzierung der Anzahl der berechenbaren Punkte. Die Koordinaten der IR-Leuchtdioden werden aus dem Schnittpunkt zweier Sehstrahlen berechnet. Wegen Ungenauigkeiten in den Kamerabildern schneiden sich diese niemals exakt in einem Punkt. Daher wird als Position einer IR-Leuchtdiode die Mitte auf der Linie des minimalen Abstandes der zwei Sehstrahlen angenommen [4]. Ist der minimale Abstand zweier Sehstrahlen kleiner als eine vorgegebene Schwelle, wird vorausgesetzt, dass es sich um einen Kandidaten f¨ ur eine IR-Leuchtdiode handelt. Die Koordinaten dieser Punkte werden zur weiteren
318
D. Richter, J. Egger und G. Straßmann
Tabelle 1. Darstellung der Analyseergebnisse der von den vier Kameras gesehenen Leuchtdioden bei einer der Testmessungen. In der oberen Reihe sind f¨ ur die einzelnen Kameras die ganzzahligen Werte der 2D Lochkamerakoordinaten dargestellt. Dabei liegt der Ursprung des Koordinatensystems in der Bildmitte, Korrekturen f¨ ur die radialsymmetrische Verzerrung und f¨ ur das Pixelseitenverh¨ altnis sind durchgef¨ uhrt. In den beiden unteren Reihen sind die daraus berechneten 3D Weltkoordinaten aus den einzelnen Stereokamerapaaren unter der Ber¨ ucksichtigung eines Schwellwertes von 0,25 f¨ ur den Abstand der ausgewerteten Sehstrahlen dargestellt (alle Maße in cm).
Auswertung u ¨ bernommen (Tab. 1, untere zwei Reihen), alle anderen werden verworfen. Zusammenfassen der entstandenen Punktwolken. Erkennt mehr als ein Stereokamerapaar ein und dieselbe IR-Leuchtdiode, werden die Koordinaten f¨ ur diese IR-Leuchtdiode aus jedem dieser Stereokamerapaare berechnet. Durch Abweichungen bei den Berechnungen in den Bildern der einzelnen Stereokamerapaare entsteht eine Punktwolke f¨ ur diese IR-Leuchtdiode. Diese entstandenen Punktwolken k¨ onnen zu einem Punkt zusammengefasst werden. Ein weiterer Schwellwert definiert, wie weit mehrere Punkte auseinander liegen d¨ urfen, um als zusammengeh¨ orige Punktwolke aufgefasst zu werden. Dieser Wert h¨angt von der Genauigkeit der Kalibrierung des Vierkamerasystems ab [5]. Matching eines Leuchtdiodenmodells mit einer Punkteuntermenge. Durch die oben genannten Verfahren 2.1 und 2.2 wurde ein Großteil der berechneten Punkte eliminiert und zusammengefasst, wodurch die Anzahl der Kandidaten reduziert wurde. Tests mit verschiedenen Modellen aus f¨ unf IR-Leuchtdioden haben gezeigt, dass nach der Zusammenfassung noch f¨ unf bis zehn Punkte u ¨ brig bleiben. Aus dieser Menge m¨ ussen jetzt alle Untermengen mit f¨ unf Punkten betrachtet werden. Es wird versucht, die jeweilige Untermenge mit dem gesuch-
Ein Algorithmus zur Positionsbestimmung
319
ten IR-Leuchtdiodenmodell durch eine rigide Transformation zur Deckung zur bringen. Bei zehn restlichen Punkten ergeben sich 252 Untermengen mit f¨ unf Punkten. Soll das IR-Leuchtdiodenmodell mit einer der Untermengen zur Deckung gebracht werden, werden drei Punkte ben¨ otigt. Der erste Punkt ist der Schwerpunkt des IR-Leuchtdiodenmodells bzw. der Untermenge. Der zweite Punkt wird u ¨ber seinen Abstand zum Schwerpunkt definiert. Dabei wird beim IR-Leuchtdiodenmodell derjenige Punkt gew¨ ahlt, der den gr¨oßten Abstand zum Schwerpunkt hat. Gibt es in der Untermenge keinen Punkt, der einen ahnlichen Abstand zum Schwerpunkt hat, kann diese Untermenge nicht dem IR¨ Leuchtdiodenmodell entsprechen. Gibt es bei dem IR-Leuchtdiodenmodell oder bei der Untermenge mehrere Punkte mit fast dem gleichen Abstand zum Schwerpunkt, so m¨ ussen alle Kombinationen getestet werden. Als dritter Punkt, u ¨ ber den das IR-Leuchtdiodenmodell und die Untermenge zur Deckung gebracht werden, wird derjenige Punkt genommen, der zum zweiten Punkt den gr¨oßten Abstand hat. Dabei gelten bez¨ uglich der Abst¨ ande die gleichen Randbedingungen wie beim zweiten Punkt. Konnte das IR-Leuchtdiodenmodell und die Untermenge u ussen bei ¨ ber die drei beschriebenen Punkte zur Deckung gebracht werden, m¨ f¨ unf Punkten noch die zwei verbleibenden Punkte vom IR-Leuchtdiodenmodell und der Untermenge u uft werden. Es wird die Summe der Differenzen der ¨berpr¨ euklidischen Abst¨ande aller Punkte vom IR-Leuchtdiodenmodell und der Untermenge berechnet. Die Untermenge, deren Summe unter einem Schwellwert liegt, der wiederum von der Genauigkeit des Vierkamerasystems abh¨angt [4], wird als passend zum IR-Leuchtdiodenmodell angenommen. Gibt es mehrere Untermengen, wird diejenige mit der kleinsten Summe gew¨ahlt.
3
Ergebnisse
F¨ ur die Evaluation wurden verschiedene IR-Leuchtdiodenmodelle, d. h. Fixationsmaske oder Tracker, an einem Roboter befestigt und in dem Sichtbereich des Vierkamerasystems bewegt. Bei einer Fixationsmaske f¨ ur den Kopf konnten die Landmarkenmodelle immer vollst¨ andig rekonstruiert werden, wenn jede Landmarke mindestens in einem Stereokamerapaar sichtbar war. Dieses war auch dann der Fall, wenn die Landmarken an den gegen¨ uberliegenden Seiten der Maske angebracht waren. Bei dem verwendeten Tracker liegen alle IR-Leuchtdioden in einer Ebene. Hier war eine vollst¨ andige Rekonstruktion bei Rotationen um jeweils eine der horizontalen Achsen bis zu ca. ± 90˚ m¨ oglich. Wie zu erwarten ist, werden von den einzelnen Kameras nicht alle f¨ unf Leuchtdioden gesehen. In der angegebenen Testmessung (Tab. 1, obere Reihe) registrierte eine der Kameras drei, die drei anderen Kameras jeweils vier Leuchtdioden. Nach Anwendung des vorgestellten Algorithmus wurden von den sechs Stereokameras sieben separate Punkte lokalisiert : P1 (34,11,21) von sechs, P2 (24,12,25) von sechs, P3 (20,23,21) von drei, P4 (20,17,12) von einem, P5 (34,22,22) von einem, P6 (31,18,9) von einem und P7 (18,15,16) ebenfalls von einem Stereokamerapaar. Die Auswahl der f¨ unf korrekten Punkte erfolgte u ¨ ber
320
D. Richter, J. Egger und G. Straßmann
das Leuchdiodenmodell mit dem Verfahren nach 2.3, zwei Punkte, die nicht dem Modell zugeordnet werden konnten, wurden entfernt.
4
Diskussion
Solange die Landmarken innerhalb des Sichtbereichs des Vierkamerasystems liegen, k¨ onnen diese auch an der Seite des Kopfes oder des K¨orpers des Patienten angebracht werden. F¨ ur die Bewegung des Tracker ergibt sich durch den Algorithmus eine gr¨ oßtm¨ ogliche Freiheit. Bei der Implementierung wurde die Berechnung der Rotationen mit Quaternionen ausgef¨ uhrt. Bei der Verwendung von Quaternionen an Stelle von Rotationsmatrizen werden weniger Rechenoperationen ben¨otigt, was die Rechengeschwindigkeit steigert. Eine Anpassung des implementierten Algorithmus ist bei einer Erweiterung des Vierkamerasystems um eine oder mehrere weitere Kameras jederzeit m¨ oglich. Daher kann der Algorithmus nicht nur in dem vorhandenen Vierkamerasystem Verwendung finden, sondern auch in zuk¨ unftigen Mehrkamerasystemen eingesetzt werden. Die Berechnung des vorgestellten Algorithmus, jedoch ohne Bildakquisition und 3D-Rekonstruktion, betr¨ agt ca. 5 ms auf einer Intel Pentium 4 CPU mit 2 GHz Taktfrequenz. Die Genauigkeit bei der Bestimmung der Lage des Patienten und der Position und Orientierung des Trackers wird durch den vorgestellten Algorithmus nicht verbessert, da diese im wesentlichen von der Genauigkeit der Kalibrierung abh¨angt. Vielmehr wird die Genauigkeit durch das Vierkamerasystem gegen¨ uber dem Zweikamerasystem dadurch gesteigert, weil die Landmarken weiter auseinander liegend am Patienten angebracht werden k¨onnen und sich somit g¨ unstigere Positionen f¨ ur die Berechnung im Raum ergeben. Der vorgestellte Algorithmus wurde speziell f¨ ur ein Vierkamerasystem, das in der Brachytherapie Verwendung finden soll, entwickelt. Jedoch sind auch andere Anwendungsgebiete, zum Beispiel f¨ ur die Biopsieentnahme, bei dem das Vierkamerasystem und der Algorithmus zum Einsatz kommen, denkbar.
Literaturverzeichnis 1. Richter D, Bekkaoui F, Mostarkic Z, Straßmann G. Tetraoptisches Kamerasystem ¨ zur rahmenlosen Repositionierung und respirativen Uberwachung in der extrakraniellen Hochpr¨ azisionsbestrahlung. In: Procs BVM; 2006. 2. Richter D, La Torre F, Egger J, Straßmann G. Tetraoptical Camera System for Medical Navigation. In: Biosignal; 2004. p. 270–272. 3. Richter D, La Torre F, Kalkhof N, Straßmann G. Ein tetraoptisches Kamerasystem f¨ ur die medizinische Navigation. In: Procs BVM; 2004. p. 239–243. 4. Harm M. Entwicklung eines dreidimensionalen Nadelpositionierungssystems zur Strahlentherapie. Master’s thesis. Fachhochschule Wiesbaden, Fachbereich Informatik; 2000. 5. Egger J. Fraktionierte 3D-Erkennung von Landmarken mit einem tetraoptischen System. Master’s thesis. Fachhochschule Wiesbaden, Fachbereich Informatik; 2004.
Multimodale Bilddatenfusion zur verbesserten Patientenlagerung und -u ¨berwachung in der Strahlentherapie Nils Riefenstahl1 , Mathias Walke2 , Bernd Michaelis1 und G¨ unther Gademann2 1
Institut f¨ ur Elektronik, Signalverarbeitung und Kommunikationstechnik, Otto-von-Guericke-Universit¨ at Magdeburg, 39016 Magdeburg 2 Klinik f¨ ur Strahlentherapie, Otto-von-Guericke-Universit¨ at Magdeburg, 39120 Magdeburg Email:
[email protected]
Zusammenfassung. Es wird ein Verfahren zur 3D-Bewegungsanalyse von Patienten in der Strahlentherapie vorgestellt. Die Erfassung der Bewegung erfolgt mittels zeitlich synchron aufgenommener Daten eines optischen 3D-Sensors und elektronischen Portalbildern. Da jeweils nur bestimmte Bewegungsparameter in einer Modalit¨ at mit hinreichend hoher Genauigkeit bestimmt werden k¨ onnen, erm¨ oglicht eine Fusion der Daten beider Sensoren eine Erh¨ ohung der Robustheit der Sch¨ atzung der tats¨ achlichen Patientenbewegungen. Die r¨ aumlichen Transformationsparameter ergeben sich dabei aus der Registrierung von Portalbildern mit Digital-Rekonstruierten R¨ ontgenbildern (DRR) und gemessenen 3DK¨ orperoberfl¨ achen mit CT-Daten.
1
Einleitung
In der Strahlentherapie ist die reproduzierbare Positionierung von Patienten ¨ am Linearbeschleuniger sowie die Uberwachung der korrekten Lage von großer Bedeutung. Durch geeignete M¨ oglichkeiten zur Analyse der Patientenbewegungen unter Bedingungen, wie sie zum Zeitpunkt der Bestrahlung vorherrschen, k¨ onnen so zudem individuelle Bewegungsmuster erkannt und in der Bestrahlungsplanung mit ber¨ ucksichtigt werden. In der Regel sind die M¨oglichkeiten, insbesondere um Informationen u ¨ ber die Lage und Bewegungen innerer Organe oder Knochenstrukturen zu gewinnen, stark eingeschr¨ankt. Eine weit verbreitete Technik ist die Auswertung von Portalbildern, also R¨ontgenbildern, die durch Abbildung des Behandlungsstrahls sichtbar werden. Aufgrund der energiereichen Strahlung sind Portalbilder insbesondere im Bereich von Weichgewebe a ¨ußerst kontrastarm. Zudem bewirken die bei modernen Linearbeschleunigern verwendeten Multileaf-Kollimatoren eine dem Zielvolumen angepasste, kleinere individuelle Feldgr¨ oße, so dass im Portalbild nur ein kleiner, irregul¨ar geformter Bereich sichtbar ist. Auch lassen sich so prinzipiell nur Bewegungen entlang einer 2D Bildebene detektieren. Ein weiterer Schritt zur Verbesserung der Po¨ sitionierung und Uberwachung von Patienten wurde mit der Installation von
322
N. Riefenstahl et al.
3D- Oberfl¨ achensensoren erreicht [1]. Die klinische Integration solcher Sensoren erm¨ oglicht eine schnelle dreidimensionale Erfassung der K¨orperoberfl¨ache des Patienten w¨ ahrend der Bestrahlung. Die gewonnenen 3D- Oberfl¨achendaten ¨ k¨ onnen zur Uberpr¨ ufung der Patientenlagerung mit Daten verglichen werden, die vorab mit einem am Simulator installierten, gleichartigen Sensor ermittelt wurden. Ein Patient kann jedoch nur in sehr grober N¨aherung als starrer K¨orper angesehen werden und unterliegt w¨ ahrend des Behandlungszeitraums auch Veruhren z.B. unterschiedliche F¨ ullzust¨ande von Organen zu einer ¨anderungen. So f¨ elastischen Verformung der K¨ orperoberfl¨ ache und damit zu zus¨atzlichen Abweichungen zur zum fr¨ uheren Zeitpunkt ermittelten Referenz-Oberfl¨ache. Dies f¨ uhrt zwangsl¨ aufig zu Fehlern beim Vergleich der Oberfl¨achendaten. Im Portalbild detektierbare, relativ starre Knochenstrukturen k¨onnen jedoch genutzt werden, diese Fehler zumindest zu verringern. Andererseits k¨onnen mit Hilfe des 3D- Sensors Bewegungen in senkrechter Richtung zur Projektionsebene des Portalbildes detektiert werden, die im Portalbild selbst nicht erfaßt werden k¨onnen. Dies motiviert die Fusion von mittels optischen 3D- Sensor erfaßten Oberfl¨achendaten, elektronischen Portalbildern und CT- Daten. Ziel ist dabei, den gesamten, f¨ ur die Bewegungsanalyse verf¨ ugbaren Informationsgehalt zu nutzen. Die jeweils aussagekr¨ aftigeren und genaueren Lageinformationen beider Sensoren werden hierbei kombiniert.
2 2.1
Methode 2D Bewegungsanalyse durch Grauwertmatching
Elektronische Portalbilder erm¨ oglichen eine Erfassung von Patientenbewegungen entlang der Projektionsebene des Behandlungstrahls. Die volumetrischen 3D-Daten des CT liefern Informationen u ¨ ber die Referenzlage des Patienten. Innerhalb der Bestrahlungsplanung wird das Bestrahlungsziel (Isozentrum) und die Richtung der Bestrahlung festgelegt. Auf Basis dieser Informationen wird aus dem CT-Datensatz durch Volumenrendering ein dem Portalbild a¨hnliches DRR berechnet (Abb. 1(b)). Vorraussetzung f¨ ur eine Registrierung von Portalbild und DRR ist jedoch auch eine Abbildung auf zumindest hinreichend ahnliche Grauwerte. Aus diesem Grund werden die Voxelwerte aus dem zu¨ geh¨ origen CT-Datensatz vorab ver¨ andert. Bei diesem, in [2] beschriebenen Verfahren werden so die linearen D¨ ampfungskonstanten der hohen Energie der therapeutischen R¨ ontgenstrahlung angepaßt. Zur Bestimmung der Abweichungen zwischen DRR und Portalbild wird ein intensit¨atsbasiertes Matchingverfahren verwendet [3]. Hierbei dient das im Portalbild sichtbare, irregul¨ar geformte Sichtfeld (siehe (Abb. 1(a)) als Suchbild, f¨ ur welches im DRR subpixelgenau nach der ¨ gr¨ oßten Ubereinstimmung gesucht wird. Zum Finden der Korrespondenzen wird ¨ ein Ahnlichkeitskriterium verwendet, welches durch geometrische und gegebenenfalls radiometrische Transformationen die Quadratsumme der Grauwertdifferenzen im Sinne der Methode der kleinsten Quadrate zwischen Referenzbild und Suchbild minimiert. Insbesondere aufgrund des m¨oglichen Auftretens von
Multimodale Bilddatenfusion
323
Abb. 1. Registrierung von Portalbild (a) und DRR (b)
(a)
(b)
additiven und multiplikative Bildst¨ orungen, wird hierbei die normierte, mittelwertfreie Kreuzkorrelationsfunktion KKF verwendet (siehe [3]): n Q(x, y) = , n j=0
m
P (i, j) · R(x + i, y + j) m 2 n i=0 P (i, j) · j=0 i=0 R(x + i, y + j)
j=0
m
i=0
(1)
Dabei entsprechen P (x, y) den mittelwertfreien Grauwerten des sichtbaren Feldes des Portalbildes und R(i, j) den mittelwertfreien Grauwerten des DRR, wo¨ bei m und n die Gr¨ oße des Fensters beschreiben. Gr¨oßte Ahnlichkeit beider Bilder dr¨ uckt sich in einem Maximum der Funktion aus. Als Ergebnis der Suche des Maximums der Korrelation beider Bilder k¨ onnen die translatorischen Transformationsparameter zwischen beiden Bildern bestimmt werden. Zur Verbesserung des Verfahrens erfolgt die Suche nach dem Maximum iterativ, wobei in jedem Iterationsschritt eine Anpassung der radiometrischen Transformationsparameter vorgenommen wird. Hierbei wird auf Basis der Pixelwerte beider Bilder eine angepaßte Transferkurve berechnet. Im Ergebnis besitzt die Kreuzkorrelationsfunktion ein ausgepr¨ agteres Maximum (siehe Abb. 2), was auf eine robustere Bestimmung der Transformationsparameter hindeutet. 2.2
3D Bewegungsanalyse mittels Ober߬ achenregistrierung
Die Verwendung eines optischen 3D- Oberfl¨ achensensors ist ein relativ neuer Ansatz zur Bewegungsanalyse von Patienten in der Strahlentherapie. In [4] wird ein Verfahren beschrieben, welches mit hoher Geschwindigkeit dreidimensionale Daten der Hautoberfl¨ ache eines am Linearbeschleuniger gelagerten Patienten liefert. Zur Unterst¨ utzung der Patientenlagerung und zur Bewegungsanalyse wurde ein solcher Sensor am Linearbeschleuniger installiert und in der klinischen Praxis erprobt. Zur optischen 3D- Vermessung kommt ein System, bestehend aus zwei Kameras und einem Videoprojektor, zur Verwendung. Mittels Streifenprojektion ist eine Vermessung ohne die Verwendung k¨ unstlicher Marker oder
324
N. Riefenstahl et al.
Abb. 2. Verlauf der Kreuzkorrelationsfunktion vor (a) und nach (b) der iterativen Anpassung der Grauwerte
(a)
(b)
Referenzpunkte m¨oglich. Ergebnis der Vermessung eines Zeitschritts ist ein Array von 20x10 Raumpunkten, wobei das System eine Messgenauigkeit von ca. 1mm erreicht. Zur Bestimmung der korrekten Lage von Patienten werden diese gemessenen Punkte mit der Lage der K¨ orperoberfl¨ache im CT verglichen. Hierzu erfolgt zun¨ achst die Segmentierung der Hautoberfl¨ache aus dem CT. Diese wird anschließend zur Registrierung mit den Daten des 3D- Sensors benutzt. Dazu wird ein Verfahren auf der Basis des Iterated Closest Point (ICP) Algorithmus [5] verwendet. Dabei werden die 3 translatorischen und 3 rotatorischen Transformationsparameter bestimmt. Das Ergebnis der Registrierung ist in Abb. 3 dargestellt, wobei die entlang von vertikalen Streifen angeordneten Messpunkte mit der aus dem CT segmentierten Hautoberfl¨ache auf Basis der ermittelten ¨ Transformationsparameter in Ubereinstimmung gebracht worden sind.
3
Ergebnis
F¨ ur erste Untersuchungen wurde zun¨ achst ein starres Phantom benutzt, welches Knochenstrukturen enth¨ alt, die auch im Portalbild sichtbar sind. Dieses wurde mittels eines Vibrationstisches aus der Sollage heraus bewegt. Bei der Registrierung der Oberfl¨ achen aus CT und vom 3D- Sensor traten wiederholt Mehrdeutigkeiten im Bereich glatter Fl¨ achen, z.B. im Thorax- Bereich auf. Die Parameter der Registrierung von Portalbild und DRR lieferte hier teilweise genauere Werte der Verschiebung. Bewegungen senkrecht zur Bildebene des Portalbildes ¨außern ¨ sich innerhalb des Portalbildes nur in Anderungen der Skalierung des Bildes und sind insbesondere Aufgrund der schlechten Qualit¨at der Bilder nur schwer detektierbar. Hier liefert wiederum der 3D- Sensor millimetergenaue Verschiebungen gegen¨ uber der Oberfl¨ ache aus dem CT.
4
Ausblick
Die Kombination beider Sensorsysteme kann die Detektion von Lagever¨anderungen von Patienten weitgehend verbessern. Schwierigkeiten ergeben sich
Multimodale Bilddatenfusion
325
Abb. 3. Registrierung von 3D-Ober߬ achendaten
zun¨achst noch bei der automatischen Auswahl der jeweils sichereren Methode zur Detektion einer bestimmten Bewegungsrichtung. Dies motiviert weitere Untersuchungen hin zu einem einheitlichen Modell, welches alle Sensoren gleichzeitig und gleichermassen ber¨ ucksichtigt. Dabei erfolgt nicht mehr eine jeweils separate Registrierung von 3D-Oberfl¨ achen oder 2D- Portalbilddaten mit dem CT, sondern eine Optimierung der Modellparameter auf der Basis des gesamten zur Verf¨ ugung stehenden multimodalen Bildmaterials.
Literaturverzeichnis 1. Calow R, Albrecht P, Krell G, Michaelis B. Ein Online-System zur Patientenpositionierung unter Verwendung codierten Lichtes. In: Bildverarbeitung f¨ ur die Medizin 2002, Proceedings des Workshop. Springer; 2002. p. 69–72. 2. Dong L, Boyer AL. An image correlation procedure for digitally reconstructed radiographs and electronic portal images. Radiation Oncology Biology Physics 1995;33(5):1053–1060. 3. Hristov DH, Fallone BG. A grey-level image alignment algorithm for registration of portal images and digitally reconstructed radiographs. Medical Physics 1996;23(7):1299–1299. 4. Calow R, Gademann G, Krell G, Mecke R, Michaelis B, Riefenstahl N, et al. Photogrammetric Measurement of Patients in Radiotherapy. Journal of Photogrammetry and Remote Sensing 2002;Vol. 56:347–359. 5. Besl PJ, McKay ND. A Method for registration of 3-d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence 1992;Vol. 14:239–256.
Entwicklung eines Navigationssystems fu ¨r die laparoskopische Prostatektomie Matthias Baumhauer1 , G¨ otz Richter2 , Carsten Gutt3 , 4 Jens Rassweiler , Hans-Peter Meinzer1 und Marcus Vetter1 1
Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum (DKFZ), 69120 Heidelberg 2 Universit¨ atsklinikum Heidelberg, Abteilung Radiodiagnostik 3 Chirurgische Klinik der Universit¨ at Heidelberg 4 Urologische Klinik Heilbronn, SLK Kliniken, Akademisches Lehrkrankenhaus der Universit¨ at Heidelberg Email:
[email protected]
Zusammenfassung. Wir stellen hier ein neues computergest¨ utztes Navigationsverfahren zur Unterst¨ utzung der laparoskopischen Prostatektomie bei Prostatakarzinomen vor. Durch den intraoperativen Einsatz von transrektalem Ultraschall in Verbindung mit Navigationshilfen soll es erm¨ oglicht werden, dem Chirurgen verdeckte oder schwer erkennbare Risikostrukturen direkt in das Endoskopiebild einzublenden. Ziel dieses Verfahrens ist es, die Wahrscheinlichkeit von L¨ asionen benachbarter Organe zu minimieren sowie Rezidivf¨ alle nach Resektionen zu vermeiden. Dar¨ uberhinaus soll die Modellierung der gesamten Organtopologie auf einem weiteren Bildschirm eine Verbesserung der Orientierung im Beckenraum und somit eine Verk¨ urzung der Operationsdauer und Abflachung der Lernkurve dieses komplexen Eingriffs erm¨ oglichen.
1
Einleitung und Motivation
Durch eine in den letzten Jahren immer weiter ansteigende Inzidenz von Prostatakarzinomen ist die Tumorerkrankung der Vorsteherdr¨ use heute die h¨aufigste Krebsursache bei M¨ annern in Deutschland. Solange das Karzinom bei der Diagnose auf das Organ beschr¨ ankt bleibt, hat sich die radikale Prostatektomie, eine Totalresektion von Prostata und Samenblasen, als eine der sichersten Therapiemethoden etabliert. Insgesamt belegt eine relativ niedrige Rate an intraoperativen Komplikationen (5 - 13%) den hohen Qualit¨atsstandard der Prostatektomie. Dennoch zeigen l¨ angerfristige onkologische Ergebnisse verschiedener Behandlungszentren eine Rezidivrate der Krebserkrankung von 7 - 17% bei Patienten zwischen drei und f¨ unf Jahren nach der Operation. Eine hohe Wahrscheinlichkeit, an permanenter Impotenz zu leiden, sowie ein m¨aßiges Risiko (15 - 31%) der Inkontinenz gelten als weitere, die Lebensqualit¨at der Patienten einschr¨ ankende Nebeneffekte des Eingriffs. Im Rahmen dieses Projektes wird ein computergest¨ utztes Navigations- und Informationssystem zur Unterst¨ utzung der minimalinvasiven Prostatektomie entwickelt. Ziel ist die Visualisierung nicht
Entwicklung eines Navigationssystems f¨ ur die laparoskopische Prostatektomie
327
sichtbarer und verdeckter Strukturen (z.B. potentiell tumorinfiltriertes Gewebe, Harnr¨ ohre, Rektum, etc.) direkt im Videobild des Endoskops (siehe Abb. 2) mit Hilfe von Augmented Reality. Das System soll somit einen Beitrag dazu leisten, dass nach der Operation keine Tumorzellen im K¨orper zur¨ uckbleiben und zugleich m¨ oglichst viel gesundes Gewebe geschont wird.
2 2.1
Methoden Anforderungsanalyse
In einer Analyse der Projektanforderungen wurden die medizinischen und technischen Voraussetzungen f¨ ur ein Navigationssystem in der Prostatachirurgie in enger Abstimmung mit den Chirurgen erarbeitet. Vor der Operation kann mit Hilfe unterschiedlicher Bildgebungsverfahren (CT, MRT) ein Modell der Prostata erstellt werden, Anwendung findet diese Vorgehensweise bereits heute vor allem im Bereich der Brachytherapie von Prostatakarzinomen. Voraussetzung f¨ ur eine unterst¨ utzende Navigation w¨ ahrend der Prostataresektion ist jedoch zudem die genaue Kenntnis von Lage und Ausmaße des Karzinoms. Hierf¨ ur k¨onnen statistisch etwa 40 - 50 % aller Karzinome mittels Ultraschall oder Magnetresonanztomographie lokalisiert werden. Zus¨ atzlich wurden in den letzten Jahren verschiedene neuartige Ans¨ atze der Bilddatenverarbeitung und -akquirierung entwickelt. Sie verfolgen das Ziel, die Sensitivit¨ at der Diagnostik bei Prostatakrebs zu erh¨ ohen und beinhalten aber auch Methoden, die verwertbare Informationen f¨ ur eine intraoperative Navigation liefern k¨ onnen: 1. Durch Elastographie k¨ onnen Prostatakarzinome anhand ihrer eingeschr¨ ankten Elastizit¨ at visualisiert werden [1]. 2. Computergest¨ utzter transrektaler Ultraschall (C-TRUS) ist ein Verfahren zur Bestimmung der Lage von Karzinomen mittels Computeranalyse von B-Mode Ultraschalldaten [2]. 3. Neu entwickelte Kontrastmittel in Verbindung mit Harmonic Imaging erh¨ ohen die Sensitivit¨ at der ultraschallgest¨ utzten Prostatauntersuchung [3]. Neben der pr¨ aoperativen Erfassung der Organtopologie des kleinen Beckens stellt die eigentliche Navigation in diesem K¨ orperbereich durch das Fehlen geeigneter anatomischer Fixpunkte eine große Herausforderung dar. Die starke Deformierbarkeit der Viszeralorgane erschwert zus¨atzlich die Modellierung der Gegebenheiten. Durch den Einsatz einer transrektalen Ultraschallsonde w¨ahrend der laparoskopischen Prostatektomie ist es bei diesem Navigationsansatz nicht n¨ otig, anatomische Fixpunkte ausserhalb der Prostata mit in das System einzubeziehen. Die Verwendung eines Deformationsmodells unter Zuhilfenahme der FEM ist vorgesehen, f¨ ur eine erfolgreiche Navigation bei der Totalresektion der Prostata jedoch nicht von grundlegender Bedeutung. 2.2
Transrektaler Ultraschall zur intraoperativen Bildgebung
Die Prostata ist anatomisch direkt mit dem Rektum verwachsen und bietet hierdurch eine unkomplizierte M¨ oglichkeit zur Bilddatenakquirierung f¨ ur den
328
M. Baumhauer et al.
Abb. 1. Die B-Mode Ultraschallaufnahme zeigt einen transversalen 2D Schnitt der Prostatakapsel w¨ ahrend der laparoskopischen Prostatektomie. Der Chirurg pr¨ apariert im Bereich des linken Prostatalappens mit Hilfe einer Elektrokoagulation, mittig ist die Harnr¨ ohre zu sehen.
pr¨ a- und intraoperativen Einsatz mittels transrektalem Ultraschall (TRUS, siehe Abb. 1). Auch im Bezug auf eine Erkennung der Organgrenzen hat sich dieses Verfahren bereits bew¨ ahrt [4, 5]. In [6] wurden die medizinischen Vorteile einer mit Hilfe von transrektalem Ultraschall gest¨ utzten Prostatektomie erl¨autert. Hierzu z¨ ahlen u. a. eine verbesserte Organidentifikation und gesicherte Pr¨ aparationsm¨ oglichkeiten im Bereich des Rektums. Wegen des hohen Zeitaufwands f¨ ur eine manuelle Auswertung jeder einzelnen 2D Aufnahme der Prostata konnte sich dieses Vorgehen bislang jedoch nicht durchsetzen. Von unserem Navigationssystem wird dieser Ansatz aufgegriffen und die resultierenden Erkenntnisse werden f¨ ur den Operateur auf einfache Weise zeitnah zug¨anglich gemacht. Zus¨ atzlich zum transrektalen Ultraschall werden Navigationshilfen ben¨otigt, die sowohl in den Aufnahmen des Ultraschallger¨ ats, als auch im Videobild des Monoendoskops sichtbar sind. Vergleichbare Navigationshilfen, die als optischer und zugleich auch als Ultraschallmarker eingesetzt werden, sind uns aus der Literatur nicht bekannt. In ersten Modellversuchen hat sich eine Navigationshilfe bew¨ahrt, die in Form und Aussehen einer Stecknadel ¨ ahnelt. Die Marker werden kurz vor Navigationsbeginn intraoperativ frei platziert so in die Prostata eingebracht, dass der Kopf der Navigationshilfe direkt auf der Organoberfl¨ache anliegt. Die Gefahr einer Tumorzellstreuung kann hierbei v¨ollig umgangen werden, indem die Navigationshilfen erst nach der vollst¨ andigen Organresektion entnommen
Entwicklung eines Navigationssystems f¨ ur die laparoskopische Prostatektomie
329
Abb. 2. Das Navigationsbeispiel zeigt eine m¨ ogliche Darstellung eines Prostatakarzioms im Bereich des Prostataapex zum Zeitpunkt des Einschnitts der Harnr¨ ohre. Die transparente, farbige Einblendung in das Monoendoskopiebild soll den Chirurgen w¨ ahrend der Intervention nicht behindern und einen r¨ aumlichen Eindruck vermitteln.
werden. W¨ ahrend des Eingriffs werden Prostata und Navigationshilfen durch weitere TRUS-Scans sukzessive mit dem vor der Operation erstellten 3D Modell registriert. 2.3
Visualisierung und Camera Pose Estimation
Eine Visualisierung im Videobild des Operateurs erfordert die Einbeziehung der Endoskopiekamera in die Navigation. Auf ein gesondertes Tracking hierf¨ ur wird in unserem System verzichtet. Stattdessen k¨ onnen anhand der im Videobild sichtbaren Marker und ihrer aus den TRUS Daten bekannten, relativen Position zueinander, Kameraposition und Orientierung analytisch errechnet werden. F¨ ur ¨ ¨ eine zuverl¨ assige L¨ osung dieses sogenannten Camera Pose EstimationProblems werden im allgemeinen drei bis vier, in besonders kritischen Konfigurationen f¨ unf Punkte bzw. Navigationshilfen sowie eine kalibrierte Kamera einschließlich eines einzelnen Kamerabildes der Punkte ben¨otigt. In den letzten Jahren wurden hierzu mehrere mathematische Ans¨ atze [7, 8] entworfen, die ein i.d.R. u ¨ berbestimmtes lineares Gleichungssystem entweder mit komplett linearen Methoden, oder mit Hilfe von partiellen Differentialgleichungen l¨osen und dabei eine eindeutige mathematische L¨ osung des Problems liefern. Unterschiede in Bezug auf St¨ oranf¨ alligkeit, Umgang mit kritischen Punktkonstellationen, Zeitverhalten und Nutzbarkeit im medizinischen Umfeld werden derzeit von uns untersucht. Hierf¨ ur ist auch eine Implementation mehrerer Pose Estimation Algorithmen in das Open Source Framework MITK [9] geplant.
330
M. Baumhauer et al.
Das System befindet sich momentan in der Entwicklung. Erste Versuche an einem Prostata-Phantom werden derzeit durchgef¨ uhrt und dienen der Beurteilung unterschiedlicher Navigationshilfen. Anhand eines CT Datensatzes des ProstataPhantoms sowie eines kalibrierten monoskopischen Endoskops wird zudem die Praxistauglichkeit der Camera Pose Estimation Algorithmen evaluiert. Zus¨atzlich wurden an drei Patienten transrektale Ultraschallaufnahmen w¨ahrend der laparoskopischen Prostatektomie durchgef¨ uhrt. Die Aufnahmen belegen eine Auswertbarkeit der Daten u ¨ber alle relevanten Operationsschritte bis hin zur Pr¨aparation der Prostata am Rektum selbst. Sowohl die Analyse der intraoperativ akquirierten, transrektalen Ultraschalldaten, als auch die Versuche mit dem Prostataphantom zeigen sich Erfolg versprechend. Anhand einer prototypischen Implementierung des gesamten Konzepts liegt das weiterf¨ uhrende Augenmerk auf einer Evaluation des Systems und speziell auf der erreichbaren Genauigkeit im Navigationseinsatz.
Literaturverzeichnis 1. Alam SK, et al. Prostate Elastography - Preliminary in vivo Results. In: Proc. of SPIE 2005. vol. 5750; 2005. p. 339–345. 2. Loch T. Computergest¨ utzter transrektaler Ultraschall (C-TRUS) in der Diagnostik des Prostatakarzinoms. Der Urologe 2004 2005;43:1377–1384. 3. Halpern E, et al. Detection of prostate carcinoma with contrast-enhanced sonography using intermittent harmonic imaging. Cancer, Published Online 20 October 2005;. 4. Wu Y, et al. Automatic Prostate Boundary Recognition in Sonographic Images Using Feature Model and Genetic Algorithm. J Ultrasound Med 2000;19:771–782. 5. Shao F, et al. Prostate Boundary Detection From Ultrasonographic Images. J Ultrasound Med 2003;22:605–623. 6. Ukimura O, et al. Real-Time Transrectal Ultrasonography during Laparoscopic Radical Prostatectomy. J Uro 2004;172:112–118. 7. Quan L, Lan Z. Linear N-Point Camera Pose Determination. IEEE Transactions on pattern analysis and machine intelligence 1999;21:774–780. 8. Reid G, et al. Hybrid method for solving new pose estimation equation system. MM Research Preprints 2004;23:215–225. 9. Wolf I, et al. The Medical Interaction Toolkit. J Med Image Anal 2005;9:594–604.
Entwicklung eines Navigationssystems fu ¨r die telemanipulatorgestu ¨tzte Oesophagektomie Hannes Kenngott1 , Jochen Neuhaus2 , Carsten Gutt1 , Ivo Wolf2 , Hans-Peter Meinzer2 und Marcus Vetter3 1
Abteilung f¨ ur Viszeral- und Unfallchirurgie, Ruprecht-Karls-Universit¨ at, 69120 Heidelberg 2 Abteilung f¨ ur Medizinische und Biologische Informatik, Deutsches Krebsforschungszentrum, 69120 Heidelberg 3 Fakult¨ at f¨ ur Nachrichtentechnik, Hochschule f¨ ur Technik und Gestaltung, 68163 Mannheim Email:
[email protected]
Zusammenfassung. Dieser Beitrag behandelt die Entwicklung eines Navigationssystems f¨ ur die telemanipulatorgest¨ utzte Oesophagektomie (Speiser¨ ohrenentfernung) unter besonderer Betrachtung des Patiententracking. Durch eine Visualisierung von Risikostrukturen anhand eines pr¨ aoperativen CTs und der optisch getrackten Instrumentenspitze des Telemanipulators soll dem Chirurgen eine bessere Orientierung im Thorax erm¨ oglicht werden. Dies wird durch ein optisches Tracking des Instruments und durch eine Vorrichtung zur Immobilisierung Patienten erreicht.
1
Einleitung
Der Speiser¨ ohrenkrebs mit einer Inzidenz von 10 auf 100.000 Menschen geh¨ort zu den meist sp¨ at erkannten und mit einer schlechten Prognose verbundenen Krebserkrankungen. Die radikale Speiser¨ ohrenentfernung stellt die einzige kurative Therapie dar und bedeutet f¨ ur den Patienten eine nicht unerhebliche operative Belastung, da ein Lungenfl¨ ugel w¨ ahrend der Operation zeitweise nicht ventiliert werden kann. Außerdem entstehen durch den thorakalen, den cervikalen und den transhiatalen Zugang große Wundfl¨achen. Bis zu acht Prozent der klassisch operierten Patienten sterben an den postoperativen Komplikationen [1]. Daher scheidet dieser Eingriff f¨ ur viele Patienten mit schlechtem Allgemeinzustand als potentiell kurative aber auch palliative Therapie bei Schluckst¨orungen aus. In den letzten Jahren wurden zahlreiche neue minimal-invasive Techniken zur Speiser¨ ohrenentfernung entwickelt und in ersten Studien evaluiert [1]. Eine dieser neuen Operationsmethoden ist der telemanipulator-gest¨ utzte minimalinvasive Zugang mittels des daVinci Surgical Systems (Intuitive Surgical, Sunnyvale, USA). Dieser hat im Vergleich zur klassischen Laparoskopie durch einen zus¨atzlichen Freiheitsgrad des Instruments das Potential, die durch die Beweglichkeit der Instrumente entstehenden operationstechnischen Probleme zu beheben und so die postoperativen Komplikationen zu verringern [2]. Allerdings f¨ uhrt
332
H. Kenngott et al.
diese Methode ebenso wie die klassische Laparoskopie durch ihren transhiatalen Zugang zu einem stark eingeschr¨ ankten Sichtfeld w¨ahrend der Operation. Dies ist besonders dann von Nachteil, wenn die Anastomose zwischen Oesophagus und hochgezogenem Magen intrathorakal und minimal-invasiv durchgef¨ uhrt werden soll. Daher ist die Entwicklung eines Navigationssystems sinnvoll, das ¨ eine bessere Ubersicht und Orientierung u ¨ ber das Operationsgebiet mit der Instrumentenspitze und den anliegenden Risikostrukturen bietet. Besonders in Bezug auf die starke Verschieblichkeit der abdominalen und thorakalen Organe ist es das Ziel, eine praktikable L¨osung zu finden. Daher kommt dem Patiententracking in Bezug auf Atmung und Organshift f¨ ur die Visualisierung des Mediastinums mit den relevanten Risikostrukturen (Aorta, Trachea, Bronchialbaum, Pleura, Perikard) eine große Bedeutung zu.
2
Stand der Forschung
Navigationssysteme halten seit Jahren Einzug in die Medizin. In der Viszeralchirurgie sind allerdings gegen¨ uber der Neurochirurgie, Orthop¨adie und MundKiefer-Gesichts-Chirurgie bisher wenige Anwendungen bekannt, die bereits in der Klinik eingesetzt werden [3, 4]. Besonders das Patiententracking ist in der Viszeralchirurgie ein noch nicht gel¨ ostes Problem, da die Verschieblichkeit der inneren Organe und des Patienten auf dem OP-Tisch zu großen Positionsfehlern f¨ uhren kann. Es werden haupts¨ achlich optische Trackingsysteme eingesetzt.
3
Methoden
Der starken Verschieblichkeit der Thorax- und Bauchorgane und des Patienten selbst begegnen wir mit einer weitgehenden Immobilisierung des Patienten durch eine spezielle Fixierungsvorrichtung. Diese besteht aus einer Vakuummatratze (CT und MRT f¨ ahig, DIN53438, latexfrei) und einer damit fest verbundenen CNC-gefr¨ asten Trage aus MDF (Mitteldichte Faserplatte) in 22mm St¨arke mit einer desinfizierbaren, s¨ aureresistenten Oberfl¨ache. An der L¨angsseite kann durch ein Stecksystem eine sterilisierbare Platte (Weich-PVC, 10mm Durchmesser) mit passiven optischen Markern (NDI Polaris, standard optical markers) befestigt werden. Durch Absaugen der Luft aus der Vakuummatratze bis zu einem Druckgef¨ alle von 800mbar wird der Patient fixiert. Diese Immobilisation des Patienten f¨ uhrt zu einer bedeutend geringeren Verschieblichkeit des Thorax und Abdomens. Neben der Funktion der Patientenimobilisation hat diese Fixierungsvorrichtung auch weitere medizinische Vorteile. Sie verhindert das Ausk¨ uhlen des Patienten w¨ ahrend der Operation bei gleichzeitiger Erhaltung der Mikrozirkulation der Haut und einer effektiven Dekubitusprophylaxe. Am Sternum des Patienten wird mit einem Spezialklebstoff (MASTIX EXTRA) eine sterilisierbare Platte mit optischen Markern angebracht. Der Klebstoff kann nach der Operation r¨ uckstandsfrei entfernt werden und ist hypoallergen, so dass er f¨ ur eine Verwendung im OP geeignet ist. Durch das Tracking
Entwicklung eines Navigationssystems
333
des Sternums soll die atmungsbedingte Verschieblichkeit des Mediastinums ber¨ ucksichtigt werden. Das Tracking des daVinci-Instruments wird am Roboterarm ebenfalls durch eine sterilisierbare Markerplatte mit einer Steckverbindung realisiert. Vor jeder Operation wird eine CT-Aufnahme des fixierten Patienten mit den optischen Markern erstellt. In diesem Datensatz werden anschließend die Marker manuell segmentiert. Optional k¨ onnen zus¨ atzlich Risikostrukturen segmentiert werden. Die Position der Instrumentenspitze wird u ¨ ber einen festen Offset aus der getrackten Position des Roboterarms berechnet. Mit Hilfe der Position der getrackten Patientenmarker kann die Position der Instrumentenspitze in das Koordinatensystem des CT-Datensatzes transformiert werden. Die CT Daten und die Instrumentenposition k¨ onnen damit in einer Vier-Fenster-Ansicht visualisiert werden. Es sollen drei Schnittebenen und zus¨ atzlich eine 3D-Visualisierung mit Hilfe von Volumenrendering dargestellt werden. In die 3D-Darstellung k¨onnen zuvor segmentierte Risikostrukturen zus¨ atzlich als 3D-Modell eingeblendet werden. Das Instrument soll ebenfalls als 3D-Modell in alle vier Ansichten eingeblendet werden. Die Schnittebenen k¨ onnen frei im Datensatz platziert werden, so dass sich der Operateur auch vom weiteren Operationsumfeld ein Bild machen kann. Die Entwicklung der Software erfolgt mit Hilfe des Medical Imaging Interaction Toolkits [5], das hierf¨ ur um eine Komponente zur Ansteuerung von Trackingsystemen erweitert wird. Die Genauigkeitsanalyse wird mit einem Thoraxphantom, das CT-Marker enth¨ alt, durchgef¨ uhrt und darauf basierend ein Kalibrierungsschema erarbeitet. Dabei wird untersucht wie genau die CT-Marker mit Hilfe der Visualisierung angesteuert werden k¨ onnen.
4
Ergebnisse
Die Updaterate von 20 bis 60 Herz des Polaris Systems ist ausreichend f¨ ur eine Echtzeitdarstellung in unserem System. Die Erfassung der optischen Marker erfolgte im Test fehlerlos. In einem Versuchsaufbau konnten alle Marker im Trackingbereich des Polaris Trackingsystems positioniert werden. Die gesamte Patientenimmobilisierung wurde erfolgreich sowohl im OP als auch im CT getestet. Die erwartete Stabilit¨ at des gesamten Systems und der eingesetzten Materialien haben sich dabei best¨ atigt. Die Durchbiegung der belasteten Patiententrage auf der ovalen CT-Auflage und auf dem OP-Tisch betr¨agt unter einem Millimeter und bietet damit eine hinreichende Stabilit¨at. Die Mobilit¨ at der Vakuummatratze und des fixierten Patienten ist gering.
5
Diskussion
Wir erwarten, dass die minimal-invasive Oesophagektomie durch die neue navigierte Operationstechnik weiteren Patientengruppen zug¨anglich gemacht werden kann, die mit der klassischen Methode nicht h¨ atten operiert werden k¨onnen. Ein großes Problem bei der Oesophagektomie stellen sowohl intraoperativ als auch
334
H. Kenngott et al.
postoperativ innere Blutungen dar. Durch die Visualisierung der Patientenanatomie soll es dem Operateur erm¨ oglicht werden, die Gef¨aße besser zu erkennen und so deren Verletzung zu vermeiden. Da die bei der klassischen Operationstechnik durchgef¨ uhrte offene cervikale Anastomose entf¨allt, erwarten wir eine Verk¨ urzung der Operationszeit. Außerdem soll es dem Operateur m¨oglich sein, die gew¨ unschte H¨ ohe f¨ ur die thorakale Anastomose mit einem ausreichenden Sicherheitsabstand von mindestens f¨ unf Zentimetern zum Tumor zu bestimmen. Durch die Visualisierung soll dem Operateur diese Absch¨atzung erleichtert werden. Bei diesen Operationen werden oftmals gleichzeitig vergr¨oßerte Lymphknoten entfernt, die im Verdacht stehen, Metastasen zu enthalten. Dies wollen wir unterst¨ utzen, in dem wir die M¨ oglichkeit bieten, diese Lymphknoten zus¨atzlich zu segmentieren und zu visualisieren. Dadurch soll der Arzt die markierten Lymphknoten w¨ ahrend der Operation leichter finden k¨onnen. Bevor wir Patienten mit unserem System behandeln, werden wir einen Großtierversuch am Schwein durchf¨ uhren, um das System auf seine Anwendung am Patienten hinsichtlich Ergonomie und Praktikabilit¨ at zu testen. Dazu wird der gleiche Aufbau wie am Menschen verwendet werden. Die Genauigkeit des Gesamtsystems kann erst nach der Fertigstellung eines Prototyps bestimmt werden. Wir erwarten eine Abweichung der visualisierten Position von der Realposition von weniger als einem Zentimeter f¨ ur das Gesamtsystem. Dies entspricht den Anforderungen der Operateure an das Navigationssystem. Da es besonders in fortgeschrittenen Tumorstadien zu erheblichen Schluckst¨ orungen bis hin zur Aphagie kommen kann, erwarten wir auch bei rein palliativer Versorgung der Patienten durch den Wiederaufbau der Nahrungspassage eine deutliche Steigerung der Lebensqualit¨at. Außerdem gehen wir durch die Darstellung der Risikostrukturen, insbesondere von Gef¨aßen, von weniger postoperativen Komplikationen durch Blutungen oder Blutverlust aus. Diese Aussagen m¨ ussen jedoch in einer klinischen Studie validiert werden.
Literaturverzeichnis 1. Nguyen NT, Schauer PR, Luketich JD. Combined laparoscopic and thoracoscopic approach to esophagectomy. J Am Coll Surg 1999;188(3):328–332. 2. Heller K, Gutt C, Schaeff B, Beyer PA, Markus B. Use of the robot system Da Vinci for laparoscopic repair of gastro-oesophageal reflux in children. Eur J Pediatr Surg 2002;12(4):239–242. 3. Gunkel AR, Freysinger W, Thumfart WF. Experience with various 3-dimensional navigation systems in head and neck surgery. Arch Otolaryngol Head Neck Surg 2000;126(3):390–395. 4. Vetter M, Wolf I, Hassenpflug P, et al. Navigation aids and Real-time deformation modeling for open liver surgery. In: SPIE Medical Imaging 2003: Visualization, Image-Guided Procedures, and Display. vol. 5029; 2003. p. 58–68. 5. Wolf I, Vetter M, Wegner I, B¨ ottger T, Nolden M, Sch¨ obinger M, et al. The Medical Imaging Interaction Toolkit (MITK). Medical Image Analysis 2005;9(6):594–604.
Schichtbasierte Illustration medizinischer Volumendaten zur intraoperativen Navigation Bj¨ orn Meyer, Christian Tietjen und Bernhard Preim Institut f¨ ur Simulation und Graphik Otto-von-Guericke Universit¨ at Magdeburg, 39106 Magdeburg Email:
[email protected]
Zusammenfassung. In dieser Arbeit werden Einsatzgebiete illustrativer Techniken in den zweidimensionalen Schnittbilddarstellungen medizinischer Volumendaten untersucht. Es werden Verfahren vorgestellt, mit denen Entfernungen zu Risikostrukturen dargestellt und die Lokalisation von Zielstrukturen in intraoperativen Ansichten vereinfacht werden. Hierbei wird darauf geachtet, dass die eigentlichen Schichtdaten nicht verf¨ alscht oder unn¨ otig u ¨ berdeckt werden.
1
Problemstellung
Bei komplexen Operationen z.B. im Bereich der Nasennebenh¨ohlen (NNH) ist die Orientierung in einigen F¨ allen außerordentlich kompliziert. Zu diesem Zweck sollen intraoperativ Informationen u ¨ber die Lagebeziehungen eingeblendet werden. Wichtig bei NNH-Eingriffen sind unter anderem der Nervus Opticus und die Arteria carotis interna. Die wesentlichen Aspekte: die Entfernung einer Risikostruktur zum Werkzeug und die Lokalisation der pathologischen Ver¨anderung, sollen visuell unterst¨ utzt werden. Zur intraoperativen Navigation werden meist orthogonale Schichtbilder oder multiplanare Rekonstruktionen (MPR) verwendet. Obwohl diesen zweidimensionalen Standardansichten eine große Bedeutung zukommt, wurde deren Darstellung bisher nicht durch illustrative Techniken erweitert. In dieser Arbeit sollen Einsatzgebiete illustrativer Techniken in den zweidimensionalen Schnittbilddarstellungen medizinischer Volumendaten untersucht werden.
2
Stand der Forschung
Ver¨ offentlichungen zur intraoperativen Visualisierung nutzen die M¨oglichkeiten der erweiterten Realit¨ at [1, 2] oder verwenden die Visualisierungstechniken von Tracking-Systemen wie BrainLab oder NaviBase. Diese verwenden drei orthogonale Schichten und eine optionale Ansicht. Die erweiterte Darstellung von ¨ Schnittbildern beschr¨ ankt sich zurzeit auf das Uberlagern der Darstellung mit gef¨ arbten Segmentierungsmasken. Zus¨ atzlich k¨onnen Positionen durch Fadenkreuze markiert werden. Weitere Techniken wurden bisher nur f¨ ur die dreidimensionale Darstellung entwickelt.
336
B. Meyer, C. Tietjen und B. Preim
Abb. 1. Das linke Bild zeigt die Anwendung des Balken¨ ubersichtsdiagramms an einem Halsdatensatz. Die Ausdehnung der segmentierten Strukturen (Muskeln, Gef¨ aße und Lymphknoten) wird auf einen Blick deutlich. Die Lymphknoten werden im Schichtbild mit einem zus¨ atzlichen Sicherheitsrand versehen. Im rechten Bild wird der SweeplineAlgorithmus zur Sortierung der Objekte im Balken¨ ubersichtsdiagramm veranschaulicht.
Sweepline
(a)
(b)
Baudisch und Rosenholtz stellen eine M¨ oglichkeit zur Lokalisation von außerhalb des sichtbaren Bildschirmbereichs liegenden Zielen vor [3]. Die L¨osung bezieht sich auf die Darstellung von Straßenkarten auf kleinen Displays. Ziele, welche außerhalb des Darstellungsbereichs liegen, werden durch das Einzeichnen von Kreisb¨ ogen am Rand des Bildschirms dargestellt. Der Radius eines solchen Halo genannten Kreises repr¨ asentiert die Entfernung des Ziels von dem dargestellten Kartenausschnitt.
3
Methoden
Um Aussagen u ande und Ausdehnungen treffen zu k¨onnen, werden die ¨ ber Abst¨ CT-Daten mit den Methoden, die in [4] beschrieben sind, vorab segmentiert. ¨ Um den Uberblick u ¨ ber das Volumen bei der zweidimensionalen Darstel¨ lung zu verbessern, soll eine Ubersichtsdarstellung erstellt werden, welche die Positionen der segmentierten Objekte im Datensatz abbildet (Abb. 1). Neben dem Schichtbild wird ein schmaler Rahmen eingeblendet, der die vertikale Ausdehnung des Volumendatensatzes darstellt (Abb. 1(a)). Die oberste bzw. unterste Schicht des Datensatzes entspricht dem Bereich vor der oberen bzw. unteren Begrenzung des Rahmens. Jedes segmentierte Objekt wird innerhalb dieses Rahmens durch einen Balken dargestellt. Dessen vertikale Position entspricht der Begrenzung des Objektes in den Schichten. Um die Balken auch bei einer gr¨oßeren Anzahl von Objekten m¨ oglichst breit darzustellen, werden Objekte, die keine Schichten miteinander teilen, u ¨ bereinander dargestellt. Die Visualisierung der aktuellen Schnittebene erfolgt durch eine waagerechte Linie. Um
Schichtbasierte Illustration medizinischer Volumendaten
337
Abb. 2. Zwei Varianten zur zielgerichteten Navigation. Links wird die Halo-Technik verwendet. Der Radius des Kreises entspricht dem Abstand zum Zielpunkt. Rechts das erweiterte Fadenkreuz: Auf den Achsen sind zwei Markierungen eingezeichnet, deren Mitte die Positionen des Zielpunktes und deren Abstand dessen Entfernung darstellt. Bei beiden Varianten zeigt der Pfeil, in welcher Richtung sich das Ziel befindet. Die gef¨ ahrdeten Strukturen werden jeweils mit einem zus¨ atzlichen Sicherheitsrand versehen.
(a)
(b)
einzelne Objekte in dem Diagramm erkennbar zu machen und eine Korrelation zur Schnittbilddarstellung zu erm¨ oglichen, werden die einzelnen Balken in der jeweiligen Objektfarbe im Schichtbild eingef¨ arbt. Diese Technik l¨asst sich auch auf beliebige MPRs anwenden. Um die einzelnen Balken innerhalb des Diagramms m¨oglichst platzsparend anzuordnen, dass heißt eine m¨ oglichst geringe Spaltenanzahl zu nutzen, m¨ ussen die einzelnen Objekte sortiert werden. Um dieses Optimierungsproblem zu l¨osen, bei dem die beste Verteilung von Objekten in Spalten gesucht wird, eignet sich ein Sweepline-Algorithmus [5], welcher in Abb. 1(b) skizziert wird. Die horizontale Sweepline durchl¨ auft die Objekte entlang der Vertikalen und weist, sobald ein Startpunkt eines Objekts getroffen wird, diesem Objekt die n¨achste freie Spalte zu. Die entsprechende Spalte wird als besetzt gekennzeichnet. Sobald die Sweepline den Endpunkt eines Objekts trifft, wird die entsprechende Spalte frei gegeben und steht wieder f¨ ur neue Objekte zur Verf¨ ugung. Weitere Visualisierungstechniken sollen die Navigation in den Daten vereinfachen (Abb. 2). Die bereits bekannten Fadenkreuze werden durch Richtungsangaben (Pfeile) und durch das Einzeichnen von Abstandsmarkierungen auf dessen Achsen erweitert. W¨ ahrend das Fadenkreuzzentrum die Position eines Instruments bei der Operation darstellt, wird ein zweiter Punkt durch Markierungen auf den Achsen definiert. Auf jeder Achse des Fadenkreuzes werden dazu zwei Markierungen eingezeichnet, deren Mitte der jeweiligen x- oder y-Position des zweiten Punktes entspricht und deren Abstand zueinander den Abstand des Punktes zur aktuellen Schnittebene abbildet (Abb. 2(b)). Ein optionaler Pfeil im
338
B. Meyer, C. Tietjen und B. Preim
Zentrum des Fadenkreuzes symbolisiert die Richtung in welcher sich der zweite Punkt befindet. Eine weitere M¨ oglichkeit, Abstand und Richtung eines definierten Ziels in das aktuelle Schnittbild einzuzeichnen, bietet die Technik von [3]. Um ein Zielobjekt zu visualisieren, werden die Halos so angepasst, dass deren Zentrum dem Zielpunkt entspricht und ihr Radius den Abstand zur angezeigten Ebene abbildet. Die Richtung, in welche die Schnittebene bewegt werden muss um das Ziel zu erreichen, wird durch eine gestrichelte oder gepunktete Linie und bei Bedarf durch einen Pfeil dargestellt (Abb. 2(a)). Bei der Durchf¨ uhrung von Operationen ist die geringste Sch¨adigung umliegender Strukturen ein wichtiges Ziel. Bei der intraoperativen Visualisierung ist die Hervorhebung solcher Strukturen sinnvoll. Zus¨atzlich zur normalen Darstellung werden Elemente in die Visualisierung eingef¨ ugt, welche einen eingef¨arbten Sicherheitsbereich um dieses Objekt herum einblenden (Abb. 1(a) und 2). In Absprache mit unseren klinischen Partner werden in diesem Bereich 2 Zonen unterschieden. Die erste Zone beschreibt eine Ann¨aherung des Instruments an das Objekt auf unter 5mm, die Zweite auf eine Ann¨aherung unter 2mm. Bei der Berechnung des Sicherheitsabstands muss beachtet werden, dass nicht nur die Informationen der aktuellen Schnittebene, sondern auch die benachbarten Schichten in diese Rechnung einfließen. Hierzu wird eine Distanztransformation genutzt, welche f¨ ur jedes Voxel den Abstand von der segmentierten Struktur berechnet. Als weitere Darstellungsvariante ist die Hervorhebung durch eine blinkende Darstellung der Konturen bei Verletzung des Sicherheitsbereichs m¨oglich.
4
Ergebnisse
F¨ ur die intraoperative Visualisierung wurden Methoden und Hilfsmittel entwickelt, die eine gezielte Navigation des Operationswerkzeugs bei einem Eingriff erm¨oglichen. Die Erweiterung der herk¨ ommlichen Fadenkreuzdarstellung erlaubt die gleichzeitige Hervorhebung von mehreren Zielen und die Integration ihrer Lagebeziehung in die Visualisierung. Das Einzeichnen oder Anzeigen der Distanz zwischen dem Instrument und einer ausgew¨ ahlten Risikostruktur erm¨oglicht dem Operateur einen m¨ oglichst gefahrfreien Weg bei dem Eingriff zu w¨ahlen. Hierbei werden die Vorteile der Schnittbilddarstellung mit der r¨aumlichen Abstandsmessung verbunden. Es wurde darauf geachtet, dass die eigentlichen Schichtdaten nicht verf¨ alscht oder unn¨ otig u ¨ berdeckt werden. Auch nicht sichtbare Strukturen werden in die Visualisierung einbezogen, w¨ahrend die Verdeckungsproblematik der 3D-Darstellung umgangen wird. Es wurden Hilfsmittel entwickelt, welche die Gesamt¨ ubersicht u ¨ ber den Datensatz verbessern. Die entscheidenden Informationen f¨ ur diese Hilfen sind Abstandsund Richtungsinformationen. Fragen wie: In welche Richtung muss die Schnit” tebene bewegt werden, um zu einer bestimmten Struktur zu gelangen?“ k¨onnen durch die erweiterten Darstellungen effizienter beantwortet werden. Durch die Entwicklung verschiedener Darstellungsm¨ oglichkeiten zur Unterst¨ utzung der Lokalisation von Objekten konnte der Nachteil der 2D-Darstellung gegen¨ uber der
Schichtbasierte Illustration medizinischer Volumendaten
339
¨ 3D-Ansicht, welche eine bessere Ubersicht u ¨ ber die Objekte bietet, behoben werden.
5
Diskussion
¨ Der Uberblick u aumliche Verteilung von Objekten in dem Volumenda¨ ber die r¨ tensatz wird zum einen durch die positionsabh¨angige Darstellung der Objekte und zum anderen durch das Balken¨ ubersichtsdiagramm gegeben. Das Diagramm erleichtert die Navigation in dem Datensatz und steigert so die Effizienz bei der Arbeit. Fragestellungen der Art, wie sie in der Einleitung aufgef¨ uhrt wurden, lassen sich mit Hilfe der entwickelten Techniken schnell und einfach beantworten. Die Erweiterung der Schnittbilddarstellungen um illustrative Elemente bietet ein großes Potential. Damit eine zielgerichtete Weiterentwicklung der verschiedenen Visualisierungsmethoden erm¨ oglicht wird, ist eine Evaluierung der Ergebnisse wesentlich, um die Art der Visualisierung entsprechend der jeweiligen Pr¨ aferenz anzupassen. Danksagung: Wir Danken Gero Strauß und Ilka Hertel f¨ ur die fachliche Unterst¨ utzung. Die Datens¨ atze wurden vom HNO-Universit¨atsklinikum Leipzig zur Verf¨ ugung gestellt. Jeanette Cordes danken wir f¨ ur die Segmentierung der Datens¨ atze. Diese Arbeit ist Teil des von der DFG gef¨orderten Schwerpunktprogramms Medical Navigation and Robotics“ (SPP 1124, PR 660/3-1). ”
Literaturverzeichnis 1. Fischer J, Neff M, Freudenstein D, Bartz D, Straßer W. ARGUS: Harnessing Intraoperative Navigation for Augmented Reality. In: 38. DGBMT Jahrestagung Biomedizinische Technik (BMT); 2004. p. 42–43. 2. Mischkowski RA, Zinser M, K¨ ubler AC, Z¨ oller JE, Seifert U. Clinical and experimental evaluation of an augmented reality system in cranio-maxillofacial surgery. In: Computer-Assisted Radiology and Surgery; 2005. p. 565–570. 3. Baudisch P, Rosenholtz R. Halo: A Technique for Visualizing Off-Screen Locations. In: Proceedings of CHI. ACM Press; 2003. p. 481–488. 4. Apelt D, Preim B, Strauß G, Hahn H. Bildanalyse und Visualisierung f¨ ur die Planung von Nasennebenh¨ ohlen-Operationen. In: Bildverarbeitung f¨ ur die Medizin. Informatik aktuell. Springer; 2004. p. 194–198. 5. Bentley JL, Ottmann TA. Algorithms for reporting and counting geometric intersections. IEEE Transactions on Computers 1979;C-28(9):643–647.
Optische Vermessung mittels kodierten Lichts von variabel reflektierenden Oberfl¨ achen zur Registrierung oder Dokumentation L¨ uder Alexander Kahrs, J¨ org Raczkowsky und Heinz W¨orn Institut f¨ ur Prozessrechentechnik, Automation und Robotik, Universit¨ at Karlsruhe (TH), 76128 Karlsruhe Email:
[email protected]
Zusammenfassung. Oberfl¨ achenvermessungen werden in der Medizin immer h¨ aufiger eingesetzt. Die meisten Haut- oder Knochenoberfl¨ achen erm¨ oglichen gute Abbildungseigenschaften. Offene Wunden oder Bilder aus dem K¨ orperinneren sind deutlich schwieriger zu erfassen. Reflexionen ¨ sowie Uberund Unterbelichtungen behindern die zuverl¨ assige Datenakquirierung. Mit der Vermessungsmethode mittels kodierten Lichts entstanden schon viele 3D-Punktwolken von den gutm¨ utigen Oberfl¨ achen. Gef¨ uhrt durch Experimente zur Erfassung von Weichgewebe, wie sie bei offenen Bauchraumchirurgien vorliegen, entstanden Methoden zur Detektion und Kompensation von Reflexionen. Eine zus¨ atzliche Sequenz unterschiedlicher Beleuchtungsintensit¨ aten geht der eigentlichen Analyse vorweg. Es werden zwei Methoden vorgestellt, die es erm¨ oglichen sollen geschlossene 3D-Punktwolken sicher und korrekt zu erzeugen.
1
Einleitung
Ber¨ uhrungslose Vermessung und Oberfl¨ achenerfassung wird zunehmend im OP f¨ ur die Registrierung des Patienten oder einer Dokumentation eingesetzt. In intraoperativen Szenarien ergibt sich die Problematik von unterschiedlich stark reflektierenden Oberfl¨ achen. Besonders feuchte Oberfl¨achen - beispielsweise bei offenen Chirurgien im Abdominalbereich - stellen so eine große Herausforderung dar. Zur Vermessung des biologischen Gewebes wird in diesem Ansatz die 3D-Erfassung mittels kodierten Lichts gew¨ ahlt. Wie bei jeder anderen Methode ¨ f¨ uhren dabei Reflexionen zu gleichzeitiger Unter- und Uberbelichtung innerhalb eines Kamerabildes bzw. einer Aufnahmesequenz. Zwar werden Kameras mit einem hohen Dynamikbereich immer besser und g¨ unstiger, stellen aber maximal eine gute Erg¨ anzung der hier vorgestellten Algorithmen dar.
2
Stand der Forschung
F¨ ur die ber¨ uhrungslose Vermessung von Oberfl¨achen existieren sehr viele verschiedene Ans¨atze: Laserscan [1, 2], Streifenprojektion [3] und StereoRekonstruktion [4] aber auch Ans¨ atze wie die Phasenmessende Deflektometrie
Optische Vermessung mittels kodierten Lichts
341
Abb. 1. Oberfl¨ achenerfassung eines Rinderlebersegments. Nur unter Verwendung eines Gaze-Netzes u ¨ ber der Leber ist mit den bisherigen Methoden die Punktwolke der Oberfl¨ ache zuverl¨ assig darstellbar.
[5] oder High dynamic range imaging [6] stellen die Breite der M¨oglichkeiten sowie den hohen Bedarf dar. Neuere Untersuchungen zeigen dabei zunehmend die Problematiken von spiegelnden Oberfl¨ achen auf [4, 5, 7] und bieten teilweise erste L¨ osungsans¨ atze. Der Bedarf in der Medizin beruht einerseits auf markerloser Registrierung der Patientenlage f¨ ur den Einsatz von Navigationsger¨aten [1, 8]. Andererseits ist die Dokumentation von Wunden erw¨ unscht und es wird auf die l¨ uckenhafte Datenakquirierung und zus¨ atzlichen Aufwand der Erg¨anzung dieser Daten verwiesen [9].
3
Methoden und Ergebnisse
F¨ ur unsere Untersuchungen benutzen wir ein bereits klinisch getestetes Projektorsystem [10]. Damit sind sowohl Akquisitionen von Oberfl¨achenscans sowie Projektionen f¨ ur die Erweiterte Realit¨ at m¨oglich. Das System besteht aus einem lichtstarken Videoprojektor mit einer Standardaufl¨osung von 1024x768 Pixel sowie zwei Megapixel-FireWire-Kameras, die die Objekte vermessen. Das System ist photogrammetrisch kalibriert und bietet bei einem Aufnahmebereich osung von ungef¨ ahr 0.5 mm. Zus¨atzlich zur bisvon 50x40x20 cm3 eine Aufl¨ her verwendeten Aufnahmesequenz mittels kodierten Lichts wird eine Reflexi-
342
L.A. Kahrs, J. Raczkowsky und H. W¨ orn
Abb. 2. Die Aufnahmen zeigen die Abh¨ angigkeit der Reflexionen von der Beobachtungsposition an einem Leberphantom. Starke Reflexionen sind dunkel und schwache sind hell in das Datenfeld eingetragen. Die Pixelwerte spiegeln die Projektorhelligkeitsstufen wider. Das mittlere Bild ist aus der Sicht des Projektors aufgenommen. Rechts und links befinden sich die Bilder aus Sicht der normalen Kamerapositionen des Systems.
onsanalyse vorgeschaltet. Bei steigender Projektionshelligkeit erhalten wir die reflektierte Helligkeitsintensit¨ at f¨ ur jeden Pixel, ¨ahnlich einer H¨ohenkarte oder ¨ Aquipotentiallinien. Bevor der Dynamikbereich jedes einzelnen Pixels verlassen wird, tr¨ agt die Software die Projektorhelligkeit positionskodiert in ein Datenfeld ein. Ziel dieser Untersuchen ist, diese Informationen so einzusetzen, dass sie zu einer zuverl¨ assigen Erfassung der 3D-Punktwolke f¨ uhren. Bisherige Experimente an nicht gleichm¨ aßig reflektirenden Oberfl¨ achen hatten zu einer unvollst¨andigen Rekonstruktion gef¨ uhrt. In Abb. 1 ist eine Rinderleber dargestellt. Die 3DErfassung funktioniert bisher nur, wenn die Leber mit einem Gaze-Netz abgedeckt ist. Ansonsten ist wegen Glanzpunkten nur eine unkorrekte Darstellung erreichbar, obwohl auf der OP-Tuch-Unterlage sowohl die Faltenbildung wie auch die Grundfl¨ ache der Leber zu sehen ist. Die Reflexionsanalyse wird zun¨ achst mit dem vom Projektor ausgesantem weißen Licht durchgef¨ uhrt. Eine Wellenl¨ angen-abh¨angige Methode ist geplant. Es ergibt sich je nach Position der Kamera ein unterschiedliches Datenfeld (vgl. Abb. 2). W¨ are die Form des Scan-Objektes zu diesem Zeitpunkt bereits bekannt, sollte eine Reflexionskompensation mit der aus dem Datenfeld aufgenommen kodierten Pixelhelligkeitsverteilung des Projektors kein Problem darstellen - gegeben durch die Aufgabenstellung ist dieses allerdings nicht der Fall. Zwei M¨ oglichkeiten der Reflexionskompensation stehen zur Auswahl: – Zusammensetzen von mehreren Kamerabildern mit verschiedenen Beleuchtungshelligkeiten: In Abb. 3 ist diese Methode beispielhaft dargestellt. Aus Einzelbildern mit verschiedener Projektorhelligkeit werden mittels der Daten des aufgenom-
Optische Vermessung mittels kodierten Lichts
343
Abb. 3. Zusammensetzung eines idealen Bildes f¨ ur die 3D-Erfassung mittels kodierten Lichts (rechts) aus mehreren Teilbereichen verschieden stark beleuchteter Kamerabilder (links). Die Beleuchtungsstufen werden aus dem Datenfeld der Reflexionen (vgl. Abb. 2 links) ermittelt.
menen Helligkeits-Datenfeldes (vgl. Abb. 2 links) Bereiche automatisch zusammengestellt. Der Algorithmus zur Erkennung der Schwingungsextrema f¨ ur die 3D-Berechnung findet diese durch die Korrektur besser. Allerdings dauert die Aufnahme entsprechend der Helligkeitsstufen l¨anger. – N¨aherung der Reflexionseigenschaften durch Zuordnung der Pixel der zentralen Kamera zum Projektor: Wird die Projektion aus ungef¨ ahr dem gleichen Winkel mit einer Kamera beobachtet (vgl. Abb. 2 Mitte) kann jedem Projektorpixel ein Kamerapixel zugeordnet werden, welches die direkte Information der Reflexion beinhaltet. Allerdings ist unter diesem Winkel die Triangulation nicht m¨oglich. Wenn nun die folgenden Bedingungen erf¨ ullt werden, kann diese N¨aherung trotzdem eingegangen werden: die Kameraposition sollte nicht besonders stark von der Projektorposition abweichen sowie die zu erfassende Oberfl¨ache sollte in der N¨ ahe und waagerecht zur Kalibrierebene sein.
4
Diskussion
Im Zuge unserer Untersuchungen zur 3D-Vermessung von Weichgewebe in intraoperativen Szenarien wurde ein Algorithmus entwickelt, der eine Erfassung mit kodiertem Licht auch bei reflektierenden Oberfl¨achen zul¨aßt. Allerdings gibt es im OP weitere Problematiken, die einen Anschluß zus¨atzlicher Untersuchungen erforderlich machen. Sollen beispielsweise 3D-Aufnahmen im Abdominal- oder Thoraxbereich erfolgen, ist eine Bewegungskompensation f¨ ur Herzschlag oder Atmung erforderlich. Gleichzeitig werden Untersuchungen zur Quantifizierung unserer bisherigen Meßfehler im Labor sowie Tests unter klinische Bedingungen folgen.
344
L.A. Kahrs, J. Raczkowsky und H. W¨ orn
Literaturverzeichnis 1. Marmulla R, Hassfeld S, M¨ uhling J. Referenzierung der Patientenlage mittels 3D-WeichteilLaserScan. Biomed Tech 2002;47 (EB 1):29–32. 2. Cash DM, Sinha TK, Chapman WC, et al. Incorporation of a laser range scanner into image-guided liver surgery: surface acquisition, registration, and tracking. Med Phys 2003;30 (7):1671–1682. 3. Maas HG. Robust Automatic Surface Reconstruction with Structured Light. ISPRS 1992;XXIX (B5):709–713. 4. Sun H, Lunn KE, Farid H, et al. Stereopsis-Guided Brain Shift Compensation. IEEE Trans Med Imaging 2005;24 (8):1039–1052. 5. Knauer MC, Kaminski J, H¨ ausler G. Phase measuring deflectometry: a new approach to measure specular free-form surfaces. In: Automatic Target Recognition XIV. Edited by Sadjadi, Firooz A. Proceedings of the SPIE, Volume 5457.; 2004. p. 366–376. 6. Battiato S, Castorina A, Mancuso M. High Dynamic Range Imaging for Digital Still Camera: An Overview. SPIE Journal of Electronic Imaging 2003;12 (3):459– 469. 7. Bothe T, Li W, Gesierich A, et al. Streifenreflexion - 3D-Oberfl¨ achentopometrie an gl¨ anzenden Objekten. In: Photogrammetrie, Laserscanning, Optische 3DMesstechnik (Tagungsband der Oldenburger 3D-Tage); 2005. 8. Schlaier J, Warnat J, Brawanski A. Registration Accuracy and Practicability of Laser-Directed Surface Matching. Comput Aided Surg 2002;7 (5):284–290. 9. Kruse J. Maßgetreue Dokumentation der Wundtopographie auf der Oberfl¨ ache der individuellen virtuellen Leichenpuppe. Dissertation, Universit¨ at T¨ ubingen; 2004. 10. Eggers G, Salb T, Hoppe H, et al. Intraoperative augmented reality: the surgeons view. Stud Health Technol Inform 2005;111:123–125.
IGS (Image Guided Surgery) – Phantomversuche und erste klinische Erfahrungen mit einem neuartigen CT-basierten Navigationssystem Ulrich H.W. Krause1 , Markus Nagel2 und Rainer M.M. Seibel1 1
MRI – M¨ ulheimer Radiologie Institut; Institut f¨ ur Diagnostische und Interventionelle Radiologie, Medizinische Computerwissenschaften Universit¨ at Witten/Herdecke 2 Institut f¨ ur Medizinische Physik, Friedrich-Alexander Universit¨ at Erlangen-N¨ urnberg Email:
[email protected]
Zusammenfassung. Zusammenfassung Das Ziel der vorliegenden Studie war die Durchf¨ uhrung einer Genauigkeitsmessung mit einer neuen Navigationsstation (CAPPA IRAD, CAS Innovations AG, Erlangen, Deutschland). Im Rahmen der Studie wurden zun¨ achst in 2 speziellen Phantomstudien die technische Genauigkeit des Systems und die Genauigkeit der Nadelpositionierung gemessen. In anschließenden klinischen Tests wurde der Einsatz am Patienten unter lokaler An¨ asthesie und klinischen Bedingungen erprobt und die Genauigkeit erneut unter Beweis gestellt. Die beiden Studien zeigten eine Genauigkeit des Navigationssystems von kleiner 1 mm. Die durchgef¨ uhrten klinischen Applikationen konnten alle erfolgreich beendet werden. Auftretende Abweichungen bei der Nadelplatzierung konnten alle auf Patientenbewegungen zur¨ uckgef¨ uhrt werden.
1
Einfu ¨hrung
Bildgest¨ utzte minimal invasive Interventionen sind heutzutage Stand der Technik [1,2,3] und aus der Interventionellen Radiologie nicht wegzudenken. Gegen¨ uber invasiven Eingriffen bestehen bei minimal invasiven Interventionen zahlreiche Vorteile: K¨ urzere Interventionszeit, Lokalan¨asthesie, geringere Komplikationsrate, geringere Kosten etc.. Auf der anderen Seite, existieren auch verschiedene Herausforderungen. So verlangt das Auffinden des Eintrittspunktes auf der Haut und der anschließende Freihandnadelvorschub zu einem in der Tiefe gelegenen Ziel viel Erfahrung des Radiologen. Besonders dann, wenn der Zugangsweg doppelt schr¨ ag (anguliert) oder kompliziert im Datensatz verl¨auft. In der Praxis existieren dazu diverse Hilfsmittel wie Laserzielsysteme, Haltevorrichtungen oder Gitter die auf die Haut aufgebracht werden [4,5,6]. Keine dieser Hilfen erlaubt eine real-time Kontrolle der Nadel im Patienten. An dieser Stelle sind neue computer-unterst¨ utzte und bild-gest¨ utzte Navigationssysteme [7] gefordert. Ziel der bildgest¨ utzten Navigation (IGS: Image Guided Surgery) ist es, pr¨aoperativ gewonnene Bilddaten auch intraoperativ zur Verf¨ ugung zu stellen. Es gilt die exakte Position des Instrumentariums darzustellen und zu verifizieren um minimal invasive Eingriffe sicher und komplikationslos durchf¨ uhren zu
346
U.H.W. Krause, M. Nagel und R.M.M. Seibel
Abb. 1. Navigationsstation CAPPA IRAD. Setup mit Polaris Kamera, Touchscreen, Patientenrahmen und Patientenfixierungssystem.
k¨onnen. Die Kombination minimal invasiver Eingriffe und bilddatengest¨ utzter Navigation verspricht eine Verbesserung der dreidimensionalen r¨aumlichen Orientierung w¨ ahrend eines Eingriffs. Durch die CT basierte Navigation ist der Zugangsweg exakt planbar, auch bei anguliertem 3-dimensionalen Zugangsweg (¨ approach”). Der Operateur kann durch Kontrollscans jederzeit die Instrumentenlage verifizieren. Ohne Implantation oder Aufbringen von detektierbaren Markern sind zeitlich beschleunigte Eingriffe sicher und risikofrei durchf¨ uhrbar.
2
Methoden
r IRAD, CAS Innovations AG, Erlangen, Die Navigationsstation (CAPPA Deutschland) besteht aus einem handels¨ ublichen PC mit Touchscreen Monitor, als Eingabeinterface, und der Navigationssoftware IRad, einem optischen, passiven Trackingsystem (Polaris, NDI, Kanada), einem Nadelhalter, Patientenfixierungssystem (BodyFixTM, Medical Intelligence, Schwab-M¨ unchen, Deutschland) und einem Patientenrahmen mit optischen Markern und CT-Markern. Der Touchscreen Monitor fungiert dabei auch als ,,in-room“ Monitor zur Planung, Adjustierung und als Kontrollinstrument. F¨ ur die Phantommessungen wurden zwei unterschiedliche Phantome (Plexiglas / technische Genauigkeit und pr¨ apariertes WS-Phantom / Positionierungsgenauigkeit) auf dem CT-Tisch bewegungsunf¨ ahig positioniert. Der Patientenrahmen wurde u ¨ ber der zu punktierenden Stelle positioniert und zusammen mit dem Phantom mit einem CT (Sensation 64, Siemens, Erlangen, Deutschland) gescannt. Das Field of View wurde am CT dabei so eingestellt, dass sich alle auf
IGS (Image Guided Surgery)
347
Abb. 2. Versuchsaufbau f¨ ur die Phantomstudie: Technische Genauigkeit.
dem Rahmen befindlichen CT-Marker im Aufnahmefeld befanden. Die Navigationsstation ist u ortliche Medizinnetz (TCP/IP) mit der Workstation des ¨ ber das ¨ CT-Ger¨ ates verbunden. Bilddaten im DICOM Format k¨onnen auf diese Weise zwischen beide Stationen beliebig ausgetauscht werden. Nach der Bildaufnahme wurden die CT-Bilder an die Navigationsstation geschickt. Technische Genauigkeit: Zum Bestimmen der technischen Genauigkeit wurde ein spezielles Plexiglasphantom verwendet, siehe Abb. 2 oben rechts. Das Phantom besteht aus einer Grundplatte mit 7 aufgeschraubten Plexiglasstiften mit spitzen Enden. Nach dem Scannen des Phantoms zusammen mit dem Patientenrahmen wurden die Bilder an die Navigationsstation geschickt. Im Planungsmodul der Navigationssoftware wurden die 7 Spitzen der Plexiglasstifte als Ziele geplant. Der Eintrittspunkt dabei wurde beliebig gesetzt, da er f¨ ur diese Messungen nicht relevant war. Als Nadel wurde eine Standard Punktionsnadel (18G) verwendet und deren L¨ ange im Kalibrierungsschritt der Navigationssoftware bestimmt. Die Nadel wurde anschließend exakt auf die geplanten Punkte manuell ausgerichtet, siehe Abb. 2 links. Die Navigationssoftware berechnet automatisch zum einen den Abstand |τ | der virtuellen Nadelspitze zum geplanten Ziel und zum anderen das Lot |ε| der verl¨ angerten virtuellen Nadelachse zum geplanten Ziel, siehe Abb. 2 unten rechts. Beide Fehler wurden in einer Messreihe bestimmt und dokumentiert. Positionierungsgenauigkeit: Dazu wurde extra pr¨apariertes WS-Phantom verwendet; der intraspinale Duralsack wurde mit einer kontrastmittelgef¨ ullten Kan¨ ule simuliert. CT Marker zur Simulation klinischer Ziele wurden sowohl auf die Facettengelenke als auch auf den simulierten Duralsack (intraspinales, epidurales Ziel) aufgeklebt. Nach dem Scan wurden im Planungsmodul der Navigationssoftware typische Zugangswege zu den CT-Markern geplant, siehe Abb. 3, links. Die Zielpunkte der Trajektorien wurden auf die Oberfl¨ache der entsprechenden CT-Marker gelegt. Als Nadel wurde eine Punktionsnadel (16G, 150mm) verwendet. Die Nadell¨ ange wurde im Kalibrierungsschritt der Navigationssoftware bestimmt. Um m¨ oglichst reale Bedingungen zu erzielen wurde am Phan-
348
U.H.W. Krause, M. Nagel und R.M.M. Seibel
Abb. 3. Versuchsaufbau f¨ ur die Phantomstudie: Nadelpositionierungsgenauigkeit.
tom der Zielbereich (einschließlich CT-Marker) mit einem Schaumstoffkissen abgedeckt. Anschließend wurde die Nadelhalterung entsprechend der Trajektorie ausgerichtet und die Nadel bis ins Ziel vorgeschoben, siehe Abb. 3, Mitte. Mit gestochener Nadel wurde ein Kontroll- CT gefahren um sp¨ater die Position der Nadel zum Zielpunkt mit einer Auswertesoftware zu bestimmen, siehe Abb. 3, rechts. In den Patientenversuche wurde analog der zu therapierende Bereich gescannt. Mittels eines Topograms wurde des Field of View so eingestellt, dass sich neben der Zielregion auch mindestens drei CT-Marker im Aufnahmebereich befanden. Der Bereich wurde anschließend gescannt, die Daten an die Navigationssoftware geschickt. Im n¨ achsten Schritt wurde eine transversale Schicht ausgew¨ ahlt, Eintrittspunkt und Zielpunkt (Target) gew¨ahlt und eine Verbindung mittels einer Linie eingezeichnet.
3
Ergebnis
Technische Genauigkeit: Es ergab sich ein Mittelwert von 0.698 mm mit einer Standardabweichung von +/- 0.21 mm f¨ ur den Abstand |τ | der virtuellen Nadelspitze zum geplanten Ziel und ein Mittelwert von 0.473 mm mit einer Standardabweichung von +/- 0.20 mm f¨ ur das Lot |ε|. Der Abstand der Halterung zur Nadelspitze war konstant 90 mm f¨ ur alle Messungen. Positionierungsgenauigkeit: Hier ergab sich ein Mittelwert von 0,80 mm mit einer Standardabweichung von +/- 0,35 mm f¨ ur den Abstand |τ | der gemessenen Nadelspitze in den Kontrollscans zum geplanten Ziel und ein Mittelwert von 0,69 mm mit einer Standardabweichung von +/- 0,36 mm f¨ ur das Lot |ε|. Der Abstand der Halterung zur Nadelspitzespitze war im Mittel 105 mm und wurde vom System angegeben. Ebenso vom System angegeben war der verbleibende technische Fehler, der hier das ,,vom Plan abweichende“ Ausrichten bestimmt. Technischer Fehler mit einem Mittelwert von 0,23 mm +/- 0.15 mm.
IGS (Image Guided Surgery)
349
Patientenversuche: Es konnten mehrere minimal invasive Eingriffe (PRT periradikul¨ are Therapie) an der Wirbels¨ aule komplikationslos durchgef¨ uhrt werden. Dar¨ uber hinaus wurden mehrere diagnostische Punktionen einwandfrei bei erleichtertem und sichererem Zugang durchgef¨ uhrt.
4
Diskussion
Die durchgef¨ uhrten Phantomversuche und der erste klinische Einsatz zeigen, dass das CAPPA IRAD Navigationssystem technisch einwandfrei funktioniert und reproduzierbar gute Ergebnisse im Submillimeterbereich liefert. Die Handhabung der Software ist gut, das Handling mit der Hardware wird sukzessive im Rahmen der Erprobung weiter verbessert. Anders als bisher ist eine schnelle und nicht belastende Navigation CT-basiert m¨ oglich. Diffizile Eingriffe sind sicher und risikominimiert m¨oglich. Das Ein- bzw. Aufbringen von detektierbaren Markern am Patienten ist nicht erforderlich.
Literaturverzeichnis 1. Haller JW, Ryken TC, Vannier MW. Image-Guided Therapy: Infrastructure for Practical Applications. Acad Radiol 2001;8:888–897. 2. Cleary K, et al. Technology Improvements for Image-Guided and Minimally Invasive Spine Procedures. IEEE Transactions on Information Technology in Biomedicine 2002;6(4):249–261. 3. Vosburgh KG, Jolesz FA. The concept of Image-guided therapy. Acad Radiol 2003;10:176–179. 4. Frederick PR, et al. A light-guidance system to be used for CT-guided biopsy. Radiology 1985;154:535–536. 5. Miaux Y, et al. Laser guidance system for CT-guided procedures. Radiology 1995;194:282–284. 6. Palestant AM. Comprehensive approach to CT-guided procedures with a handheld guidance device. Radiology 1990;174:270–272. 7. M Nagel, G Schmidt, R Petzold, WA Kalender. A Navigation System for Minimally Invasive CT-Guided Interventions. In: Proc MICCAI; 2005. p. 33–40.
Tetraoptisches Kamerasystem zur rahmenlosen ¨ Repostionierung und respirativen Uberwachung in der extrakraniellen Hochpr¨ azisionsbestrahlung Detlef Richter1 , Faisel Bekkaoui1 , Zvonimir Mostarkic1 und Gerd Straßmann2 2
1 Fachbereich Informatik, Fachhochschule Wiesbaden, D-65197 Wiesbaden Klinik f¨ ur Strahlentherapie, Philipps-Universit¨ at Marburg, D-35043 Marburg Email:
[email protected]
Zusammenfassung. Zur fortf¨ uhrenden Strahlungsbehandlung von Lungentumoren ist es notwendig, Patienten wiederholt genau zu repositionieren und die Atmungsbewegung des Thorax zu kontrollieren. Anstelle eines stereotaktischen Rahmens wird ein tetraoptisches Kamerasystem verwendet, um die Positionen von Landmarken im dreidimensionalen Raum zu bestimmen. Durch eine Verbesserung der Kamerakalibrierung wird eine erh¨ ohte Genauigkeit bei der Positionsbestimmung der Landmarken erreicht. Es wird ebenfalls ein neuer Algorithmus zur interaktionsfreien Landmarkenerkennung in CT-Datens¨ atzen vorgestellt. Der Algorithmus wird mit anderen interaktiven Suchverfahren verglichen und die medizinische Relevanz der Arbeit erl¨ autert.
1
Problemstellung
Zur stereotaktischen Hochpr¨ azisionsbestrahlung von Lungentumoren ist es notwendig, Patienten genau zu repositionieren und die Atmungsbewegung des Thorax zu kontrollieren, um eine m¨ oglichst zielgerichtete Bestrahlung von atembeweglichen Tumoren durchzuf¨ uhren. Anstelle eines stereotaktischen Rahmens soll ein tetraoptisches Kamerasystem [1] verwendet werden. Zum einen muss dieses mit entsprechender Genauigkeit kalibriert werden, zum anderen m¨ ussen die Positionen von Landmarken auf der Patientenoberfl¨ache im dreidimensionalen Raum optisch bestimmt und mit deren Abbildungen im CT-Datensatz korreliert werden. Die Landmarkenerkennung im CT-Datensatz soll aus Zeitgr¨ unden interaktionsfrei geschehen.
2
Stand der Forschung
Stereooptische Kamerasysteme werden derzeit zur Repositionierung und zur Atemtriggerung des Patienten im Rahmen der Image Guided Radiotherapy (IGRT) eingesetzt. Leider haben sich diese Systeme f¨ ur die automatische Repositionierung des Patienten unter dem Linearbeschleuniger nur in Zusammenhang
Tetraoptisches Kamerasystem
351
Abb. 1. Verdeckung der Landmarken durch den Patientenk¨ orper bei Zweikamerasystemen. Nur dem Stereokamerapaar zugewandte Landmarken k¨ onnen erfasst werden.
mit einer zus¨ atzlichen fluoroskopischen Navigation bew¨ahrt [2-4]. Hierzu ist es sinnvoll, Landmarken zu positionieren, die am besten mit der Tumorbewegung korrelieren.
3
Wesentlicher Fortschritt durch den Beitrag
Charakteristisch f¨ ur stereooptische Kamerasysteme ist eine Landmarkerkennung auf einer der lateralen und der ventralen K¨ orperoberfl¨ache. Die zweite, der Kamera gegen¨ uberliegende laterale Patientenseite liegt im Schatten des Sichtbereichs und kann daher von einem Zweikamerasystem nicht gesehen werden (Abb. 1). Da sich die Genauigkeit der Messung durch eine großfl¨achige Verteilung der Landmarken auf der gesamten K¨ orperoberfl¨ ache erh¨oht, wurde ein neues tetraoptisches Kamerasystem entwickelt mit dem alle Landmarken weitgehend unabh¨angig von deren Positionierung auf der Patientenoberfl¨ache erkannt werden k¨onnen. Durch eine Untersuchung des Einflusses unterschiedlicher Definitionen des optischen Bildzentrums auf dem Kamerachip konnte die Messgenauigkeit im Bereich außerhalb der Kalibrierebene erh¨ oht werden. Ein Algorithmus zur interaktionsfreien Landmarkenerkennung in isotropen CT-Datens¨atzen beschleunigt die klinische Anwendung. Durch die Verwendung der optisch erkennbaren Landmarken wird eine Atembewegungs¨ uberwachung zur Bestrahlung in definierten Atemphasen m¨ oglich. Hierzu m¨ ussen Landmarkenpositionen gew¨ahlt werden, die am besten mit der Tumorbewegung korrelieren.
4
Methoden
Zwei unterschiedliche Aufgaben wurden behandelt. Zum einen wurde ein stereooptisches Kamerasystem zu einem tetraoptischen Kamerasystem erweitert und die Kalibrierparameter, die die Lage des optischen Bildzentrums beschreiben, optimiert. Dadurch wurden ein gr¨ oßerer Arbeitsraum und eine h¨ohere Messgenauigkeit erreicht. Zum anderen wurde ein Algorithmus zur automatischen
352
D. Richter et al.
Abb. 2. Landmarken mit Basisplatten f¨ ur die CT-Aufnahmen ohne IR-LED (links) und mit integrierter IR-LED f¨ ur die optische Navigation (rechts).
Landmarkenerkennung in CT-Datens¨ atzen entwickelt, um die Landmarkengeometrie f¨ ur die verwendete rigide Transformation zwischen Kamera- und CTKoordinatensystem zu finden. Tetraoptisches Kamerasystem Um die Position des Thorax mit dem tetraoptischen Kamerasystem [4] zu lokalisieren, werden am K¨orper des Patienten Landmarken mit Infrarot-Leuchtdioden (IR-LED) angebracht. Diese bestehen aus einer Basisplatte, die auf der Haut des Patienten angebracht wird, und einem austauschbaren zylindrischen K¨ orper, der f¨ ur das optische System mit IR-LEDs und f¨ ur die CT-Aufnahmen ohne IR-LEDs ausger¨ ustet ist (Abb. 2). Die Kameras sind Standard Video CCD-Kameras, die an den Ecken eines rechteckigen Rahmens ca. 130 cm u ¨ber dem Behandlungstisch angebracht sind. F¨ ur die Kalibrierung des Kamerasystems wurde ein Single-Plane-Verfahren [6,7] modifiziert, um eine h¨ ohere Pr¨ azision zu erreichen. Dazu wird eine genauere Bestimmung der Kameraparameter Cx und Cy , die die Lage des Projektionszentrums auf dem CCD-Chip beschreiben, durchgef¨ uhrt. Die zwei Parameter erh¨alt man mit einer einmalig durchgef¨ uhrten Kalibrierung, in der Cx und Cy systematisch variiert werden, so dass sich die berechneten Positionen der Kameras u ¨ ber der Kalibrierebene optimal an den manuell vermessenen Wert anpassen. Dabei werden alle Kalibrierparameter nach einer ersten Sch¨atzung mit verschiedenen festen Cx - und Cy -Werten nach [7] nichtlinear mit dem Levenberg-MarquardtAlgorithmus optimiert. Interaktionsfreie Landmarkenerkennung F¨ ur die Landmarkenerkennung werden Landmarken ohne IR-LEDs verwendet, um Artefakte in den CTDatens¨ atzen, die durch die elektrischen Verbindungen entstehen, zu vermeiden. Sie bestehen aus Polyvinyldifluorid (PVDF) mit einer Dichte von 1.73 g/cm3 . PVDF wird im CT im gleichen Grauwertbereich dargestellt wie oss¨are Strukturen. Bei fr¨ uher verwendeten Verfahren mussten die Landmarken zur genauen Positionsbestimmung der IR-LED interaktiv lokalisiert werden. Der nun entwickelte Algorithmus findet die Landmarkengeometrie interaktionsfrei, nachdem die Datens¨ atze in isotrope Daten transformiert wurden. Mithilfe einer festen Schwellwertoperation werden die Voxel der Landmarken, wie auch der oss¨aren Strukturen, segmentiert. Ein schneller 3D-Seed Algorithmus [8] findet alle zusammenh¨ angenden Objekte. Aus der Kenntnis der Landmarkengr¨oße und aus dem Abbildungsmaßstab k¨ onnen unter Ber¨ ucksichtigung des Partialvolumeneffektes aus der Anzahl der Voxel der einzelnen zusammenh¨angenden Objekte
Tetraoptisches Kamerasystem
353
m¨ ogliche Kandidaten f¨ ur die Landmarken separiert werden. Danach wird aus der Landmarkengeometrie die maximale Ausdehnung der Objekte von ihrem Schwerpunkt aus als weiteres Segmentierungskriterium analysiert. Sind alle Landmarken identifiziert, werden anschließend die Positionen der IR-LEDs aus einer 3DSobelfilterung und der Richtung der Grauwertgradienten berechnet. Die Grauwertgradienten schneiden sich auf der Achse der zylindrischen Landmarken. Die IR-LEDs liegen auf den ¨ außeren, dem Patienten abgewandten Deckfl¨achen der Zylinder [9,10].
5
Ergebnisse
Mit dem vogestellten Algorithmus wurden die Landmarken in mehreren zur Verf¨ ugung stehenden CT-Datens¨ atzen verschiedener Aufl¨osungen - von 0.34 x 0.34 x 1 bis 0.8 x 0.8 x 2 in mm/Voxel - erfolgreich segmentiert. Mit einem Phantom wurden die durch den Algorithmus berechneten Positionen der Landmarken evaluiert. Das Phantom besteht aus einem Balsaholzw¨ urfel mit einer Kantenl¨ ange von 90 mm, bei dem auf den Schnittpunkten der Fl¨achendiagonalen die Landmarken befestigt wurden. Die Positionen der Landmarken wurden in den CT-Datens¨ atzen durch mehrere unabh¨ angige Testpersonen definiert und mit der neuen interaktionsfreien Landmarkensuche verglichen. Die Ergebnisse zeigen, dass die interaktionsfreie und die interaktive Bestimmung der Landmarkenpositionen gleichwertig im Toleranzbereich eines Voxels liegen (Tab. 1, Spalten 2-4). Weiterhin wurde durch die Verbesserung der Kamerakalibrierung eine hohe Genauigkeit bei der optischen Positionsbestimmung der IR-LEDs erreicht (Tab. 1, Spalten 5-6).
6
Diskussion
Ein neuer Algorithmus wurde vorgestellt, um interaktionsfrei Landmarken in isotropen CT-Datens¨ atzen zu lokalisieren. Die Pr¨azision der Messungen ist in der gleichen Gr¨ oßenordnung wie bei anderen Methoden. Der Mittelwert der Abweichungen der Messungen der Landmarkenpositionen im CT-Datensatz ist kleiner als ein Millimeter. Es entf¨ allt die sehr zeitintensive visuell-interaktive Suche. Auf einer Intel Pentium 4 CPU mit 2 GHz Taktfrequenz und 512 MB SDRAM Speicher wurde die interaktionsfreie Suche am Phantom in 2 s, im CT-Datensatz mit hohem oss¨ aren Anteil in 22 s durchgef¨ uhrt. Diesen Werten steht die interaktive Suche von ca. 10 min Dauer im CT-Datensatz gegen¨ uber. Mit dem gegenw¨ artigen mechanischen Aufbau, dem Einsatz kommerzieller Kameras, Objektive mit einer Brennweite von 12.5 mm und einer Montageh¨ohe von ca. 1.3 m u ¨ ber dem Patiententisch ist eine Positionsberechnung der Landmarken in einem Inspektionsvolumen von ca. 60 x 40 x 40 cm3 (B x T x H) mit einer Genauigkeit von unter 1 mm m¨ oglich, die auftretenden maximalen Abweichungen liegen im Bereich von einem Millimeter. Im Gegensatz zu Zweikamerasystemen bietet das tetraoptische System die M¨oglichkeit, große Abst¨ande f¨ ur die Landmarken-Positionen auf der K¨ orperoberfl¨ache zu w¨ahlen und dadurch die Positionsgenauigkeit zu erh¨ ohen.
354
D. Richter et al.
Tabelle 1. Vergleich unterschiedlicher Methoden f¨ ur die Messung der Distanzen der IR-LED-Positionen. Mittelwerte der Landmarkenmessungen gegen¨ uberliegender Phantomseiten (erste Zeile) und benachbarter Phantomseiten (zweite Zeile). Spalten 2-4: Messungen im CT-Datensatz: Mittelwerte aus mehreren Messungen bei einer Aufl¨ osung von (0.34 mm)3 pro Voxel. Spalte 5: Mittelwerte aus mehreren Messungen am Phantom. Bei einer Aufl¨ osung der Videobilder von 768 x 576 Pixel betrug die Distanz zwischen Phantom und Kameras ca. 120 cm. Spalte 6: Maximal aufgetretene Abweichung der individuellen Messungen vom Mittelwert der Spalte 5. Distanz auf Interaktive Interaktive dem Phantom Definition der Definition IR-LEDs eines VOI [9]
Interaktionsfreie Tetraoptische Definition im ge- Messung samten Datensatz
Maximal aufgetretene Abweichung
112.00 mm 112.26 mm 79.20 mm 79.69 mm
111.55 mm 79.27 mm
–0.30 mm –1.39 mm
112.02 mm 79.58 mm
111.79 mm 78.49 mm
Anatomisch bedingt sind Tumore in den zwerchfellnahen atembeweglichen Lungenabschnitten mit longitudinalen Bewegungen von mehr als 2 cm behaftet. Daher m¨ ussen die Sicherheitsabst¨ ande f¨ ur die Zielvolumendefinition in der Radiotherapie um mindestens diesen Abstand vergr¨oßert werden. Ziel der vorgestellten Systementwicklung ist es, in Zukunft durch eine zus¨atzliche Messung der Thoraxwandbewegung eine Atemtriggerung zu erm¨oglichen. Weitere Untersuchungen zur Organbewegung aufgrund der Atmungsbewegung m¨ ussen durchgef¨ uhrt und in ein 4D-Modell eingebunden werden.
Literaturverzeichnis 1. Richter D, Egger J, Strassmann G. Positionsbestimmung von Patienten und Biopsienadeln mit einem Vierkamerasystem. In: Procs BVM; 2006. . 2. Wulf J, Haedinger U, Oppitz U, et al. Stereotactic radiotherapy for primary lung cancer and pulmonary metastases: a noninvasive treatment approach in medically inoperable patients. Int J Radiat Oncol Biol Phys 2004;60(1):186–196. 3. Yan H, et al. A phantom study on the positioning accuracy of the Novalis Body system. Med Phys 2003;30(12):3052–3060. 4. Verellen D, Soete G, et al. Quality assurance of a system for improved target localization and patient set-up that combines real-time infrared tracking and stereoscopic X-ray imaging. Radiother Oncol 2003;67:129–141. 5. Richter D, LaTorre F, Strassmann G, et al. Ein tetraoptisches Kamerasystem f¨ ur die medizinische Navigation. In: Procs BVM; 2004. p. 239–243. 6. Tsai RY. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. In: Procs IEEE Conf Comp Vis and Patt Rec; 1986. p. 364–374. 7. Lenz R. Linsenfehlerkorrigierte Eichung von Halbleiterkameras mit Standardobjektiven f¨ ur hochgenaue 3D-Messungen in Echtzeit. In: Procs 9. DAGM-Symp Mustererk; 1987. p. 212–216. 8. Heckbert PS. Graphics Gems. Academic Press, Boston; 1992. 9. Richter D, Glasberger A, Strassmann G, et al. Visualisierung einer 3D-Sondennavigation zur Nadelpositionierung in Tumoren im CT-Datensatz f¨ ur die interstitielle Brachytherapie. In: Procs BVM; 2003. p. 269–273. 10. Bekkaoui F. Interaktionsfreie Interaktionsfreie Segmentierung von PVDF-Landmarken in CT-Bilddaten mit Hilfe eines 3D-Seed-Algorithmus. Master’s thesis. FH Wiesbaden; 2005.
Analysis of Colour Distributions of Anodised Titanium Clips and the Heart Surface for Tracking Martin Gr¨ oger, Klaus Arbter and Gerd Hirzinger Institute of Robotics and Mechatronics, German Aerospace Center (DLR), 82234 Oberpfaffenhofen, Internet: www.robotic.dlr.de Email:
[email protected]
Abstract. Intraoperative organ motion, induced by heart beat and respiration, poses special demands to robot-assisted surgery. Recognition of this motion is required for motion compensation by robotic systems. Colour markers allow for robust motion estimation by colour tracking schemes. Anodised blue titanium clips, which can be attached to the heart surface, are proposed as colour markers. Analyses show that their colour distribution is separable from the colour distribution of the heart surface, allowing for robust colour tracking.
1
Introduction
Intraoperative organ motion, induced by heart beat and respiration poses special requirements to robot-assisted surgery. Motion compensation is a highly desired issue particularly in minimally invasive beating heart surgery [1]. Recognition of this motion is required for motion compensation by robotic systems. The proposed colour tracking approach uses small markers attached to the heart surface. The fulfillment of the basic requirement of separability is shown by colour analyses of the proposed titanium clip viewed from different perspectives and of the heart surface. Estimating local motion of the beating heart by natural landmarks is attractive since no further materials have to be introduced, but poses special demands to image tracking such as dealing with distorsions of the heart surface [2] and disturbances by specular reflections on the heart surface [3]. Approaches based on artificial landmarks are generally independent of these imaging demands. Conventional markers attached firmly to the heart surface for tracking as in [4, 5], however, occupy a significant area of the operating field and, since glued to the heart surface, may harm the patient when removed again. Instead of conventional markers, the proposed approach uses small titanium clips, which can be clamped to the heart surface easily. Moreover titanium can be coloured by anodic oxidisation in a spectrum not appearing on the heart surface. Meeting this demand allows for colour tracking of these clips – a robust and efficient approach with realtime capabilities, which is based on colour classification to detect the clip in subsequent frames [6].
356
2
M. Gr¨ oger, K. Arbter and G. Hirzinger
Materials and Methods
Titanium clips are commonly available during surgery for clamping blood vessels. Anodic oxidisation of titanium is a process which allows the creation of a differently coloured and consistent superficial layer on titanium, where the colour impression is created by interference [7]. Anodised titanium clips are commercially available in blue, e.g. by Ethicon Endo-Surgery. They fulfill the basic requirements posed to tracking on the heart surface, such as biocompatibility, sterilisability and removability [8]. Figure 1 shows the surface of the heart with three blue titanium clips attached. The colour properties of these clips are analysed in more detail in the following to show how the requirements of clip detection by colour classification are met. Firstly, the colour spectrum of the anodised titanium clips needs to be separable from the spectrum of the heart surface to allow for correct detection by segmentation in the colour space. Secondly, the colour spectrum of anodised titanium is required to be stable under different angles of sight and distances, since these parameters change for clips attached to the heart surface. Colour analysis is performed in the HSV (Hue Saturation Value) colour space, using the Colour Classifier Design Tool (CCDT) [9]. The HSV colour space offers to analyse the colour components of hue (H) and saturation (S) independently of the achromatic component of value (V ). The colour components (H, S) enable robust colour detection in presence of changes in illumination intensity. The HS colour plane is discretised by a regular grid of n × n bins to create colour histograms showing the frequency distributions of the colour components. For the analyses below, n = 63 is used. The colour distributions of the recordings are assessed by histogram plots in the hue-saturation colour plane, which show the frequency of particular colours. The colour distribution of the heart surface is analysed in recordings from several different patients. The blue titanium clips are attached to the heart surface and recorded. The colour behaviour of blue titanium clips viewed from different perspectives is investigated in vitro.
3
Results
The colour stability of the clip viewed from different angles and distances is investigated in vitro. The clip is attached to a white background plane and recorded by an endoscopic camera (with inbuilt cold light). The viewing direction of the endoscope is placed at angles of 30◦ , 45◦ , 60◦ and 90◦ towards the clip. Additionally, viewing distances from 1.5 cm to 7.0 cm, as occurring in endoscopic application, are investigated. Figure 2 shows colour distributions for two example configurations, one with a small viewing distance of 2.5 cm, and another rather distant at 7.0 cm. The corresponding colour distribution is very compact in the close view, while it becomes more spread in the distant view but is still sufficiently clustered in the blue area. The examples show that different viewing angles and distances keep the general location of the colour distribution, such that the criterion of separability is maintained.
Analysis of Colour Distributions of Anodised Titanium Clips
357
Fig. 1. Heart surface with blue titanium clips.
Fig. 2. Colour distribution of blue titanium clip at different viewing distances and angles (left: 2.5 cm and 60◦ ; right: 7.0 cm and 30◦ ).
Fig. 3. Colour distribution of blue titanium clips (left) on the heart surface and the heart surface itself (right).
358
M. Gr¨ oger, K. Arbter and G. Hirzinger
As shown in the in vitro experiments, blue titanium clips attached to the heart surface appear as a compact cluster between blue and cyan in the huesaturation colour plane. The colour distribution of the clips at different times in the image sequence of the beating heart remains rather constant in the cyanblue area. Figure 3 shows the summary colour distribution of clips in a number of images on the heart surface. The colour distribution of the heart surface is calculated from real data recorded from several different patients. The histogram plot in Fig. 3 shows the resulting frequency distribution in the hue-saturation colour plane. The colour analysis yields a distribution clustered in the red colour range, sometimes extending slightly towards magenta and yellow. The most frequent colour, indicated by the peak of the histogram plot, is clearly located in the red colour spectrum. The local maximum, located around the achromatic point, is due to specular reflections on the heart surface. The colour distributions of blue titanium clips and the heart surface only overlap in the center of the hue-saturation colour plane (see Fig. 3). This area corresponds to low saturated colours, however, and is therefore not considered for colour tracking anyway.
4
Conclusion
The requirements for using anodised titanium as a colour marker are fulfilled. The colour distribution of blue titanium clips is well separable from the heart surface and stable under different perspectives. This enables to establish a colour tracking approach to estimate the heart motion using blue titanium clips.
References 1. Jacobs S, Holzhey D, Kiaii BB, Onnasch JF, Walther T, Mohr FW, et al. Limitations for manual and telemanipulator-assisted motion tracking – implications for endoscopic beating-heart surgery. Ann Thorac Surg 2003;76:2029–2035. 2. Gr¨ oger M, Ortmaier T, Sepp W, Hirzinger G. Tracking Local Motion on the Beating Heart. In: Medical Imaging 2002. vol. 4681 of SPIE. San Diego, USA; 2002. p. 233– 241. 3. Gr¨ oger M, Sepp W, Ortmaier T, Hirzinger G. Reconstruction of Image Structure in Presence of Specular Reflections. In: Pattern Recognition, Proc. 23rd DAGM Symposium. vol. 2191 of LNCS. Munich, Germany: Springer; 2001. p. 53–60. 4. Nakamura Y, Kishi K, Kawakami H. Heartbeat Synchronization for Robotic Cardiac Surgery. In: IEEE ICRA. Seoul, Korea; 2001. p. 2014–2019. 5. Ginhoux R, Gangloff JA, de Mathelin MF, et al. Beating heart tracking in robotic surgery using 500 Hz visual servoing, model predictive control and an adaptive observer. In: IEEE ICRA. New Orleans, USA; 2004. p. 274–279. 6. Wei G-Q, Arbter K, Hirzinger G. Real-time visual servoing for laparoscopic surgery. IEEE Engineering in Medicine and Biology 1997;16(1). 7. Brunette DM, Tengvall P, Textor M, Thomsen P, editors. Titanium in Medicine. Engineering Materials. Springer; 2001. 8. Gr¨ oger M, K¨ ubler B, Hirzinger G. Selection of qualified colour markers for heart surface tracking. In: BMT 2004. vol. 49-2. Illmenau; 2004. p. 192–193. 9. Arbter K, Kish D. Ein Entwurfswerkzeug f¨ ur Farbklassifikatoren in Echtzeitanwendungen. In: 10. Workshop Farbbildverarbeitung. Koblenz, Germany; 2004.
Segmentierung ungef¨ arbter, lebender Zellen in Hellfeld-Mikroskopbildern Marko Tscherepanow, Frank Z¨ ollner und Franz Kummert Angewandte Informatik, Technische Fakult¨ at, Universit¨ at Bielefeld, Postfach 100 131, D-33501 Bielefeld Email: {marko,fzoellne,franz}@techfak.uni-bielefeld.de
Zusammenfassung. In diesem Beitrag werden drei Verfahren zur automatischen Segmentierung von ungef¨ arbten, lebenden Zellen in HellfeldBildern verglichen. Auf der Grundlage dieser Segmente soll in Zukunft eine Lokalisation subzellul¨ arer Strukturen in parallel dazu aufgenommenen Fluoreszenzbildern stattfinden. Neben der Wasserscheidentransformation wurden zwei eigene Ans¨ atze auf der Basis aktiver Konturen untersucht. Als Vergleichskriterien dienten der Segmentierungsfehler im Bezug zu Referenzsegmenten, die von biologischen Experten erstellt wurden, sowie die ben¨ otigte Rechenzeit. Das Ziel ist hierbei eine an unsere Problemstellung angepasste Auswahl des Segmentierungsverfahrens. Die gewonnenen Erkenntnisse sind jedoch auch f¨ ur alternative Anwendungen vorteilhaft, da wesentliche Eigenschaften der Segmentierungsverfahren deutlich werden.
1
Problemstellung
Im Laufe der vergangenen Jahre wurden die Genome einer Vielzahl von Spezies dekodiert. Die Funktion der entsprechenden Proteine ist jedoch h¨aufig ungekl¨ art. Im Rahmen der Proteomik wird versucht, diese Funktion zu bestimmen, beispielsweise um diagnostische oder therapeutische Targets zu ermitteln. Die subzellul¨ are Lokalisierung unbekannter Proteine in lebenden Zellen liefert wesentliche Informationen u ¨ber ihre Funktion [1]. Dazu werden die Proteine z.B. mit dem Green-Fluorescent-Protein markiert. Ansammlungen der betrachteten Proteine in Fluoreszenzbildern werden somit als helle Punkte oder Regionen sichtbar. Um diese Bildbereiche einzelnen Zellen zuordnen zu k¨onnen, sind weitere Informationen erforderlich. Diese gewinnen wir aus Hellfeld-Bildern, die parallel zu den Fluoreszenzbildern aufgenommen werden. Hellfeld-Bilder besitzen hierbei zwei wesentliche Vorteile gegen¨ uber kontrastreicheren Mikroskopiertechniken, wie beispielsweise der Phasenkontrast-Mikroskopie oder speziellen Anf¨arbungen: erstens kann der optische Strahlengang beibehalten werden, ohne das einfallende Licht insbesondere bei Fluoreszenzaufnahmen zu stark abzuschw¨ achen und zweitens wird das Risiko eventueller Beeinflussung der Untersuchungen durch zus¨atzliche Substanzen eliminiert. Da Hellfeld-Bilder ungef¨arbter Zellen im Allgemeinen einen geringen Kontrast aufweisen, intensit¨atsabh¨angig und ungleichm¨ aßig beleuchtet sind [2], werden zus¨atzliche Anforderungen an die verwendeten Segmentierungsverfahren gestellt.
360
2
M. Tscherepanow, F. Z¨ ollner und F. Kummert
Stand der Forschung
Gebr¨ auchliche Verfahren zur Zellsegmentierung setzen h¨aufig Bilder voraus, die einen deutlich h¨ oheren Kontrast als Hellfeld-Aufnahmen besitzen (z.B. [3, 4]). Sie sind damit nur beschr¨ ankt einsetzbar. Weiterhin muss ber¨ ucksichtigt werden, dass die subzellul¨ are Lokalisation von Proteinen eine vergleichsweise hohe Vergr¨ oßerung erfordert. Die von uns genutzten Zellen des Falters Spodoptera frugiperda (Sf9) besitzen bei einer 60-fachen Vergr¨oßerung einen mittleren Durchmesser von 177 Bildpunkten, wobei ein Bildpunkt etwa 0.15 Mikrometern entspricht. Somit k¨ onnen Verfahren, die Suchfenster einer definierten Gr¨oße nutzen, nur schwer eingesetzt werden. Schwellwertbasierte Methoden besitzen weiterhin den Nachteil, dass benachbarte Zellen nur sehr schlecht unterscheidbar sind, da sie dieselben Bildcharakteristika besitzen. Eine Trennung benachbarter Zellen ist jedoch m¨ oglich, wenn man Informationen u ¨ber ihre Zellmembranen in die Segmentierung einbezieht, da diese die Zellen von ihrer Umgebung abgrenzen. Dies kann beispielsweise durch die Wasserscheiden-Transformation [5] und aktive Konturen realisiert werden [6].
3
Wesentlicher Fortschritt durch den Beitrag
Dieser Beitrag umfasst eine Gegen¨ uberstellung dreier Ans¨atze f¨ ur die Segmentierung ungef¨ arbter Zellen in Hellfeld-Mikroskopbildern. Die Verfahren werden hinsichtlich des Segmentierungsfehlers und der ben¨otigten Berechnungszeit untersucht, um eine an unsere Problemstellung angepasste Auswahl zu erm¨oglichen. Da prinzipielle Eigenschaften der betrachteten Methoden deutlich werden, sind die gewonnenen Erkenntnisse jedoch auch f¨ ur alternative Anwendungen vorteilhaft, z.B. um den erforderlichen Rechenzeitbedarf oder die Form der entstehenden Segmente abzusch¨ atzen.
4
Methoden
Neben der Segmentierung der Zellen mit Hilfe der Wasserscheidentransformation als Referenzverfahren vergleichen wir zwei Ans¨atze zur Berechnung aktiver Konturen bzw. Snakes. Beide Snake-Algorithmen realisieren ein Wachstum der aktiven Konturen und lassen somit eine Initialisierung analog zu den Markern bei der Wasserscheidentransformation zu. Der erste Ansatz, der bereits in [7] vorgestellt wurde, entspricht einem Greedy-Verfahren [8], d.h., er f¨ uhrt eine lokale Optimierung der Kontur durch. Dieses Verfahren wurde nun dahingehend modifiziert, dass eine Berechnung mit Hilfe der Variationsrechnung [6] durchgef¨ uhrt werden kann. Der entsprechende zweite Ansatz realisiert eine globale Optimierung der Kontur. Die Initialisierung aller drei Verfahren erfolgt mit Markern, d.h. kleinen Regionen innerhalb potentieller Zellen. Diese werden entsprechend [7] mit Hilfe der Distanztransformation und morphologischer Operatoren automatisch in den Hellfeld-Bildern ermittelt. Der Durchmesser dieser Regionen entspricht 5% des
Segmentierung ungef¨ arbter, lebender Zellen in Hellfeld-Mikroskopbildern
361
Tabelle 1. Vergleich der Zellsegmentierung. Mittelwert µ, Standardabweichung σ und Median m des Segmentierungsfehlers u ¨ ber alle 575 manuell extrahierten Zellen. Segmentierungsverfahren Wasserscheidentransformation Greedy-Snakes Variationsrechnungsbasierte Snakes
µ 1,628 0,109 0,123
σ 2,730 0,087 0,096
m 0,142 0,081 0,094
maximalen Zellradius. Damit ist ein deutliches Wachstum der Segmente erforderlich. Bei der markergesteuerten Wasserscheidentransformation ist dies problemlos m¨ oglich. F¨ ur die Berechnung der aktiven Konturen war jedoch die Integration eines zus¨ atzlichen Energieterms notwendig. Dieser Term verringert sich mit zunehmenden Abstand vom Marker und erm¨oglicht so eine Ausdehnung der Kontur.
5
Ergebnisse
Die Leistungsf¨ ahigkeit der Verfahren wurde anhand eines von Experten erstellten Datensatzes (50 Bilder mit 1344 × 1024 Bildpunkten, 60-fache Vergr¨oßerung, 575 manuell extrahierte Zellen) evaluiert. F¨ ur die Bewertung erfolgte ein Vergleich der gefundenen Segmente mit den n = 575 manuell bestimmten Zellen der jeweiligen korrespondierenden auf der Basis der maximalen Entfernung dmax i Konturen einer Zelle i. Um die Ergebnisse f¨ ur verschiedene Zellen besser vergleiauf die Zellgr¨oße chen zu k¨ onnen, erfolgte weiterhin eine Normierung von dmax i (siehe Gleichung 1). n 1 dmax i (1) d¯err = n i=1 bi Hierf¨ ur wurde die Kontur der Referenzsegmente durch eine Ellipse approximiert [9], da die von uns genutzten Sf9-Zellen eine ann¨ ahernd elliptische Form besitzen. ur die Die L¨ ange bi der kleinen Halbachse dieser Ellipse dient dabei als Maß f¨ Gr¨oße der Zelle. Somit wird der Segmentierungsfehler auf den kleinstm¨oglichen Radius der Zelle normiert. Daher entspricht d¯err einer Worst-Case-Absch¨atzung. Im Gegensatz zu dem in [7] genutzten Fehlerkriterium A¯err , das auf der Anzahl falsch segmentierter Bildpunkte basiert, erm¨oglicht d¯err eine Ber¨ ucksichtigung der Form der gefundenen Segmente; bei einer gleichen Anzahl falsch segmentierter Punkte erh¨ oht sich d¯err mit zunehmenden Abstand dieser Punkte von der Referenzkontur. Dieses Vorgehen ist erforderlich, da insbesondere bei der Wasserscheidentransformation Segmente auftreten k¨onnen, die zwar nur eine geringe inkorrekt segmentierte Fl¨ ache umfassen, sich aber in Regionen erstrecken, die weit vom Referenzsegment entfernt sind. ¨ Uber dem verwendeten Datensatz wurden der Mittelwert, die Standardabweichung und der Median des Segmentierungsfehlers d¯err ermittelt (siehe Tab. 1). Beide Snake-Verfahren realisierten eine Segmentierung mit sehr geringem Fehler, wobei die resultierenden Segmente im Mittel um 11% bzw. 12% des Zellradius
362
M. Tscherepanow, F. Z¨ ollner und F. Kummert
Abb. 1. Segmentierung eines Hellfeld-Bildes. Die Konturen der gefundenen Segmente wurden schwarz eingezeichnet. Dabei ist zu beachten, dass die Wasserscheidentransformation jeden Bildpunkt genau einem Segment zuordnet, wogegen Snakes verschiedener Marker durchaus Teilbereiche derselben Zellen repr¨ asentieren k¨ onnen.
Hellfeld-Bild
Wasserscheidentransformation
Greedy-Snakes
Variationsrechnungsbasierte Snakes
von den Referenzsegmenten abweichen. Die schlechten Resultate der Wasserscheidentransformation bez¨ uglich Mittelwert und Standardabweichung ergeben sich daraus, dass Segmente mit extrem großen Fehler gebildet werden, die einen starken Einfluss auf das Resultat aus¨ uben. Dass die Anzahl dieser Segmente jedoch nicht sehr hoch sein kann, wird durch den Median deutlich, der nur geringf¨ ugig h¨ oher ist als bei den Verfahren auf der Basis aktiver Konturen. Abbildung 1 zeigt die Segmentierung eines Hellfeld-Bildes durch die drei untersuchten Verfahren. Auch hier ist erkennbar, dass die aktiven Konturen der Wasserscheidentransformation u ¨ berlegen sind. Im Gegensatz zu den Snake¨ Verfahren l¨ asst die Wasserscheidentransformation jedoch keine Uberlagerungen verschiedener Segmente zu. Da bei allen Verfahren im Anschluss an die Segmentierung in Zukunft eine Klassifikation erforderlich ist, die zwischen korrekt segmentierten Zellen und anderen Bildbereichen, wie z.B. Verunreinigungen und unvollst¨ andigen Zellen, unterscheidet, stellt dies jedoch f¨ ur das Gesamtsystem keinen Nachteil dar.
Segmentierung ungef¨ arbter, lebender Zellen in Hellfeld-Mikroskopbildern
363
Neben der Qualit¨ at wurde auch die ben¨ otigte Zeit f¨ ur die Segmentierung aller 50 Bilder auf einem AMD Athlon 64 Prozessor mit 2GHz Taktfrequenz evaluiert. Die durchschnittlichen Verarbeitungszeiten pro Bild betragen 19,5s (Wasserscheidentransformation), 6,0s (Greedy-Snakes) und 24,6s (variationsrechnungsbasierte Snakes). Aufgrund des im Vergleich zu den anderen beiden Verfahren deutlich geringeren Rechenzeitbedarfs der Greedy-Snakes eignet sich dieses Verfahren besonders gut f¨ ur zeitkritische Anwendungen, wie z.B. HochdurchsatzExperimente.
6
Diskussion
F¨ ur unsere Problemstellung erscheint der Einsatz der Greedy-Snakes am sinnvollsten, da hierbei sowohl der Segmentierungsfehler als auch der Rechenzeitbedarf minimal ist. Die globale Optimierung der Kontur hat zu keiner Verbesserung der Segmentierung, aber zu einem deutlich h¨ oheren Rechenaufwand gef¨ uhrt. Sie k¨onnte jedoch f¨ ur alternative Zelltypen erforderlich sein. Der Vorteil der Wasserscheidentransformation besteht trotz vergleichsweise schlechter Ergebnisse darin, dass eine Parametrisierung, wie z.B. die Wahl der Gewichte f¨ ur die Energieterme bei aktiven Konturen, entf¨ allt. Da bei allen drei Verfahren Segmente gebildet werden, die nicht einzelnen Zellen entsprechen, konzentriert sich unsere weitere Forschung auf eine Klassifikation der segmentierten Regionen.
Literaturverzeichnis 1. Murphy RF, Velliste M, Porreca G. Robust Numerical Features for Description and Classification of Subcellular Location Patterns in Fluorescence Microscope Images. Journal of VLSI Signal Processing 2003;35:311–321. 2. Wu K, Gauthier D, Levine M. Live Cell Image Segmentation. IEEE Trans Biomed Eng 1995;42(1):1–12. 3. Liebel U, Starkuviene V, Erfle H, et al. A microscope-based screening platform for large-scale functional protein analysis in intact cells. FEBS Lett 2003;554:394–398. 4. Debeir O, Van Ham P, Kiss R, Decaestecker C. Tracking of Migrating Cells Under Phase-Contrast Video Microscopy With Combined Mean-Shift Processes. IEEE Trans Med Imaging 2005;24(6):697–711. 5. Soille P. Morphological Image Analysis: Principles and Applications. Springer; 2003. 6. Kass M, Witkin A, Terzopoulos D. Snakes: Active Contour Models. International Journal of Computer Vision 1987;1(4):321–331. 7. Tscherepanow M, Z¨ ollner F, Kummert F. Aktive Konturen f¨ ur die robuste Lokalisation von Zellen. In: Procs BVM. Springer; 2005. p. 375–379. 8. Williams DJ, Shah M. A fast algorithm for active contours and curvature estimation. Computer Vision, Graphics, and Image Processing: Image Understanding 1992;55(1):14–26. 9. Fitzgibbon AW, Pilu M, Fisher RB. Direct Least Square Fitting of Ellipses. IEEE Transactions on Pattern Analysis and Machine Intelligence 1999;21(50):476–480.
Non-rigid Registration of 3D Microscopy Images for the Normalization of Different Cell Nuclei Siwei Yang1 , Daniela K¨ ohler2 , Kathrin Teller2 , 2 Thomas Cremer , Roland Eils1 and Karl Rohr1 1
Biomedical Computer Vision Group, Dept. Theoretical Bioinformatics, DKFZ Heidelberg, and University of Heidelberg, IPMB, Dept. Bioinformatics and Functional Genomics, Im Neuenheimer Feld 580, D-69120 Heidelberg, Germany 2 Ludwig Maximilians University Munich, Biozentrum, Dept. of Biology II, Anthropology and Human Genetics, Germany Email:
[email protected]
Abstract. We present an intensity-based approach for non-rigid registration to normalize 3D multi-channel microscopy images of different cell nuclei. A main problem with cell nuclei images is that the intensity structure of different nuclei differs very much, and thus an intensitybased scheme cannot be used directly. Instead, we first perform a segmentation of the images, smooth them by a Gaussian filter, and then apply an intensity-based algorithm. To reduce the computation time we use a multi-resolution scheme. Our approach has been successfully applied using 2D cell-like synthetic images, 3D phantom images, as well as 3D multi-channel microscopy images representing different chromosome regions and gene regions (BACs).
1
Introduction
For building maps of the 3D structure of chromatin fiber of the human genome in the cellular interphase, different cell nuclei need to be evaluated. The aim is to relate geometric information to genome function. Hence, one of the essential tasks is to analyze a large amount of multi-channel 3D microscopy images, which represent cell nuclei as well as genomic structures like chromosome regions and gene regions (BACs). However, since nuclei of different cells are considered it is necessary to normalize these images (see Fig. 1), i.e., we have to put them into the same coordinate system. Normalization can be achieved by image registration and generally one has to cope with both global rigid transformations as well as local non-rigid deformations. Non-rigid registration approaches can be divided in two main categories: geometry-based and intensity-based schemes. With geometry-based approaches first geometric structures such as points or surfaces are extracted from the images and based on that a non-rigid transformation is computed. One main difficulty is the finding of correspondences which often requires some kind of user-interaction.
Non-rigid Registration of 3D Microscopy Images
365
Fig. 1. Four different nuclei of HeLa cells overlaid with different colors (without normalization).
Intensity-based approaches, on the other hand, directly work on the image intensities and have the advantage that they are fully automatic. Recently, also hybrid approaches based on both geometry and intensity information have been proposed. The above-mentioned types of approaches have been widely applied in medical image analysis, however, application to biological imge data is rare. According to our knowledge non-rigid registration schemes have not yet been used for 3D multi-channel microscopy images of different cell nuclei. For rigid registration of 3D images we refer to [1]. We have developed an intensity-based approach for non-rigid registration of 3D multi-channel microscopy images of different cell nuclei. Our approach is based on the demons algorithm [2], which has been successfully applied in medical image analysis. However, a main problem with 3D cell nuclei images is that the intensity structure of different nuclei differs very much, and thus an intensitybased scheme cannot be used directly. Therefore, in contrast to previous work, we first perform a segmentation of the images by global thresholding (after noise reduction using an anisotropic diffusion filter), smooth them by a Gaussian filter, and then apply an intensity-based algorithm. Since the computation time of the approach is relatively high, we use a multi-resolution scheme which improves the speed significantly. Our approach is fully automatic and has been successfully applied using 2D cell-like synthetic images, 3D phantom images, as well as 3D multi-channel microscopy images.
2
Method
To register 3D microscopy images of different cell nuclei we first reduce the noise in the images by applying a structure-preserving anisotropic diffusion filter [3] and then segment the images by a global thresholding scheme. We found that the selection of a threshold value is uncritical in our application. Then the 3D images are aligned globally by applying a rigid registration approach based on the mean-squared intensity error and a gradient descent optimization algorithm.
366
S. Yang et al.
For local shape alignment we then employ a variant of the demons algorithm [2], which is driven by symmetric forces defined by the following equation: 2(g−f )(∇f +∇g) d≥ d (1) u= 0 d< where u are the forces, f and g represent the intensity values in the target and source image, d = (∇f + ∇g)2 + (g − f )2 , ∇ denotes the nabla operator, and is a small positive constant. Our experimental results showed that this variant yields better results compared to the standard approach, where the forces are not symmetric. Application of a prior rigid transformation improves the registration result and also reduces the overall computation time. The standard demons approach assumes that the intensities remain constant (optic flow based scheme), which is not true in our application since different cell nuclei significantly differ in substructure shape and intensity. Direct application therefore results in unrealistic compression and dilation. In contrast, we here consider cell nuclei as a whole and apply the algorithm to the segmented images. However, our experiments showed that we obtain good results for the contour regions of the objects but not for the inner (homogeneous) parts. To overcome this drawback, we suggest to smooth the segmented images first using a Gaussian filter. The purpose of smoothing consists in producing larger non-zero gradient regions in the neighbourhood of edges. Typically we use a relatively large value of the standard deviation of the Gaussian leading to strong smoothing. The deformation field obtained in this way is more homogeneous and appears to be more correct. One problem still is the relatively high computation time of the algorithm, which is typical for intensity-based non-rigid registration schemes. For 3D images typically several hours are required. To reduce the computation time we have used a multi-resolution scheme, which follows the principle ”from coarse to fine”, so that the registration process can be accelerated significantly. Using this scheme we could reduce the computation time, e.g., for an image size of 512 × 512 × 24 voxels from 845 min to 86 min, and for an image size of 256 × 256 × 33 voxels from 44 min to 7 min. For 3D multi-channel images the transformation is computed based on the first channel which includes the cell nuclei and then the transformation is applied to this channel as well as to the other channels which represent the different chromosome or gene regions (BACs).
3
Experimental Result
To systematically test our approach we have generated 2D cell-like synthetic images. Application of our non-rigid registration approach showed that symmetric forces lead to better results than asymmetric forces. We also found that a prior rigid transformation improves the registration result and also reduces the overall computation time.
Non-rigid Registration of 3D Microscopy Images
367
Fig. 2. Top: Four different HeLa cell nuclei (left) with chromosome 4 regions (right) before registration. Bottom: Corresponding images after registration overlaid with a nucleus of one cell as a reference. The arrows point to corresponding chromosomes.
Next, we have validated our scheme using 3D images of the deformation of a silicon cube [4]. Comparing the displacements from the computed transformation with the real displacements at 343 points we obtained an acceptable correlation coefficient of r = 0.96 (for 12.5% strain). Moreover, we have successfully applied our approach to 3D multi-channel cell nucleus images representing different chromosome regions and gene regions (BACs). For example, in one experiment we used four confocal 3D images from a 3D FISH (fluorescence in situ hybridisation) experiment with HeLa cells and using DAPI counterstain of the nucleus (image size 256 × 256 × 33 voxels). We considered chromosome 4 and visualized the 3D registration result by overlaying the transformed segmented chromosome territories together with the surface of one of the nuclei as a reference. Fig. 2 illustrates that before registration some chromosomes lie outside the reference cell nucleus. After registration using our approach, all chromosomes are inside the reference cell nucleus and the chromosome structures from the different cells are located more closely together. In this way we achieve a normalization of the image data. In another experiment with 3D images (image size 512 × 512 × 24 voxels), where chromosome 2 as well as gene regions (BACs) were stained, we obtained the results in Fig. 3. Recently, we also successfully applied our approach for the registration of 3D images of a moving cell nucleus.
4
Conclusion
We have presented an intensity-based non-rigid registration approach for the normalization of 3D multi-channel microscopy images of cell nuclei. The approach is based on a variant of the demons algorithm, uses segmented images, and employs a multi-resolution scheme. We have successfully applied our approach to confocal 3D images from different FISH experiments with HeLa cells. The ap-
368
S. Yang et al.
Fig. 3. Top: Four different HeLa cell nuclei (left) with chromosome 2 regions (middle), and gene regions (right) before registration. Bottom: Corresponding images after registration overlaid with a nucleus of one cell as a reference. The arrows point to corresponding chromosome und gene regions (BACs).
proach is quite robust and can cope with relatively large shape differences. The achieved normalization should facilitate accurate quantification and statistical analysis of cell nuclei data. Further improvement of the computation speed is expected by using a distributed computer cluster. Acknowledgements. This work has been supported by the EU project 3DGENOME. It benefited from the use of the Insight Toolkit (ITK) [5].
References 1. Rieger B, Mollenaar C, Dirks RW, van Vliet LJ. Alignment of the Cell Nucleus From Labeled Proteins Only for 4D In Vivo Imaging. Microscopy Research and Technique 2004;64:142–150. 2. Thirion JP. Image matching as a diffusion process: an analogy with Maxwell’s demons. Medical Image Analysis 1998;2:243–260. 3. Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Trans on Pattern Analysis and Machine Intelligence 1990;12:629–639. 4. Kerdok A, Cotin S, Ottensmeyer M. Truth cube: Establishing physical standards for soft tissue simulation. Medical Image Analysis 2003;7:283–291. 5. Ibanez L, Schroeder W, Ng L, Cates J. The ITK Software Guide. Kitware Inc.; 2005.
Identifikation von Zellen in intaktem Gewebe Segmentierung und Klassifikation von Zellkernen in 3D Volumendaten mittels voxel-basierter Grauwertinvarianten Janis Fehr1 , Catharina Sauer1,2 , Haymo Kurz2 , Olaf Ronneberger1 und Hans Burkhardt1 1
Institut f¨ ur Informatik, Lehrstuhl f¨ ur Mustererkennung und Bildverarbeitung, 2 Institut f¨ ur Anatomie und Zellbiologie, Albert-Ludwigs-Universit¨ at Freiburg Email:
[email protected]
Zusammenfassung. Wir pr¨ asentieren erste Ergebnisse eines Ansatzes zur vollautomatischen Segmentierung und Klassifikation von Zellen (Zellkernen) in 3D Volumendaten. Durch Einsatz voxel-weiser invarianter Merkmale und Support Vektor Maschinen wird die Klassenzugeh¨ origkeit jedes Voxels anhand von Trainingsbeispielen gelernt. Dies erm¨ oglicht eine simultane Segmentierung und Klassifikation von Objekten selbst in stark verrauschten und kontrastschwachen konfokalen LaserscanningMikroskop Aufnahmen.
1
Einleitung
Die Untersuchung von Zellen in nat¨ urlichem Kontext ist f¨ ur viele biologische und medizinische Fragestellungen von entscheidender Bedeutung. Die Analyse unterschiedlichster Gewebsverb¨ ande mittels konfokaler Laserscanning-Mikroskopie (LSM) hat sich auf vielen Feldern etabliert, dennoch stehen kaum Werkzeuge zur automatischen Segmentierung und Klassifikation vom Strukturen in 3D LSM Aufnahmen zur Verf¨ ugung. Gewebsaufnahmen mit ihrer teilweise sehr dichten Packung, oft schlechtem Signal-Rauschverh¨ altniss und unklaren Objektkanten machen einer Segmentierung mittels bekannter Verfahren wie z.B. Schwellwertoder Regiongrowingverfahren nahezu unm¨ oglich. Zudem verlangt die Anwendung oftmals eine schnelle und einfache Adaption an unterschiedliche Bedingungen (z.B. andere F¨arbeverfahren, Mikroskopie-Parameter, etc) und verschiedene Zelltypen. Im Bereich der Segmentierung und Klassifikation von 2D Daten existiert eine Vielzahl von Verfahren welche aber in der Regel nicht auf 3D Daten erweiterbar sind. Bei den wenigen in der Literatur beschriebenen Algorithmen f¨ ur 3D LSM-Daten handelt es sich um hoch spezialisierte L¨osungen wie z.B. Atlas- und Matching-basierte Ans¨ atze, welche nur mit großem Aufwand auf neue Strukturen (z.B. andere Zell- und Gewebstypen) angepasst werden k¨onnen. Biologische Verfahren setzen spezifische Marker, fluoreszierende Reporter-Proteine und Immun-Fluoreszenz-Methoden bei der Pr¨ aparation der Gewebsproben ein, um
370
J. Fehr et al.
Abb. 1. xy-Schnitt einer typischen Zweikanalprobe: links der erste Kanal mit YoPro F¨ arbung stellt im wesentlichen die Zellkernstruktur da. Rechts der zweite Kanal in dem bei dieser Probe mit Cy3 u.a. Zellmembranen abgebildet werden.
teils markante, teils subtile Unterschiede zu erfassen. Die Nachteile dieser Verfahren liegen in der zeitaufw¨ andigen Pr¨ aparation und der begrenzten Anzahl simultan messbarer Parameter. In einem neuen sehr allgemeinen Ansatz soll mit m¨oglichst wenig Vorarbeiten und ohne Apriori-Wissen die simultane Segmentierung und Klassifikation von anisotropen 3D Objekten anhand von Trainingsbeispielen gelernt werden. ¨ Die Arbeit ist wie folgt strukturiert: Abschnitt 2 gibt einen Uberblick u ¨ber die verwendeten Pr¨ aparate und die daraus erzeugte Datenbank. Die voxel-weisen Grauwertinvarianten werden in Abschnitt 3 kurz vorgestellt. Abschnitt 4 zeigt die Ergebnisse der Versuche die in 5 diskutiert werden.
2
Methoden
Gewebsproben aus der Chorioallantois-Membran des H¨ uhnereis wurden mit YoPro (F¨ arbung der Kerntextur) und mit Cy3 oder Alexa 546 gekoppelten spezifischen Markern gef¨ arbt [1]. Mit dem LSM wurden dann zwei Kan¨alen YoPro (509nm Emission) und Cy3/Alexa 546 (570nm) aufgenommen (Abb 1).
Abb. 2. Datenbank-Element einer Endothelzelle mit Umgebung aus Abb. 1, xy-Schnitt (von links nach rechts): Ausschnitt YoPro Kanal, Ausschnitt Cy3 Kanal, Label der Zellkerne im Ausschnitt, Maske des Endothelzellkerns.
Identifikation von Zellen in intaktem Gewebe
371
Abb. 3. Bei Verwendung von 3-Punkt-Kernen auf einen kontinuierlichen 2D Bild und unter Betrachtung der Rotationsgruppe, ergibt die Abtastung durch die Kern-Punkte x1 , x2 und x3 , eindimensionale Funktionen v1 (ϕ), v2 (ϕ) und v3 (ϕ).
2.1
Zell-Datenbank
Aus 50 Aufnahmen unterschiedlicher Gewebsproben wurde eine Datenbank mit insgesamt 229 Zellkernen in 4 Klassen erstellt ( 30 Epithelzellen, 27 Fibroblasten und 172 Erythrozyten sowie Hintergrund). Dabei wurden die Zellkerne, unterst¨ utzt durch ein Region-Growing-Verfahren, manuell segmentiert und gelabelt. Abb. 2 zeigt die Datenbankenrepr¨ asentation eines Zellkerns. Auf dieser werden dann voxel-weise 3D rotationsinvariante Grauwertmerkmale mittels Haar-Integration berechnet (siehe Abschitt 3) und zum Trainieren einer Supportvektor-Maschine (SVM) [2] verwendet.
3
Voxel-Weise Grauwertinvarianten
Voxel-weise Grauwertinvarianten (GSI) [3][4][5] sind 3D-Rotationsinvariante Merkmale welche f¨ ur jedes Voxel mittels Haar-Integration u ¨ber die Rotationsgruppe eines Voxels und seiner Umgebung berechnet werden. Formel (1) zeigt die allgemeine Berechnung der GSI. ' f (gX)dg
T [f ](X) := G
G g f X gX
: : : : :
Transformationsgruppe (Rotation) ein Ellement der Transformationsgruppe nichtlineare Kernfunktion (1) n-dim, Multikanaldaten transformierte n-dim Daten
Aus Gr¨ unden der Berechnungskomplexit¨ at beschr¨anken sich unsere Versuche auf die handhabbare Untermenge der ”Separierbaren 3-Punkt Kerne” [5] der Form: f (X) = fa X(0) · fb X(q1 ) · fc X(q2 )
fa , fb , fc : beliebige Funktion auf den Grauwerten qi : Radius
372
J. Fehr et al. Abb. 4. Parameterisierung der 3D Rotation mit λ = (ϕ1 , ϕ2 , ϕ3 )T
F¨ ur 3D Volumendaten (siehe Abb. 4) l¨ asst sich das Haar-Integral (1) f¨ ur 3-Punkt Merkmale mittels Faltung auf einer Entwicklung in Spherical-Harmonics f¨ ur alle Voxel gleichzeitig sehr schnell berechnen [5]. Um die unendlich große Menge der m¨oglichen Kernfunktionen weiter einzugrenzen, werden aus allen Kombinationen praktisch relevanter Radien und nichtlinearer Abbildungen mittels Maximum Marginal Diversity [6] die Merkmale mit den besten Separationseigenschaften ausgew¨ ahlt. Auf diese Weise wird so f¨ ur jeden Voxel ein Merkmalsvektor generiert.
4
Ergebnisse
Die Versuche wurden mittels der Leave-One-Out-Methode durchgef¨ uhrt, dabei wurden immer alle Merkmalsvektoren eines Datenbankeintrages entnommen. Auf den restlichen Daten wurde eine SVM trainiert gegen welche die entnommenen Merkmale dann klassifiziert werden konnten. Tab. (1) zeigt die Erkennungsrate der Klassifikation jeweils voxel-weise und pro Zellen, dabei wird eine Zelle als korrekt angenommen, wenn mindesten 60% der Voxel korrekt klassifiziert sind. Die schlechteren Erkennungsraten von Endothelzellen und Fibroblasten im Vergleich mit Erythrozyten und Hintergrund erkl¨art sich wohl durch die deutlich geringere Anzahl an Trainingsbeispielen die f¨ ur diese beiden Klassen zur Verf¨ ugung standen.
5
Diskussion
Unsere Ergebnisse zeigen, dass erstmals die simultane Segmentierung und Klassifikation von Zellkernen anhand Voxel-weiser Invariantenberechnung mit einer guten Qualit¨ at realisiert werden konnte[4].
Identifikation von Zellen in intaktem Gewebe
373
Tabelle 1. Erkennungsrate der Klassifikation Zelltyp Erkennungsrate / Voxel Erkennungsrate / Zelle Erythrozyten 90,4% 95,3% Endothelzellen 81,2% 84,6% Fibroblasten 78,3% 79,8% Hintergrund 94,1 % -
Dieser fundamental neue Ansatz in der Mustererkennung in 3-D-Datens¨atzen sollte neue, vollautomatisierte Anwendungen f¨ ur die Analyse komplexer biologischer Gewebs-Architekturen erm¨ oglichen. Die Grauwert-Invarianten haben sich auch in verrauschten Ein-Kanal-Daten als robuste und schnell berechenbare Merkmale erwiesen. Durch Hinzunahme weiterer Kan¨ale l¨asst sich erforderlichenfalls die Klassifikationsqualit¨ at nochmal verbessern. Die weitere Entwicklung wird sich besonders auf das quantitativ anspruchsvolle Datenmanagement (> 100000 Merkmalsvektoren, Rekombination der klassifizierten Voxel zu segmentierten Objekten, Quantitative Analyse auf Objekt-Ebene) zu konzentrieren haben.
Literaturverzeichnis 1. Kurz H, Papoutsi M, Wilting J, Christ B. Pericytes in experimental MDA-MB231 tumor angiogenesis. Histochem Cell Biol 2002;p. 117:527–534. 2. Vapnik VN. The nature of statistical learning theory. Springer; 1995. 3. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification. In: Procs DAGM. vol. 3663 of LNCS. Springer; 2005. 4. Fehr J, Ronneberger O, Kurz H, Burkhardt H. Self-Learning Segmentation and Classification of Cell-Nuclei in 3D Volumetric Data using Voxel-Wise Gray Scale Invariants. In: Procs DAGM. vol. 3663 of LNCS. Springer; 2005. 5. Ronneberger O, Fehr J, Burkhardt H. Voxel-Wise Gray Scale Invariants for Simultaneous Segmentation and Classification – Theory and Application to Cell-Nuclei in 3D Volumetric Data. IIF-LMB, University of Freiburg, Germany; 2005. 6. Vasconecelos N. Feature Selection by Maximum Marginal Diversity: optimality and implications for visual recognition. In: Procs IEEE Conf on Computer Vision and Pattern Recogniton, Madison, USA; 2003.
Automated Analysis of Mitotic Phenotypes in Fluorescence Microscopy Images of Human Cells Nathalie Harder1 , Beate Neumann2 , Michael Held2 , Urban Liebel2 , Holger Erfle2 , Jan Ellenberg2 , Roland Eils1 and Karl Rohr1 1
German Cancer Research Centre (DKFZ), Dept. Theoretical Bioinformatics, and University of Heidelberg, IPMB, Dept. Bioinformatics and Functional Genomics, Im Neuenheimer Feld 580, D-69120 Heidelberg, Germany 2 European Molecular Biology Laboratory (EMBL), Gene Expression and Cell Biology/Biophysics Programmes, Meyerhofstrasse 1, D-69117 Heidelberg, Germany Email:
[email protected]
Abstract. High-throughput screens of the gene function provide rapidly increasing amounts of data. In particular, the analysis of image data acquired in genome-wide cell phenotype screens constitutes a substantial bottleneck in the evaluation process and motivates the development of automated image analysis tools for large-scale experiments. Here we introduce a computational scheme to process multi-cell time-lapse images as they are produced in high-throughput screens. We describe an approach to automatically segment and classify cell nuclei into different mitotic phenotypes. This enables automated identification of cell cultures that show an abnormal mitotic behaviour. Our scheme proves a high classification accuracy, suggesting a promising future for automating the evaluation of high-throughput experiments.
1
Introduction
The technology of RNA interference (RNAi) is an effective method to identify the biological function of genes in the field of functional genomics. Together with the availability of complete genome sequences from several organisms, RNAi enables genome-wide high-throughput screening of gene function. In such screens all known genes of a considered organism are systematically silenced one after the other by inhibiting their expression, and then the resulting morphological changes are analysed. However, such large-scale knockdown screens produce an enormous amount of data which requires tools for automated image analysis. Our work is carried out within the EU project MitoCheck, which aims to elucidate the coordination of mitotic processes in human cells at a molecular level. The goal is to obtain a better understanding of the mechanisms of cancer development. To identify the genes that are involved in cell division (mitosis), genome-wide high-throughput RNAi screens are performed. The effect of a silenced gene on mitosis is studied based on fluorescence microscopy time-lapse images of the treated cell culture. An automated evaluation of the resulting image sequences requires classification and quantification of different mitotic patterns.
Automated Analysis of Mitotic Phenotypes
375
Previous work on automated analysis of cell images has been done in different application fields. Based on fluorescence microscopy complete cells as well as single subcellular structures have been studied. Classification of complete cells has been performed, for example, to investigate the influence of drugs on cellular proteins [1]. There, cells are classified based on morphological characteristics of the plasma membrane that depend on the level of protein activation. Another application of complete cell classification has been considered in [2], where the detection of mitotic cells in images from automated microscope systems has been studied. Furthermore, work has been done on automated recognition of subcellular structures, which is a major task in location proteomics (e.g., [3, 4, 5]). In this field, the subcellular location of proteins is investigated in order to understand their function. Automated analysis of cell images also plays an increasing role in cytopathology, where computational methods have been developed to segment and classify different cell types in brightfield microscopy images of cell smears for early cancer detection [6]. We have developed an approach to analyse multi-cell images from large-scale RNAi screens. In comparison to previous work we analyse cell array images that include a large number of cell nuclei in different mitotic stages. We classify the nuclei into four different phases of the cell life cycle (interphase, mitosis, apoptosis, and shape). This enables an evaluation of the mitotic behaviour of a considered cell culture over time. Our automated image analysis work flow covers three main steps: Segmentation of multi-cell images, image feature extraction, and classification. In order to find the most appropriate algorithm for fast and accurate segmentation, we compared three different thresholding techniques according to their segmentation quality and computation time. Based on a quantitative evaluation we found that a region adaptive thresholding approach yields the best results. Using this approach we segment the images, compute a large set of different types of image features, and then apply a Support Vector Machine classifier. Our approach has been successfully applied using multi-cell images from genome-wide high-throughput screens. We obtained a high classification accuracy of 96% that has been verified by ten-fold cross-validation. Our approach allows to minimize the manual evaluation effort. Furthermore, the results of an automated evaluation are objective and reproducible.
2
Methods
Since we have to cope with a huge amount of multi-cell images, fast and reliable segmentation and labeling of single objects is crucial. Various advanced segmentation algorithms have been described in the literature, but as computation time plays an important role when dealing with huge amounts of data, segmentation accuracy as well as speed of the algorithm are decisive criteria. We investigated three different thresholding techniques and evaluated the segmentation accuracy by manually counting correctly and incorrectly segmented cells. This manual evaluation has been performed for each tested algorithm for four different images that included in total 761 cell nuclei. The first technique
376
N. Harder et al.
is a global thresholding scheme, where the threshold is automatically calculated using Otsu’s threshold selection method [7]. However, a global threshold did not yield satisfying results, even after applying background correction, due to overlapping grey values of background and objects. The evaluation of the segmentation accuracy resulted in only 55.9% correctly segmented cell nuclei. The second and the third segmentation technique are two versions of an adaptive thresholding algorithm. This algorithm uses a quadratic sliding window to calculate local thresholds for different regions of an image. A local threshold is only calculated if the variance within the window reaches a user-defined threshold, else a global threshold is used [8]. This ensures that only for regions that contain a certain amount of information (e.g., regions including an object and background) the local threshold is calculated, which reduces the computation time. Global as well as local grey value thresholds are automatically calculated using Otsu’s threshold selection method. In the first version of the algorithm we apply the grey value threshold only to the central pixel of the sliding window and shift the window by one pixel, which leads to a high segmentation accuracy of 98.0%. Since here the variance calculation has to be carried out for each pixel of the image, the computation time is rather high. In the second version of the algorithm, the threshold is applied to every pixel of the sliding window and the window is shifted by one window width. Thus, the number of calculations for determining the variance and the local threshold is decreased enormously. In our tests this strategy reduced the computation time for the segmentation by a factor of about 330 and still yielded 92.1% correctly segmented nuclei. Here, we used a window width in accordance with the average nucleus diameter (e.g., 30 pixels). Since the speed of the segmentation algorithm is a major criterion in our application and an accuracy of 92.1% in this context is acceptable, we chose to adopt the second version. For each segmented and labeled cell nucleus we calculate a set of image features that has been previously used for the classification of subcellular phenotypes [5]. This set includes granularity features, object- and edge-related features, tree-structured wavelet features, Haralick texture features, grey scale invariants, and Zernike moments. In total we compute 353 features per cell object. For the training set, we standardize each feature w.r.t. a mean value of zero and a standard deviation of one. In the test set, the feature values are linearly transformed based on the transformation parameters from the training set. To classify cell nuclei into the four classes interphase, mitosis, apoptosis, and shape, we apply Support Vector Machines with a Radial Basis Function (RBF) as kernel function. SVMs are mathematically well-founded and their complexity is independent of the dimension in feature space compared to other classification methods. This property allows us to work with a high number of features and we can skip the feature selection step as it is not crucial. We solve the multiclass classification problem with a ”one-against-one”approach. To optimize the penalty parameter C and the kernel parameter γ for the Radial Basis Function, we perform a three-fold cross-validation with varying values of C and γ on the training set (model selection) prior to the actual training of the classifier.
Automated Analysis of Mitotic Phenotypes
377
Table 1. Confusion matrix, 510 training and 127 test samples; accuracy: 96.9%.
True Class Interphase Mitosis Apoptosis Shape
3
Interphase 100 0 0 0
Classifier Output Mitosis Apoptosis 0 0 91 9 17 83 0 0
Shape 0 0 0 100
Experimental Results
We have applied our approach using a set of fluorescence microscopy multi-cell images, considering in total 637 cell nuclei. The images have a grey value depth of 12 bit and a resolution of 1344 × 1024 pixels. All nuclei had been classified by biologists into one of the four phases of the cell life cycle: (1) nuclei in the growing and resting phase (interphase), (2) mitotic nuclei (mitosis), (3) nuclei performing programmed cell death (apoptosis), and (4) a class which covers cases of clustered nuclei (shape). Using our region adaptive thresholding approach all nuclei were segmented automatically and the image features were calculated. We split the available samples for each class randomly in the training data and test data (ratio 4:1), resulting in a training set size of 510 nuclei and a test set size of 127 nuclei. The feature values were standardized and a Support Vector Machine classifier was trained as described above. An evaluation of the experimental results yielded an overall classification accuracy of 96.9%. Since our test set was relatively large, the result obtained from this classification can already be considered to be significant. In order to check the reliability of the result we repeated the classification step, applying a ten-fold outer crossvalidation on the whole data set of 637 cell nuclei. This classification yielded an average accuracy of 96.0%. Thus, both classification results correspond very well and we can draw the conclusion that we can rely on an overall classification accuracy of around 96%. We also determined the confusion matrices (see Tables 1 and 2) which revealed that misclassifications appeared mainly between the classes mitosis and apoptosis. This is due to the fact that samples of these classes are sometimes very similar. Even for a human observer it can be hard to distinguish these two classes based on a single image. The lower classification accuracy of the apoptosis class can be ascribed to the comparatively small number of 60 samples in this class compared to the other classes (interphase: 322, mitosis: 110, shape: 145).
4
Discussion
We have presented an approach for automated cell phenotype analysis which can handle multi-cell images and classifies the segmented cell nuclei with a high
378
N. Harder et al.
Table 2. Averaged confusion matrix for ten-fold cross validation given 637 samples; average accuracy: 96.0%.
True Class Interphase Mitosis Apoptosis Shape
Interphase 99.38 0 1.67 0
Classifier Output Mitosis Apoptosis 0.31 0 90.91 9.09 20.00 78.33 0 0
Shape 0.31 0 0 100
accuracy into four classes. By comparing the percentage of cells per class over time for knockdown RNAi experiments with those from control experiments, it is possible to automatically detect if mitosis is affected. This then indicates that the silenced gene plays an important role in the process of mitosis. As certain patterns are hard to distinguish based on single images, the exploitation of temporal information by tracking of cells throughout an image sequence is one possibility to further improve the classification performance. Acknowledgement. This work has been supported by the EU project MitoCheck.
References 1. Lindblad J, W¨ ahlby C, Bengtsson E, Zaltsman A. Image Analysis for Automatic Segmentation of Cytoplasms and Classification of Rac1 Activation. Cytometry Part A 2003;57A:22–33. 2. Gallardo G, Yang F, Ianzini F, Mackey MA, Sonka M. Mitotic Cell Recognition with Hidden Markov Models. In: RL Galloway Jr, editor. Medical Imaging 2004: Visualization, Image-Guided Procedures, and Display, Proc SPIE. vol. 5367; 2004. p. 661–668. 3. Boland MV, Murphy RF. A Neural Network Classifier capable of Recognizing the Patterns of all Major Subcellular Structures in Fluorescence Microscope Images of HeLa cells. Bioinformatics 2001;17(12):1213–1223. 4. Danckaert A, Gonzalez-Couto E, Bollondi L, Thompson N, Hayes B. Automated Recognition of Intracellular Organelles in Confocal Microscope Images. Traffic 2002;3:66–73. 5. Conrad C, Erfle H, Warnat P, Daigle N, L¨ orch T, Ellenberg J, et al. Automatic Identification of Subcellular Phenotypes on Human Cell Arrays. Genome Research 2004;14:1130–1136. 6. W¨ urflinger T, Stockhausen J, Meyer-Ebrecht D, B¨ ocking A. Robust automatic coregistration, segmentation, and classification of cell nuclei in multimodal cytopathological microscopic images. Computerized Medical Imaging and Graphics 2004;28:87–98. 7. Otsu N. A threshold selection method from grey level histograms. IEEE Transactions on Systems, Man and Cybernetics 1979;9:62–66. 8. Gonzalez RC, Woods RE. Digital Image Processing. 2nd ed. Prentice Hall; 2002.
Graph-Based Quantification of Astrocytes Ulf-Dietrich Braumann1 , Heike Franke2 , Jan Hengstler3,4 , Jens-Peer Kuska1 and Marco Weber3 1
Interdisziplin¨ ares Zentrum f¨ ur Bioinformatik, Universit¨ at Leipzig, 04107 Leipzig 2 Rudolf-Boehm-Institut f¨ ur Pharmakologie und Toxikologie, Universit¨ at Leipzig, 04107 Leipzig 3 Institut f¨ ur Rechtsmedizin, Universit¨ at Leipzig, 04103 Leipzig 4 Zentrum f¨ ur Toxikologie, Universit¨ at Leipzig, 04107 Leipzig Email:
[email protected]
Abstract. Astroglial cells in the central nervous system (CNS) are able to change their morphology and shape after different kinds of stimuli. We have developed a method for the structural description of astrocytes based on their representation as undirected simple graphs. The underlying image processing chain and the algorithm for the graph construction are presented and the graph parameters for the quantitative structural description of the astrocytes are discussed.
1
Introduction
Astroglial cells in the CNS play an important rˆ ole in neuron-glia communication. They are able to transform into activated astrocytes in response to various kinds of stimuli. This process is known as astrogliosis, a complex phenomenon and is characterized by changes in cell morphology (e.g. hypertrophy, fibre growth), increased immunostaining of intermediate filaments and in some cases by proliferation [1]. Heroin appears one of such exogenous stimuli, inducing changes in the shape and structure of astrocytes. The main goal of this paper is the presentation of a framework for the quantification of these changes. Characteristic for the astrocytes is the asterisk-like structure and one of the important structural parameters appear the length of the glial processes (fibres). While the direct measurement of the distances between the fibre ends and the astrocyte centre in the image data would be quite complicated, the description of a single astrocyte by a simple undirected graph offers an easy access to the structural parameters of these cells. The paper is organized as follows: starting from laser scanning images of astrocytes we develop an image processing chain for the pre-processing of the images in section 2 and gave an detailed description of the graph construction in section 3. Based on the graph representation we discuss typical structural parameters of the graphs for the quantification of the astrocytes in section 4.
380
U.-D. Braumann et al. Fig. 1. Image processing chain for the graph construction.
a) deconvolution
2
c)
b) local contrast enhancement
d) skeletonisation
e) graph conversion
Image Pre-processing
Starting from a carefully taken confocal laser scanning image (Fig. 1a) the first problem to be solved is to enhance the fibres. The main task is the homogenization of the intensity of the astrocytes. This intensity variation has several reasons. The most important reason simply is the obvious fact that the cells are three-dimensional structures and the images show only a two-dimensional projection. Their fibres do not reside only within the focus plane of the microscope, and this causes an intensity variation (Fig. 1a) that should be corrected before the graph is constructed. Therefore, the first step in the pre-processing chain is a double-blind de-convolution [2, 3] (Fig. 1b). A local contrast enhancement is applied onto this image [4] (Fig. 1c). This step increases the noise in the image, but it generates only simple spots or line-like structures that can be easily removed from the final set of graphs. The last step is the binarisation of the image (Fig. 1d) and the construction of the image skeleton [5] (Fig. 1e).
3
Graph Construction
Starting from the binary skeleton image, the skeleton is traced to find the representation as a simple undirected graph G(E, V ) with the edges E and the nodes V . The input image may comprise several astrocytes, and for every simple connected structure a graph Gi (Ei , Vi ) is constructed. The graph tracing proceeds in three steps. In the first step a endpoint of a fibre is searched, i.e., a pixel that has only one other pixel in its 3 × 3 neighbourhood. The position of this endpoint is added to the list of nodes Vi and this position is also added to the list of untraced nodes. While only one occupied pixel in the 3 × 3 neighbourhood is found, the pixel is deleted and the tracing position is set to the new position. When a pixel is found that has more than one pixel in its neighbourhood, a new node is created and the new node is added to the list of untraced nodes, while the edge from the old node to the newly created node is added to the edges Ei . When the tracing has found a pixel that has no occupied neighbours we create a new node, add the corresponding edge
Graph-Based Quantification of Astrocytes
381
Fig. 2. A graph structure of normal astrocytes (left) and the graph of stimulated astrocytes under the influence of heroin (right).
and restart the tracing with one of the untraced nodes. The construction of the graph terminates when no more untraced nodes do exist. We will restart the search for an endpoint and construct a new graph until no endpoints are found. Since the first step will only find structures in the skeleton that have at least a single endpoint, in a second scan we search for a pixel that is part of a closedloop like structure with at least two neighbours in its 3×3 neighbourhood. When such a point is found we create a new graph and add this point to the list of untraced nodes. The tracing proceeds as in the first step. The last step is applied to all graphs. The tracing process described above can create loops (an edge that links a node with itself) in the graph and parallel lines (two edges one that link node i with node j and a second one that link node j with node i). We remove possible loops by replacing the edge with the loop i → i by three edges i → i1 , i1 → i2 and i2 → i by creating two new nodes i1 and i2 . The parallel edges i → j and j → i are removed by replacing one of the edges, say j → i, with the two edges j → j1 and j1 → i and the creation of the new node j1 . Finally we remove the direction information from the graph.
4
Evaluation of Graph Parameters
From the procedure outlined so far, we get a set of graphs. We neglect all graphs with less than 16 nodes for the future evaluation. This removes all graphs that represent noise or short pieces of fibres from other astrocytes form different depths in the volume. The graph structure makes it easy to identify the ends of the fibres as nodes in the graph that are only connected by a single edge with the other nodes (red dots in Fig. 1e). We assume, that the centre of the astrocyte is the node closest to the mean value of all nodes that belong to the graph. One of the most
382
U.-D. Braumann et al.
Fig. 3. Distributions of different distance measures for normal (green, front row) and heroin exposed astrocytes (red, back row). 60
40
80
30
40
60
20
40
10
20
0
0
Counts
20
0
0
400 200 Euclidian Distance
0
400 200 Path Distance
10 5 Node Number
interesting parameters of the cells is the distance from the fibre ends to the centre. The computation of this distance can be done in three different ways: 1. Euclidian distance between the fibre ends and the centre 2. shortest path in the graph from the ends to the centre [6], using the length of the path in the skeleton as weight 3. shortest path in the graph from the ends to the centre using a single weight for every edge. The last choice for the path length simply counts the number of nodes along the shortest path and is scaling-independent for images over a wide range of microscopic magnifications. Fig. 2 shows two typical results of the conversion of the images into graphs. The red dots mark fibre ends, green dots ordinary graph nodes and the yellow circles mark the averaged radius of the respective cell. Fig. 3 shows the distribution for the three distance measures. All above mentioned distance measures exhibit a clear difference in the length distribution between normal astrocytes and heroin exposed ones. While the Euclidian distance distribution (Fig. 3, left) is only wider, the distribution along the path (Fig. 3, middle) shows a second maximum and the node count along the path (Fig. 3, right) allows for a good separation of the two maxima.
5
Conclusions
The evaluation of parameters for the graphs created from the astrocyte images is a powerful tool for the quantitative description of the respective cell structure. Other parameters of the graph, like the density of the graph, the averaged edge number per node and like the angular distribution of the branchings may be used as well for the description. The value of these parameters for the description of the pathological changes of the astrocytes under heroin exposure are currently under investigation.
Graph-Based Quantification of Astrocytes
383
Acknowledgment. The authors would like to thank Monika Henschke for the technical assistance.
References 1. Franke H, Kr¨ ugel U, Grosche J, Illes P. Immunoreactivity for glial fibrillary acidic protein and P2 receptor expression on astrocytes in vivo. Drug Development Research 2003;59(1):175–189. 2. Richardson WH. Bayesian-based iterative method of image restoration. Journal of the Optical Society of America A 1972;62(1):55–59. 3. Lucy LB. An iterative technique for the rectification of observed distributions. Astronomical Journal 1974;79:745–754. 4. Gonzalez RC, Woods RE. Digital Image Processing. Prentice Hall; 2002. 5. Cychosz JM. Efficient Binary Image Thinning using Neighborhood Maps. In: Heckbert Paul, editor. Graphics Gems IV. Academic Press; 1994. p. 465–473. 6. Dijkstra EW. A note on two problems in connexion with graphs. Numerische Mathematik 1959;1:269–271.
3D Formnormalisierung von Zellkernen mit Hilfe einer elastischen Kugelabbildung Evgeny Gladilin, Roland Eils und Karl Rohr Universit¨ at Heidelberg, IPMB, und Deutsches Krebsforschungszentrum, TBI, Im Neuenheimer Feld 580, 69120 Heidelberg Email:
[email protected]
Zusammenfassung. Die Auswertung zellul¨ arer Mikroskopieaufnahmen ist erheblich erschwert durch eine große Variabilit¨ at in der optischen Erscheinung unterschiedlicher Zellen oder in Zeitreihen derselben Zelle. Bedingt durch die kontinuierliches Zellwachstum und Deformationen unter der Einwirkung ¨ außerer Kr¨ afte unterliegen sowohl die Textur als auch die Form zellul¨ arer Strukturen erheblichen Schwankungen. Da es i.a. schwierig ist, eindeutige Strukturkorrespondenzen zwischen zwei unterschiedlichen Zellaufnahmen zu finden, bietet sich eine topologieerhaltende Abbildung der Zellaufnahmen auf eine geeignete Referenzgeometrie zur Formnormalisierung an. In dieser Arbeit pr¨ asentieren wir eine neue Methode zur elastischen Kugelabbildung drei-dimensionaler Objekte f¨ ur die Formnormalisierung von konfokalen Lasermikroskopieaufnahmen humaner Fibroblastzellkerne. Der entwickelte Ansatz erm¨ oglicht die topologische Analyse markierter Genbereiche im Zellkern mittels normalisierter radialer Abst¨ ande.
1
Einleitung
Zur quantitativen Analyse der 3D Topologie von Zellkernen ist eine Formnormalisierung erforderlich. Beispielsweise ist die Bewegung von markierten Molek¨ ulen in verschiedenen Zellkernen stets u ¨ berlagert mit unterschiedlichen globalen Bewegungen und Deformationen des gesamten Zellkerns. Zur Bestimmung biologisch relevanter Information aus Bilddaten verschiedener Zellen oder Zeitreihen derselben Zelle ist es daher notwendig, die globalen Zelltransformationen aus den beobachteten Bewegungen markierter Strukturen herauszurechnen, d.h. die Bilddaten zu normalisieren. Da Zellkerne in Abwesenheit von ¨außeren Kr¨aften kugelf¨ ormig sind, erscheint die Normalisierung der Zellkerngeometrie mittels einer Kugelabbildung eine nat¨ urliche Wahl. In dieser Arbeit pr¨asentieren wir einen physikalisch-basierten Ansatz zur Kugelabbildung der 3D Zellkerngeometrie, der zur topologischen Analyse von konfokalen Lasermikroskopieaufnahmen (engl. CLSM) humaner Fibroblastzellkerne angewendet wurde.
2
Stand der Kunst
Die meisten Arbeiten zur Registrierung von mikroskopischen Zellkernaufnahmen gehen von der Annahme globaler rigider Transformationen (d.h. Translationen
3D Formnormalisierung von Zellkernen
385
und Rotationen) aus, die mittels Massenzentrum- bzw. Eigenachsenanpassung normalisiert werden, siehe [4,5]. Die Annahme rein rigider Transformationen ist jedoch unrealistisch, da Zellen aus einem gelartigen Weichgewebe bestehen, welches sich unter der Einwirkung ¨ außerer Kr¨ afte kontinuierlich verformt. Folglich sind nicht-rigide (elastische) Transformationen im allgemeinen erforderlich, um eine Normalisierung der Zellkerngeometrie bzgl. beliebiger Deformationen durchzuf¨ uhren. Im Unterschied zu bekannten Verfahren zur Kugelabbildung, wie z.B. harmonische oder konforme Abbildungen [6], basiert der in dieser Arbeit pr¨asentierte Ansatz auf einem physikalisch-basierten Modell der Weichgewebemechanik. Die Kugelabbildung der 3D Zellkerngeometrie wird durch die Invertierung von Transformationen ermittelt, die bei der Registrierung eines Finite Elemente (FE) Templategitters auf das Zielgebiet im 3D Bild berechnet werden. Infolge der nat¨ urlichen Eigenschaften elastischer Medien sind diese Transformationen topologie-erhaltend.
3
Methoden
Die Normalisierung der 3D Zellkerngeometrie bzgl. rigider und nicht-rigider Transformationen (d.h. Translationen, Rotationen und Deformationen) wird durchgef¨ uhrt mittels einer inversen Kugelabbildung. Die Datenverarbeitungskette beinhaltet folgende Hauptschritte: – Bildentrauschung. – Absch¨ atzung eines optimalen Schwellenwertes f¨ ur Bildbinarisierung. – Affine Anpassung des sph¨ arischen FE-Templategitters an das Eigenellipsoid des binarisierten Bildes. – Elastische Abbildung des ellipsoidalen Templates auf den Zellkernrand. – Abbildung des gesamten 3D Zellkernbereichs auf eine Kugel durch Invertierung der f¨ ur das FE-Template berechneten Transformationen. F¨ ur die Bildentrauschung wurde ein anisotropes Diffusionsfilter benutzt, welches die Unterdr¨ uckung hochfrequenter Rauschanteile bei gleichzeitiger Kantenerhaltung erm¨ oglicht [7]. Zur automatischen Bildbinarisierung wurde ein Verfahren verwendet, das einen optimalen Schwellenwert auf der Basis von Extrema des Bildhistogramms berechnet. Binarisierung der Zellkernbilder ist eine notwendige Maßnahme zur vorl¨ aufigen Absch¨ atzung der Zellkernform, da die optische Erscheinung der Zellkerne in den CLSM-Aufnahmen infolge einer inhomogenen Chromatinf¨ arbung kerninnerer Bereiche i.a. sehr variabel ist. Im n¨achsten Schritt wird das sph¨ arische Finite Elemente (FE) Templategitter mit Hilfe affiner Transformationen (Translationen, Rotationen, Skalierung) an das Eigenellipsoid des binarisierten Bildes angepasst. Da Zellkerne bereits eine nat¨ urliche ellipsoidale Form besitzen, liefert die affine Transformation eine gute erste N¨aherung f¨ ur die gesamte Zellkerngeometrie. Eine pr¨ azisere Approximation setzt eine weitere nicht-rigide (elastische) Abbildung des FE-Templates auf die Randoberfl¨ache des Zellkerns voraus. F¨ ur diesen Zweck hat sich ein einfaches ’propagation-bynormals’ Ansatz als ausreichend erwiesen. Die Verschiebungen der Knotenpunkte des FE-Templategitters bei der affinen und nicht-rigiden Abbildung auf die
386
E. Gladilin, R. Eils und K. Rohr
Abb. 1. Links: 3D konfokale Lasermikroskopieaufnahme eines menschlichen Fibroblastzellkerns (512x512x60), einzelne Schicht des 3D Datensatzes mit zwei Genbereichen (gekennzeichnet mit Pfeilen). Rechts: 3D bzw. 2D Ansicht des auf den Zellkernbereich registrierten FE-Templategitters.
Zellkerngeometrie werden als Randbedingungen f¨ ur die Berechnung volumetrischer Deformationen des gesamten Zellkernbereichs mit Hilfe der Finite Elemente Methode verwendet. In einer Reihe von fr¨ uheren Publikationen wurden die mechanischen Eigenschaften von Zellen und insbesondere Zellkerne untersucht [1,2]. Ausgehend von diesen Studien k¨ onnen Zellkerne in erster N¨aherung als linear-elastische K¨orper mit Hilfe von Partiellen Differentialgleichungen (PDG) der Elastizit¨ atstheorie beschrieben werden [3]. Das Randwertproblem (RWP) zur Berechnung volumetrischer Deformationen besteht in der Bestimmung der Verformung eines linear-elastischen K¨ orpers f¨ ur die gegebenen Randverschiebungen. F¨ ur die numerische Berechung volumetrischer Deformationen des Templategitters wurde die Finite Elemente Methode (FEM) angewendet [8].
4
Experimentelle Ergebnisse
Das oben beschriebene Verfahren wurde zur automatischen Anpassung des sph¨ arischen FE-Templategitters an 3D CLSM Bilder humaner Fibroblastzellkerne angewendet. Die darauf basierte Formnormalisierung der Zellkerne erm¨oglichte die anschließende topologische Analyse fluoreszent-markierter Chromosombereiche im Kerninneren (siehe Abb. 1). Nach anisotroper Bildgl¨attung und anschließender Bildbinarisierung wurde das Eigenellipsoid f¨ ur den Zellkernbereich ermittelt. Im n¨ achsten Schritt wurde das sph¨arische Oberfl¨achengitter des FE-Templates mittels Massenzentrumstranslation und Hauptachsenskalierung an das Eigenellipsoid des binarisierten Bildes angepasst (siehe Abb. 2). Anschließend wurden die Knotenpunkte des FE-Gitters iterativ entlang der inneren Normalen bis auf den Rand des Zellkerns veschoben. Die Verschie-
3D Formnormalisierung von Zellkernen
387
¨ Abb. 2. Ubersichtschema der elastischen Kugelabbildung. Oben: Ausgangsbild des Zellkerns, binarisiertes Bild und Ergebnis der Segmentierung des Zellkernrandes mit Hilfe des FE-Oberfl¨ achengitters. Unten: urspr¨ ungliches sph¨ arisches FE-Templategitter, ellipsoidales FE-Template entsprechend dem Eigenellipsoid des binarisierten Bildes (oben, Mitte) und das auf den Zellkernbereich registrierte FE-Templategitter. Die Verschiebungen der Knotenpunkte des Oberfl¨ achengitters bei der Anpassung des FETemplates an den Zellkern liefern die Randbedingungen zur Berechnung volumetrischer ur das gesamte Tetraedergitter des FE-Templates mit Hilfe Deformationen (D1 , D2 ) f¨ −1 der FEM. Mit den inversen Transformationen (D−1 1 , D2 ) ist eine inverse Abbildung des gesamten Zellkernbereichs auf eine Kugel gegeben.
bungen der Knotenpunkte des Oberfl¨ achengitters wurden als Randbedingungen f¨ ur die Berechung entsprechender volumetrischer Deformationen des FETemplategitters verwendet. Nach Invertierung volumetrischer Verschiebungsfelder, die das sph¨ arische Template auf den Zellkernbereich abbilden, erh¨alt man eine inverse Abbildung des gesamten Zellkernbereichs auf eine Kugel (siehe Abb. 2). Um die Positionen markierter Genbereiche nach der Kugelabbildung zu bestimmen, wurde eine lineare Finite Elemente Interpolation auf den Tetraederelementen angewendet. Als charakteristische Gr¨ oße zur Beschreibung der Position in sph¨ arischen Koordinaten bietet sich der normierte radiale Abstand an, welcher als Verh¨ altnis von absoluten radialen Abst¨anden markierter Bereiche zum Radius der Templatekugel berechnet wird (siehe Abb. 3).
5
Zusammenfassung
In dieser Arbeit haben wir einen neuartigen Ansatz zur Normalisierung von 3D Bildaufnahmen von Zellkernen mittels einer inversen elastischen Kugelabbildung pr¨ asentiert. Ein Finite Elemente Templategitter wurde verwendet, um affine und nicht-rigide Transformationen bei der Abbildung einer Kugel auf die Zellkernbereiche zu bestimmen. Mit den inversen Transformationen ist eine inverse Abbildung f¨ ur jeden Punkt des gesamten Zellkernbereichs auf eine Kugel gegeben. Zur topologischen Analyse einzelner Genbereiche wurde der normierte dimensi-
388
E. Gladilin, R. Eils und K. Rohr
Abb. 3. Ergebnis der Kugelabbildung des Zellkerns samt zweier Genbereiche. Links: die rechteckige Punktmarkierungen zeigen die Positionen zweier Genbereiche im Originalbild, die runden Punktmarkierungen zeigen die Positionen dieser Genbereiche nach der Kugelabbildung. Rechts: zur invarianten Beschreibung der Positionen der Zielbereiche in sph¨ arischen Koordinaten bietet sich der normierte radiale Abstand an, welcher als Verh¨ altnis der absoluten radialen Abst¨ anden von markierten Bereichen zum Radius der Templatekugel berechnet wird.
onslose Radialabstand eingef¨ uhrt. Das entwickelte Registrierungsschema eignet sich dar¨ uber hinaus f¨ ur die Formnormalisierung anderer Objekte, die physikalisch sinnvoll auf eine Kugel oder ein anderes geometrisches Template verformt werden k¨ onnen. Danksagung. Diese Arbeit wurde gef¨ ordert im EU Projekt 3DGENOME.
Literaturverzeichnis 1. Thoumine O, Ott A. Time scale dependent viscoelastic and contractile regimes in fibroblasts probed by microplate manipulation. Cell Science 1997;110:2109–2116. 2. Guilak F, Tedrow JR, Burgkart R. Viscoelastic properties of the cell nucleus. Biochem Biophys Res Commun 2000;269:781–786. 3. Ciarlet PG. Mathematical Elasticity. Volume I: Three-Dimensional Elasticity, vol. 20 of Studies in Mathematics and its Applications. North-Holland, Amsterdam; 1988. 4. Rieger B, Molenaar C, Dirks RW, Vliet LJVan. Alignment of the Cell Nucleus From Labeled Proteins Only for 4D In Vivo Imaging. Microscopy Research And Technique 2004;64:142–150. 5. CPBacher, Reichenzeller M, Athale C, Herrmann H, REils. 4-D single particle tracking of synthetic and proteinaceous microspheres reveals preferential movement of nuclear particles along chromatin-poor tracks. BMC Cell Biology 2004;5(45):1471–2121. 6. A shape adapted motion model for non-rigid registration. vol. 4684. SPIE Meidcal Imaging; 2002. 7. Perona P, Malik J. Scale space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence 1990;12:629–639. 8. 3D finite element analysis of uniaxial cell stretching. vol. 12. ICBME/IFBME, Singapore; 2005.
Biomechanische Optimierung individueller craniofazialer Implantate Evgeny Gladilin1 , Alexander Ivanov2 und Vitaly Roginsky2 1 2
Deutsches Krebsforschungszentrum (DKFZ), TBI, Im Neuenheimer Feld 580, 69120 Heidelberg, Moscow Center of Children’s Maxillofacial Surgery, Timura Frunse 16, 119992 Moscow, Russia, Email:
[email protected]
Zusammenfassung. In dieser Arbeit beschreiben wir eine physikalisch basierte Methode zur Formoptimierung individueller Implantate in der craniofazialen Chirurgie, mit deren Hilfe eine ¨ asthetische Korrektur des Weichgewebes erzielt werden kann. Im Unterschied zur Weichgewebevorhersage bei knochenumstellenden Operationen impliziert die Frage nach einer optimalen Implantatform ein inverses Problem der Strukturmechanik, bei dem die einer vorgegebenen Deformation zugrunde liegenden Randbedingungen bestimmt werden sollen. Wir pr¨ asentieren einen allgemeinen Finite-Elemente-basierten Ansatz zur numerischen L¨ osung inverser Randwertprobleme f¨ ur das optimale Implantatdesign in der craniofazialen Chirurgie und Ergebnisse einer klinischen Studie zur implantatbasierten ¨ asthetischen Korrektur einer bilateralen asymmetrischen Anophtalmie.
1
Einleitung
Craniofaziale Implantate finden zunehmend Anwendung in der plastischen und rekonstruktiven Gesichtschirurgie zur ¨ asthetischen Korrektur des Patientenaussehens. F¨ ur die korrigierende Verformung und Neuanordnung des Gesichtsweichgewebes spielt die Implantatform eine entscheidende Rolle. Bei betragsm¨aßig kleinen Umstellungen wird die f¨ ur die Weichgewebekorrektur notwendige Implantatform von Chirurgen aufgrund von Erfahrung und Intuition in der Regel gut abgesch¨ atzt. Im Falle gr¨ oßerer Deformationen oder komplexerer chirurgischer Eingriffe kann eine optimale Implantatform schwer anhand einfacher Plausibilit¨ atsbetrachtungen schwer vorausgesagt werden. Folglich f¨ uhren die konventionellen Methoden f¨ ur das Implantatdesign, die die mechanischen Eigenschaften von biologischen Geweben ignorieren, zu unbefriedigenden Ergebnissen. In dieser Arbeit pr¨ asentieren wir eine anatomisch-physikalisch basierte Methode f¨ ur das optimale Design individueller craniofazialer Implantate und die Ergebnisse einer klinischen Studie zur implantat-basierten Korrektur einer bilateralen asymmetrischen Anophtalmie.
390
E. Gladilin, A. Ivanov und V. Roginsky
Abb. 1. Links: Das pr¨ aoperative Erscheinungsbild eines Patienten mit einer bilateralen asymmetrischen Anophtalmie. Rechts: Ergebnis der chirurgischen Korrektur der Aug¨ apfel mit Hilfe biomechanisch optimierter orbitaler Implantate.
2
Stand der Kunst
Moderne Methoden der 3D-Bildgebung in Kombination mit den Methoden der computerbasierten Modellierung und Simulation erm¨oglichen heutzutage eine realistische Vorhersage von biologischen Geweben f¨ ur die pr¨aoperative chirurgische Planung. Die bisherigen Arbeiten zur numerischen Modellierung biologischer Gewebe f¨ ur die computergestutzte Chirurgieplanung (engl. CASP) befassen sich mit der Berechnung von Weichgewebedeformationen f¨ ur die vorgegebenen Umstellungen der Gesichtsknochen (z.B. Distraktion des Unterkiefers) [1-3]. Solche Randwertprobleme (RWP) entsprechen einer direkten kausalen Abfolge der Ereignisse bei einer Operation, z.B. Knochenumstellung (Ursache) f¨ uhrt zur Weichgewebeverformung (Folge), und werden im weiteren als direkte RWP bezeichnet. Im Falle eines individuellen Implantatdesigns entspricht die Fragestellung einer inversen Abfolge der Ereignisse, bei der das Ergebnis einer chirurgischen Korrektur (postoperatives Patientenaussehen) zur¨ uck auf seine Ursache (Implantatform) verfolgt werden soll. Solche RWP bezeichnen wir weiter als inverse RWP. In dieser Arbeit befassen wir uns mit der L¨osung eines inversen biomechanischen RWP f¨ ur das optimale Implantatdesign in der craniofazialen Chirurgie.
Biomechanische Optimierung individueller craniofazialer Implantate
391
Abb. 2. Finite Elemente Modellierung des linken Auges: (a) FE Oberfl¨ achenmodell des linken Auges einschließlich der Augenh¨ ohle und des Augapfels, (b) Ansatzfl¨ ache f¨ ur das Implantat auf der oberen Wand der Augenh¨ ohle, (c) simulierte Verformung der Ansatzfl¨ ache entsprechend der Verschiebung des linken Augapfels um 1.1 cm, (d) ¨ Uberlappung der urspr¨ unglichen und der mittels der Simulation berechneten Ober¨ fl¨ achen der linken Augenh¨ ohle. Der Uberlappungsbereich zwischen der urspr¨ unglichen und der verformten Ansatzfl¨ ache entspricht der gesuchten optimalen Implantatform.
(a)
3
(b)
(c)
(d)
Methoden
Unser Ansatz basiert auf der Rekonstruktion der Patientenanatomie aus 3D CT Daten und der numerischen Simulation der Gewebeverformung entsprechend dem gegebenen chirurgischen RWP. Das geometrische Modell der Patientenanatomie besteht aus triangulierten Oberfl¨ achen, die den R¨andern der Weichgewebeund Knochenregionen entsprechen. Das Oberfl¨ achengitter wurde weitgehend automatisch mit Hilfe von Materialise Mimics 6.3 [6] erzeugt und anschließend unter Verwendung von Amira 3.1 [5] mit einem Tetraedergitter gef¨ ullt. Zur numerischen Berechnung der Gewebedeformationen wurde ein nichtlinearelastisches Finite Elemente Modell auf der Basis einer hyperelastischen Materialapproximation eingesetzt [3,4].
4
Experimentelle Ergebnisse
Abb. 1 zeigt einen jungen Patienten mit einer bilateralen asymmetrischen Anophtalmie, die infolge einer Komplikation nach der vorhergehenden chirurgischen Behandlung einer Gehirnzyste entstanden ist. Zur Korrektur der Position beider Aug¨ apfel wurde entschieden, geeignete intraorbitale Implantate einzusetzen. Das optimale Design dieser intraorbitalen Implantate wurde mit Hilfe der inversen Finite Elemente Analyse durchgef¨ uhrt. Im ersten Schritt wurden geometrische Modelle beider Augen des Patienten einschließlich Augenh¨ohlen und Aug¨apfel auf der Basis von CT Daten erstellt (siehe Abb. 2a). Um eine eindeutige L¨osung des biomechanischen RWP zu erhalten, wurden von den behandelnden Chirurgen auf den oberen W¨ anden beider Augenh¨ ohlen ein geeigneter Ansatzbereich f¨ ur die Implantate definiert (siehe Abb. 2b). Die Randbedingungen f¨ ur dieses RWP sind durch die Form von angestrebten Verschiebungen des linken bzw. rechten Augapfels um 1.1 cm bzw. 0.7 cm gegeben. Die numerische L¨osung des
392
E. Gladilin, A. Ivanov und V. Roginsky
Abb. 3. Links: 3D lithografisches Modell des Patientensch¨ adels. Rechts: biomechanisch optimierte individuelle intraorbitale Implantate.
inversen RWP mittels der Finite Elemente Methode liefert die Verformungen der Ansatzfl¨ achen f¨ ur die Implantate, die den vorgegebenen Verschiebungen der ¨ Aug¨ apfel entsprechen (siehe Abb. 2c). Abb. 2d zeigt die r¨aumliche Uberlappung der urspr¨ unglichen und der in der Simulation berechneten Oberfl¨achen der linken ¨ Augenh¨ ohle. Der Uberlappungsbereich zwischen der urspr¨ unglichen und der verformten Ansatzfl¨ ache entspricht der gesuchten optimalen Implantatform. Auf der Basis dieser Berechungen wurden mit Hilfe von Stratasys FDM 3000 Rapid Prototyping Systemen zwei PMMA/HA (polymetilmethacrylate & hydroxiapatite) Implantate f¨ ur die entsprechenden Ansatzbereiche in den Augenh¨ohlen hergestellt (siehe Abb. 3). Abb. 1 (rechts) zeigt eine bemerkenswerte Verbesserung der a ¨sthetischen Erscheinung des Patienten sechs Monate nach der Operation. Ein quantitativer Vergleich mit den postoperativen CT Daten hat ergeben, dass bei der Computersimulation der relative Fehler des Betrags der Verschiebungen der Aug¨ apfel f¨ ur das linke und das rechte Auge bei jeweils 5-6% liegt (siehe Abb. 4).
5
Zusammenfassung
In dieser Arbeit haben wir einen neuen Ansatz zur inversen Optimierung craniofazialer Implantate auf der Basis individueller 3D Patientenmodelle und der Finite Elemente Analyse der Gewebemechanik pr¨asentiert. Unsere Methode erm¨oglicht die Berechung einer optimalen Implantatform, die zur erw¨ unschten Korrektur der Weichgewebeanordnung f¨ uhrt. Die bemerkenswerten Ergebnisse der pr¨ asentierten klinischen Studie zur Behandlung einer bilateralen asymmetrischen Anophtalmie mittels biomechanisch optimierter individueller intraorbitaler Implantate zeigen ein großes Anwendungspotential des beschriebenen Verfahrens zur Optimierung invdividueller Implantate und zur Verbesserung der Chirurgieplanung.
Biomechanische Optimierung individueller craniofazialer Implantate
393
Abb. 4. Pr¨ a- (links) bzw. postoperatives (rechts) CT Querschnittsbild des Augenbereichs. Der relative Fehler des Betrags der Verschiebungen der Aug¨ apfel bei der Computersimulation liegt bei jeweils 5-6% f¨ ur das linke und das rechte Auge.
Literaturverzeichnis 1. Bro-Nielsen M, Cotin S. Real-time volumetric deformable models for surgery simulation using finite elements and condensation. vol. 15. Eurographics; 1996. p. 57–66. 2. Koch RM, Gross MH, Carls FR, von Bren DF, Parish YIH. Simulating Facial Surgery Using Finite Element Models. SIGGRAPH; 1996. p. 421–428. 3. Gladilin E, Zachow S, Deuflhard P, Hege HC. Adaptive nonlinear elastic FEM for realistic soft tissue prediction in craniofacial surgery simulations. vol. 4681. SPIE Medical Imaging; 2002. p. 1–8. 4. Ciarlet PG. Mathematical Elasticity. Volume I: Three-Dimensional Elasticity, volume 20 of Studies in Mathematics and its Applications. North-Holland, Amsterdam; 1988. 5. Amira. Indeed - Visual Concepts. URL: http://www.amiravis.com. 6. Materialise Mimics. Materialise. URL: http://www.materialise.com.
Integration der T2*-Perfusionsmessung niedergradiger Gliome in die Strahlentherapieplanung Anja Tropp1 , Frederik L. Giesel2 , Hartmut Dickhaus3 , Rolf Bendl1 und Thomas Neff1 1 Abteilung f¨ ur Medizinische Physik, Deutsches Krebsforschungszentrum, 69120 Heidelberg 2 Radiologie, Deutsches Krebsforschungszentrum, 69120 Heidelberg 3 Medizinische Informatik, Universit¨ at Heidelberg, 69120 Heidelberg Email:
[email protected]
Zusammenfassung. Die Information u ¨ ber die Gewebevaskularisation eines Tumors kann in der Bestrahlungsplanung (BPL) eine entscheidende Rolle spielen, da die Perfusion des Tumors eng mit dessen Wachstumsverhalten und Neigung zur Metastasenbildung zusammenh¨ angt. Die Auswertung von dynamischen T2*-gewichteter MR-Bildgebung bietet eine M¨ oglichkeit, Kenntnisse u ¨ ber mikrozirkulatorische Prozesse innerhalb eines Tumorareals zu erhalten. Um diese Auswertung direkt in dem Workflow der BPL den Strahlentherapeuten zur Verf¨ ugung zu stellen, galt es das Verfahren in das BPL-System VIRTUOS des DKFZ zu integrieren. Es werden sowohl Auswertungsergebnisse eines gesunden Probanden gezeigt, die mit den Ergebnissen in der Literatur u ¨bereinstimmen, als auch Ergebnisse eines an einem Astrozytom II. Grades erkrankten Patienten.
1
Einleitung
Bei der BPL von Hirntumoren werden meist nur Informationen zur Charakterisierung des Tumors verwendet, die aufgrund der Morphologie des Gewebes in der Computer- (CT) und Magnetresonanz-Tomographie (MRT) ermittelt wurden. Mit Hilfe der dynamischen T2*-gewichteten MR-Bildgebung (”dynamicsusceptibility-contrast-MRI”, DSC-MRI) k¨ onnen Aussagen u ¨ber mikrozirkulatorische Prozesse, wie zum Beispiel Durchfluss eines Kontrastmittels (KM) innerhalb der Tumorareale, in die BPL mit einfließen und zu einer biologisch adaptierten Zielvolumendefinition f¨ uhren. Einsatzgebiet f¨ ur die DSC-MRI sind hierbei niedergradige Gliome.
2
Stand der Forschung
Neben der statischen Bildgebung haben in den letzten Jahren, insbesondere bei Hirntumoren, immer mehr funktionelle Techniken zur Gewebecharakterisierung Einzug in die Diagnostik und in Verlaufskontrollen gehalten. Nachteil
Integration der T2*-Perfusionsmessung niedergradiger Gliome
395
statischer Verfahren ist, dass lediglich Aufschluß u ¨ ber Gr¨oße, Infiltration und Organverdr¨ angung des Tumors gegeben werden kann. Funktionelle kontrastmittelunterst¨ utzte Verfahren, wie sie bereits in der Schlaganfallmedizin zur Standardiagnostik geh¨ oren (siehe Weber et al [1]), erm¨oglichen hingegen eine Aussage u ¨ ber mikrozirkulatorische Prozesse anhand funktionsdiagnostischer Parameter, wie zum Beispiel Blutfluss ( Cerebral Blood Flow“, CBF) und Blutvolumen ” ( Cerebral Blood Volume“, CBV). F¨ ur die Diagnostik und den Verlaufskontrol” len von niedergradigen Gliomen werden diese zus¨atzlichen Informationen seit einigen Jahren durch die Positronen-Emissions-Tomographie (PET) mit einem Aminos¨ aure-PET-Tracer sowie auch mit T1-/ T2*-MRT-Techniken ermittelt. Diese Verfahren fanden dennoch bisher keinen standardisierten Einsatz in der Routine der BPL.
3
Wesentlicher Fortschritt durch den Beitrag
Bislang wurde die DSC-MRI nur f¨ ur diagnostische Zwecke verwendet (siehe Sorensen und Reimer [2]). Es wird jedoch diskutiert, innerhalb des Tumors Gebiete mit unterschiedlicher Vaskularisation mit unterschiedlicher Dosis zu bestrahlen (Dose Painting). Hierf¨ ur ist es notwendig diese funktionsdiagnostischen Parameter w¨ ahrend der BPL zur Verf¨ ugung zu stellen. Dadurch k¨onnen funktionelle Tumor-Heterogeni¨ aten visualisiert werden. Diese zus¨atzlichen Informationen k¨onnen dann in die Beschreibung der gew¨ unschten Dosisverteilung einfließen. Im Gegensatz zur PET und SPECT verl¨ auft die DSC-MRI hierbei ohne Strahlenbelastung f¨ ur den Patienten. Zudem ist die MRT in ihrer Verf¨ ugbarkeit dem PET weit voraus und kosteng¨ unstiger. Durch die Integration dieser Auswertungsmethodik direkt in das BPL-System VIRTUOS besteht die M¨ oglichkeit, die funktionsdiagnostischen Parameter innerhalb des BPL-Workflows zu berechnen und in Form von Farbkarten den morphologischen Bildern zu u ¨berlagern. Diese Fusionierung geschieht hierbei ohne zeitaufwendige Importierung von Ergebnissen externer Software und erm¨oglicht so dem Strahlentherapeuten eine gleichzeitige Bewertung von funktionellen und morphologischen Gesichtspunkten, was zu einer biologisch adaptierenten Zielvolumendefinition bei der BPL f¨ uhren kann. Zus¨ atzlich ist es auch m¨oglich, diese Parameterkarten mit Bildern anderer Modalit¨ aten zu vergleichen und so weiteren Aufschluss u at und Sensitivit¨ at der Verfahren zu gewinnen. ¨ ber Spezifit¨
4
Methoden
Das Verfahren der DSC-MRI beruht auf einer Verk¨ urzung der charakteristischen Zerfallszeit T2*, die durch Magnetfeldinhomogenit¨aten zwischen Gef¨aßvolumen und umliegenden Gewebe hervorgerufen wird, wenn ein paramagnetisches KM (z.B. Gd-DTPA) durch Gewebe str¨ omt. Mit Hilfe einer Serie von T2*gewichteten Gradientenecho-Bildern kann dieser Suszeptibilit¨atseffekt als Signalabfall u ur eine ausreichend zeitliche Auf¨ber die Zeit gemessen werden. Um hierf¨ l¨osung zu gew¨ ahrleisten, werden u ¨ blicherweise zur Untersuchungen des Gehirns
396
A. Tropp et al.
Abb. 1. Links: Signal-Zeit-Verlauf einer ROI. Rechts: der zugeh¨ orige mittels Formel 1 umgerechnete Konzentration-Zeit-Verlauf.
echoplanare Bildgebungstechniken (EPI), die eine Zeitaufl¨osung im Sekundenbereich erreichen, verwendet (siehe Weber et al [1]). Rechnet man die gewonnen Signal-Zeit-Kurven (Abb. 1 links) mittels der Formel (1) (siehe Østergard et al [3]) in Konzentration-Zeit-Kurven um (Abb. 1 rechts), so lassen sich aus der Messung der KM-Konzentration am Ausgang eines Organs Cvoi (t) und bekannter Menge des KM am Eingang Ca (t) (AIF, Arterial Input Function) des Organs sich CBV, CBF (siehe Formel (3)) und die mittlere Transitzeit MTT ( Mean ” Transit Time“) dieses Organs berechnen. Die Perfusion im Gehirn wird am besten durch den CBF-Wert charakterisiert. Daher wurde der Fokus im folgenden auf die Berechnung dieses Parameters gelegt. S(t) C(t) ∝ ∆R2 (t) = − log /T E (1) S(0) 'tj Ca (τ ) · R(t − τ )dτ
C(tj ) =
(2)
0
CBF = max(R(t))
(3)
Durch die in Formel (1) beschriebene Umrechnung von Signal- in Konzentration-Zeit-Kurven (Signal-Zeit-Verlauf S(t), Baseline S(0), Echo Time TE) lassen sich Ca (t) und Cvoi (t) berechnen. Die AIF wird aus einem der Blutversorgungsgef¨asse des Gehirns, z.B. die Aorta cerebri media (ACM), berechnet. Hierf¨ ur wird eine ROI ( Region of interest“) auf die ACM gelegt und der u ¨ ber alle Bildpunk” te gemittelte Signal-Zeit-Verlauf dieser ROI in einen Konzentration-Zeit-Verlauf umgerechnet. Um den Blutfluss zu bestimmen muss erst die f¨ ur seine Quantifizierung wichtigste Gr¨ oße, die Residuenfunktion R(t), berechnet werden. Die Residuenfunktion beschreibt die Menge an Kontrastmittel, die sich zum Zeitpunkt t noch im Gewebe befindet. Um auf R(t) zu kommen muss die Gleichung (2) mittels Singul¨ arwertzerlegung (Entfaltung von Ca (t) und Cvoi (t)) nach R(t)
Integration der T2*-Perfusionsmessung niedergradiger Gliome
397
Abb. 2. Links: CBF-Parameterkarte eines gesunden Probanden. Rechts: CT-Planungsdatensatz u ¨ berlagert mit CBF-Parameterkarte eines mit einem Astrozytom II. Grades erkrankten Patienten. Die rote Linie markiert das Zielvolumen. Erh¨ ohte CBF-Werte werden rot dargestellt, Gebiete mit geringer Perfusion blau bis schwarz.
aufgel¨ ost werden (siehe Østergard et al [4]). Das Maximum der Residuenfunktion ergibt den Blutfluss in der VOI ( Volume of interest“) (siehe Formel 3). ” Diese Berechnungen lassen sich f¨ ur jeden Bildpunkt einer akquirierten Schicht aus dem Konzentration-Zeit-Verlauf eines Kontrastmittels bestimmen. Die Ergebnisse k¨ onnen als quantitative Maße genutzt und k¨onnen in Form von Farbkarten mittels Registrierung mit dem CT-Planungsdatensatz mit Hilfe eines Mutual-Information-Matchers den morphologischen Bildern u ¨berlagert werden (siehe Abb. 2 rechts).
5
Ergebnisse
Das linke Bild in Abbildung 2 zeigt die CBF-Parameterkarte eines gesunden 25j¨ahrigen Patienten. Die Ergebnisse der CBF-Berechnung ergeben f¨ ur die graue Hirnsubstanz: 63 ml/min/100 g Gewebe und f¨ ur die weisse Hirnsubstanz: 21 ml/min/100 g Gewebe. Diese Werte stimmen mit den Werten der Literatur u ¨ ber ein (siehe Rempp et al [5]). Aus der Information des Blutflusses ist zu erkennen, dass beide Hemisphaeren (hier nur eine Akquisitionsschicht) die gleiche Vaskularisation aufweisen und somit keine Hinweise auf pathologischen Ver¨anderungen im Hirngewebe vorliegen. Das rechte Bild in Abbildung 2 zeigt den Fall eines Patienten mit einem Astrozytom II. Grades. Die rote Linie markiert das vom Strahlentherapeuten definierte Zielvolumen, das auf Basis der morphologischen Bilder definiert wurde. Diese Definition wurde ohne Wissen u ¨ ber die Tumorvaskulari¨ sation durchgef¨ uhrt. Die Uberlagerung der Ergebnisse der Perfusionsmessung mit dem CT-Planungsdatensatz zeigt, dass eine Erweiterung des Zielvolumens in Richtung erh¨ ohter Perfusion sinnvoll w¨ are.
398
6
A. Tropp et al.
Diskussion
Der vorgestellte modell-unabh¨ angige nichtparametrische Ansatz zur Berechnung der Residuenfunktion wurde mittels Singul¨ arwertzerlegung durchgef¨ uhrt (siehe Østergard et al [3]). In der Literatur sind aber auch andere Ans¨atze zur L¨ osung des Gleichungssystems in Formel (2) zu finden. Parametrische modellbasierte Methoden w¨ aren hier die Kurvenanpassung mittels Gamma-Fitting (siehe Rempp et al [5]) und Berechnung von pharmakokinetischen Modellen (siehe Kiselev [6]). Parametrische Verfahren haben sich allerdings in der Vergangenheit als unbrauchbar erwiesen (siehe Weber et al [1]). Mit der Integration der T2*-Perfusionstechnik f¨ ur niedergradige Gliome in die BPL galt es eine optimierte Entscheidungsunterst¨ utzung f¨ ur die Definition des Zielvolumens zu gew¨ ahrleisten. Aus der Identifizierung hochperfundierter Areale im morphologischen Zielvolumen kann potentiell eine Dosiserh¨ohung in den betroffenen Teilbereichen erfolgen, da diese eine erh¨ohte Tumoraktivit¨at kennzeichnen. Mit dem vorgestellten Ansatz wurde die Grundlage geschaffen, entsprechende Forschungsarbeiten durchzuf¨ uhren, welche den Einfluss von Zusatzinformation u ¨ ber die Perfusion des Gewebes in der Strahlentherapie untersuchen. Damit besteht die M¨ oglichkeit, die Einsatzf¨ahigkeit des Auswertungsverfahrens in der Strahlentherapie mit Hilfe von weiterf¨ uhrenden Studien auf Spezifit¨at und Sensitivit¨ at zu testen und mit anderen bildgebenden Verfahren und Auswertungsmodalit¨ aten zu vergleichen. Somit wurde ein wichtiges Bindeglied zwischen diagnostischer Forschung und therapeutischer Anwendung realisiert.
Literaturverzeichnis 1. Weber MA, Risse F, Giesel FL, Schad LR, Kauczor HU, Essig M. Perfusionsmessung mit der T2*-Kontrastmitteldynamik in der Neuroonkologie Physikalische Grundlagen und klinische Anwendungen. Radiologe 2004;. 2. Sorensen GA, Reimer P. Cerebral MR perfusion imaging - principles and current applications. Thieme Verlag; 2000. 3. Østergaard L, Sorensen AG, Kwong KK, Weisskoff RM, Gyldensted C, Rosen BR. High Resolution Measurement of Cerebral Blood Flow using Intravascular Tracer Bolus Passages. Part II: Experimental Comparison and Preliminary Results. Magn Reson Med 1996;36:726–736. 4. Østergaard L, Weisskoff RM, Chesler DA, Gyldensted C, Rosen BR. High Resolution Measurement of Cerebral Blood Flow using Intravascular Tracer Bolus Passages. Part I: Mathematical Approach and Statistical Analysis. Magn Reson Med 1996;36:715–725. 5. Rempp KA, Brix G, Wenz F, Becker CR, G¨ uckel F, Lorenz WJ. Quantification of Regional Cerebral Blood Flow and Volume with Dynamic Susceptibility Contrastenhanced MR Imaging. Radiology 1994;193:637–641. 6. Kiselev VG. On the Theoretical Basis of Perfusion Measurements by Dynamic Susceptibility Contrast MRI. Magn Reson Med 2001;46:1113–1122.
Ultrasound Volume Guided Navigated Implantation of the Humeral Part of a Shoulder Prosthesis Ute von Jan1 , Dennis Sandk¨ uhler2 , Ludger Kirsch3 , 2 3 uhmann and Heinrich Martin Overhoff2 Stefan Maas , Oliver R¨ 1 Institute of Medical Informatics, Hannover Medical School, D-30625 Hannover 2 Medical Engineering Laboratory, University of Applied Sciences Gelsenkirchen, D-45877 Gelsenkirchen 3 Orthopedic Department, Hannover Medical School, D-30625 Hannover Email:
[email protected]
Abstract. Diagnostic ultrasound in the shoulder area is nowadays usually limited to conventional, two-dimensional (2-D) ultrasound images taken in predefined, standardized sonogram acquisition orientations. This only provides limited insights into the joint’s three-dimensional (3-D) geometry. In contrast, 3-D freehand acquired ultrasound volumes can cover the anatomic structures necessary e.g. for planning the implantation of the humeral part of a shoulder prosthesis. In a pilot study, such landmarks were determined from the semiautomatically segmented volumes. A first verification of the approach was performed using an experimental prototype for surgical planning and navigation in a cadaver study.
1
Introduction
At present, preliminary diagnostics as well as the planning process for surgical interventions in the shoulder area, e.g. the placement of the humeral part of a prosthesis, are mostly based on X-ray, X-ray CT or MRI imaging. But Xray imaging exposes patients and medical staff to ionizing radiation, and all mentioned modalities cause organizational efforts and high costs. On the other hand, ultrasound imaging – which is a non-ionizing and comparatively cheap modality – only plays a minor role in intervention planning and realization of the surgical procedure and is primarily being used in diagnostics using 2-D images acquired in standardized acquisition positions [1]. Additionally, two-dimensional sonography places high demands on the physician’s spatial imagination of the joint’s three-dimensional anatomy and his ability to correctly place the scanhead and identify the depicted anatomical structures. The approach neither gives the possibility to determine their spatial coordinates nor to derive precise topographic measures, which is essential for implementing an ultrasound based surgical planning and navigation process. Problems inherent
400
U. von Jan et al.
Fig. 1. Cross sectional planes in 3D showing good coverage of the humerus in the acquired 3-D ultrasound volume. The reconstructed bone’s surface has been overlaid for better orientation.
to ultrasound imaging, e.g. blurred images, often accompanied by artifacts, additionally complicate the interpretation of the data. Thus, the use of ultrasound as an imaging modality for this purpose only seems possible if it is extended to three dimensions and if a computer based, automatic approach is applied for analyzing the resulting volumes and calculating the necessary measures.
2
Materials and Methods
Using a conventional ultrasound system (NemioTM SSA-550A, Toshiba, Tokyo, Japan) with an infrared optical localizer system (PolarisTM , Northern Digital Inc., Waterloo, Ontario, Canada) attached to the transducer, the surfaces of the humeri of N = 20 healthy volunteers were acquired in up to four overlapping, manually controlled freehand sweeps. Each sweep contained about 300-500 2-D slices. Position data and corresponding images were simultaneously recorded on a standard PC, which was also used for all further steps [2]. Each ultrasound volume was reconstructed using the 2-D images and their spatial position. To ensure the geometric accuracy of the volumes, a calibration was performed to establish the rigid body transformation for the tracking device versus the transducer’s image plane [3]. Using freely placeable cross sectional planes, an interactive, visual verification of the image volumes was performed to determine their completeness (i.e. coverage of all expected anatomical structures) and plausibility (fig. 1). All volumes passed this verification process and could therefore be passed on to the following processing steps.
Ultrasound Volume Guided Navigated Implantation
401
The segmentation was performed slice-wise using a locally adaptive, semiautomatic procedure. Since each slice’s spatial position – and therefore the approximate anatomic region it belongs to, i.e. head, shaft or epicondyles – is known, a slice specific region of interest (ROI) ideally only containing the desired structure could be easily calculated after interactive specification of a few (usually up to 10) points roughly defining the approximated center axis of the humerus and known size ranges for each anatomic region. Within each slice’s ROI, the depicted anatomic structure was then automatically delineated. The results from neighboring slices were used for fine-tuning. In the case of implausible results, the results of the respective slice were excluded from all further processing. Since this only occurred in a small number of slices (< 5%), there was no problem with respect to the completeness and accuracy of the bony surface reconstructed from the segmentation results. The reconstructed virtual humerus could in turn be used for reliable identification of parameters for certain anatomic landmarks (fig. 2), such as a sphere approximating the humeral head or a cylinder approximating the proximal humeral shaft. These parameters were calculated with the help of robust approximation algorithms [3]. Several other parameters – such as the inclination of the articular surface of the humeral head, the posterior and medial offset as well as the individual’s retrotorsion angle – also influence the ideal position for implantation of the prosthesis. For their precise definition, additional landmarks must be determined. For this, the initial approximation of the collum anatomicum and the intertubercular sulcus was calculated automatically; the physician could interactively fine-tune the position of these landmarks. Taking all identified landmark parameters into account, a local coordinate system (LCS) for the humerus [4] – to be used as a reference for all planning steps – and the necessary parameters for the resection plane for the humeral head could then be calculated. Various prosthesis types offer different methods [5] for adjusting the position of the humeral cap part with respect to the position of the implanted shaft, i.e. by varying the values for inclination of the head, the retrotorsion angle, the medial offset etc. Depending on the chosen model, the necessary parameters were always calculated such as to ideally reconstruct the joint. An interactive, Java-based tool (VisualMediJa, [6]), based on the algorithms of the Visualization Toolkit (VTK, [7]), was used for all post-segmentation steps. Within its flexible interface, the planning scenario could be comfortably visualized. During all steps, any combination of original and segmented data, the bone’s surface reconstruction as well as geometric objects representing the positions for the determined landmarks or other planning parameters could be shown in the scene. For validation purposes, the entire workflow – from 3-D volume acquisition, over segmentation, landmark determination and planning of the prosthesis position to the execution of a navigated surgical procedure according to the planned parameters was exemplary carried out in a cadaver study.
402
U. von Jan et al.
Fig. 2. Approximation results for two anatomical landmarks: segmented data points vs. (a) the cylinder approximating the proximal humeral shaft (top view) and (b) the sphere approximating the humeral head (side view). The 90% quantile of the absolute approximation errors is less than 2mm for both landmarks.
(a)
3
(b)
Results
Although many factors, like improper transducer handling or problems inherent to ultrasound imaging, i.e. artifacts, influence the quality of the acquired image volumes, a reasonable segmentation and reconstruction of the bone’s surface was possible for all volumes. As shown for two exemplary landmark calculations in fig. 2, the approximation errors for the determined landmark parameters were within acceptable ranges. By offering a variety of visualization and interaction possibilities, VisualMediJa’s freely configurable graphical user interface allowed an intuitive surgical planning process for the prosthesis implantation (fig. 3). In the cadaver study, the planned parameters could then be easily transferred to the navigation setup used for the implantation of the prosthesis in the cadaver’s humerus [2].
4
Discussion
Ultrasound based surgical planning strongly depends on proper image acquisition techniques, not least of all proper transducer handling or good image bone contrast. For all acquired volumes, a satisfactory surface representation of the humerus and all parameters for the anatomically optimized placement of the prosthesis could be determined. Ongoing work is dedicated towards a fully automatic determination of all required landmarks and planning parameters to make the planning process less dependent on the individual physician and towards developing a full fledged intra-operative navigation tool.
Ultrasound Volume Guided Navigated Implantation
403
Fig. 3. Different visualizations of the surgical planning process: (a) original volume and segmented data, (b) surface reconstruction of the segmented data with resection plane, local coordinate system and a prosthesis placed according to the determined parameters, (c) virtual implantation of the humerus endoprosthesis; the sphere approximating the humeral head is also shown
(a)
(b)
(c)
References 1. Konermann W, Gruber G. Ultraschalldiagnostik der St¨ utz- und Bewegungsorgane. Stuttgart, New York: Thieme; 2000. 2. von Jan U, Sandk¨ uhler D, Kirsch L, et al. Surgical Planning for Prosthesis Implantation in the Shoulder Joint Based on Freehand Ultrasound Volumes. In: Proceedings of the 3rd European Medical & Biological Engineering Conference – EMBEC ’05. vol. 11 of IFMBE Proceedings. Prague, Czech Republic; 2005. 3. von Jan U, Sandk¨ uhler D, Kirsch L, et al. Determining Parameters for Anatomical Landmarks of the Humerus from Point Clouds acquired from the Bone’s Surface. In: Proceedings of the 3rd European Medical & Biological Engineering Conference – EMBEC ’05. vol. 11 of IFMBE Proceedings. Prague, Czech Republic; 2005. 4. Wu G, van der Helm FCT, Veeger HEJ, et al. ISB recommendation on definitions of joint coordinate systems of various joints for the reporting of human joint motion – Part II: shoulder, elbow, wrist and hand. Journal of Biomechanics 2005;38:981–992. 5. Anderl W. New developments for the surgical treatment of shoulder problems. Radiologe 2004;44(6):613–9. 6. Maas S, Overhoff HM. Shared Interactive Findings on 3-D Image Volumes. In: Biomedizinische Technik. vol. 49 Suppl. Berlin: Schiele & Sch¨ on; 2004. p. 202–203. 7. Schroeder W, Martin K, Lorensen B. The Visualization Toolkit: An Object Oriented Approach to 3D Graphics. 3rd ed. Kitware, Inc.; 2004.
Interactive Biomechanical Modeling and Simulation of Realistic Human Musculature in Virtual Environments Jakob T. Valvoda1 , Sebastian Ullrich1 , Torsten Kuhlen1 and Christian H. Bischof2 2
1 Virtual Reality Group, RWTH Aachen University, 52074 Aachen Institute for Scientific Computing, RWTH Aachen University, 52074 Aachen Email: {valvoda,s.ullrich,kuhlen,bischof}@rz.rwth-aachen.de
Abstract. We present an approach to interactive modeling, biomechanical simulation and realistic visualization of human musculature. Our aim is to facilitate the use of these techniques in virtual environments; therefore special attention has been paid to the optimization of real-time approaches yielding results with a high degree of realism. Our system allows for immersive modeling of musculature and a real-time simulation of muscle forces based on biomechanical models.
1
Introduction
Virtual humanoids play a central role in medical applications. They can be used as communication partners for generic interaction or as virtual patients. Other areas of medical application lie in ergonomics or presentations of anatomy and physiology. Realistic virtual humanoids are required for these purposes, able to simulate and represent anatomical structures and physiological processes. Common approaches towards virtual humanoids make use of multi-layered models, containing skeleton, soft tissue and skin data, with each layer representing anatomical or functional structures. Kinematics simulation and realistic visualization of virtual humanoids remain the subject of extensive research. In particular, much attention has been given to soft tissue visualization, based on medical imaging data, in the last decade. Surprisingly, soft tissue simulation has been researched only with regard to certain selected areas. In addition, these approaches often suffer from time consuming algorithms. An extensive approach to whole body simulation has not yet been developed. Human musculature is of great interest in the research areas of anatomy, physiology, ergonomics and biomechanics. However, interactive biomechanical modeling in combination with realistic visualization of musculature remains a problem for large body parts, not to mention whole human bodies. We have created a tool for biomechanical modeling of human musculature in virtual environments (cp. Fig. 1). It combines the high degree of realism found
Interactive Biomechanical Modeling
405
Fig. 1. a, b Modeling, simulation and visualization of musculature in a large projection virtual environment.
a
b
in straightforward visualization systems with an interactive biomechanical simulation approach, whilst paying special attention to the volume-preserving nature of musculature. Our algorithms allow for visualizations of arbitrary musculature geometries, that are interactively modified in order to preserve the enclosed volume with respect to the current skeletal posture. This results in a real-time whole body simulation and an interactive representation of musculature with a high degree of realism. This paper is structured as follows. Section 2 presents related work. Section 3 describes algorithms used in our system. Section 4 presents some performance data and a discussion of our system.
2
Related Work
There are numerous modeling systems designed for immersive virtual environments. The 3dm system by Butterworth et al. [1] was among the first tools in this area. Further examples are HoloSketch [2], LEMAN [3] or FreeDrawer [4]. These tools are capable of handling 6-DOF input devices and support stereoscopic visualizations. However, they focus on geometric modeling and their use cannot be extended to support the specific tasks of modeling and simulation of musculature. Several approaches to soft tissue visualization of whole humanoid bodies have been published. Visualizations are mostly created on the basis of medical imaging data. The voxel data is segmented and converted to mesh representations of specific organs that can be visualized. A popular data source for these algorithms is the Visible Human Project [5]. Visualizations based on this data have, for instance, been used in the VOXEL-MAN system [6]. This approach allows for highly realistic visualizations, but lacks support of interactive modification of the models, e. g., kinematics or further physiological simulations. The simulation of musculature mainly focuses on biomechanics. In biomechanical simulation trajectories and forces are computed for a given musculature
406
J.T. Valvoda et al.
and skeleton configuration. Muscles are usually represented by lines of action that connect the origin and the insertion of the particular muscle. Hill proposed the first widely accepted muscle model with a combination of parallel and serial springs and a contractile element [7]. Muscle forces can be approximated by using simplified spring-mass models for time efficient computations. First methods for muscle visualization were developed in the area of biomechanics by Delp [8]. This particular study used simplified action lines. More geometrically advanced approaches use basic volume-preserving shapes in order to represent musculature, e. g., ellipsoids [9] or cylinders [10]. Another technique utilizes merged, implicit spheres, the so-called metaballs [11]. Further approaches depend on parametric representations through NURBS [12] or B-splines [13]. Other solutions have been proposed that utilize volume-rendering techniques and dynamics simulation through classical FE methods [14]. The above-mentioned techniques have a roughly ascending degree of realism that also means greater computational complexity. These methods either utilize highly detailed and realistically deforming geometries, with an aim to visualize musculature and accept non-interactive frame rates, or they employ simplified geometries and basic shapes with a low resolution, in order to achieve real-time visualizations.
3
Modeling, Simulation, and Visualization of Musculature
The base of our system is the Virtual Reality toolkit ViSTA and its multimedia extension [15]. The modeling component allows for the creation of musculoskeletal models of virtual humanoids. New muscles can be added interactively by attaching their insertion, origin, and control points to a virtual skeleton. Furthermore, it is possible to manipulate the posture of the articulated figure. The system has been designed for a variety of working environments. We have evaluated the system on several platforms [16]. The biomechanical simulation is solved through inverse dynamics. Our system takes the previous and current skeletal configuration and computes the forces of each muscle affected by the motion. The actual length of each muscle is taken as a parameter for the volume-preserving deformation of the musculature geometries. In our visualization approach we compute the new spatial distribution for each muscle based on scaling factors derived from the bounding box of its geometry. Given the original size l = (lx , ly , lz )T of the bounding box, its volume V = lx · ly · lz , and the modified length lx , then ly and lz are computed as follows * * ly = 1/ρ · V /lx lz = ρ · V /lx = ρ2 · ly (1) * The control factor ρ = lz /ly is dependent on the initial ratio between width and height. It can be easily verified that lx · ly · lz = V , i. e., both volumes of the original and the scaled bounding box are equal. The resulting volume-preserving scaling factors are given as sx = lx /lx , sy = ly /ly , and sz = lz /lz . By application of the Divergence Theorem it can also be shown that scaling with sx , sy , and sz preserves the volume of each enclosed geometry.
Interactive Biomechanical Modeling
407
Fig. 2. a Musculature data. b Volume-preserving deformation based on scaling factors.
a
b
The degree of realism mainly depends on the geometries representing the muscle. Our approach allows for the use of arbitrary geometries for each muscle with varying detail resolutions.
4
Results & Discussion
The system we have described is capable of visualizing and simulating realistic musculature for whole human bodies in virtual environments. The underlying algorithm supports user-defined geometries for each muscle. We have modeled and configured a human skeleton with 56 principal muscles (cp. Fig. 2 a). In our first approach we have created musculature geometries from a visual reference, based on an interactive anatomy atlas [17]. We have evaluated the performance on a typical desktop-VR system, equipped with a 1.8 GHz AMD Athlon64, a GeForce 6600 GT graphics adapter and running Windows XP. We have used ellipsoid visualization in a low-detail (5,412 vertices) and a high-detail (16,892 vertices) configuration. The mean frame rates were 44 fps and 19 fps respectively. The customized musculature geometries with 18,720 vertices yielded a mean frame rate of 42 fps, whereas a more detailed model consisting of 37,440 vertices was represented at 22 fps. Fastest results are achieved through action line visualization. The geometry complexity is quite low and no volume computations need to be done in this case. Nevertheless, the quality of visualization is quite abstract and of a technical nature. Our approach is comparable to or even faster than the commonly used ellipsoid technique. Moreover, our technique is capable of creating realistic results (cp. Fig. 2 b).
5
Conclusions
Our system has proven to be capable of interactive modeling and simulation of musculature for whole human bodies. By using our simulation algorithms we
408
J.T. Valvoda et al.
achieve a realistic visualization of musculature without time-consuming computations. In fact, the employed techniques are comparable to or even faster than existing approaches. The system is used for interactive modeling of musculature in virtual environments and for anatomical presentations. In our future research we intend to incorporate musculature based on medical imaging data. Furthermore, we plan to include collision handling for adjacent muscles in our scaling factors approach.
References 1. Butterworth J, Davidson A, Hench S, Olano MT. 3DM: A Three Dimensional Modeler Using a Head-Mounted Display. In: Procs Symposium on Interactive 3D Graphics; 1992. p. 135–138. 2. Deering MF. HoloSketch: A Virtual Reality Sketching/Animation Tool. ACM Transactions on Computer-Human Interaction 1995;2(3):220–238. 3. Turner R, Gobbetti E. Interactive Construction and Animation of Layered Elastically Deformable Characters. Computer Graphics Forum 1998;17(2):135–152. 4. Wesche G, Seidel HP. FreeDrawer: a free-form sketching system on the responsive workbench. In: Procs VRST ’01; 2001. p. 167–174. 5. Spitzer V, Ackerman MJ, Scherzinger AL, Whitlock D. The Visible Human Male: A Technical Report. J Am Med Inform Assoc 1996;3(2):118–130. 6. Schiemann T, Freudenberg J, Pflesser B, et al. Exploring the Visible Human using the VOXEL-MAN framework. Comput Med Imaging Graph 2000;24:127–132. 7. Hill AV. The Heat of Shortening and the Dynamic Constants of Muscle. Proceedings of the Royal Society of London (B) 1938;126:136–195. 8. Delp SL, Loan JP. A graphics-based software system to develop and analyze models of musculoskeletal structures. Comput Biol Med 1995;25(1):21–34. 9. Scheepers F, Parent RE, Carlson WE, May SF. Anatomy-Based Modeling of the Human Musculature. In: Procs SIGGRAPH ’97; 1997. p. 163–172. 10. Wilhelms J, Gelder AV. Anatomically based modeling. In: Procs SIGGRAPH ’97; 1997. p. 173–180. 11. Thalmann DS, Shen J, Chauvineau E. Fast Realistic Human Body Deformations for Animation and VR Applications. In: Procs CGI ’96. Pohang, S. Korea; 1996. 12. Dong F, Clapworthy GJ, Krokos MA, Yao J. An Anatomy-Based Approach to Human Muscle Modeling and Deformation. IEEE Transactions on Visualization and Computer Graphics 2002;8(2):154–170. 13. Ng-Thow-Hing V, Fiume E. Application-Specific Muscle Representations. In: Procs Graphics Interface ’02; 2002. p. 107–116. 14. Teran J, Sifakis E, Blemker S, et al. Creating and Simulating Skeletal Muscle from the Visible Human Data Set. IEEE Transactions on Visualization and Computer Graphics 2005;11(3):317–328. 15. Assenmacher I, Kuhlen T, Lentz T, Vorl¨ ander M. Integrating Real-time Binaural Acoustics into VR Applications. In: Procs EGVE ’04; 2004. p. 129–136. 16. Valvoda JT, Ullrich S, Kuhlen T. Comparative Evaluation of User Performance for Modeling Tasks in Non-immersive and Immersive Virtual Environments. In: Procs IEEE VR 2005 Workshop 3D User Interfaces. Bonn, Germany; 2005. p. 95–98. 17. Primal Pictures. Complete Human Anatomy: Primal 3D Interactive Series; 2003.
Combining Training and Computer-Assisted Planning of Oncologic Liver Surgery Ragnar Bade1 , Ivonne Riedel1 , Lars Schmidt1 , Karl J. Oldhafer2 and Bernhard Preim1 1
Department of Simulation and Graphics, Faculty of Computer Science, University of Magdeburg, D-39106 Magdeburg 2 Department of General and Visceral Surgery, General Hospital Celle, D-29223 Celle Email:
[email protected]
Abstract. We present a framework for liver surgery training with the focus on therapy decision making, tumor resection and ablation planning based on patient individual data. In this framework we combine state of the art planning facilities with components for training of oncologic liver surgery planning. Guide’n’Support , Intervention-StrategySets, and Comparison-to-Experts-Plan functionality are implemented to enable guided training for young surgeons as well as open but on demand supported training for senior visceral surgeons.
1
Introduction
Inspired by [1], surgical education can be seen as mainly build upon two pillars: (1) clinical surgery including declarative and factual knowledge about etiology, pathology, differential diagnosis, and therapeutic alternatives as well as procedural knowledge about therapy decision-making and planning; and (2) practical surgery including declarative, factual, procedural and senso-/motorical knowledge about operation techniques and strategies. While surgery simulation systems focus on the training of senso-/motorical skills, our system focus on declarative, factual, and procedural knowledge about therapy decision-making and planning. Our work extends the system described in [2] by combining training and actual planning facilities. Due to the combination of an enhanced system that provides state of the art liver surgery and ablation planning [3, 4, 5, 6] and the functionality of the widespread digital media publishing system Macromedia Director we are able to enrich state of the art liver surgery planning by interactive, multimedial content, educational guidance and training support. Furthermore, the presented flexible Guide’n’Support system enables computer based education of young and senior visceral surgeons (and avoids spoon-feeding).
2
Training of Computer-Assisted Liver Surgery Planning
Computer-assisted risk analysis and virtual tumor resection has become a nearly standard procedure for oncologic liver surgery planning. Today, enhanced liver
410
R. Bade et al.
surgery planning and risk analysis systems provide preoperative decision support on a detailed level. As one consequence, new therapy and planning strategies had been developed due to the new planning facilities [7]. However, training of therapy decisions by means of the new tools was not considered as a necessary task. The training of liver resection planning as well as of tumor ablation planning on patient individual data is not available yet. The presented training system for liver surgery planning aims to (1) enable training of liver surgery decision-making and surgery planning for liver tumor resection and ablation on patient individual data, (2) publish and spread novel findings about liver tumor therapy options and planning as well as (3) to familiarize surgeons with the complex handling of surgery planning. To accomplish these goals we identified the following two main tasks: 1. combining state of the art facilities for liver surgery planning with facilities of common media rich publishing tools, and 2. developing an educational environment for surgeons that supports and not spoon-feeds them (as common training systems for students would do). Inspired by [8] fundamental necessary educational facilities in computer based training (CBT) are guidance, tutorial, and feedback in general. Experience without these training features will only increases confidence not competence [9].
3
State of the Art
For liver surgery some computer based training (CBT) systems are available that focus on declarative facts [10] and on procedural knowledge about operation techniques [11]. We did neither find any system that enables training of liver surgery planning nor training systems for planning of other abdominal interventions. Only one publication with a title that implies CBT for liver surgery planning [12] can be found. But the described system in [12] is a pure planning system that neither provides any educational facilities (e.g. tutorial, guidance or help systems) nor feedback mechanisms (e.g. criticising, correcting or confirming). For educational purposes and training, such mechanisms are crucial as established CBT systems (e.g. CASUS [13] and CAMPUS [14]) demonstrate. Nevertheless, with these systems it is not possible to interactively train liver surgery planning and virtual tumor resection. In contrast there exist some enhanced and well elaborated systems for liver surgery and ablation planning [3, 15, 16, 4, 5, 6]. Unfortunately, they do not provide educational facilities, since they do not focus on CBT.
4
Concept and Implementation
We extended the Liver Surgery Trainer [2] (implemented in Macromedia Director) by integrating MeVisLab [5] via Active-X [17, 18]. The Active-X interface
Combining Training and Computer-Assisted Planning
411
enables the seamless display and interactive usage of MeVisLab in the learning environment. This is used for example to remotely load patient data, to render and display 3d and 2d scenes, to calculate and simulate resection volumes and ablation results as well as to interactively define a resection plane and to place applicators. For educational purposes, we split the planning procedure in the learning environment in successive steps that can also be accessed in arbitrary order. After the introduction of the current case and the presentation of information about diagnosis and operability, the following main steps are: (1) tumor resectability or ablation eligibility assessment and (2) resection/ablation planning. In the first step, 2d slices and a 3d reconstruction of the data set can be explored and measurement tools are provided to assess the resectability and/or ablation eligibility. It is also possible to define an initial resection plane if it is needed by the user. In the second step, a resection can be planned by defining a resection plane in the 2d slices and by adjusting it in 3d views [4] or models of RF applicators can be positioned and parameterized respectively [6]. To enable comparative therapy decision making (crucial for young surgeons or difficult cases), the learning environment provides the ability to save the current resection/ablation plan in Sets and to define another resection or ablation. Switching through these Intervention-Strategy-Sets can then be used to compare different resection or ablation strategies as well as to assess a resection plan compared to an ablation. This enables surgeons to try out, compare and learn to assess different therapy decisions in different situations. At the end of this procedure, the learner has the possibility to assess and compare the planned resection/ablation to a resection/ablation plan provided by an expert (see Fig. 1). In this Comparison-to-Experts-Plan step differences between the learners decisions and the experts recommended therapy plan are highlighted. Comments of the expert, explaining and illustrating his/her decisionmaking process and further possible therapy alternatives endorse the training feedback for the learners. To guide and support users during the learning process without spoonfeeding and restricting them, the learning environment presents a tripartite Guide’n’Support functionality that consists of (1) Guided Tour that guides new users through all steps in the learning environment, introduces all available functionality and demonstrates its usage; (2) Automatic Support that gives automatically hints for the usage of complex features as well as for appropriate next steps to do and that also premonitions serious mistakes of the learner if it is selected; and last but not least (3) Support on Demand is accessible at any stage in the training procedure that presents automatic selected information about the current planning step and usage of available functionality. Hypermedial navigation (like in Windows-Help) allows the free access to the whole content of the Guide’n’Support system at any time.
412
R. Bade et al.
Fig. 1. Comparison-to-Experts-Plan: Example of the printable tabular comparison of a planned resection/ablation by an user to a resection/ablation plan by an expert.
5
Results and Discussion
The presented training system for liver surgery planning (Liver Surgery Trainer) presents a framework for training of surgery decision making with respect to liver tumor resection and ablation on patient individual data. The design of the system and the presented Guide’n’Support, Intervention-Strategy-Sets, and Comparison-to-Experts-Plan functionality enables: (1) guided training for young surgeons to gather declarative, factual, and procedural knowledge as well as (2) open but on demand supported training for senior visceral surgeons to gather deeper contextual knowledge or to get familiar with new findings in the domain. Due to the used Active-X connection to MeVisLab, advances in resection and ablation planning as well as in computer-assisted risk analysis and ablation simulation will be automatically available in the learning environment. To enable visceral surgeons to integrate there cases and planning results into the system an authoring system will be part of future work. Currently we are working on a representative set of learning scenarios that for example include living donor transplantations as well. Furthermore, we are investigating adaptive animations of patient individual data for 3d visualization and navigation support in the learning environment [19]. One major task left open for future work is the evaluation of the learning effects which are achieved with the Liver Surgery Trainer.
Combining Training and Computer-Assisted Planning
413
Acknowledgements. This work was supported by the BMBF in the framework of the SOMIT-FUSION project (FK 01|BE 03B).
References 1. Mehrabi A, Gl¨ uckstein Ch, Benner A, et al. A new way for surgical education development and evaluation of a computer-based training module. Computers in Biology and Medicine 2000;30:97–109. 2. Bade R, Mirschel S, Oldhafer KJ, Preim B. Ein fallbasiertes Lernsystem f¨ ur die Behandlung von Lebertumoren. In: Procs BVM; 2004. p. 438–442. 3. Bourquain H, Schenk A, Link F, Preim B, Peitgen HO. HepaVision2 - a software assistant for pre-operative planning in LRLT and oncologic liver surgery. In: CARS; 2002. p. 341–346. 4. Konrad-Verse O, Preim B, Littmann A. Virtual Resection with a Deformable Cutting plane. In: Simulation und Visualisierung; 2004. p. 203–214. 5. MeVis. MeVisLab. www.mevislab.de; 2004. 10/07/2005. 6. Preim, Hindennach, Spindler, et al. Visualisierungs- und Interaktionstechniken f¨ ur die Planung lokaler Therapien. In: Simulation und Visualisierung; 2003. p. 237–248. 7. Lang, et al. Improved Assessment of Functional Resectability in Repeated Hepatectomy by Computer-assisted Operation Planning. Hepato-Gastroenterology 2005;52:1645–1648. 8. Baumgartner P, Payr S. Lernen mit Software. Studien-Verlag, Innsbruck; 1994. 9. Bulstrode, Holsgrove. Education for educating surgeons. BMJ 1996;312:326–327. 10. Klempnauer J, Kip A. Chirurgie der Leber. Urban & Schwarzenberg Verlag, M¨ unchen, CD-ROM; 1997. 11. Mutter D, Marescaux J. WSCHO-LE2-Laparoscopic cholecystectomy for symptomatic cholelithiasis. WebSurg, CD-ROM; 2003. 12. Sojar V, Stanisavljev D, Hribernik M, et al. Liver surgery training and planning in 3D virtual space. In: CARS; 2004. p. 390–394. 13. Fischer MR, Schauer S, Baehring T. Modellversuch CASUS- Problemorientiertes Lernen in der Medizin. Symposium Gentianum. Wildbad Kreuth: Medizinische Klinik Innenstadt.; 1996. 14. Riedel J, Singer R, Heid J, Leven FJ. CAMPUS: Ein simulatives und flexibles fallbasiertes web-based Training System f¨ ur die medizinische Ausbildung. In: Rechnergest¨ utzte Lehr- und Lernsysteme in der Medizin; 2000. p. 107–112. 15. Butz T, Warfield SK, Tuncali K, et al. Pre- and Intra-operative Planning and Simulation of Percutaneous Tumor Ablation. In: MICCAI; 2000. p. 317–326. 16. Glombitza G, Lamade W, Demiris AM, et al. Virtual planning of liver resections: image processing, visualization and volumetric evaluation. International Journal of Medical Informatics 1999;53(2):225–237. 17. Riedel I. Erstellung einer Ausbildungs- und Trainingskomponente f¨ ur die Tumorablationsplanung in der Leberchirurgie. Master’s thesis. University of Magdeburg, Faculty of Computer Science; 2005. 18. Schmidt L. Erstellung einer Ausbildungs- und Trainingskomponente f¨ ur die Interventionsplanung in der Leberchirurgie. Master’s thesis. University of Magdeburg, Faculty of Computer Science; 2005. 19. Muehler K, Bade R, Preim B. Skriptbasierte Animationen f¨ ur die Operationsplanung und Ausbildung. In: Procs BVM; 2006. (this volume).
Partikelfilter-basiertes Tracking chirurgischer Instrumente in Endoskopbildern Markus E. Rilk, Simon Winkelbach und Friedrich M. Wahl Institut f¨ ur Robotik und Prozessinformatik, Technische Universit¨ at Braunschweig, 38106 Braunschweig Email:
[email protected]
Zusammenfassung. Das hier vorgestellte Verfahren erkennt und verfolgt chirurgische Instrumente in Endoskopbildern ohne Hilfe von speziellen Markern oder farblichen Unterschieden zwischen Instrument und Hintergrund. Die ermittelte 3d-Position einer bestimmten Instrumentenspitze verwendet ein Roboter, um automatisch das Endoskop nachzuf¨ uhren. Die Erkennung selbst ist aufgeteilt in zwei Phasen. In der Initialisierungsphase ruht das Endoskop, so dass das zu verfolgende Instrument aufgrund seiner Eigenbewegung gefunden werden kann. In der Trackingphase wird das Instrument mit Hilfe eines Partikelfilters verfolgt. Die Partikel beschreiben dabei in jedem Zeitschritt verschiedene Lagehypothesen des Instrumentes mit unterschiedlichen Wahrscheinlichkeiten.
1
Einleitung
Der Hauptkritikpunkt an der Video-Endoskopie ist, dass der Chirurg das Endoskop meist selbst halten muss. Dies ist auf Dauer erm¨ udend und dem Chirurg fehlt oftmals eine freie Hand, um beispielsweise weitere Instrumente zu bedienen. Versuche, einem Operationsassistenten die F¨ uhrung des Endoskops zu u u¨ berlassen, waren wenig ermutigend. Neben den ebenfalls auftretenden Erm¨ dungserscheinungen (zittriges Endoskopbild), sah der Chirurg oft nicht die von ihm gew¨ unschte Region. Im hier vorgestellten Ansatz wird die F¨ uhrung des Endoskops einem Roboter u ¨ bergeben. Dieser kann das Endoskop nicht nur pr¨azise in einer ganz bestimmten Position halten, sondern auch durch intuitive Bewegungen die Instrumente des Chirurgen im Endoskopbild zentrieren. Die hierf¨ ur ben¨ otigte Position der Instrumentenspitze kann man u.a. mit Hilfe der Endoskopbilder gewinnen, vorausgesetzt das Instrument ist in ihnen sichtbar. Ein einfacher Ansatz besteht darin, das Instrument mit einem Marker auszustatten [1, 2, 3]. In jedem Bild wird dieser Marker gesucht, segmentiert und dessen Mittelpunkt bestimmt. Die Nachteile dieses Ansatzes sind die erh¨ohten Kosten, da jedes zu erkennende Instrument mit einem Marker auszustatten ist, eine wenig robuste Erkennung des Markers bei Verdeckungen oder Verschmutzungen und eine eventuell erh¨ ohte Infektionsgefahr f¨ ur den Patienten durch den Marker. Eine andere Vorgehensweise, die ohne Marker auskommt, beruht auf der Ausnutzung der Farbunterschiede zwischen Instrument und Hintergrund zur Segmentierung des Instrumentes [4, 5]. Unsere Untersuchungen haben ergeben,
Partikelfilter-basiertes Tracking chirurgischer Instrumente in Endoskopbildern
415
dass die G¨ ute dieser Verfahren sehr stark vom Material sowie der Farbe der Instrumente und des Hintergrunds abh¨ angig ist. Ist das Instrument - wie in den meisten F¨ allen - metallisch, so kann es aufgrund seiner Reflexionseigenschaften die Farbe der n¨ aheren Umgebung oder einen gr¨aulichen Ton annehmen. In beiden F¨ allen ist eine Segmentierung anhand der Farbinformation sehr schwierig. Ein Trackingalgorithmus, der weder einen speziellen Marker noch eine farbliche Unterscheidbarkeit ben¨ otigt, basiert auf der Feststellung, dass die bei endoskopischen Operationen verwendeten Instrumente typischerweise einen langen zylindrischen Schaft aufweisen [6]. Eine Seite dieses Schaftes versuchen die Autoren mit Hilfe einer Hough-Transformation f¨ ur Geraden zu finden und suchen dann entlang der wahrscheinlichsten Gerade die Instrumentenspitze. Diese Grundidee erweitern wir, indem wir zur Erh¨ ohung der Robustheit und Genauigkeit beide Seiten des Schaftes betrachten und zudem mit Hilfe eines Partikelfilters mehrere Lagehypothesen gleichzeitig u ¨ ber die Zeit verfolgen.
2
Methoden
Die Instrumente modellieren wir durch ein 3d-Zylindermodell mit bekanntem instrumentenspezifischen Radius. Zur Beschreibung der Instrumentenlage bzgl. des Kamerakoordinatensystems sind insgesamt f¨ unf Parameter notwendig, die im Folgenden auch als Partikel (Lagehypothese) s = (x, y, z, α, β) zusammengefasst werden. Die x-, y-, und z-Werte geben die Translation zwischen Brennpunkt der Kamera und Spitze des Instrumentes an. Die rotatorischen Freiheitsgrade sind durch den Winkel α f¨ ur die Drehung des Zylindermodells um die z-Achse der Kamera und β f¨ ur die Rotation um die y-Achse festgelegt. Aufgrund der Rotationssymmetrie kann der dritte rotatorische Freiheitsgrad unber¨ ucksichtigt bleiben. Mit Hilfe dieses Modells haben wir ein neues Verfahren entwickelt, das aus einer Initialisierungsphase und einer Trackingphase besteht. Die Initialisierungsphase ist vor dem Tracking notwendig sowie wenn der Trackingalgorithmus das Instrument verliert. In dieser Phase ruht der Roboter und somit auch das Endoskop. Das Instrument kann nun leicht im Bild segmentiert werden, sobald es sich vor dem nahezu statischen Hintergrund bewegt. Sind g¨ ultige Lagehypothesen enthalten, so werden diese an die Trackingphase u ¨bergeben. In der Trackingphase kommt der Condensation-Partikelfilter zum Einsatz [7]. Die Grundidee ist, den Zustand eines dynamischen Systems (in diesem Fall die sich u andernde Lage des Instrumentes) mit Hilfe einer allgemeinen ¨ ber die Zeit ¨ Wahrscheinlichkeitsdichte zu beschreiben. Da dies analytisch schwer berechenbar ist, wird die Wahrscheinlichkeitsdichte mit Hilfe von gewichteten Partikeln diskretisiert. F¨ ur diese Partikel ist in jedem Zeitschritt (etwa 25 pro Sekunde) eine Neuverteilung, Vorhersage und eine Neugewichtung notwendig, weil die Wahrscheinlichkeitsdichte sich u andern kann. Falls der beste Par¨ber die Zeit ¨ tikel ein gewisses Mindestgewicht unterschreitet, ist im n¨achsten Zeitschritt die Initialisierungsphase erneut durchzuf¨ uhren. Ansonsten wird die Position der Instrumentenspitze f¨ ur die Robotersteuerung ermittelt.
416
M.E. Rilk, S. Winkelbach und F.M. Wahl
Die Neuverteilung ist vergleichbar mit dem Evolutionsprinzip. Gute Partikel (mit einem hohen Gewicht) erzeugen viele Nachkommen und schlechte Partikel wenige bzw. gar keine. Die alten Partikel werden danach verworfen, um die Anzahl der Partikel in jedem Zeitschritt konstant (bei N = 1000) zu halten. Hierf¨ ur haben wir direkt den Algorithmus implementiert, der auch in [7] vorgeschlagen wurde. F¨ ur die Vorhersage der neuen Partikelpositionen haben wir ein einfaches Bewegungsmodell gew¨ ahlt. Der j-te Partikel sj,t = sj,t−1 + wj,t in Zeitschritt t ergibt sich aus dem j-ten Partikel in Zeitschritt t − 1 und dem normalverteilten Zufallsvektor wj,t . Dabei sind in der Implementierung die Streuungen (r, r, r, 5◦ , 3◦ ) gew¨ ahlt worden, wobei r dem Radius des Instrumentes entspricht. Nach der Vorhersage erfolgt jetzt eine Neugewichtung der Partikel mit Hilfe einer Qualit¨ atsfunktion. Hierf¨ ur wird f¨ ur jeden Partikel die Silhouette des Zylindermodells im Endoskopbild durch ein Viereck approximiert. Entlang des Vierecks wird an den M Messpunkten, die einen konstanten Abstand voneinander haben, die ¨ Ubereinstimmung mit dem Endoskopbild mittels Gradient Direction Matching (GDM) [8] gepr¨ uft. Bei GDM bestimmt man den durchschnittlichen Fehlerwinkel θ¯ zwischen den Normalenvektoren der Silhouette und den Gradienten des Bildes an den jeweiligen Messpunkten. Mit Hilfe von Normalverteilungen kann nun die Qualit¨ atsfunktion θ¯2 λ2 p(z|x) = k exp − 2 exp − 2 (1) 2σθ¯ 2σλ definiert werden, wobei k ein Normalisierungsfaktor ist und σθ¯ = 0.14 sowie σλ = 0.4 experimentell bestimmt wurden. Wir haben zu dem eigentlichen GDM ugt. Dieser ist notwenden Korrekturterm λ = (Mmax − M ) / Mmax hinzugef¨ dig, da aufgrund des einfachen Viereckmodells Lagehypothesen, die entlang der medialen Achse in Richtung Instrumentenende verschoben sind, die gleiche Gewichtung bek¨ amen oder sogar pr¨ aferiert w¨ urden. F¨ ur die Positionsbestimmung k¨ onnte man einfach den translatorischen Teil ochsten Gewicht πj nehmen. Dies T (sj ) = (xj , yj , zj ) des Partikels sj mit dem h¨ w¨ urde allerdings zu starken Fluktuationen der Positionswerte f¨ uhren, weshalb wir eine Mittelung u ¨ ber alle gewichteten Partikel verwendet haben: 1 (x, y, z) = N i=1
N
πi
πi T (si ) .
(2)
i=1
Dies l¨ asst sich noch leicht und effizient erweitern, indem man mit Hilfe des kmeans-Clustering die Partikel zuvor gruppiert. Dadurch kann man auch eine h¨ ohere Robustheit bei Verwendung mehrerer Instrumente erreichen.
3
Ergebnisse
Die Ergebnisse einer der verwendeten Videosequenzen sind in Abb. 1 dargestellt (siehe auch www.cs.tu-bs.de/rob/mri). Es hat sich gezeigt, dass die Genauigkeit
Partikelfilter-basiertes Tracking chirurgischer Instrumente in Endoskopbildern
417
Abweichung in Pixel
Abb. 1. Testvideo mit einer Au߬ osung von 360x288 Pixel und einer durchschnittlichen Breite des Instrumentes von 20 Pixel: (oben) Frame 20, 80, 140 und 200 von links nach rechts, (unten) Darstellung des Fehlers entlang (du) und orthogonal (dv) zur medialen Achse des Instrumentes in Pixel.
60 40 du
20
dv
0 -20 0
20
40
60
80
100
120
140
160
180
200
Frame #
orthogonal zur medialen Achse des Instrumentes und die Orientierung sehr gut f¨ ur die Robotersteuerung geeignet sind. Lediglich die Varianz des Fehlers entlang der medialen Achse ist noch etwas zu stark. Hier besteht jedoch die M¨oglichkeit in einem separaten Verfahren die L¨ osung entlang der Achse durch eine eindimensionale Suche noch entscheidend zu verbessern. In Tabelle 1 sind die Versuchsergebnisse am Roboter dargestellt (Durchmesser der Instrumente etwa 3.5 mm). Hier zeigt sich, dass die Tiefeninformation gegen¨ uber den anderen Richtungen ungenau, aber noch durchaus brauchbar ist, und dass die Genauigkeit der Position aufgrund der Tr¨ agheit der Partikel abh¨angig von der Geschwindigkeit des Instrumentes im Bild ist. Die Nachzieheffekte sind allerdings durchaus erw¨ unscht, damit die Bewegungen des Roboters nicht zu ruckartig werden. Die Analyse der Robustheit hat sehr positive Ergebnisse geliefert. Das Instrument konnte in Sequenzen mit teilweise u ¨ ber 2000 Bildern erfolgreich verfolgt werden. Nur bei sehr schnellen ruckartigen Bewegungen ist das Instrument komplett verloren gegangen, so dass eine erneute Initialisierungsphase n¨otig geworden ist.
4
Diskussion und Ausblick
Da die Instrumentenspitze nur ungef¨ ahr in der Bildmitte zu halten ist, bedarf es keiner sehr hohen Genauigkeit. Entscheidender ist, dass die Erkennung robust und stabil u ¨ ber lange Zeit hinweg erfolgt und ein Verlust des Instrumentes sofort erkannt wird. Das vorgestellte Verfahren liefert unter diesen Gesichtspunkten gute Ergebnisse, wobei die Genauigkeit entlang der medialen Achse noch zu verbessern ist. Das verwendete 3d-Zylindermodell ist eine gute Approximation
418
M.E. Rilk, S. Winkelbach und F.M. Wahl
Tabelle 1. Ungenauigkeit der 3d-Position bzgl. des Koordinatensystems der Kamera in mm f¨ ur verschiedene Geschwindigkeiten des Instrumentes.
Maximum Durchschnitt Std.-Abweichung
dx 5.98 1.78 1.13
10 mm/s 40 mm/s 160 mm/s dy dz dx dy dz dx dy dz 5.53 13.28 17.19 15.20 15.03 17.51 19.03 26.92 1.04 8.46 3.39 2.87 9.05 4.45 3.58 10.23 0.92 2.02 3.65 2.92 2.73 4.36 3.47 3.94
der meisten Instrumente. In einigen F¨ allen k¨ onnte aber eine Modellierung mit Hilfe von B-Splines (z.B. f¨ ur gekr¨ ummte Instrumente) sinnvoller sein. Zudem ist die verwendete Positionsvorhersage noch sehr einfach und kann voraussichtlich mit Hilfe einer stochastischen a priori Analyse der Instrumentenbewegungen in realen Operationen verbessert werden. Ebenfalls Gegenstand weiterer Untersuchungen ist die Verwendung von Motion Flow zum Finden und Bewerten von Hypothesen. Insgesamt ist das Verfahren ¨ außerst erfolgsversprechend und bietet hohes Potential f¨ ur den klinischen Einsatz.
Literaturverzeichnis 1. Wei GQ, Arbter K, Hirzinger G. Automatic Tracking of Laparoscopic Instruments by Color Coding. Lecture Notes in Computer Science 1997;1205:357–366. 2. Zhang X, Payandeh S. Application of Visual Tracking for Robot-Assisted Laparoscopic Surgery. Journal of Robotic Systems 2002;19(7):315–328. 3. Matthes J, Gr¨ oll L, J¨ akel J. Optimale F¨ uhrung von Endoskopen mit redundanter Kinematik. Automatisierungstechnik 2001;49(4):168–176. 4. Boisvert J, Cheriet F, Grimard G. Segmentation of Laparoscopic Images for Computer Assisted Surgery. In: 13th Scandinavian Conference on Image Analysis; 2003. p. 587–594. 5. Uecker DR, Lee C, Wang YF, Wang Y. Automated Instrument Tracking in Robotically-Assisted Laparoscopic Surgery. Journal of Image Guided Surgery 308325;1(6):1995. 6. Climent J, Mar´es P. Automatic Instrument Localization in Laparoscopic Surgery. Electronic Letters on Computer Vision and Image Analysis 2004;4(1):21–31. 7. Isard M, Blake A. CONDENSATION – Conditional Density Propagation for Visual Tracking. International Journal of Computer Vision 1998;29(1):5–28. 8. Lichtenauer J, Reinders MJT, Hendriks EA. Influence of the Observation Likelihood Function on Particle Filtering Performance in Tracking Applications. In: International Conf. on Automatic Face and Gesture Recognition; 2004. p. 767–772.
Fully Automatic Endoscope Calibration for Intraoperative Use Christian Wengert, Mireille Reeff, Philippe C. Cattin and G´ abor Sz´ekely Computer Vision Laboratory, ETH Zurich, 8092 Zurich, Switzerland {wengert,reeff,cattin,szekely}@vision.ee.ethz.ch
Abstract. As of today endoscopes have been only used as a keyhole to look inside the human body. Our goal is to enhance the endoscope to a full imaging device providing better quantitative and qualitative data. Possible applications for such an enhanced endoscope are referencing, navigation and 3D visualization during endoscopic surgery. To obtain accurate results, a reliable and fully automatic calibration method for the endoscopic camera has been developed which can be used within the operating room (OR). Special care has been taken to ensure robustness against inevitable distortions and inhomogeneous illumination.
1
Introduction
Real-time quantitative measurements and 3D visualization during endoscopic surgery can provide the clinician with valuable additional information. Such an enhanced endoscope allows for endoscopic navigation and referencing, updating preoperative models, visual augmentation, and finally better depth perception for the surgeon, as structures on the border of the image are no longer distorted. For all of these applications it is essential to perform a pre- or even intraoperative camera calibration to obtain accurate and reliable results. This is more challenging inside the OR as under usual laboratory conditions, as the sterilization should not be affected and the required time has to be minimal. The main difficulties are the inhomogeneous illumination and the severe lens and projective distortion due to the wide-angle optics. Depending on the kind of surgery, endoscopes are either used in liquid or in air which has also to be taken into account during calibration, as the intrinsic parameters such as the focal length vary in different mediums.
2
State of the Art
Several generic camera calibration methods have been reported in the literature, but one of the most commonly used is the implementation of [1] using the camera model of Heikkil¨a [2]. It is based on extracting the corners of a chessboard and matching these 2D image points to the corresponding 3D points of the chessboard. Although being straightforward, it needs some experience and time to
420
C. Wengert et al.
get reasonable calibration results, especially with highly distorted endoscopic optics. Other authors [3, 4] studied endoscope calibration, but there was neither an improvement on the accuracy compared to [2] nor did they explicitly address the usage inside the OR. [5] used a ”center dot”to determine the orientation of the dot grid. The center dot detection is based on the relative radius (classification in large dots vs. small dots), which could be problematic in the presence of severe distortions.
3
Methods
Several aspects of performing camera calibration in the OR are crucial and have been largely ignored in the literature. Preserving the sterility, the ease of use, inhomogeneous illumination conditions and the generally very severe lens distortion need to be investigated carefully and taken properly into consideration to guarantee a successful application in the OR. A typical image is illustrated in Figure 1, where the inhomogeneous illumination and the lens distortion can be seen. Instead of the commonly used chessboard we designed a new pattern consisting of a grid of dots and two special marks for identifying the local coordinate system. The grid is made of aluminum and the pattern is oxidized onto its surface, thus withstanding any sterilization method. Additionally, we built a sterilizable mechanical system to position the endoscope rigidly over the calibration plate for tremor-free images (only needed for interlaced cameras). The procedure for calibrating the system is straightforward: The surgeon needs to take at least 2 images, although 15 images are recommended, of the calibration grid from different viewpoints. Except the endoscope’s light source, no additional illumination is required. Once the images are acquired, the calibration is performed fully automatically. The images are processed, the points extracted and matched against a virtual representation of the grid points to establish the necessary 2D/3D correspondences, which allow to calibrate the camera using the camera model from Heikkil¨a. 3.1
Hardware
The hardware used for testing our framework consists of two different optics: A nearly distortion-free 10 mm/25◦ and a highly distorted 3.8 mm/12◦ laparoscope. Both were used together with a progressive scan IEEE1394 color camera with a resolution of 640x480 pixels and a 2/3”CMOS chip. A C-Mount adapter allows to connect the optics to the camera. A 250W medical light source for endoscopes was used for illuminating the grid. 3.2
Algorithm
After denoising the image with a 3 × 3-median filter, we use a low-pass filter to determine a local threshold for each pixel. This allows to cope with the varying illumination and to extract a maximum number of dots. From the binary image,
Fully Automatic Endoscope Calibration for Intraoperative Use
421
Fig. 1. Algorithm outline, starting from the raw image (note the two orientation marks on the left)
all blobs are extracted using connected component labelling. Each blob is then characterized with statistical and geometric properties such as its ellipticity, solidity, area, and the center of gravity, serving as the grid point location. The solidity is defined as the ratio of a blob’s area and the area of its convex hull, whereas the ellipticity is the ratio of its major and minor axis length. In a first stage all unusable blobs with a solidity less than 0.80 and the very small blobs, caused by image noise, are eliminated. Next, the two special marks are recognized, as their ellipticity is larger than 2, whereas normal dots have an ellipticity close to 1. The area difference of the two marks allows us to discriminate between the larger (origin of the local coordinate system) and the smaller mark. The orientation of the special marks gives us two directions to start searching for adjacent points. By assuming that the local lens distortion is small from one grid point to the other, we adapt the search direction and radius after every matched grid point. The new search radius is defined by rn+1 = → → x n−1 and the new search direction for finding the next point 1.2 × − xn − − → − → → → → → xn − − x n−1 )/− xn − − x n−1 where − x n are the image is defined as d n+1 = (− → − coordinates of the grid point at step n. If a point x n+1 is within a distance → − → → of rn+1 and the angle between − x n+1 − − x n and d n+1 is smaller than 25◦ , this point is matched. Otherwise the search procedure in this direction is stopped. For low distortion optics, the correspondence establishment can be greatly speeded up once 4 non-collinear points have been matched. The image coordinates of these matched points can then be used to calculate a projective transformation between the points and the their grid coordinates. The missing correspondences can then be very efficiently established using this transformation. Once all correspondences have been found, we compute a final projective transformation between all matched point pairs. The residual error allows then to eliminate images where the correspondence establishment failed. Even for severely distorted images, the error of a wrongly matched image is at least one order of magnitude higher than for a correctly matched one. Finally, the camera’s intrinsic parameters are computed from these matches using Heikkil¨ a’s model. In order to refine the calibration we eliminate points having a backprojection error of more than one pixel and recalibrate with the new set of points.
422
4
C. Wengert et al.
Results
We performed 20 calibrations for each endoscope with 15 images each and reached a steady mean backprojection error of 0.25 pixels with a standard deviation of 0.1 pixels for the 10 mm optics. The 3.8 mm optic with the high lens distortion performs slightly inferior with a backprojection error of 0.35 ± 0.1 pixels. Using an additional external light source, the registration error could be slightly improved to 0.2 ± 0.1 pixels for the 10 mm laparoscope. The influence of a different medium other than air has also been investigated. As expected, the intrinsic parameters change. However, the backprojection error for the camera calibration in water were in the same range as those in air. The processing time for extracting the points and establishing the correspondences is less than one second per image. Thus, the actual time needed for calibrating mainly depends on the time required to grab the calibration images. With a progressive scan camera, the images can be made dynamically and the surgeon only has to take several shots of the calibration grid requiering less than 1 minute. In case of an interlaced camera, the endoscope has to be static for every shot and repositioned afterwards, which generally takes around 3 minutes. In comparison, the 3.8 mm laparoscope has been calibrated by hand using a chessboard and the standard calibration toolbox [1]. The best backprojection errors where more than 0.5 pixels and one calibration took roughly one hour, as all the corner points had to be extracted manually. 4.1
External Tracking
If an external tracking device is used to report the camera’s position and orientation, we need to compute the transformation between the world coordinate system of the tracking device and the camera’s internal coordinate system lying on the image plane. We attached an active infrared marker with a diameter of 50mm to the endoscope which has been tracked using an EasyTrack 500 from Atracsys LLC. In order to find the relationship between the tracker, resp. the marker and the camera, we propose an add-on to our calibration framework which allows to establish the missing relationship in a second step based on the camera calibration. The latter allows to compute the camera pose in the grid’s local coordinate system which is defined by the two special marks. We can establish an equation of the type A · X = X · B where X is the transformation between the marker and the camera, A is the movement of the marker relative to the tracking device and B is the camera motion relative to the calibration grid frame. A similar problem exists in the robotics community, where the calibration between a robot’s end-effector and a camera attached to it is known as Hand-Eye calibration [6, 7, 8, 9]. The Hand-Eye calibration was performed using [6] and the error has been measured by backprojecting the 3D grid points computed in the tracker coordinate system. In our setup the marker was positioned 150 mm from the tip of the endoscope. This resulted in a backprojection error of 3 ± 1 pixels. The backprojection error depends from the distance between the tool center point (TCP)
Fully Automatic Endoscope Calibration for Intraoperative Use
423
and the marker and the size of the marker itself. As has been shown in [10], the rotational error of the tracker measurements defined by the marker size has a much bigger influence on the backprojection error compared to the translational error. In addition, the error linearly depends on the distance of the marker to the TCP.
5
Conclusion
We propose a fast, reliable and completely automatic endoscope calibration system for in-OR use, which can also be used in different mediums other than air. This allows to remove the lens distortion in order to quantitatively analyze and process endoscopic images. The precision we achieved is better and the process is much faster than doing it manually. With our method, the endoscope can be calibrated before or even during the surgery and neither an engineer nor a technician needs to be present, thus allowing to use an ”enhanced”endoscope inside the OR. The system has been tested under lab conditions and inside the OR showing equally good performance. Acknowledgment. This research has been supported by the NCCR CO-ME of the Swiss National Science Foundation.
References 1. Bouguet JY. Camera Calibration Toolbox for Matlab. Internet: www.vision.caltech.edu/bouguetj, last visit: 08.12.2005. Available from: www.vision.caltech.edu/bouguetj/calib doc/ 2. Heikkil¨ a J, Silven O. A Four-step Camera Calibration Procedure with Implicit Image Correction. In: Conference on Computer Vision and Pattern Recognition. IEEE Computer Society; 1997. p. 1106. 3. Zhang ZY. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations. In: International Conference on Computer Vision; 1999. p. 666–673. 4. Zhang C, et al. Nonlinear distortion correction in endoscopic video images. In: International Conference on Image Processing; 2000. p. 439–442. 5. Shahidi R, et al. Implementation, calibration and accuracy testing of an imageenhanced endoscopy system. IEEE Trans Med Imaging 2002;21(12). 6. Tsai RY, Lenz RK. A New Technique for Fully Autonomous and Efficient 3D Robotics Hand Eye Calibration. IEEE Transactions on Robotics and Automation 1989. 7. Daniilidis K. Hand-Eye Calibration Using Dual Quaternions. International Journal of Robotics Research 1999;18(3):286–298. 8. Chou JCK, et al. Quaternions Approach to Solve the Kinematic Equation of Rotation of a Sensor-Mounted Robotic Manipulator. In: IEEE International Conference on Robotics and Proceedings Automation. vol. 2; 1988. p. 656–662. 9. Park FC, et al. Robot Sensor Calibration: Solving AX=XB on the Euclidean group. IEEE Transactions on Robotics and Automation 1994;10(5):717–721. 10. Bianchi G, Wengert C, et al. Camera-Marker Alignment Framework and Comparison with Hand-Eye Calibration for Augmented Reality Applications. In: IEEE and ACM International Symposium on Mixed and Augmented Reality; 2005.
Camera Calibration from Fiberscopic Views with Accuracy Evaluation Stephan Rupp1 , Christian Winter1,2 and Thomas Wittenberg1 1
2
Fraunhofer-Institute IIS, Erlangen Chair of Information Technologies, University of Erlangen-Nuremberg, Erlangen Email:
[email protected]
Abstract. In many medical applications glass-fiber endoscopes are used to acquire images from complex hollows for diagnostic and interventional purposes. For a complete exploration and understanding of an antrum, a 3-D model of the scene might be desirable or yet necessary. In order to perform a 3-D reconstruction, in most cases a calibration of the imaging system is required. In this paper we apply an adaptive raster reduction algorithm and an interpolation technique in order to eliminate the typical comb structure of fiberscopes enabling the appliance of common camera calibration techniques. Moreover we present a model of the fiberscopic transmission line in order to synthetize fiberscopic images from rigid endoscope images enabling an evaluation of the calibration results with respect to the comb structure removal approaches.
1
Problem Statement
Modern techniques for medical diagnostic and therapy in keyhole-surgery scenarios make use of flexible endoscopes. Their characteristic bendable image conductor consists of a very limited number of coated fibers which lead to the so called comb structure. When performing 3-D reconstruction from images, a calibration of the optical system is necessary which is usually performed by observing a special calibration object and extracting the image coordinates of projected calibration marks with high accuracy. When utilizing fiberscopes, the image conductor introduces a disturbing comb structure to the images that anticipate a robust reference point extraction that is required for a calibration.
2
Related Work and Contribution
Camera calibration has been studied intensivley in the past years, starting in the photogrammetry community and more recently in computer vision including accuracy evaluations for off-the-shelf cameras [1, 2, 3]. However, practically no camera calibration from fiberscopic views exists in literature nor any publications covering the impact of the comb structure removal on the calibration result.
Camera Calibration from Fiberscopic Views with Accuracy Evaluation
425
Fig. 1. Zoomed image regions exhibit the performance of the rendered approximation: A synthesized fiberscopic view (a) in comparison to a real fiberscopic image (c) along with the filtered versions (b, d) after removing the comb structure.
(a)
(b)
(c)
(d)
In this work we enable the appliance of common camera calibration techniques to fiberscopes by applying an adaptive reconstruction algorithm as proposed by Winter et al. [4] and an interpolation scheme for eliminating the typical comb structure. Moreover, we enable an evaluation of the calibration by modelling the fiberscopic transmission channel in order to synthesize fiberscopic images from rigid endoscopes’ images. Our contribution provides the opportunity to quantify the influence of fiberscopic images on the calibration process and make an estimation regarding the over-all performance of a 3-D reconstruction computed from fiberscopic images.
3
Methods
When using fiberscopes in combination with cameras, a crude sub-sampling is made on the tip of the fiberscope, while an over-sampling takes place where the fiber-transmitted image is digitized (fig. 1(c)). This reveals a problem when trying to quantizise the performance of a calibration. Since we can only access the resampled image at the proximal end of the transmission line, we have no possibility to relate it to the unaffected image in front of the fiberscope’s tip – in other words, we do not have any access to a ground truth and therefore no possibility to rate the performance of the calibration. To approach this problem, we model the transmission and synthesize images originating from rigid endoscopes. By calibrating the rigid endoscope with its own images followed by a calibration of the same system with synthesized and filtered images, we gain access to a performance measurement of the calibration process. 3.1
Modelling the Image Conductor
The image transmission by a bundle of glass fibers is modelled in a five step process: At first, a white image of a glass fiber endoscope is needed in order to extract the fiber centers from the image. This is done by applying adaptive
426
S. Rupp, C. Winter and T. Wittenberg
thresholding technique along with a distance transform and a morphologic filtering. Once the fiber centers have been located, a delaunay triangulation is performed providing a regular triangle mesh. From the triangulation, the dual graph, the voronoi net, is taken to approximate the cladding of the real glass fibers. With this tesselation artifical glass fiber images can be synthesized for an abitrary image I. Let I(x, y) denote the pixel intensity at (x, y) in the arbitrary image and S the synthesized, fiberscopic image. Since a single fiber only transmits one intensity information, all the intensities of the pixels within a voronoi cell C are collected and related to the fiber’s capacity Icap (C), thus yielding the intensity information I(C) that is transmitted: I(C) =
1 I(x, y) . Icap (C)
(1)
(x,y)∈C
Here, the fiber’s capacity is defined as the maximum intensity that the cell C can transmit, that is the maximum intensity Imax cumulated over all the pixels within the cell: Imax . (2) Icap (C) = (x,y)∈C
According to the far field intensity distribution of a real index glass fiber [5], the intensity I(C) associated to the cell C is weightened with an adaptive 2-D gaussian distribution, positioned at the fiber’s center (cx , cy ): SC (x, y) = I(C) exp(−
(x − cx )2 + (y − cy )2 ) ∀ (x, y) ∈ C σ2
(3)
This procedure is performed for every voronoi cell yielding an artifical fiberscopic image S of the image I exhibiting the typical honeycomb structure (fig. 1(a)). When dealing with endoscopic images, a global shading effect is observable being due to the non-uniform illumination source at the endoscope’s tip [6]. This shading is modelled to be Gaussian across the whole image. 3.2
Comb Structure Removal
To eliminate the comb structure an adaptive filtering approach is applied. Based on the spectrum of the image, the Nyquist-Shannon Sampling Theorem is applied to obtain optimal parameters for the generation of a band-rejecting mask [4]. Additionally, we compare the results with a second, non-adaptive interpolation method. This makes use of the delaunay mesh containing the fibers’ centers and performs an interpolation based on homogenous barycentric coordinates: I(p) = b0 I(c0 ) + b1 I(c1 ) + b2 I(c2 )
with
b0 + b1 + b2 = 1
(4)
i, j, k = 0 . . . 2 i = j, i = k, j = k
(5)
and bi =
Acj ,p,ck ||(cj − p) × (ck − p)|| = Ac0 ,c1 ,c2 ||(c1 − c0 ) × (c2 − c0 )||
Camera Calibration from Fiberscopic Views with Accuracy Evaluation
427
The intensity I(p) at a pixel p = (x, y) is calculated from the weighted sum of the intensities at the fiber centers I(c0 ), I(c1 ), I(c2 ) of the circumscribed triangle. The barycentric coordinate bi is defined by the ratio of the area of a subtriangle (cj , p, ck ) and the area of the circumscribed triangle (c0 , c1 , c2 ). 3.3
Calibration
The characteristics of the imaging system are determined by the well-known calibration technique by Zhang [1] modelling the relationship between the 2-D ˜ which pixel coordinates and 3-D world coordinates by a projection matrix P, 3 2 maps points from the projection space P to the projective plane P : ⎛ ⎞⎛ ⎞ αu 0 u0 1000 Rw tw ˜ ⎝ ⎝ ⎠ ⎠ 0 αv v0 0100 P = λw 0T 1 0 0 1 0 0 1 0 3 Dw A
The 3 × 3 matrix A, whose four entries are called intrinsic parameters model the imaging process whereas the 4 × 4 displacement matrix Dw describes the external orientation of the camera (extrinsic parameters).
4
Experiments and Results
For an accuracy evaluation, we calibrate several rigid endoscopes of different diameters and manufacturers. For any given endoscope we record F = 10 images of a 8-by-6 checkerboard (N = 48 calibration marks) from different directions and determine the back-projection error being defined by: ⎞⎛ -⎛ ⎞ Xij N F u - ij ⎟⎜ ˜ · ⎜ Yij ⎟⎝ vij ⎠ − P ij , ij = (6) = ⎝ Zij ⎠- 1 i=1 j=1 1 -2 The back-projection error of a single calibration feature ij is defined by the Euclidean distance between its initially extracted image coordinates (uij , vij ) and the corresponding 3-D world coordinates (Xij , Yij , Zij ) being projected back ˜ The sum of all these to the image plane with the calibrated projection matrix P. errors yields an appropriate measure for the quality of the calibration [1]. In a further step, we synthesize fiberscopic images from the acquired images and apply the adaptive filtering method as well as the barycentric interpolation for the removal of the comb structure that is followed by a calibration. The results for an exemplary rigid endoscope with a diameter of 10.0mm and a viewing angle of 70◦ are depicted in table 1. The results exhibit that a camera calibration from fiberscopic views is basically feasible and that the back-projection error is in principle four to five times as high as in the non-fiberscopic case as expected due to the corresponding subsampling factor between the fibers’ and sensor resolution. With respect to the
428
S. Rupp, C. Winter and T. Wittenberg
Table 1. The performance of the back-projection error for a calibration from synthesized, fiberscopic images. The unit of the error is in pixel whereas the bracketed values determine the error related to a standardized image dimension of 640x480 pixel. Image Number Rigid Endoscope 1 0.4197 (0.2623) 2 0.4788 (0.2993) 3 0.4347 (0.2712) 4 0.3160 (0.1975) 5 0.4906 (0.3066) 6 0.4358 (0.2723) 7 0.3904 (0.2401) 8 0.3514 (0.2197) 9 0.3270 (0.2044) 10 0.4128 (0.2580) Mean error 0.4058 (0.2536)
Adaptive Filtering 1.1703 (0.7313) 1.5511 (0.9694) 1.4938 (0.9337) 1.2232 (0.7645) 1.6628 (1.0394) 1.2456 (0.7785) 1.3318 (0.8324) 1.2200 (0.7625) 1.3219 (0.8262) 1.4484 (0.9053) 1.3669 (0.8543)
Barycentric Interpolation 1.6954 (0.9578) 1.2076 (0.7547) 1.2326 (0.7703) 1.4122 (0.8826) 1.4434 (0.9025) 1.3522 (0.8345) 1.3437 (0.8398) 3.5252 (2.2032) 1.5217 (0.9512) 2.3997 (1.4998) 1.6954 (1.0597)
algorithm the less complex interpolation method performs slightly worse than the adaptive filtering approach caused by the algorithm for the extraction of the calibration marks.
5
Discussion and Conclusion
In the proposed work, we model the transmission channel of fiberscopes in order to synthesize fiberscopic images from images obtained with rigid endoscope. We apply this model along with comb-structure removal algorithms in order to facilitate and evaluate the camera calibration from fiberscopic views. First results show that the calibration of fiberscopes is feasible and - as expected - the results perform slightly worse compared to the calibration of a rigid endoscope. This insight of well functional calibration environments hopefully helps to push many medical applications requiring the flexibility of fiberscopes. Acknowledgement. This work was supported by the German Research Foundation (DFG) in the context of Graduiertenkolleg 244 and SFB 603 (TP A7).
References 1. Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000;22(11):1330–1334. 2. Heikkil¨ a J. Geometric Camera Calibration Using Circular Control Points. IEEE Transactions on Pattern Analysis and Machine Intelligence 2000;22(10):1066 – 1077. 3. Tsai RY. A Versatile Camera Calibration Technique for High-Accuaricy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. IEEE Transactions on Robotics and Automation 1987;4:323 – 344. 4. Winter C, et al. Automatic adaptive removal of fiberscopic comb-structure by spectral masking. Computer Assisted Radiology and Surgery 2005;. 5. Young M. Optics And Lasers. Springer, Heidelberg; 2000. 6. Relling J, et al. Technische Endoskopie. Expert, Malmsheim; 2001.
Aufl¨ osungssteigerung von fiberskopischen Bildsequenzen im Ortsraum Christian Winter1,2 , Sandra Weisensel2 , Stephan Rupp2 und Thomas Wittenberg2 1
2
Lehrstuhl f¨ ur Informationstechnik, Erlangen Fraunhofer-Institut f¨ ur Integrierte Schaltungen IIS, Erlangen Email:
[email protected]
Zusammenfassung. Die visuelle Begutachtung spielt eine wichtige Rolle in der medizinischen Diagnose und Therapie. F¨ ur schwierige Zug¨ ange werden Endoskope mit flexiblem Bildleiter (sog. Fiberskope) eingesetzt, die jedoch auf Grund der Faserstruktur eine schlechte Aufl¨ osung gegen¨ uber linsenstarren Modellen aufweisen. Unter dem Begriff Super Resolution“ existieren in der Bildverarbeitung verschiede” ne Ans¨ atze, um die Aufl¨ osung von bewegten Bildsequenzen zu erh¨ ohen. Die vorliegende Arbeit besch¨ aftigt sich mit der Lokalisierung der unregelm¨ aßig verteilten Faserzentren und der Aufl¨ osungssteigerung f¨ ur den Anwendungsbereich der flexiblen Endoskopie. Visuelle Ergebnisse belegen einen deutlischen Fortschritt durch die vorgestellte Methode.
1
Problemstellung
Ohne den bildgebenden Einsatz von Endoskopen w¨aren heute viele Anwendungen der medizinischen Diagnostik, Behandlung und Forschung undenkbar. Die derzeitige Pr¨ aferenz f¨ ur linsenoptische Systeme wird u.a. mit deren hoher Bildqualit¨ at begr¨ undet. Wo ein im wortw¨ ortlichen Sinne weitaus flexiblerer“ Einsatz ” gefordert ist (kleiner, schwieriger Zugang) muss auf hochwertige halbstarre oder biegsame Endoskope (Fiberskope) zur¨ uckgegriffen werden. Bislang behindert vor allem die schlechte Aufl¨ osung der u undel mit ca. ¨ bertragenen Bilddaten (Bildb¨ 5k - 10k Einzelfasern) und die architekturbedingte Wabenstruktur (s. Abb. 1) einen ad¨ aquaten Einsatz solcher Ger¨ ate. Der vorliegende Beitrag u ¨ berwindet mit Verfahren der Aufl¨osungssteigerung ” f¨ ur bewegte Bildsequenzen“ (Super Resolution) die Informationsgrenze, deren Kalkulation sich bislang auf die Betrachtung von Einzelbildern bezog. Dies a¨hnelt dem Verhalten des menschlichen Auges beim Arbeiten mit Fiberskopen, wenn kleine Seitw¨ artsbewegungen genutzt werden, um einen detailreicheren Eindruck zu gewinnen. Eine derartige Aufl¨ osungssteigerung er¨offnet f¨ ur die rechnergest¨ utzte Weiterverarbeitung der Daten neue interessante Anwendungsgebiete f¨ ur die flexible Endoskopie, die bislang wegen ihrer hohen Anforderung an die Aufl¨ osung starren Endoskopen vorenthalten war.
430
C. Winter et al.
Abb. 1. Typische Abbildung einer Szene mit Schriftzug durch ein Fiberskop (links). Stark vergr¨ oßerter Ausschnitt zeigt die homogene Wabenstruktur bei Verwendung eines Glasfaser-Endoskops (rechts).
2
Stand der Forschung und Fortschritt durch den Beitrag
Aufnahmen durch Faseroptiken mit handels¨ ublichen Kameras (Aufl¨osung VGA bzw. PAL: ≥ 300.000 Bildpunkte) zeigen eine st¨orende sogenannte Waben” struktur“, welche aus der Ummantelung der einzelnen (ca. 3k - 10k) Glasfasern resultiert. Sie kann passiv durch Tiefpassfilter gegl¨attet, mittels spektraler Maskierung adaptiv reduziert [1] oder fasergenau interpoliert werden [2]. Zur aktiven Steigerung der Aufl¨ osung sind sowohl mechanische Verfahren denkbar, die jedoch eine gewisse Baugr¨ oße voraussetzen [3], als auch rein optische Ans¨atze mit digitaler Bildverarbeitung. F¨ ur die zuletzt genannten muss entweder Vorwissen in die Einzelaufnahme eingebracht werden (z.B. Kantenerhaltung), oder die Informationsdifferenz mehrerer Aufnahmen aus variierenden Betrachtungsrichtungen kombiniert werden. Mit letzterem besch¨ aftigen sich f¨ ur herk¨ommliche Videosequenzen erfolgreich viele Arbeiten unter dem Sammelbegriff Super Resolution“ ” [4, 5]. Seit wenigen Jahren kennt die Literatur Ans¨atze zur Aufl¨osungssteigerung in beliebigen Gitterstrukturen [6]. Gleichwohl die Anwendung auf herk¨ommliche Videosequenzen viel versprechende Ergebnisse zeigt [7], fehlt bislang eine praktische Umsetzung f¨ ur die Aufbereitung von fiberskopischen Bildsequenzen. Gem¨ aß Borman und Stevenson [4] l¨ asst sich der dieser Arbeit zugrunde liegende Ansatz von Lertrattanapanich [6] in die Klasse der Ortsbereichsverfahren mit Interpolation aus ungleich verteilten Rastern einteilen. Die Anpassung und Optimierung dieses Verfahrens auf beliebige Gitterstrukturen der Bildinformation in der Eingangssequenz zur Gewinnung h¨oher aufgel¨oster Bildinformation bietet drei wesentliche Vorteile: (1) Zur Komposition des hoch aufl¨ osenden Gitters werden statt interpolierten Aufnahmen (bedingt durch den Aufl¨ osungsunterschied zwischen Kamera und Faserb¨ undel) explizit die Luminanzen der Faserzentren verwendet; (2) konstruktiv bedingte Unregelm¨ aßigkeiten der Wabenstruktur haben keinen negativen Einfluss auf das Ergebnis; (3) das Verfahren toleriert nicht-globale Bewegungen, wie sie insbesondere bei weitwinkligen Endoskopoptiken auftreten. Stark variierende Bewegungen in den Randbereichen m¨ ussen nicht perspektivisch modelliert werden.
Aufl¨ osungssteigerung von fiberskopischen Bildsequenzen im Ortsraum
431
Abb. 2. Ablauf der Aufl¨ osungssteigerung nach dem vorgestellten Verfahren. LR ( Low ” Resolution“) bezeichnet die niedrig aufgel¨ osten Eingangsbilder, HR (”High Resolution”) steht f¨ ur das hochaufgel¨ oste Ausgangsbild. F¨ ur die Faserlokalisation wird ein separates Referenzbild ausgewertet.
3
Methoden
Der Vorgang der Aufl¨ osungssteigerung wurde als 6-stufiges Verfahren implementiert und ist als Ablaufdiagramm in Abbildung 2 skizziert. Dabei bezeichnet LR ( Low Resolution“) die Eingangsbilder mit niedriger Aufl¨osung und HR ( High ” ” Resolution“) charakterisiert das hoch aufgel¨ oste Ausgangsbild. Details zu den einzelnen Schritten: 1. Nicht-lineare Vorverarbeitung zur Faser-Lokalisierung Zur robusten Lokalisierung der Faserzentren wird eine Referenzaufnahme durch einen Maximumskomparator von optischen Beeintr¨achtigungen wie Unsch¨ arfe und Beleuchtungsgradienten bereinigt. Dazu wird um jede Bildkoordinate (x, y) des Eingangsbildes f (x, y) ein quadratisches Fenster Ωxy mit der gesch¨atzten Kantenl¨ ange des Faserabstands betrachtet. Entspricht & & ˆ hierin ein Bildpunkt dem lokalen Maximum f & , so wird im Ausgangsbild Ωxy
g(x, y) diese Koordinate auf den definierten Maximalwert m ˆ = 0 gesetzt: & & ∀ Ωxy : g(x, y) = m, ˆ f alls (x, y) ∈ Ωxy ∪ f (x, y) = fˆ& Ωxy
M¨ ogliche Cluster von m-Werten ˆ werden anschließend noch durch morphologische Operationen auf zentrale Punkte, die Faserzentren, reduziert. 2. Bereitstellen des Delaunay-Dreiecksnetzes aus Faserzentren Die lokalisierten Faserzentren werden nach Kriterien von Delaunay trianguliert und in Form dieses geordneten Dreiecksgitters f¨ ur die folgenden Schritte als Lookup-Tabelle“ zur Verf¨ ugung gestellt. ” 3. Aufbereitung und Berechnung der lokalen Bewegungen Zwischen den Aufnahmen der fiberskopischen Bildsequenz werden die lokalen Bewegungsfelder f¨ ur kontrastreiche Merkmale mit einer iterativen Implementierung des Lucas-Kanade Trackers unter Nutzung von mehreren Aufl¨osungsstufen berechnet. F¨ ur ein subpixel-genaues Ergebnis wird das Bildmaterial im Voraus auf Basis der barizentrischen Koordinaten zwischen den Gitterpunkten des Delaunay-Netzes intrapoliert.
432
C. Winter et al.
Abb. 3. Interpolation von Ausschnitt aus Abb. 1 unter Ber¨ ucksichtigung der Bildinformationen von (a) 1 bzw. (b) 10 benachbarten Aufnahmen. Ausschnitt aus Blick in zylindrischen Hohlraum (c) und Interpolation unter Ber¨ ucksichtigung der Bildinformationen von (d) 1 und (e) 5 longitudinal verschobenen Nachbaraufnahmen.
(a)
(c)
(b)
(d)
(e)
4. Vorbereitung des HR-Gitters aus Basisbild In diesem Schritt wird ein kontinuierliches HR-Gitter vorbereitet, indem die Faserintensit¨ aten aus dem Basisbild an die entsprechenden PixelKoordinaten einer geeigneten Datenstruktur eingef¨ ugt werden. 5. Sukzessive Erweiterung des HR-Gitters mit Intensit¨atsinformation aus angrenzenden Bildern F¨ ur eine definierte Anzahl von weiteren diskreten LR-Bildern um das Basisbild herum werden nun von Stellen sicher georteter Verschiebung die Intensit¨ aten an die bewegungsinvertierte Position als St¨ utzstellen in das HRGitter eingebracht. 6. Barizentrische Interpolation Das resultierende Bild entsteht durch kartesische Abtastung des HR-Gitters mit barizentrischer Interpolation der Grauwertverteilung zwischen den enthaltenen St¨ utzstellen.
4
Ergebnisse
Die pr¨ asentierten Verfahren wurden auf unterschiedlichem Bildmaterial untersucht und verglichen. Als Einflussgr¨ oßen wurden dabei insbesondere die Anzahl der zur Aufl¨ osungssteigerung verwendeten Bilder und die unterschiedliche Struktur im Bild auf das subjektive Empfinden hin untersucht. Abbildung 3 zeigt links den vergr¨ oßerten Ausschnitt aus Abb. 1 ohne Steigerung der Aufl¨osung und rechts das HR-Ergebnis unter Ber¨ ucksichtigung der Bildinformationen in detailreichen Regionen von 10 im Subfaser-Abstand verschobenen Aufnahmen. In einer Umfrage wurde der visuelle Eindruck einer S¨attigung im Prozess der Detailanreicherung f¨ ur 10 Bildreihen protokolliert, die sukzessive aus jeweils 0, 5, 10, 15, 20 bzw. 25 benachbarten Bildern pro Basisbild generiert wurden. Weiterhin wurden von den 9 Testpersonen aus dem Bereich der Bildverarbeitung in
Aufl¨ osungssteigerung von fiberskopischen Bildsequenzen im Ortsraum
433
einem Blind-Test unsortierte Aufnahmen hinsichtlich ihrer Detailtreue in eine aufsteigende Reihenfolge gebracht. Das Ergebnis best¨atigt die deutliche Zunahme von Details (lesbare Schrift, Kanten) bei Kombination von bis zu 10 fiberskopischen Einzelaufnahmen. Weiterer Aufwand zur Steigerung der Aufl¨osung wird nur noch von deutlich weniger als 50% der Befragten als bemerkbar eingestuft. Im Zuge eines aktuellen Projektes zur Rekonstruktion von Hohlr¨aumen mit flexiblen Endoskopen konnten erste Aufnahmen einer longitudinalen Verschiebung des Endoskops innerhalb einer zylindrischen R¨ohrenwand erfolgreich mit dem vorgestellten Verfahren aufbereitet werden (siehe Abb. 3 unten).
5
Diskussion
Die vorgestellte Arbeit nutzt nicht-regul¨ are Delaunay-Dreiecks-Gitter, um nichtredundante Informationen zwischen bewegten Aufnahmen einer fiberskopischen Bildsequenz zu akkumulieren und daraus Bilder mit h¨oherer Aufl¨osung zu generieren. Der erwartete Effekt konnte durch visuelle Ergebnisse best¨atigt werden. Trotz vielversprechender Resultate m¨ ussen insbesondere die Stabilit¨at und Robustheit der eingesetzten Algorithmen zur lokalen Bewegungsdetektion untersucht werden, die sich wesentlich auf die Ergebnisse auswirken und z.B. f¨ ur medizinische Gewebestrukturen bislang keine ausreichende Genauigkeit liefern. Die Anwendung, Anpassung und Erweiterung von Verfahren zur Steigerung der Aufl¨ osung f¨ ur den Bereich der flexiblen Endoskopie er¨offnet ein weites Spektrum an Anwendungen im medizinischen und industriellen Umfeld, die bislang der starren Endoskopie vorenthalten waren. Das informationstheoretische Mo¨ dell des Bildleiters als Ubertragungskanal darf dabei neu u ¨ berdacht werden. Danksagung. Diese Arbeit wurde im Rahmen des Sonderforschungsbereichs 603 (TP A7) und dem Graduiertenkolleg 244 der DFG gef¨ordert.
Literaturverzeichnis 1. Winter C, et al. Automatic adaptive removal of fiberscopic comb-structure by spectral masking. Computer Assisted Radiology and Surgery, Amsterdam 2005. 2. Br¨ ocher B. Faseroptische Sensoren zur Prozeߨ uberwachung in der Mikrosystemtechnik. Ph.D. thesis. RWTH Aachen; 2000. 3. Ben-Ezra M, Zomet A, Nayar SK. Video super-resolution using controlled subpixel detector shifts. In: IEEE Trans Pattern Analysis and Machine Intelligence. vol. 27; 2005. p. 977–987. 4. Borman S, Stevenson R. Spatial Resolution Enhancement of Low-Resolution Image Sequences - A Comprehensive Review with Directions for Future Research. Laboratory for Image and Signal Analysis (LISA) 1998. 5. Park SC, Park MK, Kang MG. Super-resolution image reconstruction: a technical overview. IEEE Signal Processing Magazine 2003;20:21–36. 6. Lertrattanapanich S, Bose N. High Resolution Image Formation From Low Resolution Frames Using Delaunay Triangulation. IEEE Trans Image Process 2002;11:1427– 1441. 7. Farsiu S, Robinson D, Elad M, Milanfar P. Fast and Robust Multi-Frame SuperResolution. In: IEEE Trans Image Process. vol. 13; 2004. p. 1327–1344.
Konstruktion und Etablierung einer Klimakammer fu ¨ r die Untersuchung der embryonalen Herzentwicklung Stephan Baron1, G¨ ulay Orhan2 , Oliver Hornung1 , Holger Blume1 , 2 at Mesud Yelbuz2 Judith Misske , Kambiz Norozi2 , Armin Wessel2 , Talˆ 1 und Bodo Heimann 1
Mechatronik-Zentrum Hannover, Universit¨ at Hannover, Appelstraße 11, 30167 Hannover 2 Medizinische Hochschule Hannover, Kinderklinik, Abt. P¨ adiatrie III - P¨ adiatrische Kardiologie und Intensivmedizin, Carl-Neuberg-Straße 1, 30623 Hannover Email:
[email protected]
Zusammenfassung. Die Herzentwicklung ist ein sehr dynamischer Vorgang, der in einer hoch komplexen Art und Weise abl¨ auft und bei dem alle Entwicklungsschritte strikt im Einklang stehen m¨ ussen. Die einzelnen Prozesse gehen sowohl mit strukturellen als auch funktionellen Ver¨ anderungen einher. Schon kleinste, scheinbar unbedeutende Einfl¨ usse und Fehlsteuerungen k¨ onnen kritische Prozesse w¨ ahrend der Herzentstehung so st¨ oren, dass verschiedene Formen von Herzfehlbildungen resultieren. Ziel dieses Projektes ist, die Herzentwicklung in H¨ uhnerembryonen in sog. schalenlosen Kulturen“ (SK) u ¨ ber einen definierten Zeitraum ” von bis zu 145 Stunden nach Inkubation direkt live zu filmen, um kritische Ver¨ anderungen w¨ ahrend der normalen und pathologischen Herzentwicklung visualisieren und dokumentieren zu k¨ onnen. Der entstandene Aufbau stellt ein neues Verfahren zur Visualisierung der embryonalen Herzentwicklung dar.
1
Stand der Forschung
In der Vergangenheit wurden eine Reihe unterschiedlicher bildgebender Verfahren angewandt, um die komplexe embryonale Herzentwicklung in zwei bzw. drei Dimensionen zu visualisieren [1, 2]. Ziel ist es, ein besseres Verst¨andnis der zugrunde liegenden Mechanismen f¨ ur die Entstehung kongenitaler Herzdefekte w¨ahrend der embryonalen Entwicklung zu erreichen. Bislang war es aufgrund des enormen experimentellen Aufwandes nicht m¨ oglich, die Herzentwicklung u ¨ ber einen l¨ angeren Zeitraum direkt live zu filmen. F¨ ur die Durchf¨ uhrung solcher Untersuchungen ist eine Umgebung unabdingbar, in der ein Embryo lange Zeit außerhalb der Eischale u uhere Studien konn¨ berleben und sich entwickeln kann. Fr¨ ten die Entwicklungsphasen nicht u angere Periode dokumentieren, weil ¨ber eine l¨ entweder nicht schlagende bzw. tote Herzen untersucht wurden oder zwischen den Aufnahmen stundenlange Unterbrechungen notwendig waren, in denen der
Konstruktion und Etablierung einer Klimakammer
435
Abb. 1. Links: Schalenlose Kultur eines 3 Tage alten H¨ uhnerembryos in einer Petrischale. Rechts: Mikroskopaufnahme.
Embryo wieder inkubiert werden musste und dadurch viele Entwicklungsschritte nicht erfasst werden konnten. Eigene Vorversuche der in vivo-Visualisierung der Herzentwicklung mit großen Zeitabst¨ anden erlaubten keine differenzierten Diagnosen aufgrund der methodischen Einschr¨ankungen und den daraus resultierenden unzul¨ anglichen und unstabilen Versuchsbedingungen [3, 4].
2
Zielsetzung
Ziel dieses Projektes ist, hochaufl¨ osende Bildaufnahmen eines schlagenden H¨ uhnerembryo-Herzens u ¨ ber einen Zeitraum von bis zu 145 Stunden zu erm¨oglichen. Dazu ist es n¨ otig, die klimatischen Bedingungen an die Bed¨ urfnisse eines H¨ uhnerembryos in einer schalenlosen Kultur (Abb. 1) anzupassen und mit hoher Qualit¨ at dauerhaft bereitzustellen. Durch Versuchsreihen gegen¨ uber geschlossenen Eiern in einem herk¨ ommlichen Inkubator soll die schalenlose Kultur als Untersuchungsmethode etabliert werden. Eine Messwerterfassung und -speicherung soll zudem die Dokumentation der Versuchsabl¨ aufe erleichtern. Zur Visualisierung und Analyse der Herzentwicklung ist ein High-SpeedVideomikroskopsystem so in eine Klimakammer zu integrieren, dass eine st¨andige Beobachtung ohne st¨ orende Einfl¨ usse auf den Embryo erfolgen kann.
3 3.1
Aufbau und Etablierung Technik
Im Rahmen der in [5] beschriebenen Arbeit wurde eine Klimakammer (Abb. 2) entwickelt, mit der es m¨ oglich ist, vergleichbar mit einem Brutkasten dauerhaft angepasste und best¨ andige Umweltbedingungen bei einer Temperatur von ca. 38 ◦ C und einer Luftfeuchtigkeit von 50-60 % zu sichern. Hierbei wurde ein besonderes Augenmerk auf die Stabilit¨ at der Temperatur gelegt, da diese einen entscheidenden Einfluss auf die Entwicklung des Embryos hat. Durch den Einsatz
436
S. Baron et al.
Abb. 2. Links: Das verwendete Videomikroskop-System Pulnix TM-6710 CL. Rechts: Klimakammer mit integrierter Kamera.
eines kontinuierlichen Reglers ist es m¨ oglich die durchschnittliche Abweichung u ¨ ber einen Zeitraum von mehreren Tagen unter ± 0,2 ◦ C zu halten (Abb. 3). Eine gen¨ ugend hohe Luftfeuchtigkeit verhindert ein Austrocknen des schalenlosen H¨ uhnereis. Zus¨ atzlich wird der Sauerstoffgehalt im Innern der Kammer gemessen und eine ausreichende Versorgung wird durch einen großz¨ ugigen Luftaustausch mit der Umgebung realisiert. Eine sp¨ atere Weiterentwicklung soll auch die Regelung des Luftsauerstoffgehaltes erm¨ oglichen. Um die Best¨ andigkeit der Umweltverh¨ altnisse zu gew¨ahrleisten, wurden moderne Komponenten eingesetzt. Die Temperatur und Luftfeuchte werden mit kalibrierten digitalen Sensoren gemessen. Als W¨arme¨ ubertrager kommen Peltierelemente mit einer W¨ armeleistung von ca. 200 Watt zum Einsatz. Die Luftfeuchte wird mittels Aerosolgewinnung u ¨ber einen Piezoschwinger erzeugt. Axialventilatoren leiten die Luft durch ein Rohrsystem, in dem die erforderlichen Klimaverh¨ altnisse erzeugt werden. Alle Sensordaten werden von einem Mikrocontrollerboard (Synertronixx GmbH, Hannover) verarbeitet. Dieses bietet durch seinen modularen Aufbau gen¨ ugend Potential f¨ ur Erweiterungen jeglicher Art und erm¨ oglicht durch ein Linux-Betriebssystem eine schnelle Anpassung an die geforderten Bed¨ urfnisse. Benutzereingaben werden u ¨ber ein Frontpanel vorgenommen. Messwertverl¨ aufe k¨ onnen u ¨ber eine Netzwerkschnittstelle auf einen PC u ¨ bertragen und archiviert werden. 3.2
Schalenlose Kultur
Um das Herz eines H¨ uhnerembryos beobachtbar zu machen, werden befruchtete H¨ uhnereier (Lohmann Tierzucht GmbH, Cuxhaven) im Alter von 72 Stunden in der Mitte aufgebrochen und mit komplettem Inhalt in hexagonale W¨ageschalen aus Styropor gegeben. Diese wird in eine Petrischale gestellt, die teilweise mit Wasser gef¨ ullt ist, somit kann die SK im Laborbereich transportiert werden.
Konstruktion und Etablierung einer Klimakammer
437
Abb. 3. Messdatenverlauf f¨ ur Temperatur ϑ und Luftfeuchte ϕ u ¨ber 7 Tage (Sollwerte ¨ sind gestrichelt dargestellt). Die Einbr¨ uche entstanden durch das Offnen der T¨ ur.
Gleichzeitig erm¨ oglicht die schalenlose Aufbewahrung einen direkten Einblick in die extra- und intraembryonale Entwicklung. 3.3
Bilddatenerfassung und -analyse
Zur Analyse der kardialen Funktion im embryonalen Herzen sollen w¨ahrend des Beobachtungszeitraumes multiple Aufnahmen der Herzaktion in relevanten Entwicklungsstadien mit einer Hochgeschwindigkeitskamera gemacht werden. Die in einem isolierenden Kunststofftubus (Abb. 2) integrierte digitale Hochgeschwindigkeitsvideokamera (Pulnix TM-6710 CL, Jai Pulnix Inc., Sunnyvale, Ca, USA) erlaubt Aufnahmen mit einer Bildrate von 120 Bildern/s. Die Videobilder der Hochgeschwindigkeitskamera werden von einem Bildverarbeitungsrechner gespeichert und k¨ onnen mit einer speziell entwickelten Software-L¨osung (HeartMetrics, Physimetrics Inc., Roswell, GA, USA und Video Savant, IO Industries Inc., London, Ontario, Ca) aufbereitet und weiterverarbeitet werden. Neben dem Herzzeitvolumen (CO) k¨ onnen auch andere kardiale Funktionsparameter wie Verk¨ urzungsfraktion des Herzdurchmessers (SF) oder die systolische Fl¨achenverkleinerung (FAC) aus markierten Landmarken errechnet werden [6]. 3.4
Etablierung
Messwertaufnahmen u ¨ ber mehrere Tagen zeigen eine ¨außerst geringe Regeldifferenz der Klimawerte (Abb. 3). Vergleichsversuche mit einem handels¨ ublichen Inkubator (BSS 420, Grumbach Brutger¨ ate GmbH, Aßlar) ergeben keine signifikanten Unterschiede in den Entwicklungsphasen nach Hamburger-Hamilton [7] der H¨ uhnerembryonen. Tab. 1 zeigt dazu die Ergebnisse eines exemplarischen Versuchsablaufs. Das vorgestellte System kann somit die schalenlose Kultur als Mittel zur Beobachtung von H¨ uhnerembryonen oder ¨ahnlichem Probenmaterial, wie z.B. Zebrafisch etablieren.
438
S. Baron et al. Tabelle 1. Vergleich Inkubator - Klimakammer inkubierte Eier
befruchtete und entwickelte Eier
20 20
18 16
Inkubator BSS 420 Klimakammer
4
Stadium entsprechend Hamburger-Hamilton (Inkubationszeit) 15.61 ± 1.35 (50-55 h) 16.38 ± 0.94 (51-56 h)
Ergebnisse und Ausblick
Die gewonnenen Bilddaten erlauben neue Einblicke in die normale und abnormale Herzentwicklung. Insbesondere fr¨ uheste Phasen der Entwicklung von Fehlbildungen des Herzens k¨ onnen mit Hilfe des entwickelten Systems u ¨ ber mehrere Tage hinweg beobachtet und ihre Auswirkungen auf die kardiale Funktion analysiert werden. Dabei ist der gesamte Versuchsaufbau sehr kompakt und einfach zu bedienen. Mit Hilfe der Klimakammer konnten bis jetzt erstmals Videosequenzen u ¨ ber einen Zeitraum von 3 Tagen aufgenommen werden. Danach wird die Sicht auf die interessierenden Bereiche durch die oberen Extremit¨atsknospen und sp¨ ater die Allantois verschlechtert. Die aktuellen Aufnahmen (Abb. 1) zeigen Strukturen, die dicht unter der Oberfl¨ ache der Ei-Membran liegen. In einem n¨achsten Schritt soll der Einbau eines Optischen Koh¨ arenz-Tomographen (OCT) erfolgen. Hiermit k¨onnen Daten in drei dimensionaler Form akquiriert werden, um die Herzentwicklung in r¨aumlicher Ausdehnung zu analysieren.
Literaturverzeichnis 1. Efimov IR, Nikolski VP, Salama G. Optical imaging of the heart. Circ Res 2004;95(1)(95(1)):21–33. 2. Yelbuz TM, Zhang X, Choma MA, et al. Approaching cardiac development in three dimensions by magnetic resonance microscopy. Circulation 2002;106(106):e154–5. 3. Yelbuz TM, Leatherbury L, Wolfe RR, et al. Time-lapse study with high speed video camera in the early embryonic chick heart to visualize a time window of normal and abnormal heart development. Circulation 2002;106(10)(106(10)):e44–5. 4. Tutarel O, Norozi K, Hornung O, et al. Cardiac failure in the chick embryo resembles heart failure in humans. Circulation 2005;112(112):e352–e353. 5. Baron Stephan. Entwicklung und Aufbau einer Klimakammer f¨ ur die Analyse der kardialen Funktion im embryonalen Herzen. Diplomarbeit, Universit¨ at Hannover, Mechatronik-Zentrum Hannover; 2004. - unver¨ offentlicht. 6. Yelbuz TM, Uribe R, Hayden S, et al. Quantitative Analyse der Ventrikel- und Myokardfunktion im fr¨ uhen embryonalen Herzen mittels eines neu entwickelten VideoMikroskop-Systems. Z Kardiol 2005;94(88):Suppl 1, V1205. 7. Hamburger V, Hamilton HL. A series of normal stages in the development of the chick embryo. J Morphol 1951;88(88):49–92.
Ultraschallsimulation fu ¨r die Ultraschall-Computertomographie Marc Weber, Nicole V. Ruiter, Gregor Schwarzenberg, Michael Zapf und Tim O. M¨ uller Institut f¨ ur Prozessdatenverarbeitung und Elektronik, Forschungszentrum Karlsruhe, 76131 Karlsruhe Email:
[email protected]
Zusammenfassung. Am Forschungszentrum Karlsruhe wird ein neuer Ultraschall-Computertomograph (USCT) entwickelt, welcher die Brustkrebsdiagnose entscheidend verbessern soll. Zielsetzung ist die Optimierung des Verfahrens und des Rekonstruktionsalgorithmus ohne Hardware¨ anderung und durch kontrollierbare Experimente ohne Phan¨ tomaufbau. Voraussetzung daf¨ ur ist die hinreichende Ubereinstimmung der Simulation mit dem realen Experiment. Unter Verwendung von Wave3000, einer kommerziellen Software zur Ultraschallsimulation, wurde in Kombination mit einem Interface die M¨ oglichkeit geschaffen die Schallausbreitung und die Interaktion mit Gewebe in der USCT-Geometrie nachzubilden. Vergleiche von Experiment und Simulation ergaben eine ¨ hohe Ubereinstimmung und auch Bildrekonstruktionen lieferten viel versprechende Ergebnisse.
1
Einleitung
Der sich in der Entwicklung befindende Ultraschall-Computertomograph (USCT) steht momentan als Testaufbau zur Verf¨ ugung. Dieser Aufbau bietet 1/3 des geplanten Sensorausbaus, der sich auf 2304 Sender und 9216 Empf¨ anger bel¨ auft. Die Sensoren sind auf Transducer-Array-Systemen (TAS) in einem Zylinder angeordnet, der mit Wasser als Koppelmedium gef¨ ullt ist (Abb. 1). Jeder TAS enth¨ alt 32 Empf¨ anger und 8 Sender, wobei der Zylinder f¨ ur sechs weitere Aufnahmepositionen durch einen Schrittmotor gedreht werden kann. Um die Entwicklung des USCT zu unterst¨ utzen, sollte die Simulation der Schallausbreitung in dieser komplexen Geometrie erm¨oglicht werden. F¨ ur diese Aufgabe kamen nur sehr wenige Programme in Frage, da die meisten, wie Field II von J.A. Jensen [1], die Interaktion des Schalls mit komplexen Objekten (z.B. Brust) nicht simulieren k¨ onnen. Mit Wave3000 stellt die Firma Cyberlogic Inc. ein ad¨ aquates Programm zur Verf¨ ugung [2]. Komplexe Objekte k¨onnen als Volumenbilder eingelesen werden und den Voxeln u ¨ber Lam´e-Konstanten die gew¨ unschten Materialeigenschaften zugewiesen werden. Die Schallausbrei¨ tung wird mit einer Finite-Differenzen-Methode berechnet. Uber diese wird die
440
M. Weber et al.
Abb. 1. Testaufbau des Ultraschall-Computertomographen [4]: Die Abbildung zeigt die um den Zylinder angeordneten Transducer-Array-Systeme.
Ableitung der Wellengleichung an einer finiten Zahl von Gitterzellen im zu simulierenden Volumen u ¨ ber Differenzen approximiert und die Differentialgleichung in eine Differenzengleichung u uhrt [3]. ¨berf¨ Da die komplexe Geometrie des USCT wegen der umst¨andlichen Bedienung und Beschr¨ ankung der Wandlerzahl nicht direkt mit Wave3000 simuliert werden konnte, musste ein Interface erstellt werden, welches die vorhandenen Geometriedaten in kompatible Simulationen u uhrt. Die Simulationsergebnisse wurden ¨ berf¨ in der Form der experimentellen Daten gespeichert, um eine direkte Weiterverarbeitung zu erm¨ oglichen. Um die Simulationsgenauigkeit zu evaluieren wurden Vergleiche von realen Experimenten und Simulationen durchgef¨ uhrt. Zus¨atzlich wurden auch k¨ unstliche Phantome simuliert und mit der verwendeten Bildrekonstruktion abgebildet.
2
Methoden
¨ Uber das erstellte Interface wird die große Zahl der Sender und Empf¨anger Kombinationen in Einzelsimulationen zu je einem Sender und max. 64 Empf¨angern zerlegt. Dazu werden die Geometriedaten der Wandler eingelesen und je eine Simulationsdatei im von Wave3000 verwendeten Dateiformat geschrieben. Die Ergebnisse jeder Einzelsimulation werden in einer vorgegebenen Verzeichnisstruktur hinterlegt. Durch die sequentielle Ausf¨ uhrung der generierten Einzelsimulationen liegt am Ende der Gesamtsimulation ein kompletter Datensatz vor. Wegen eines Speicherbedarfs von ca. 1,6 GB (2 GB RAM) f¨ ur die Simulation eines Volumens von nur 17 mm3 bei einer Mittelfrequenz des Ultraschallpulses von 3 MHz, konnte nur ein Bruchteil der Geometrie in Originalgr¨oße simuliert werden. Aus diesem Grund wurden die Simulationen in zwei Typen eingeteilt.
Ultraschallsimulation f¨ ur die Ultraschall-Computertomographie
441
Entweder wurde die Geometrie skaliert (Faktor 0,1) oder es wurde nur ein Ausschnitt der Geometrie in Originalgr¨ oße simuliert. F¨ ur die Evaluierung wurden folgende Experimente durchgef¨ uhrt: Hydrophonmessung. Eine Hydrophonmessung sollte im Vergleich mit der Simulation die m¨ oglichst genaue Nachbildung der Wandlercharakteristik sicherstellen. Dazu wurde ein Puls von einem Ultraschallwandler gesendet und ¨aquidistant an verschiedenen Positionen aufgezeichnet. Dieses reale Experiment wurde durch die Simulation nachgebildet und die Abweichung der Empfangssignale, sowie die Positionen der Maxima in der Amplitudenverteilung u ¨ ber die vorhandenen Empfangspositionen ausgewertet. Der Aufbau des Experiments ist in Abb. 2 (a) zu sehen. Eisenkugel. Mit dem Vergleich von realem Experiment und Simulation der Abbildung einer Eisenkugel sollte die korrekte Modellierung der Interaktion des Ultraschallsignals mit Objekten u uft werden. Die Eisenkugel wurde zun¨achst ¨ berpr¨ im USCT-Testaufbau vermessen und die Position aus einer Bildrekonstruktion bestimmt. Mit der bekannten Positionierung wurde eine Simulation mit gleichem Aufbau nachgebildet, welche auf eine Volumenh¨ ohe von 0,5 mm beschr¨ankt war, was jedoch keine Auswirkung auf die Empfangssignale hatte. Gemessen wurden die Laufzeiten des ausgesendeten Ultraschallpulses bei der Reflexion an der Kugeloberfl¨ ache. Nylonfaden-Phantom. Nach den Vergleichen von realen Experimenten und Simulationen wurde ein Phantom simuliert um die Sensitivit¨at des Rekonstruktionsalgorithmus zu testen, der auf der Reflexionstomographie mit synthetischer Apertur basiert. F¨ ur diesen Zweck wurden f¨ unf Nylonf¨aden verschiedener Durchmesser in die USCT-Geometrie eingebracht (0,2mm, 0,1mm und 0,05 mm, ent1 der Wellenl¨ ange). Aufgenommen wurde in einer Schicht von spricht 25 , 15 und 10 2 mm H¨ ohe mit 55 Sendepositionen, sowie 128 Empfangspositionen (Abb. 3 (a) zeigt den Versuchsaufbau mit durchnummerierten Nylonf¨aden. Im rekonstruierten Bild wurde die Pulsbreite der Maxima bei -6 dB (“full width half maximum“) bestimmt.
3
Ergebnisse
Der Vergleich der Hydrophonmessung konnte mit einer guten Nachbildung der Realit¨ at u ¨ berzeugen. Die empfangenen Pulsformen waren nahezu identisch, wobei das kurze Nachschwingen der realen Wandler unter idealisierten Bedingungen der Simulation nicht auftrat. Die Abweichung der Maximapositionen in der Amplitudenverteilung war mit maximal 4◦ und damit 7% zufriedenstellend (Abb. 2 (b)), da die Hydrophonmessung ebenfalls fehlerbehaftet war. Die Simulation hatte eine Laufzeit von ca. 3h (Pentium IV 3,2 GHz). Die Ergebnisse der Eisenkugelsimulation zeigen, dass die Simulation die Interaktion mit Objekten sehr gut modellieren kann. Bei der Messung der Laufzeiten zu den Empf¨ angern wurde eine mittlere Abweichung von 0,38 µs ± 0,24
442
M. Weber et al.
0°
Empfängerpositionen
r = 40 mm
-90°
Sender
90°
Amplitude (logarithmisch)
Abb. 2. Simulationsaufbau und Ergebnis Hydrophon: (a) Aufbau des Hydrophonexperiments. Empf¨ anger sind auf dem Halbkreis in 40 mm Abstand angeordnet. (b) Amplitudenverteilung Hydrophon – Simulation (gestrichelte Linie), Messung (durchgehende Linie).
10
10
-1
-2
-60
-40
-20
0
20
40
60
Winkel [°]
(a)
(b)
µs, was ungef¨ ahr vier Abtastpunkten bei benutzter Abtastrate von 10 MHz entspricht. Die Abweichung wurde durch die Unsicherheit bei der Positionsbestimmung der Eisenkugel und der Detektion des Pulsbeginns in den Signalen hervorgerufen. Ansonsten k¨ onnen alle Effekte der Realit¨ at, wie die auf direktem Weg u ¨ bertragenen Transmissionssignale, in der Simulation beobachtet werden. Da das Volumen bei dieser Simulation relativ groß gew¨ ahlt wurde, betrug die Laufzeit ca. 8 h. Das letzte Experiment u ¨berzeugte, dass die Simulationsergebnisse zur direkten Weiterverarbeitung durch den Rekonstruktionsalgorithmus genutzt werden k¨ onnen. Die Rekonstruktion zeigte alle f¨ unf Nylonf¨ aden (Abb. 3 (b)) und so 1 der Wellenl¨ ange konnte selbst der kleinste Nylonfaden, dessen Durchmesser 10 entsprach, abgebildet werden. Bei der Auswertung der FWHM (“full width half maximum“) ergab sich eine Pulsbreite der Nylonf¨ aden von ca. 0, 2mm, die etwas kleiner als die halbe Wellenl¨ ange ausf¨ allt. Dadurch wurde gezeigt, dass die Sensitivit¨ at des Algorithmus ausreicht, um auch sehr kleine Objekte abzubilden. Es ist allerdings auch eine Aufl¨ osungsgrenze zu erkennen, da kleine Objekte die nahe zusammen liegen nicht mehr aufgel¨ ost werden k¨ onnten. Dies soll in Zukunft durch die Weiterentwicklung des Rekonstruktionsalgorithmus verbessert werden. Diese Simulation war die komplexeste und damit auch die mit der l¨ angsten Laufzeit. Das in 110 Einzelsimulationen aufgeteilte Experiment ben¨ otigte ca. 190h.
4
Diskussion
Die durchgef¨ uhrten Experimente haben gezeigt, dass die entwickelte Simulation die Realit¨ at sehr gut nachbilden kann. Die Einschr¨ ankungen liegen dabei in der Laufzeit und dem Speicherbedarf der Simulation. Mit dem erstellten Interface
Ultraschallsimulation f¨ ur die Ultraschall-Computertomographie
443
Abb. 3. Simulationsaufbau und Rekonstruktion Nylonfaden-Phantom: (a) Aufbau der Simulation. Materialien: Wasser, Nylonf¨ aden (nummeriert). (b) Deconvolution-Bild der Rekonstruktion. Umschließender Kreis zeigt die Positionen der Wandler. x 10
-3
x 10
-3 x 10
-3
2
2
4
4
5
6
6
4
8
8
3
x [m]
x [m]
7
10
6
2
10
1
12
12
14
14
16
16
18
18
0
5
10
y [m]
(a)
15
-1 -2 -3
5 x 10
-3
10
y [m]
15 x 10
-3
(b)
k¨onnen nun komplexe Projekte in f¨ ur Wave3000 kompatible Simulationen umgewandelt und durchgef¨ uhrt werden. Nicht nachgebildet werden konnten spezielle Strukturierungen der Wandleroberfl¨ achen. Auch Reflexionen des Schalls von Grenzfl¨ achen des Simulationsvolumens waren unerw¨ unschte Nebeneffekte. Diese Einschr¨ ankungen erwiesen sich bei Kenntnis allerdings als beherrschbar. Die Simulationsumgebung soll in Zukunft zur Optimierung der UltraschallComputertomographie eingesetzt werden. Wirkliche Verbesserungsm¨oglichkeiten m¨ ussen in weiteren Arbeiten mit der Simulation erforscht werden. Erhoffte Erkenntnisse liegen in der Untersuchung von Gewebemodellen in der Simulation und deren Abbildungseigenschaften durch den Rekonstruktionsalgorithmus. Zus¨ atzlich k¨ onnen andere Anordnungen von Ultraschallwandlern simuliert werden, um eventuelle Vorteile anderer Geometrien zu untersuchen.
Literaturverzeichnis 1. Jensen JA. http://www.es.oersted.dtu.dk/staff/jaj/field/. Developer of Field II. 2. Cyberlogic. http://www.cyberlogic.org;. Developers of Wave3000. 3. Delsanto PP, Schechter RS, Mignogna RB. Connection machine simulation of ultrasonic wave propagation in materials III: The three–dimensional case. Wave Motion 1997;26(4):329–339. 4. Ruiter NV, Zapf M, Stotzka R, M¨ uller TO, Schlote-Holubek K, G¨ obel G, et al. First Images with a 3D–Prototype for Ultrasound Computer Tomography. In: IEEE International Ultrasonics Symposium; 2005.
CT, µ-CT und µ-Tomographie (Synchrotron) der in vitro Kalzifizierung M. Krings1, A. Mahnken2 , C. Schroer3 , J. Patommel4 , W. Kalender5 und B. Glasmacher1 1
Helmholtz-Institut f¨ ur Biomedizinische Technik, RWTH Aachen (HIA) und IZKF ur Radiologische Diagnostik, “BIOMAT.”, Universit¨ atsklinikum Aachen. 2 Klinik f¨ Universit¨ atsklinikum Aachen. 3 Deutsches Elektronen Synchrotron (DESY), ur medizinische Hamburg. 4 II. Physikalisches Institut B, RWTH Aachen. 5 Institut f¨ Physik (IMP), Universit¨ at Erlangen-N¨ urnberg Email:
[email protected]
Zusammenfassung. Kalzifizierung stellt immer noch eine der Hauptursachen des Versagens biologischer Herzklappenprothesen dar. Mittels eines ,,Fatigue Accelerated Calcification Testers“ (FACT) k¨ onnen Bioprothesen in einem in vitro Verfahren beschleunigt kalzifiziert werden. Zur zerst¨ orungsfreien Analyse des Kalzifikationsgrades und –ortes wurden erstmals in vitro kalzifizierte Herzklappenbioprothesen dreidimensional mit den hochaufl¨ osenden radiologischen Methoden µ-CT und µTomographie (Synchrotron) analysiert. Die Auswertung der diversen Datens¨ atze erfolgte nach M¨ oglichkeit mit denselben Routinen. Besonders die Verteilung der Kalzifizierung in Segel und Aortenwand, das Kalzifizierungsmuster der gesamten Klappe und der Beginn der Kalzifizierung (Detektion kleinster Ablagerungsplaques) waren bei der Analyse von hohem Interesse. Abh¨ angig von der radiologischen Untersuchungsmethode und der Kalzifizierungsmethode konnten f¨ ur die einzelnen Bioprothesen volumetrische Gesamtkalzifikationsgrade zwischen zwei und 35 Prozent gefunden werden. Durch 2D- und 3D-Rekonstruktionen konnten ortspezifisch Regionen unterschiedlichen Kalzifikationsgehaltes detektiert werden. Nach Auswertung bisher gewonnener Synchrotrondaten l¨ asst sich f¨ ur die Segelkalzifizierung als prim¨ aren Kalzifikationsort die Spongiosa (Tunica media) bestimmen.
1
Problemstellung
Beim Ersatz einer defekten Herzklappe kommen Herzklappenbioprothesen zunehmend h¨ aufiger zum Einsatz und dies trotz ihres entscheidenden Nachteils der im Vergleich zu mechanischen Prothesen geringeren nicht prognostizierbaren Dauerfunktionst¨ uchtigkeit. Die Hauptursache f¨ ur die individuell eingeschr¨ ankte Haltbarkeit dieses Klappentyps liegt gr¨oßtenteils am noch ungekl¨arten Ph¨ anomen der Bio-prothesenkalzifizierung. Hierbei handelt es sich um ein multifaktorielles Problem, da sowohl patientenspezifische als auch prothesenspezifische Faktoren eine Rolle spielen.
CT, µ-CT und µ-Tomographie (Synchrotron) der in vitro Kalzifizierung
445
Mittels eines Testger¨ ats, dem ,,Fatigue Accelerated Calcification Tester“ k¨ onnen Bioprothesen in einem in vitro Verfahren beschleunigt kalzifiziert werden [1]. Diese kalzifizierten Bioprothesen dienen als Grundlage zur Erforschung der prothesenspezifischen Kalzifizierung. Zur zerst¨ orungsfreien Analyse des Kalzifikationsgrades und –ortes werden radiologische, computertomographische (CT) und µ-computertomographische (µ-CT) Methoden sowie die µ-Tomographie mittels Synchrotronstrahlung eingesetzt. Die Verf¨ ugbarkeit radiologischer Untersuchungsger¨ate nimmt mit zunehmender Aufl¨ osung ab. So ist heutzutage das CT-Ger¨at mit einer Aufl¨osung im mmBereich in beinah jedem deutschen Krankenhaus anzutreffen. µ-CT-Ger¨ate besitzen eine Aufl¨ osung von unter 100µm und sind in nur wenigen Forschungsst¨atten vorhanden. Tomographie mit Synchrotronstrahlung erreicht Aufl¨osungen im µmBereich und kann zum Beispiel am DESY in Hamburg und beim ESRF in Grenoble durchgef¨ uhrt werden. In vitro kalzifizierte Herzklappenbioprothesen wurden im Rahmen dieser Studie erstmals dreidimensional mittels der hochaufl¨ osenden radiologischen Methoden µ-CT und µ-Tomographie (Synchrotron) analysiert und rekonstruiert. Die Ergebnisse der einzelnen Analysemethoden sollen miteinander verglichen werden.
2
Material und Methode
Herzklappenprothesen. F¨ unf Glutaraldehyd-fixierte aortale Bioprothesen porcinen Ursprungs wurden u ¨ ber vier Wochen mit zwei unterschiedlichen dynamischen beschleunigten in vitro Kalzifizierungsmethoden untersucht. Dabei handelt es sich um sogenannte ger¨ ustringfreie Prothesen [2]. Kalzifizierungsmethoden. Die Untersuchungstemperatur im Testger¨at betrug f¨ ur alle Klappen (37±0.8 )˚C, die beim Klappenschluss herrschende Druckdifferenz 90+20/−0 mmHg bei einer Testfrequenz von 300/min. Das Testfluid wurde w¨ ochentlich - nach ca. 3 Millionen Zyklen - gewechselt, um so den Verbrauch an Kalzifizierungsionen (Calcium- und Phosphat -ionen) zu kompensieren. Dieser diskontinuierliche Ersatz erfolgte bei drei Klappen (#1, #2 #3) [3]. Bei den u ¨ brigen Klappen (#4 und #5) wurden die durch die Pr¨azipitation verbrauchten Ionen kontinuierlich u angige Regelstrecke nachtitriert, so dass ¨ ber eine pH-abh¨ man von einer quasi ,,constant composition“ des Testfluids sprechen kann [4]. Der in vitro Kalzifizierungsversuch wurde nach 4 Wochen, respektive 12 Millionen Zyklen, planm¨ aßig beendet. Analysemethoden. Die Klappen sollten zerst¨ orungsfrei und hoch ortsaufgel¨ost auf Kalzifizierungsablagerungen untersucht werden. Dazu wurden drei Methoden eingesetzt: Computertomographie. Die Klappen wurden zun¨achst vor Testbeginn und dann nach dem Kalzifizierungsprozess am 16-Schicht CT-Scanner (SOMATOM Sensation 16, Siemens, Forchheim, Germany) der Klink f¨ ur Radiologische Diagnostik des Universit¨ atsklinikums Aachen mit folgenden Einstellun-
446
M. Krings et al.
Abb. 1. Vergleich der volumetrischen Gesamtkalzifizierungsgrade die durch CT- und µ-CT-Analyse ermittelt wurden.
gen untersucht: 16 x 0.75 mm Collimation, 3.4 mm Tischvorschub pro Rotation, R¨ ohrenspannung 120 kV, effektives R¨ ohrenstromprodukt 100 mAsef f und R¨ ohrenrotationszeit 0.5s. Zur Bildrekonstruktion wurden eine effektive Schichtdicke von 1.0 mm und ein Rekonstruktionsinkrement von 0.3 mm gew¨ahlt. Die Datenrekonstruktion erfolgte mit einem Gesichtsfeld von 80 x 80 mm2 , einer 512x512 Rekonstruktionsmatrix und einem mittleren, zur Kalzifikationsbewertung optimierten gl¨ attenden Faltungskerns (B35f). Microcomputertomographie. Die Bioprothesen wurden ebenfalls vor und nach dem Kalzifikationsprozess in Erlangen am IMP mit einem µ-CT-Scanner (TomoScope 30s) analysiert. Dabei betrug der Messfelddurchmesser 40mm, die R¨ ohrenspannung 80kV und die Pixelmatrix des Detektors 1024x1024. Hiermit ergibt sich eine r¨ aumliche Aufl¨ osung von < 100µm. Synchrotron (µ-Tomogaphie). In der Reihe der radiologischen Untersuchungsmethoden steht die Analyse mittels Synchrotronstrahlung bez¨ uglich der r¨ aumlichen Aufl¨ osung an oberster Stelle. Ein kleiner, ca. 2x1mm2 kalzifizierter Segelabschnitt wurde am ESRF in Grenoble µ-tomographisch analysiert. Dabei wurden in der Projektionstomographie (Parallelprojektion) bei kalzifizierten Segelst¨ uckchen Aufl¨ osungen von etwa 1 µm erreicht. Durch die Methode der vergr¨ oßerten R¨ ontgenabsorptionstomographie [5] kann die r¨aumliche Aufl¨osung in Zukunft weit unter ein 1 µm gedr¨ uckt werden. Die Brillanz (Anzahl emittierter Photonen pro Quellfl¨ ache, pro Zeiteinheit und pro Raumwinkel innerhalb einer relativen Energiebandbreite von 1/1000) einer modernen Synchrotronstrahlungsquelle ist um 12 Gr¨ oßenordnungen h¨ oher als die der besten R¨ontgenr¨ohren. Eine R¨ ontgenaufnahme, die an einem Synchrotron 1ms dauert, w¨ urde an einer R¨ ontgenr¨ ohre 32 Jahre dauern. Gr¨ oßere Proben werden leider erst im Februar 2006 am DESY in Hamburg analysiert werden k¨onnen. Auswertemethoden. Die Auswertung der diversen Datens¨atze erfolgte nach r (entwickelt M¨ oglichkeit mit denselben Routinen. Dabei kamen eigene (DISOS am HIA, Abt. Chirurgische Therapietechnik) und kommerzielle Programme (z.B. r zur Anwendung. Klappenspezifisch wurden bei der CT- und µ-CTT3D) Auswertung vor der Kalzifizierung Absorptionsschwellen bestimmt, ab deren ¨ Uberschreitung von einer Kalzifizierung ausgegangen wird. Dabei wurde der
CT, µ-CT und µ-Tomographie (Synchrotron) der in vitro Kalzifizierung
447
Abb. 2. Klappe #3: 3D Darstellung kalzifizierter Areale in Klappe #3: Rekonstruktion der CT- (links) und µ-CT- (rechts) Daten.
Gesamtkalzifikationsgrad als das Verh¨ altnis der Voxelsumme der kalzifizierten Areale zur Gesamtvoxelsumme bestimmt. So konnten klappenspezifische volumetrische Kalzifikationsgrade ermittelt werden. Besonders die Verteilung der Kalzifizierung im Segelgewebe als auch im aortalen Wandgewebe (das Kalzifizierungsmuster der gesamten Klappe) und der r¨ aumliche Beginn der Kalzifizierung (kleinste kalkartige Plaques) waren bei der Analyse von hohem Interesse.
3
Ergebnisse
Abh¨ angig von der radiologischen Untersuchungsmethode und der Kalzifizierungsmethode konnten f¨ ur die untersuchten Bioprothesen individuelle volumetrische Gesamtkalzifikationsgrade zwischen zwei und 35 Prozent gefunden werden (siehe Abbildung 1). Hierbei konnte eine st¨ arkere Verkalkung bei den Klappen #4 und #5, die nach der ,,constant composition“ Methode kalzifiziert wurden, beobachtet werden. Im Vergleich konnten durch 2D- und 3D-Rekonstruktionen ortspezifisch Regionen unterschiedlichen Kalzifikationsgehaltes detektiert werden. Ein Beispiel der 3D-Rekonstruktion ist in Abbildung 2 f¨ ur die Klappe #3 abgebildet. Hierr die Klappengesamtkalzifizierung nach CT (links) bei wurde mittels DISOS und µ-CT-Analyse (rechts) dargestellt. Die feink¨ornige Verteilung der Kalzifizierung u asst sich hierbei nur im rechten Bild (nach ¨ ber die gesamte Klappe l¨ µ-CT-Analyse) darstellen obwohl wie in Abbildung 1 dargestellt die Gesamtkalzifizierungsgrade mit ca. 2% gleich hoch waren. Nach Auswertung bisher gewonnener Synchrotrondaten (siehe Abb. 3) l¨asst sich f¨ ur die Segelkalzifizierung als prim¨ aren Kalzifikationsort die Spongiosa (Tunica media) bestimmen.
4
Diskussion
Radiologische Methoden eigenen sich sehr gut zur zerst¨orungsfreien Darstellung der Kalzifizierung im kollagenreichen Herzklappenbioprothesengewebe. Die ge-
448
M. Krings et al. Abb. 3. 3D-Darstellung eines Segelanschnitts (µ-tomographisch)
wonnenen µ-Daten zeigen, wie fein strukturiert und somit f¨ ur die konventionelle CT nicht erfassbar die Kalzifizierung von Bioprothesen sein kann. Durch die radiologische µ-Analyse kalzifizierter Bioprothesen k¨onnen m¨oglicherweise R¨ uckschl¨ usse auf den urspr¨ unglichen Kalzifikationsstartpunkt gezogen werden. F¨ ur den Patienten bedeutet der Nachweis kleinster detektierbarer Herzklappenkalkplaques im konventionellen CT, dass nach diesen Daten die Abkl¨arung einer beginnenden Herzklappenkalzifizierung stattfinden sollte. Danksagung. Diese Studie wurde mit Mitteln des Interdisziplin¨aren Zentrums f¨ ur Klinische Forschung ,,BIOMAT.“ in der Medizinischen Fakult¨at der RWTH Aachen (TV B108) sowie durch Mittel des ,,IKYDA 2003 bilateral cooperation program DAAD (DE) - IKY (GR)“ (D/03/40393)“ gef¨ordert. F¨ ur die Hilfe beim r danke ich Herrn Dipl.-Ing. Ting Wu. Programm DISOS
Literaturverzeichnis 1. Pettenazzo E, Deiwick M, Glasmacher B, et al. Dynamic in vitro calcification of bi-oprosthetic porcine valves: Evidence of Apatite. J Thorac Cardiovasc Surg 2001;121(3):500–509. 2. Glasmacher B, Krings M, Kesper H, Schroer C. Calcification of stentless bioprostheses: 3D-localisation with computer tomography and high resolution micro tomography. Int J Artif Organs 2001;24(8):548. 3. Glasmacher B, et al. In vitro Kalzifizierung biologischer Herzklappenprothesen. Computer-gest¨ utzte Bestimmung des Kalzifizierungsgrads aus Mikroradiographie. In: Procs BVM; 1998. 4. Mavrilas D, Kapolos J, Koutsoukos PG, Dougenis D. Screening biomaterials with a new in vitro method for potential calcification: Porcine aortic valves and bovine pericardium. Journal of materials science: materials in medicine 2004;15:1–6. 5. Schroer C, Meyer J, Kuhlmann M, et al. Nanotomography based on hard x-ray microscopy with refractive lenses. Appl Phys Lett 2002;81(8):1527–1529.
Photorealistische Generierung histologischer und histopathologischer Schnittpr¨ aparate Frank Weichert1 , Roland Linder2 , Constantin A. Landes3 , Andreas Groh4 , Robin W¨ underlich1 und Mathias Wagner5 1
Lehrstuhl Informatik VII, Universit¨ at Dortmund Institut f¨ ur Medizinische Informatik, Universit¨ at zu L¨ ubeck 3 Klinik und Poliklinik f¨ ur Kiefer- und Plastische Chirurgie, Klinikum der Johann Wolfgang Goethe-Universit¨ at zu Frankfurt am Main 4 Institut f¨ ur Angewandte Mathematik, Universit¨ at des Saarlandes Institut f¨ ur Allgemeine und Spezielle Pathologie, Universit¨ at des Saarlandes Email:
[email protected] 2
5
Zusammenfassung. Die diagnostische Beurteilung von Gewebe und Zellpr¨ aparationen ist ein Schwerpunkt der modernen Pathologie. Sie dient der klinischen Diagnostik und Therapieplanung. In Anbetracht der Komplexit¨ at aktueller Fragestellungen und dem zunehmenden Einfluss der Informationsverarbeitung besteht vermehrt die Notwendigkeit, histologische Schnittpr¨ aparate virtuell im Rechner zu erstellen. Diese Generierung synthetischer Schnittbilder anhand realer Muster ist der zentrale Aspekt dieser Arbeit. Ausgehend von segmentierten Schnittpr¨ aparaten wird mit Methoden der Textursynthese und des Digital-Compositing ein synthetisches histologisches Schnittpr¨ aparat im Rechner generiert. Neben dem prim¨ aren Einsatz als Visualisierungsinstrument f¨ ur Simulationsszenarien sind Einsatzm¨ oglichkeiten im e-Learning Kontext oder als virtueller Histologieatlas gegeben.
1
Problemstellung
Das Fachgebiet der Pathologie und Pathologischen Anatomie gilt als Qualit¨atskontrolle klinischer Medizin. Der Schwerpunkt der Krankenversorgung in der Pathologie geschieht mithilfe des Mikroskops und besteht in der diagnostischen Beurteilung von Geweben (Histologie) und Zellpr¨aparationen (Zytologie) [1]. Die Untersuchungen erfolgen in enger Zusammenarbeit mit den Einsendern der Proben und sind wichtiger Bestandteil der klinischen Diagnostik und Therapieplanung. Die hierf¨ ur notwendige Pr¨ aparation umfasst mehrere, in wechselndem Ausmaß standardisierte Teilschritte. Unmittelbar nach der Zell- oder Gewebeentnahme setzt die Autolyse beziehungsweise Heterolyse ein. Wird das Material nicht sofort bearbeitet, muss es fixiert werden, wodurch die Zersetzung aufgehalten werden kann. Ausgangsbasis f¨ ur die im Folgenden vorgestellte Arbeit ist Gewebe, das in dem am weitesten verbreiteten Fixierungsmittel, einer verd¨ unnten und gepufferten Formaldehydl¨ osung, aufbewahrt wurde. Durch Auswaschen wird
450
F. Weichert et al.
das Gewebe von der w¨ assrigen Fixierungsmittell¨osung befreit und anschließend in heißem Paraffinwachs getr¨ ankt, das bei Abk¨ uhlung erstarrt. Dies geschieht, damit anschließend 2-7µm dicke Schnittpr¨ aparate von dem Gewebe hergestellt werden k¨ onnen. Zum Anfertigen dieser Pr¨ aparate werden Rotations- oder Schlittenmikrotome verwendet, die aus einer Haltevorrichtung bestehen, in die das Bl¨ ockchen eingespannt und mit einem Messer entsprechend der voreingestellten Schnittdicke geschnitten wird. Nachfolgend werden die Schnittpr¨aparate auf gl¨aserne Objekttr¨ ager aufgezogen, im Brutschrank getrocknet und anschließend in Xylol entparaffiniert. Durch eine so genannte absteigende Alkoholreihe werden sie wieder in ein w¨ assriges Milieu u uhrt und schließlich in verschiedenen ¨ berf¨ L¨ osungen gef¨ arbt. In Abh¨ angigkeit von den jeweiligen F¨arbeprotokollen l¨asst man die Schnitte sofort trocknen oder bringt sie durch eine so genannte aufsteigende Alkoholreihe bis ins Xylol und deckt sie dann ein. Durch Farbunterschiede werden je nach F¨ arbung unterschiedliche Strukturen zur Darstellung gebracht. In der H¨ amatoxilin-Eosin F¨ arbung (HE F¨ arbung) zum Beispiel zeigen sich Zellkerne blau und Cytoplasmata rot. Um entsprechende F¨ arbeergebnisse mit den Methoden der digitalen Bildverarbeitung k¨ unstlich nachstellen zu k¨ onnen, bedarf es einer geeigneten mathematischen Repr¨ asentation, die in der Lage ist, Bilder entsprechend den subjektiven Anforderungen an eine fotorealistische Visualisierung zu generieren. Vergleichbare systembiologische Herangehensweisen, wie das Cell Assembly Kit [2] oder die Systems Biology Markup Language [3], verbinden die Komponenten auf funktionelle Art, wobei die Elemente ohne exakte Definition einer Geometrie des entsprechenden Kompartiments zugeordnet werden. Da diese funktionsbezogene Ausrichtung stark von der Nutzung als Modellierungssprache f¨ ur Simulationen gepr¨ agt ist, stellen diese Sprachen bislang keine fotorealistischen morphologischen Formen oder Strukturen zur Verf¨ ugung. Das f¨ ur diese Arbeit entwickelte Konzept hingegen legt den Schwerpunkt auf die Geometrie der Objekte und dessen fotorealistische Visualisierung.
2
Methoden
Initialer Schritt ist die Digitalisierung realer histologischer Schnittpr¨aparate sowie deren nachfolgende manuelle Segmentierung. Der Grundtenor des Syntheseprozesses besteht darin, die morphologischen Strukturen eines aus einer Klasse von Objekthintergr¨ unden ausgew¨ ahlten Musterelements auf eine vorgegebene morphologische Form zu u ¨bertragen (s. Abb. 1). Dabei unterscheidet sich das Musterobjekt bez¨ uglich Form, Gr¨ oße und Topologie von dem zu erzeugenden Zielobjekt. Die Vorgabe, was synthetisiert werden soll, erfolgt beispielsweise u ¨ ber eine textuelle Beschreibung. Das Syntheseverfahren kann prinzipiell als filterbasiertes Analyse- und Syntheseverfahren beschrieben werden. Einzelne Bilddaten werden auf einer definierten Anzahl von Aufl¨ osungsstufen, die als Skalenr¨aume oder Teilb¨ ander (sub-bands) bezeichnet werden, deskribiert. Die Aufl¨osung der einzelnen Stufen wird dabei durch Filterung kontinuierlich dekrementiert, sodass die Teilb¨ ander auch als Ebenen in einer Pyramide betrachtet werden k¨onnen. Die
Photorealistische Generierung
451
Abb. 1. Erzeugung der Komponenten innerhalb der Bildsynthese
Zerlegung in die Teilb¨ ander wird per Faltung mit verschiedenen Filterkernen innerhalb eines rekursiven Schemas vorgenommen. Der hier verwendete Algorithmus zur Umsetzung dieses Analyse/Synthese-Prozesses beruht auf einem an die gegebene Problematik adaptierten Ansatz von Heeger und Bergen, der steuerbare Pyramiden (steerable Pyramid) nutzt, um die Eingabetexturen in Teilb¨ander verschiedener Orientierung und Aufl¨ osung zu zerlegen [4]. Mit dem Zerlegungsschema der steuerbaren Pyramide wird initial eine Analysepyramide der Mustertextur erzeugt. Stereotyp zu diesem Schema wird auch die Synthesepyramide der gew¨ unschten Zielgr¨ oße generiert und zun¨achst mit gleichverteiltem Rauschen aufgebaut. Das Ziel ist es nun, die Synthesepyramide so zu ver¨ andern, dass sie auf allen Teilb¨ andern dieselbe Grauwertverteilung wie die ¨ Analysepyramide aufweist. Diese Ubertragung der Histogramme der einzelnen B¨ ander der Analysepyramide auf die korrespondierenden B¨ander der Synthesepyramide erfolgt in einem iterativen Prozess. Gem¨aß dieser Ausf¨ uhrung ist es ersichtlich, dass die Anzahl der B¨ ander der steuerbaren Pyramide mit der Qualit¨ at des synthetisierten Histoschnitts korreliert. Die Umkehrung der Zerlegung, das Kollabieren der Pyramide, findet dabei im nachfolgenden Prozess statt und erzeugt die Zieltextur. R¨ aumliche Abh¨ angigkeiten der Strukturen werden dabei durch die pyramidale Zerlegung an sich induziert. In der bisher beschriebenen Form vermag der Ansatz nur Graustufenbilder zu synthetisieren. Die Behandlung von Farbtexturen wird aber durch mehrfache Anwendung des Algorithmus auf die einzelnen Farbkan¨ ale erreicht, die aber keineswegs unabh¨angig voneinander sind. Sollen Fehlfarben vermieden werden, ist eine De- und Rekorrelation der Farbkan¨ ale vorzunehmen. Es verbleibt, die Zielstruktur in seiner Gesamtheit zu erzeugen. Hierzu werden die Einzelkomponenten, unter Beachtung der hierarchischen Staffelung - Gew¨ ahrleistung von Sichtbarkeit und Verdeckung - mit Methoden des Digital Composing zusammengef¨ ugt [5]. Die synthetisierten morphologischen Strukturen werden mithilfe der Multiresolution Spline Methode nach Burt und Adelson in die vorgegebene morphologische Zielform eingepasst [5]. Das ”Zuschneiden” auf die endg¨ ultige Form erfolgt durch entsprechende Blendmasken.
3
Ergebnisse
In Blindversuchen, bei denen reale gegen¨ uber k¨ unstlichen Texturen quantitativ miteinander verglichen wurden (s. Abb. 2), zeigte sich hinsichtlich der Stati-
452
F. Weichert et al.
Abb. 2. Gegen¨ uberstellungen zwischen einem realen histologischen Schnittpr¨ aparat und seinem synthetischen Analogon am Beispiel von suprabasalen Keratinozyten ((a) real, (b) synthetisch) und Hepatozyten ((c) real, (d) synthetisch). Die Cytoplasmata der zentral gelegenen Zellen sind synthetisch. Als interne Kontrolle wurden die Cytoplasmata randst¨ andiger Zellen im Originalzustand belassen.
(a)
(b)
(c)
(d)
stik erster und zweiter Ordnung kein nennenswerter Unterschied zwischen den jeweiligen Texturmerkmalen der virtuellen und realen morphologischen Strukturen (s. Tab. 1)[6]. F¨ ur das Rendering u ¨ ber steuerbare Pyramiden galt, dass sich die Texturmerkmale der Statistik zweiter Ordnung f¨ ur virtuelle morphologische Strukturen bei sukzessiver Erh¨ ohung der Iterationsschritte an die realen Textu¨ ren approximierten. Zudem kann der hohe Grad an Ubereinstimmung zwischen den Histogrammverl¨ aufen, der Luminanz und der S¨attigung zwischen allen Bildern einer Klasse sowie f¨ ur die virtuellen histologischen Schnittpr¨aparate und ihre realen Vorbilder dahingehend interpretiert werden, dass auch die Ergebnisse der texturellen Statistiken als zumindest vorl¨aufige Best¨atigung des visuellen Eindrucks der Plausibilit¨ at dienen k¨ onnen.
4
Diskussion
Obwohl die Syntheseergebnisse augenscheinlich tats¨achlich fotorealistisch wirkten, gestaltete sich eine objektive Bewertung anhand von Kenngr¨ossen schwierig, da im Rahmen der Herstellung k¨ unstlicher Texturen kein bereits existierendes identisches Originalbild zur Verf¨ ugung steht, sondern neue Repr¨asentanten einer Klasse erzeugt wurden. Durch statistische Texturanalyseverfahren konnten die variierenden Texturmuster zwar analysiert und Texturmerkmale beschrieben werden, doch war ein Vergleich der numerisch abgefassten Messergebnisse zwischen den virtuellen Texturen und ihren realen Vorbildern aufgrund der subjektiven Komponente einer jeden Bildbeurteilung nur bedingt aussagekr¨aftig. F¨ ur regionale, zellul¨ are Strukturen, wie z.B. das Cytoplasma erwies sich der aufgezeigte Ansatz als tragbar. Hingegen waren die Ergebnisse beim Rendering von Zell- oder Kernmembranen nur bedingt zufriedenstellend. Diese aber spielen eine exponierte Rolle in zahlreichen Fragestellungen, die unter anderem mit dem Immunsystem assoziiert sind. Somit ist der hier beschriebene Ansatz f¨ ur eine morphologiebetonte Implementierung, beispielsweise eines virtuellen Immunsystems, nur ansatzweise geeignet. Das oben beschriebene Syntheseverfahren wird f¨ ur jede Zelle unabh¨ angig von ihren Nachbarzellen eingesetzt. So kann es lokal zu
Photorealistische Generierung
453
Tabelle 1. Statistische Texturmerkmale (normiert nach dem Merkmalsmaximum). Keratinozyt real Entropy 0,994 0,921 Kontrast 1,0 Durchschnitt Standard-Abweichung 0,977 1,0 Homogenit¨ at 1,0 Energie
synthetisch 1,0 1,0 0,994 1,0 0,996 0,993
Hepatozyt real 0,995 0,854 0,986 1,0 0,983 0,934
synthetisch 1,0 1,0 1,0 0,93 1,0 1,0
unrealistischen Kontrastunterschieden bei angrenzenden Membranen kommen. Da aber gerade der subjektive visuelle Eindruck f¨ ur eine photorealistische Darstellung unabdinglich ist, muss hier weitere Arbeit geleistet werden. Eine denkbare L¨ osung des Problems w¨ are, bei der Konstruktion der Objekte, die k¨ unftigen Zellnachbarschaften miteinzubeziehen. Auch eine nachtr¨agliche Identifizierung ¨ stark divergierender Randbereiche und deren erneute Uberblendung kann eine Qualit¨ atssteigerung bewirken. Um den Einfluß unterschiedlicher F¨arbungen, Zell- und Gewebetypen auf intra- und interindividuelle Schwankungen in der Visualisierung zu untersuchen, besteht ein weiter Ansatz im Einsatz multivariater Analysemethoden, bevorzugt k¨ unstliche neuronale Netzwerke, welche auf einfache Art auch nicht-lineare Abh¨ angigkeiten ber¨ ucksichtigen [7].
Literaturverzeichnis 1. Riede UE, Schaefer HE. Allgemeine und spezielle Pathologie, 4. Aufl. Georg ThiemeVerlag, Stuttgart; 1995. 2. Webb K, White T. UML as a Cell and Biochemistry Modeling Language. Carleton University Cognitive Science Technical Report 2003-05 2003. 3. et al MHucka. The systems biology markup language (SBML): a medium for representation and exchange of biochemical network models. Bioinformatics 2003;19:524– 531. 4. Heeger D, Bergen J. Pyramid-based Texture Analysis/Synthesis. In Proc ACM SIGGRAPH 1995;p. 229–238. 5. Burt PJ, Adelson EH. A Multiresolution Spline with Application to Image Mosaics. ACM Transactions on Graphics 1983;2:217–236. 6. Unser M. Sum and Difference Histograms for Texture Classification. IEEE Transactions on Pattern Analysis and Maschine Intelligence 1986;PAMI 8:118–125. 7. Linder R, Mohamed EI, Lorenzo ADe, P¨ oppl SJ. About the Capabilities of Artificial Neural Networks in Body-Composition Research. Acta Diabetol 2003;40:9–14.
Contrast Enhanced Ultrasound Perfusion Imaging Eine neue Methode zur sonographischen Perfusionsmessung der Extremit¨ atenmuskulatur Elisabeth Rink1 , Daniel D¨ urschmied1 , Dorothee Harder1 , Qian Zhou1 , 1 Gabriele Freund , Alexandra Rossknecht2 und Christoph Hehrlein1 1
Abteilung f¨ ur Kardiologie und Angiologie, Universit¨ atsklinikum Freiburg, 79106 Freiburg im Breisgau 2 Ultrasound Europe, GE Healthcare Technologies, Solingen Email:
[email protected]
Zusammenfassung. Contrast enhanced ultrasound perfusion imaging (CUPI) stellt eine neuartige Methode dar, mit der sowohl die Makrozirkulation der unteren Extremit¨ at als auch die Mikrozirkulation der Wadenmuskulatur in einem einzigen Untersuchungsgang erfasst werden kann. Insbesondere bei der Diagnostik der peripheren arteriellen Verschlusskrankheit (PAVK) zeichnet sich CUPI als ein wertvolles diagnostisches Instrument aus, da es bei einfacher Handhabung verl¨ assliche Ergebnisse liefert. Ziel der gegenw¨ artigen Forschung ist, den Einsatz von CUPI zur Erkennung von Mikrozirkulationsst¨ orungen bei Diabetikern zu u ufen und die Anwendung zur Stadieneinteilung der PAVK. ¨ berpr¨
1
Problemstellung
Die periphere arterielle Verschlusskrankheit (PAVK) und der Diabetes mellitus, der in h¨ aufigem Zusammenhang mit der PAVK steht, sind zwei weit verbreitete Erkrankungen, die mit einem hohen Leidensdruck f¨ ur die Betroffenen verbunden sein k¨ onnen. Von der PAVK sind etwa 1/5 der u ¨ber 65-j¨ahrigen betroffen [1]. Zudem ist die PAVK eine unterdiagnostizierte Erkrankung, die h¨aufig untertherapiert bleibt und deren Fr¨ uherkennung und rechtzeitige Therapie Sp¨atfolgen verringern k¨ onnte [1]. Aufgrund der Schwere der Gef¨aßerkrankung PAVK ist ein zuverl¨ assiges diagnostisches Instrument erstrebenswert. Dies gestaltet sich teilweise problematisch, da die angiologische Diagnostik durch andere Gef¨aßerkrankungen wie die Mediasklerose, Mikroangiopathien oder schlechte Schallbedingungen erschwert sein kann, was nicht zuletzt durch die Koexistenz eines Diabetes mellitus bedingt sein kann. So haben rund 50% der Diabetiker eine PAVK und umgekehrt leiden etwa 20% der symptomatischen PAVK-Patienten unter der Blutzuckerkrankheit [2, 3]. Ein valides, nicht-invasives und leicht praktikables diagnostisches Instrument w¨ are daher von großem Interesse. Dar¨ uber hinaus w¨ are eine genauere Beurteilung nicht nur von Makrozirkulationsst¨orungen sondern auch von Mikrozirkulationsst¨ orungen wie etwa beim Diabetes mellitus oder der Sepsis ein m¨ ogliches Anwendungsgebiet einer solchen neuen Methode.
Contrast Enhanced Ultrasound Perfusion Imaging
2
455
Stand der Forschung
Seit den sp¨ aten 90er Jahren kommen sonographische Perfusionsmessungen auf verschiedenen Gebieten zum Einsatz. In der Echokardiographie dient contrast en¨ hanced ultrasound (CEUS) der Isch¨ amiediagnostik am Herzmuskel [4]. Ahnlich kann nach einem Schlaganfall durch die transkranielle Messung der Gehirnperfusion eine Aussage u ¨ber die Lokalisation des gesch¨adigten Areals erzielt und eine prognostische Absch¨ atzung gemacht werden [5]. In der Lebersonographie stellt der Einsatz von Kontrastmittel eine nicht-invasive M¨oglichkeit zur Differenzierung zwischen benignen und malignen fokalen Leberl¨asionen dar [6]. Ein neues Einsatzgebiet stellt die Perfusionsmessung an der Extremit¨atenmuskulatur dar. Wie in Vorarbeiten unserer Gruppe demonstriert werden konnte, steht mit dem contrast enhanced ultrasound perfusion imaging (CUPI) eine neue diagnostische Methode zur Verf¨ ugung, mit der die Perfusion der Wadenmuskulatur und St¨orungen der Perfusion bei Patienten mit PAVK erfasst werden k¨onnen [7]. Dabei gehen die Ergebnisse, die CUPI liefern kann, u ¨ber die konventionelle Stenosenlokalisation mittels Duplexsonographie hinaus, da sowohl die Makro- als auch die Mikrozirkulation in die Messung eingehen [8]. Gegenw¨artiges Ziel unserer Forschung ist es, an gr¨ oßeren Fallzahlen zu untersuchen, ob mit CUPI zwischen verschiedenen Schweregraden der PAVK differenziert werden kann. Außerdem soll der Einfluss einer St¨ orung der Mikrozirkulation – wie sie bei Diabetikern zu erwarten ist – mit CUPI untersucht und mit gesunden Kontrollen verglichen werden.
3
Methoden
30 PAVK-Patienten wurden mit 30 Kontrollpersonen ohne manifeste PAVK verglichen, 20 Diabetiker ohne PAVK mit 20 Probanden ohne Diabetes mellitus. Alle Patienten und Kontrollpersonen wurden vor Einschluss in die Studie einer angiologischen Basisdiagnostik unterzogen (Ermittlung des ankle-brachial index (ABI) durch Dopplerdruckmessung, Oszillographie in Ruhe und nach Belastung, Laufbandtest), die eine Zuordnung der Patienten und Kontrollen in die 3 Gruppen erm¨ oglichte. Sowohl im Hinblick auf Alter und Geschlecht als auch auf die kardiovaskul¨ aren Risikofaktoren Hypertonie, Dyslipid¨amie und Rauchen gab es jeweils zwischen den beiden verglichenen Gruppen keinen signifikanten Unterschied (siehe Tab. 1 und 2). Im Anschluss an die angiologische Basisdiagnostik erfolgte eine intraven¨ ose Injektion von 5 ml des Ultraschallkontrastmittels SonoVue in eine periphere Armvene. Mittels niederenergetischem, harmonischem Ultraschall mit der 3–7 MHz-Sonde des LOGIQ 9 Ultraschallsystems (GE Healthcare Technologies, Ultrasound, Milwaukee, USA) wurde am Wadenmuskel der Patienten die ¨ Anderung der Kontrastintensit¨ at gemessen (time intensity curve analysis). Dazu wurde eine kreisrunde region of interest (ROI) von 4 cm Durchmesser im Bildabschnitt festgelegt, aus deren Rohdaten die zugeh¨ orige time intensity curve (TIC) ermittelt wurde. Die Dauer des wash-in des Kontrastmittels (Zeit von Beginn bis zur maximalen Kontrastierung), die sogenannte time to peak intensity (TTP),
456
E. Rink et al.
Tabelle 1. Klinische Basiswerte: Studienpopulation PAVK vs. Kontrollpersonen Variable/Parameter Alter - Jahre Geschlecht m / w Rauchen - Anzahl Dyslipid¨ amie - Anzahl arterielle Hypertonie - Anzahl Diabetes - Anzahl ankle-brachial index (ABI) Rekompensationszeit im Belastungsoszillogramm - s schmerzfreie Gehstrecke - m
Kontrolle (n = 30) PAVK (n = 30) 59,5 [28-81] 19 / 11 15 9 19 7 1,1 [0,9-1,36]
p
68 [38-93] 23 / 7 24 16 22 7 0,6 [0,3-0,8]
0,015 0,399 0,029 0,115 0,58 1 < 0,01
0 [0-60]
180 [0-390]
< 0,01
nicht limitiert
67,5 [10-300]
Tabelle 2. Klinische Basiswerte: Studienpopulation Diabetiker vs. Kontrollpersonen Variable/Parameter Alter - Jahre Geschlecht m / w Rauchen - Anzahl Dyslipid¨ amie - Anzahl arterielle Hypertonie - Anzahl ankle-brachial index (ABI) Rekompensationszeit im Belastungsoszillogramm - s
Kontrollen (n = 20) Diabetiker (n = 20)
p
55,5 [24-81] 7 / 13 7 3 12 1,08 [0,91-1,3]
59,5 [38-76] 5 / 15 13 5 12 1,1 [0,96-1,36]
0,401 0,731 0,113 0,695 1 0,301
0 [0-45]
0 [0-60]
0,127
wurde als diagnostischer Parameter ermittelt. Ebenso kann jedoch auch durch Platzierung diverser kleiner ROIs in bestimmten Bildabschnitten auf die unterschiedlichen Komponenten der Perfusion fokussiert werden, indem bei der Bildanalyse gezielt Arterien, Venen oder der Muskel insgesamt betrachtet werden. Bei allen Patienten wurde sowohl eine Ruhemessung als auch eine standardisierte Belastungsmessung nach 30 Zehenst¨ anden durchgef¨ uhrt. Die Auswertung der Daten erfolgte verblindet. Statistisch wurden die Daten dem Mann-Whitney U-Test und dem Fischer-Test unterzogen (siehe Tab. 1 und 2), wobei ein p-Wert p<0,01 als statistisch signifikantes Ergebnis interpretiert wurde.
4
Ergebnisse
In der Auswertung der Studienpopulationen ergab sich eine signifikante Verl¨ angerung der TTP in der Studiengruppe der PAVK-Patienten gegen¨ uber dem gesunden Patientenkollektiv in beiden Messungen: Im Median lag die TTP in Ruhe bei 48 s [19 s – 80 s] bei den PAVK-Patienten gegen¨ uber 27 s [15 s – 39 s] bei den Kontrollen (Mann-Whitney-p<0,01). In der Belastungsmessung standen als Median 26 s [13 s – 48 s] bei den PAVK-Patienten 16 s [8 s – 33 s] in der Kontrollgruppe gegen¨ uber (Mann-Whitney-p<0,01) (siehe Abb. 1). Im klinischen Einsatz der TTP aus der Ruhemessung l¨asst sich bei einem Schwellenwert von TTP = 35 s mit einer Sensitivit¨at von 83% bei einer Spezifit¨at von 87% die Diagnose einer PAVK stellen. Eine Erh¨ohung des Schwellenwerts geht mit einer deutlichen Sensitivit¨ atseinbuße einher, w¨ahrend bei Absenkung
Contrast Enhanced Ultrasound Perfusion Imaging
457
Abb. 1. Boxplots. Time to peak intensity (TTP) der Kontrastmittel-wash-in-Kurven in der Wadenmuskulatur von Patienten mit PAVK (weiß) gegen¨ uber Kontrollen (grau) (links) und von Diabetikern (weiß) gegen¨ uber Kontrollen (grau) in Ruhe und nach Belastung (rechts). Horizontale Balken – Mediane, Whiskers – Spannweite. Kontrolle Diabetes
60
80 Kontrolle PAVK
48 40
26
27 20
Time to peak intensity [s]
Time to peak intensity [s]
50 60
40
30 26 20
24 15
15
16
10
0
0 Ruhemessung
Belastungsmessung
Ruhemessung
Belastungsmessung
des Schwellenwerts die Spezifit¨ at deutlich abnimmt bei nur geringf¨ ugigem Gewinn an Sensitivit¨ at (siehe Tab. 3). Das Patientenkollektiv der Diabetiker zeigte keinen signifikanten Unterschied in der wash-in-Dauer TTP unter Ruhebedingungen: im Median 24 s [17 s – 37 s] bei Gesunden und 26 s [12 s – 51 s] bei Diabetikern (Mann-Whitney-p = 0,441). Auch in der Belastungsmessung ergab sich mit 15 s [9 s – 29 s] bei den Diabetikern und 15 s [8 s – 30 s] bei den Kontrollen und mit einem Mann-Whitney-p von 0,914 kein signifikantes Ergebnis (siehe Abb. 1).
5
Diskussion
Das contrast enhanced ultrasound perfusion imaging CUPI stellt eine neue Methode zur Diagnostik der PAVK dar. Es kann als diagnostischer Test auf Vorhandensein einer PAVK unter Ber¨ ucksichtigung der Sensitivit¨at und Spezifit¨at des Verfahrens angewandt werden. Es erscheint dabei angemessen, zur Beurteilung die TTP der Ruhemessung zu verwenden, da diese auch bei Immobilit¨at des Patienten ermittelt werden kann, was bei weit fortgeschrittener PAVK h¨aufig ein Problem darstellt. Genauere Untersuchungen zur Erfassung der Mikrozirkulation sind Gegenstand der gegenw¨ artigen Forschung. Durch die gezielte Auswahl diverser kleiner ROIs in der Bildanalyse konnten isolierte Darstellungen der arteriellen und ven¨ osen Perfusion als auch der Mikrozirkulation erzielt werden. Damit wurde erwiesen, dass CUPI Ver¨ anderungen der Mikrozirkulation erfassen kann. Die Auswahl der 4 cm ROI zur Datenanalyse beruht auf der Grundlage der Erfahrung, dass eine solche verh¨ altnism¨ aßig große ROI gegen¨ uber St¨oreinfl¨ ussen w¨ahrend der Aufnahme am wenigsten anf¨ allig ist. Eine Verl¨angerung der TTP
458
E. Rink et al. Tabelle 3. Sensitivit¨ at und Spezifit¨ at f¨ ur verschiedene TTP-Schwellenwerte Schwellenwert TTP Ruhemessung
Sensitivit¨ at
Spezifit¨ at
30 s 35 s 40 s
86,67% 83,33% 66,67%
73,33% 86,67% 100%
bei Diabetikern gegen¨ uber Gesunden aufgrund einer St¨orung der Mikrozirkulation konnte dennoch bislang nicht gezeigt werden. Problematisch stellt sich dabei jedoch der m¨ oglicherweise zu geringe Anteil an Diabetikern mit manifesten Sp¨ atsch¨ aden im Sinne einer Retinopathie oder Nephropathie dar, die als Hinweis f¨ ur das tats¨ achliche Vorhandensein einer Mikrozirkulationsst¨orung gewertet werden k¨ onnen. Daher wird eine Erfassung h¨ oherer Fallzahlen – insbesondere von Diabetikern mit diabetischen Folgesch¨ aden – angestrebt, um die gegenw¨artigen Ergebnisse zu u ufen. ¨ berpr¨
Literaturverzeichnis 1. Diehm C, Schuster A, Allenberg JR, et al. High prevalence of peripheral arterial disease and co-morbidity in 6880 primary care patients: cross-sectional study. Atherosclerosis 2004;172(1):95–105. 2. Hirsch AT, Criqui MH, Treat-Jacobson D, et al. Peripheral arterial disease detection, awareness, and treatment in primary care. JAMA 2001;286(11):1317–1324. 3. American Diabetes Association. Peripheral Arterial Disease in people with diabetes (Consensus statement). Diabetes Care 2003;26(12):3333–3341. 4. Janardhanan R, Burden L, Senior R. Usefulness of myocardial contrast echocardiography in predicting collateral blood flow in the presence of a persistently occluded acute myocardial infarction-related coronary artery. Am J Cardiol 2004;93(10):1207–1211. 5. Seidel G, Meyer-Wiethe K, Berdien G, et al. Ultrasound perfusion imaging in acute middle cerebral artery infarction predicts outcome. Stroke 2004;35(5):1107–1111. 6. Klein D, Jenett M, Gassel HJ, et al. Quantitative dynamic contrast-enhanced sonography of hepatic tumors. Eur Radiol 2004;14(6):1082–1091. 7. Duerschmied D, Olson L, Olschewski M, et al. Contrast ultrasound perfusion imaging of lower extremities in peripheral arterial disease - a novel diagnostic method. Eur Heart J 2005;p. im Druck (http://eurheartj.oxfordjournals.org/cgi/ content/abstract/ehi636?ijkey=6IDMlOnFKh5DtUK&keytype=ref). 8. Duerschmied D, Rink E, Harder D, et al. Quantitative Perfusionsanalyse der Extremit¨ atenmuskulatur mit Ultraschall-Kontrastmittel bei arteriellen Durchblutungst¨ orungen (eingereicht).
Kategorisierung der Beitr¨ age
Modalit¨ at bzw. Datenmaterial R¨ ontgen, 1, 26, 71, 226 – konventionell, 321 – digital, 16, 46, 111, 141 Durchleuchtung, 16, 46 Angiographie, 16, 46, 141, 186, 226, 241, 291 Computertomographie, 6, 26, 36, 91, 96, 101, 136, 151, 156, 166, 186, 196, 201, 211, 236, 266, 291, 296, 316, 321, 331, 335, 345, 350, 389, 409, 444 – hochaufl¨ osend, 116, 216, 221, 331, 444 – spiral, 11, 101, 106, 161, 444 Sonographie, 41, 156, 176, 181, 191, 196, 399, 439, 454 Kernspintomographie, 31, 51, 56, 61, 81, 166, 171, 186, 201, 206, 211, 256, 266, 271, 291, 296, 409 – funktionell, 311, 331, 394 – hochaufl¨ osend, 146, 246, 286, 311, 331, 335 Positron-Emission-Tomographie, 201 – hochaufl¨ osend, 221 Single-Photon-Emission-Computertomographie, 96, 221, 236 Endoskopie, 156, 301, 326, 335, 355, 414, 419, 424, 429 Optische Verfahren – sonstige, 21, 66, 76, 86, 121, 126, 191, 231, 316, 321, 340, 359, 364, 369, 374, 379, 434, 449 Signale (EKG; EEG; etc.), 311 Multimodale Daten, 56, 116, 131, 196, 221, 251, 276, 286, 301, 311, 321 Dimension der Daten Signal (1D), 311 Bild (2D), 1, 31, 36, 46, 66, 71, 76, 86, 111, 121, 156, 176, 181, 201, 231, 246, 251, 261, 301, 316, 321, 335, 340, 355, 359, 364, 374, 379, 419, 424, 429, 439, 449 Bildsequenz (2D+t), 16, 21, 41, 46, 226, 241, 256, 321, 374, 414, 429, 434, 454 Volumen (3D), 11, 26, 31, 51, 81, 91, 96, 101, 106, 116, 131, 136, 141, 146, 151, 161,
166, 171, 186, 191, 196, 201, 206, 211, 216, 221, 226, 231, 236, 246, 251, 261, 266, 271, 276, 281, 286, 296, 301, 306, 311, 321, 326, 331, 340, 350, 364, 369, 384, 389, 399, 409, 419, 424, 439, 444 Volumensequenz (3D+t), 6, 56, 61, 126, 216, 256, 276, 291, 311, 394, 404, 434 Pixelwertigkeit Einkanal, 6, 16, 21, 26, 36, 41, 46, 56, 61, 71, 81, 91, 96, 101, 106, 121, 136, 141, 146, 161, 166, 171, 176, 181, 186, 196, 201, 206, 211, 216, 221, 226, 236, 241, 251, 256, 261, 266, 291, 321, 331, 350, 355, 359, 374, 379, 389, 399, 414, 424, 429 Mehrkanal, 31, 51, 66, 76, 86, 121, 126, 131, 156, 211, 231, 271, 276, 281, 286, 335, 364, 369, 384, 449 Untersuchte K¨ orperregionen Ganzk¨ orper, 46, 121, 186, 221, 301, 335, 340, 404, 449 Sch¨ adel, 31, 41, 66, 76, 81, 96, 106, 131, 136, 141, 146, 151, 156, 176, 191, 206, 226, 251, 271, 286, 296, 311, 335, 379, 389, 394, 414 Wirbels¨ aule, 196, 211, 419 Extremit¨ aten – obere, 71, 86, 196, 399 – untere, 16, 46, 86, 91, 196, 201, 226, 296, 454 Thorax, 6, 11, 16, 21, 96, 101, 116, 136, 156, 161, 171, 181, 201, 221, 226, 241, 256, 276, 291, 296, 301, 321, 331, 355 Mamma, 61, 439 Abdomen, 6, 16, 36, 46, 141, 156, 201, 216, 221, 276, 296, 331, 340, 409, 414, 419 Becken, 26, 91, 111, 221, 326, 419 Betrachtetes Organsystem System¨ ubergreifend, 76, 121, 276, 296, 301, 321, 389, 429 Zentrales Nervensystem, 31, 66, 76, 81, 146, 151, 206, 271, 286, 311, 379, 394
460
Kategorisierung der Beitr¨ age
Kardiovaskul¨ ares System, 16, 21, 41, 46, 96, 101, 116, 136, 141, 161, 171, 186, 216, 241, 256, 291, 355, 444 Respiratorisches System, 6, 11, 301, 350 Gastrointestinales System, 16, 46, 181, 331, 419 Uropoetisches System, 51 Reproduktionssystem, 326, 419 Muskoloskeletales System, 26, 71, 86, 91, 96, 111, 151, 196, 211, 399, 404, 454 Immunzellul¨ ares System, 96, 106 Prim¨ arfunktion des Verfahrens Bilderzeugung und -rekonstruktion, 6, 31, 36, 106, 191, 241, 256, 271, 276, 281, 321, 326, 419, 424, 429, 439, 444, 449 Bildverbesserung und -darstellung, 6, 16, 31, 36, 46, 181, 226, 231, 241, 246, 266, 271, 286, 301, 306, 311, 326, 331, 335, 340, 379, 419, 424, 429, 439 Merkmalsextraktion und Segmentierung, 1, 21, 41, 51, 66, 76, 81, 86, 91, 96, 101, 106, 116, 121, 126, 136, 146, 156, 161, 171, 176, 181, 186, 211, 231, 246, 321, 350, 355, 359, 369, 374, 384, 399 Objekterkennung und Szenenanalyse, 1, 11, 26, 71, 76, 91, 111, 116, 121, 141, 146, 151, 166, 326, 340, 355, 374, 379, 414, 454 Quantifizierung von Bildinhalten, 1, 21, 31, 41, 56, 61, 86, 111, 116, 121, 141, 186, 216, 236, 241, 364, 374, 379, 384, 394, 419, 454 Multimodale Aufbereitung, 56, 131, 196, 206, 211, 221, 236, 246, 251, 291, 296, 301, 311, 321, 331, 345, 404
Art des Algorithmus Datenbasiert (low-level), 6, 11, 16, 21, 31, 36, 41, 46, 51, 61, 66, 76, 86, 91, 116, 121, 126, 136, 141, 186, 191, 196, 201, 206, 226, 231, 236, 241, 251, 256, 281, 286, 291, 316, 321, 326, 355, 359, 364, 384, 394, 404, 414, 419, 424, 429, 439 Regionenbasiert (mid-level), 1, 16, 71, 86, 101, 126, 136, 141, 151, 156, 161, 201, 211, 221, 231, 286, 350, 359, 364, 384, 429 Wissensbasiert (high-level), 1, 26, 91, 96, 106, 116, 121, 126, 131, 141, 146, 151, 161, 166, 171, 196, 211, 216, 326, 335, 369, 379, 384, 389, 414, 449
Art des Projektes Grundlagenforschung, 1, 36, 121, 181, 186, 206, 231, 261, 301, 364, 369, 379, 429, 449 Methodenentwicklung, 6, 11, 16, 21, 26, 31, 41, 46, 61, 66, 71, 76, 86, 91, 96, 101, 106, 111, 116, 121, 126, 131, 136, 141, 146, 151, 156, 166, 171, 181, 186, 191, 196, 201, 206, 211, 216, 236, 241, 246, 256, 266, 271, 281, 286, 291, 296, 301, 306, 316, 321, 326, 335, 340, 350, 359, 364, 374, 384, 389, 399, 404, 414, 419, 424, 429, 434, 439, 454 Anwendungsentwicklung, 6, 31, 51, 56, 81, 91, 101, 111, 116, 126, 156, 161, 171, 176, 196, 201, 211, 276, 301, 311, 316, 326, 331, 345, 350, 355, 359, 384, 389, 394, 409, 424, 439, 454
Autorenverzeichnis
Aach T, 11, 21, 41 Alkadhi H, 161 Andronache A, 211 Arbter K, 355 Bade R, 296, 409 Baer A, 266 Bansmann MP, 56 Barenbrug B, 141 Baron S, 434 Bauer D, 251 Baumhauer M, 326 Bekkaoui F, 350 Bendl R, 394 Benz M, 176, 191 Berkels B, 246 Bernarding J, 311 Berretty RPM, 141 Bischof CH, 404 Bischoff S, 281 Blauth M, 91 Blume H, 434 B¨ ohler T, 171 Boskamp T, 171 Bouattour S, 226 Braumann U-D, 231, 379 Brendel B, 196 Breuel TM, 76 Brox T, 86 Bruijns J, 141 Br¨ uß C, 126 Burkhardt H, 369 Buzug TM, 36, 286 Carlsen IC, 201 Cattin PC, 161, 211, 419 ˇ Cech P, 211 Chen L, 131 Condurache AP, 21 Cremer T, 364 Degenhard A, 61, 66 Deinzer F, 226 Dickhaus H, 241, 394 Doerfler A, 81 Dornheim J, 96, 106
Dornheim L, 96 Dreschler-Fischer L, 121 Drexl J, 261 Droske M, 246 Duda GN, 26 D¨ urschmied D, 454 Ecabert O, 101 Egger J, 316 Ehrhardt J, 6, 56, 256 Eils R, 364, 374, 384 Einenkel J, 231 Ellenberg J, 374 Enders F, 271 Engelhardt M, 151 Erbacher M, 241 Erfle H, 374 Fehr J, 369 Feiden W, 76, 86 Feldmann T, 226 Fischer B, 71 Franke H, 379 Franz A, 201 Frenzel T, 6 Freund G, 454 Fried M, 246 Fritscher K, 91, 216 Fuchs M, 286 Gademann G, 321 Gebhard B, 301 Giesel FL, 394 Gladilin E, 384, 389 Glasmacher B, 444 G¨ ob S, 176 Greiner G, 191, 271 oger M, 355 Gr¨ Gr¨ unerbl A, 91 Grigat R-R, 16, 46 Groh A, 449 G¨ uld MO, 71 Gutt C, 326, 331 Hacker S, 276 Haenschel C, 146
462
Autorenverzeichnis
Hahn D, 221 Hahn T, 21 Hammen T, 81 Hamprecht FA, 31, 51 Han J, 236, 246 Handels H, 6, 56, 256, 276 Hans V, 66 Harder D, 454 Harder N, 374 Hastreiter P, 81, 271 H¨ ausler G, 176, 191 Heck D, 31 Hege H-C, 26 Hehrlein C, 454 Heimann B, 434 Heimann T, 166 Held M, 374 Heller MO, 26 Hengstler J, 379 Hennemuth A, 171, 291 Hensel M, 16, 46 Hirzinger G, 355 Horn L-C, 231 Hornegger J, 221, 236, 246 Hornung O, 434 Horsch A, 181 Huth J, 61 Iserhardt-Bauer S, 81 Ivanov A, 389 J¨ ager F, 236 J¨ ager P, 11 Jaschke W, 216 Jetzek F, 121 Kahrs LA, 340 Kalender W, 444 Kelm BM, 31, 51 Kenngott H, 331 Kessar P, 61 Khazen M, 61 Kier C, 41 Kim Y-J, 76, 86 Kirsch L, 399 Knepper A, 11 Kobbelt L, 281 K¨ ohler D, 364 K¨ ohn A, 261 K¨ onig M, 261
Kopf H, 216 Korosoglou G, 241 Kov´ acs T, 161 Kraus T, 11 Krause UHW, 345 Krings M, 444 Kuhlen T, 404 Kuhn V, 91, 111 K¨ uhnel C, 291 Kullmann W, 176 Kummert F, 359 Kurz H, 369 Kuß A, 291 Kuska J-P, 231, 379 Kuwert T, 221, 236 Lamecker H, 26 Landes CA, 449 Leach MO, 61 Lehmann TM, 1, 71 Lessmann B, 61, 66 Lichy MP, 31 Liebel U, 374 Linden DEJ, 146 Linder R, 449 L¨ offler M, 231 Lorenz C, 116 Low D, 6 Lowitzsch S, 176, 191 Loyek C, 61 Lund GK, 56 Lundt B, 46 Maas S, 399 Mahnken A, 444 Maier T, 176, 191 Mang A, 286 Mattes J, 216 Meinzer H-P, 166, 301, 326, 331 Menze BH, 31, 51 Merhof D, 271 Meyer B, 335 Meyer-Wiethe K, 41 Michaelis B, 321 Misfeld M, 21 Misske J, 434 M¨ onch T, 311 Mostarkic Z, 350 Mues-Hinterw¨ aller S, 156 M¨ uhler K, 296
Autorenverzeichnis M¨ uller H, 171 M¨ uller J, 286 M¨ uller TO, 439 Mullick R, 306 Nagel M, 345 Nattkemper TW, 61, 66 Neff T, 51, 394 Netzer M, 216 Neuhaus J, 331 Neukam FW, 176 Neumann B, 374 Nimsky C, 271 Nkenke E, 176 Norozi K, 434 Oehler M, 36 Oeltze S, 291 Oldhafer KJ, 409 Orhan G, 434 Overhoff HM, 399 Palm C, 251 Patommel J, 444 Paulus D, 156, 226 Pechlivanis I, 196 Peitgen H-O, 171, 261 Peters FJ, 141 Pietrzyk U, 251 Pointon L, 61 Popovic A, 151 Pralow T, 16, 46 Preim B, 266, 291, 296, 335, 409 Preim U, 106 Prvulovic D, 146 Raczkowsky J, 340 Radermacher K, 151 Raghu K, 306 Rahn C-D, 121 Rassweiler J, 326 Reeff M, 419 Renisch S, 201 Richter D, 316, 350 Richter G, 326 Riedel I, 409 Riefenstahl N, 321 Riegg T, 181 Rilk ME, 414 Rink E, 454
Rink K, 136 Ritter F, 261 Roginsky V, 389 Rohr K, 186, 206, 364, 374, 384 Ronneberger O, 369 Rossknecht A, 454 Rotarska-Jagiela A, 146 R¨ uhmann O, 399 Ruiter NV, 439 Rumpf M, 246 Rupp S, 424, 429 Sandk¨ uhler D, 399 S¨ aring D, 6, 56, 256 Sauer C, 369 Sauer F, 221 Schaller C, 246 Scharfschwerdt M, 21 Scherf N, 231 Schmidt L, 409 Schmidt-Borreda M, 1 Schmieder K, 196 Schoell S, 81 Sch¨ onmeyer R, 146 Schreiber J, 111 Schroer C, 444 Schubert R, 91, 111, 216 Schwarzenberg G, 439 Scorzin J, 246 Seibel RMM, 345 Seidel G, 41 Seiffert U, 126 Seim H, 96, 106 Seitel M, 306 Sonntag M, 271 Spindler M, 266 Stefan H, 81 Stehle TH, 101 Steingruber I, 216 Stork A, 56 Straßmann G, 316, 350 Strickert M, 126 Sun Y, 221 Sußner G, 191 Sz´ekely G, 161, 211, 419 Teller K, 364 Thies C, 1, 71 Tietjen C, 266, 335 T¨ onnies K, 96, 136
463
464
Autorenverzeichnis
T¨ orsel A-M, 136 Tropp A, 394 Tscherepanow M, 359 Ullrich S, 404 Vaidya V, 306 Valvoda JT, 404 Varini C, 66 Vetter M, 301, 326, 331 Vieten A, 251 Vogel S, 11 von Berg J, 116 von Jan U, 399 Wagenknecht G, 131 Wagner M, 286, 449 Wahl FM, 414 Walke M, 321 Wang L, 211 Weber M, 379, 439 Wegner I, 301 Weichert F, 449 Weickert J, 86 Weisensel S, 429 Wenckebach TH, 26 Wengert C, 419 Wentzensen N, 231
Werner R, 6 Wessel A, 434 Wildermuth S, 161 Wilharm S, 191 Winkelbach S, 414 Winkler B, 71 Winter C, 424, 429 Winter S, 196 Wirjadi O, 76 Wittenberg T, 156, 176, 424, 429 Wolber P, 301 Wolf I, 166, 331 Wolz G, 221 W¨ orn H, 340 W¨ orz S, 186, 206 W¨ underlich R, 449 Xu C, 221 Yang S, 364 Yelbuz TM, 434 Zapf M, 439 Zechmann CM, 51 Zerfaß T, 156 Zhou Q, 454 Z¨ ollner F, 359 Zucker U, 181
Stichwortverzeichnis
AAM, 171 Abbildung, 36, 266, 301, 335, 429, 439 ¨ Ahnlichkeit, 71, 201, 301 Aktive Kontur, 86, 121, 136, 176, 359 Anatomie, 116, 146, 276, 331, 389 Animation, 296 Appearance, 171 Applet, 439 Approximation, 191 Artefakt, 36, 181, 286, 429 Atlas, 26, 81, 116, 126, 131, 276 Aufl¨ osung, 36, 345, 429, 444 Augmented Reality, 301, 326, 419 Ausbildung, 266, 276, 296, 409 Automat, 131 B-Spline, 121 Backpropagation, 36 Benutzerschnittstelle, 1, 335, 439 Bewegung, 226, 276, 355, 429 Bewegungsanalyse, 6, 56, 216, 321, 355, 429 Bewegungserkennung, 16 Bewegungsunterdr¨ uckung, 241 Bilddatenbank, 71 Bildfusion, 111, 226, 236, 301, 321, 364, 429 Bildgenerierung, 51, 241, 434, 449 Bildqualit¨ at, 31, 36, 340, 419, 429 Bildsensor, 96, 321 Bildverbesserung, 16, 36, 46, 384, 419, 424, 429, 439 Bioinformatik, 231, 359, 364, 374, 384 Biomechanik, 121, 384, 389 CCD-Sensor, 340 cellular imaging, 384 CineMR, 56 Clusteranalyse, 231 Computer, 36, 335 Computer Aided Diagnosis (CAD), 31, 76, 106, 141, 161, 181, 216, 291 Computer Assisted Radiology (CAR), 111, 141 Computer Assisted Surgery (CAS), 196, 331, 335, 345, 389, 399, 409, 414, 419
Computer Based Training (CBT), 266, 296, 409 Content Based Image Retrieval (CBIR), 61, 71 Cortex unfolding, 286 Cram´er-Rao bound, 186 CURRY, 286 Cyberlogic Wave3000, 439 Datenbank, 61, 66 Deformierbares Modell, 26, 91, 96, 106, 121, 136, 151, 161, 171, 186, 216, 326, 384, 389, 404 Delayed-enhancement, 56 Densitometrie, 111 Detektion, 31, 116, 121, 141, 181, 345 Diffusion, 271, 311 Diffusion tensor imaging, 271 Diskriminanzanalyse, 31 Dynamik, 321, 394 Echtzeit, 16, 46, 266, 301, 326, 355, 404, 414, 419 Elastische Morphometrie, 121 Elastische Registrierung, 201, 206, 216, 261, 364, 384 Entzerrung, 301, 419 Erweiterte Realit¨ at, 301, 340 Evaluierung, 31, 136, 146, 171, 201, 424 – klinisch, 56, 221 Evolution, 196 Expectation Maximization, 36 Farbmodell, 355 Feder-Masse-Modell, 106 Filterung, 16, 46, 181, 191, 424, 429 – nichtlinear, 429 Finite Differenzen Methode (FDM), 439 Finite Elemente Modell (FEM), 384, 389 Flexible Endoskopie, 429 Fourier-Transformation, 424 Frequenzanalyse, 21, 424 Front-Propagation, 101 Fusion, 221, 321, 429
466
Stichwortverzeichnis
Gauß-Kr¨ afte, 206 Gef¨ aßsegmentierung, 186 Geometrie, 116, 121, 141, 404 Glanzlichtdetektion, 340 GPU, 261 Gradient, 86 Graph Matching, 71 Graphen, 379 Graphical User Interface (GUI), 306 Hardware, 266 Heart surgery, 355 Histogramm-Transformation, 384 Hochgeschwindigkeitskamera, 21, 434 Hough-Transformation, 161 Hybrides Modell, 121, 221 Illustration, 335 Image Retrieval, 71 Implant shape optimization, 389 Infrarot, 316, 331, 350 Interaktion, 306 Interface, 404, 439 Interpolation, 6, 36, 121, 191, 256, 429 JAVA, 439 Kalibrierung, 301, 350, 419, 424 Kantendetektion, 86, 96, 116, 121, 146, 156, 181 Karhunen-Lo´eve-Transformation, 171 Klassifikation – statistisch, 1, 31, 76, 374 – syntaktisch, 146 – unscharf, 71, 141, 236 Klinische Evaluierung, 41, 116, 389 Komponentensoftware, 51 Konfokale Laser Scanning Mikroskopie (LSM), 369, 384 Kontrast, 340, 454 Kontur, 56, 86, 121, 171, 191, 359 Koordinatentransformation, 116, 121, 191, 206 Korrelation, 321 Korrespondenzbestimmung, 56, 71, 116, 121, 166, 221 Kovarianzmatrix, 171 Kr¨ ummungsanalyse, 121
Labeling, 51, 71, 76, 116, 131, 141, 231, 419 Landmarke, 116, 121, 131, 166, 206, 316, 355, 399 Level Sets, 151 Level-Set-Segmentierung, 216 Levelsets, 86 Live Wire, 156 Lokale Adaption, 101, 116, 146 Lokalisation, 111, 116, 316, 331, 335 LV-remodeling, 56 Lymphknoten, 106 Manifold triangulation, 286 Marching Cube, 11, 131, 141, 281 Matching, 71, 111, 116, 171, 321, 331 Maximum-Likelihood, 36 Merkmalskarte, 51, 340 Metallartefakt, 36 Minimalinvasive Chirurgie, 331, 355, 414, 419 Model Fitting, 186 Modellierung, 46, 91, 101, 116, 121, 141, 166, 171, 186, 191, 404, 424 Morphologie, 121, 141, 311, 359 Morphometrie, 76, 86, 121, 216, 379 MPEG, 296 MRSI, 31 Multilevel, 26 Multimedia, 296 Multiparametervisualisierung, 291 Multiscale, 261 Multiskalen, 1, 71, 231 Multispektral, 51 Mutual Information, 56, 111, 211, 221, 394 Myokardperfusion, 291 Navier-Gleichung, 206 Navigation, 196, 301, 316, 326, 331, 335, 345, 350 Neuroimaging, 286 Neuronales Netz, 71, 126 Nicht-Photorealistisches-Rendering (NPR), 266 Nichtlineares Filter, 429 Nonlinear Estimation Theory, 186 Nosologisches Bild, 31 Numerik, 131, 389
Stichwortverzeichnis Oberfl¨ achen-Volumen-Registrierung, 196 Oberfl¨ ache, 116, 131, 191, 216, 266, 281, 321, 340 Objekt-orientiertes Software-Design, 306 Objekterkennung, 1, 56, 71, 76, 111, 116, 121, 141, 146, 166, 350, 374, 379, 414 Objektverfolgung, 321, 355, 414 Operationsplanung, 106, 296, 345, 399, 409 Optimierung, 26, 36, 86, 196, 201, 261, 389 Optischer Fluss, 256 Parametrierung, 16, 56, 121 Partikelfilter, 414 Perfusion, 41, 291, 394, 454 Polynomapproximation, 191 Projektionsbilder, 2D, 26 Prostata, 326 Prostatektomie, 326 Quantisierung, 41, 56, 141 Radiale Basisfunktion, 191 Radon-Transformation, 36 Rapid prototyping, 389 Rauschen, 16, 46, 181, 191, 321 Rauschsch¨ atzung, 46 Region of Interest (ROI), 131, 146, 186, 201, 241, 454 Region-Growing, 71, 216 Registrierung, 6, 56, 81, 111, 116, 196, 201, 216, 221, 226, 231, 236, 246, 251, 261, 301, 345, 350, 364 – elastisch, 201, 206, 216, 246, 256, 261, 364 Regularization, 261 Regularized gradient flow, 261 Rekonstruktion, 439 – 3D, 26, 106, 131, 191, 231, 251, 419, 424, 439, 444 Remeshing, 166 Rendering, 266, 301 Resektion, 76 Retrieval, 1 ROC-Kurve, 31, 76 Schwellwertverfahren, 21, 31, 121, 146, 350, 374 Sensor, 331 Simulation, 404, 439
467
Skalenanalyse, 1, 71, 449 Skalenraum, 71 SMSM, 96 Snake, 176, 359 – 2D, 86, 359 – 3D, 116 Sobel-Operator, 350 Spektralbild, 51 Spektrum, 21, 51 Statistische Formmodelle, 26 Statistisches Formmodell, 166 Stippling, 266 Streamline visualization, 271 Strukturanalyse, 131 Super Resolution, 429 Support Vector Maschine, 374 Template Matching, 111, 171, 384 Textur, 86, 266 Therapie, 321 Topological artefacts, 286 Topologie, 116, 131, 281, 286, 379, 384 Tracking, 301, 331, 355, 414, 429 Transformation, 201 Tumorstaging, 181 Ultraschall-Computertomographie (USCT), 439 Ultraschall-Kontrastmittel, 41 Ultraschall-Registrierung, 196 Unified Modeling Language (UML), 306 Urologie, 326 Validierung, 116, 201, 331 Variabilit¨ at, 276 Variational calculus, 261 Verteilungsfunktion, 71 Verzerrung, 301 Video, 21, 296, 301, 434 Videodokumentation, 296, 434 Vierkamerasystem, 316, 350 Virtuelle Realit¨ at, 301, 306, 404 Visible Human, 276 Visualisierung, 11, 66, 271, 335 – 2D, 331, 335, 424, 449 – 2D+t, 16, 434 – 3D, 106, 116, 131, 266, 276, 286, 291, 306, 311, 331, 419 Volume Rendering, 311, 321, 331 Volumetrie, 141, 146
468
Stichwortverzeichnis
Vorverarbeitung, 16, 51, 429 Vorwissen Herz, 116 Warping, 171 Wasserscheiden-Transformation, 359
Wavelet-Transformation, 61, 66, 449 Wendlandfunktion, 191 Workflow, 51 Zeitreihe, 16, 61, 256, 311, 394
