Registrace ve Fiji

Cílem toho cvičení je vyzkoušet si registraci medicínských obrazů za pomocí nástroje Fiji. V první části budete odhadovat parametry transformace ručně. Ve druhé části použijete několik automatických a poloautomatických nástrojů (Moving Least Squares, Linear Stack Alignment with SIFT, bUnwarpJ). Pro porovnání kvality registrace použijte “mozaikové kompozice” registrovaných obrázků (příklady níže). Tyto mozaiky vložte do zprávy, vyhodnoťte dosažené výsledky a možnosti uplatnění jednotlivých metod.

Z webu cvičení si stáhněte lab_registration_images.zip se vstupními obrázky a pokud je třeba, tak i software Fiji pro váš OS. (Na počítačích v učebně je již nainstalován)

Práce s jednotlivými registračními metodami je podrobněji popsána níže.

1. Pokuste se zaregistrovat histologické řezy (obrázky “histology.*”) a MRI mozku (obrázky “brain.*”) tak, že odhadnete typ transformace a zaregistrujte je interaktivní metodou. Do zprávy vložte mozaiku a uveďte použitý typ transformace. [1.25 bodu]
2. Na registraci 3 sérií dat - hlavy - “head.*”, podélný řez tělní dutiny - “enterocoele.*” a příčný řez tělní dutiny - “pectus.*” použijte:
   1. interaktivní metodu Moving Least Squares. Do zprávy vložte mozaiky (pro každou sérii jeden obrázek) všech registrovaných sérií. [1.25 bodu]
   2. použijte automatickou metodu Linear Stack Alignment with SIFT. Do zprávy vložte mozaiky (6, dva pro každou sérii s různými nastaveními) všech registrovaných sérií. [1.25 bodu]
   3. použijte automatickou metodu bUnwarpJ. Do zprávy vložte mozaiky (6, dva pro každou sérii s různými nastaveními) všech registrovaných sérií. [1.25 bodu]

Pro ověření zarovnání jednotlivých registrovaných sekvencí využijeme kombinovanou mozaiku všech obrázků (viz níže).

Porovnejte výsledky metod jednotlivých bodů z úkolu 2.

Pro správnou funkci pluginů (metod) je nutné mít otevřené oba registrované obrazy. Toto provedeme volbou v menu

File → Open…

nebo jednoduše přetažením (Drag and Drop) vybraného obrázku na lištu Fiji. Pokud registrujete více než dva obrázky, vyberte jeden referenční a ostatní registrujte na něj.

• Kontrolní mozaiku můžete vytvořit v Matlabu v grafickém editoru, či pomocí Fiji makra makeMosaic, které je součástí zip archivu.
• Další možnost (vhodnější pro černobílé obrázky) je vykreslení všech obrázků v jednom, kdy každý z obrázků je neprezentován jako jeden barevný kanál. Máme-li otevřené všechny obrázky, jenž chce složit dohromady použijeme volbu Image → Color → Merge Channels.

Nejprve si vyzkoušíme ručně odhadnout transformaci, kterou by bylo možné dvojice obrázků registrovat. První způsob je použít interaktivní metody, která průběžně ukazuje výsledek vámi zvolené transformace

Plugins → Transform → Interactive …

Z možných metod si vyzkoušejte následují tři:

• Interactive Rigid
• Interactive Affine
• Interactive Perspective

Po zvolení druhu transformace se vám na vybraném obrázku zobrazí několik bodů, které charakterizují danou transformaci. Jejich posouváním měníte transformaci, což se bezprostředně projeví v obrázku.

Plugin Moving Least Squares pracuje s obrázky otevřenými v samostatných oknech. Před vlastním spuštěním pluginu je nutné na obou obrázcích označit navzájem si odpovídající body (landmarky). V hlavní liště Fiji klikneme na ikonu Point,změníme volbu z Point Tool na Multi-Point Tool, označíme alespoň 3 body na každém z obrázků a spustíme plugin

Plugins → Registration → Moving Least Squares

kde zvolíme hledanou transformaci a potvrdíme volbu.

Poznámka: je třeba odznačit volbu merged results.

Linear Stack Alignment with SIFT je založen na detekci klíčových bodů v obraze a jejich následnou registraci.

Pomocí SIFTu (odborný článek) nejprve detekuje množinu klíčových bodů a spočteme jejich deskriptory. Následně hledáme dvojice klíčových bodů z referenčního a pohyblivého obrázku které jsou si nejpodobnější. Z takto sestavených korespondencí již není těžké určit hledanou transformaci.

Otevřete si postupně všechny obrázky a volbou

Image → Stack → Images to Stack

je spojte do jednoho vícevrstvého obrázku, kde každý z původních obrázků je reprezentován jako jedna vrstva. Pak spusťte plugin volbou

Plugins → Registration → Linear Stack Alignment with SIFT

v dialogu nastavíte vlastnosti použitých deskriptorů a typ hledané transformace.

bUnwarpJ je algoritmus pro pružnou a konzistentní registrace obrazu. Provádí současné registraci obou obrazů A a B. Obrázek A je elasticky deformován tak, aby vypadal co nejpodobnější obrazu B, a zároveň se také počítá i “inverzní” transformace (z B do A).

Plugin bUnwarpJ pracuje s jednotlivě otevřenými obrázky a naleznete ji pod volbou Plugins → Registration → bUnwarpJ V hlavním okně pluginu se nastavují váhy jednotlivých prvků minimalizovaného funkcionálu energie.