Restaurování obrazu

Restaurování obrazu (anglicky image restoration) je oblast digitálního zpracování obrazu, která se zabývá odstraňováním nebo zmírňováním nežádoucích degradací v digitálních fotografiích a obrazech. Cílem je obnovit původní kvalitu obrazu, který byl poškozen různými fyzikálními procesy během snímání, přenosu nebo ukládání.^[1] Restaurování obrazu nachází uplatnění v mnoha oblastech. Jde například o medicínské zobrazování (zlepšení kvality rentgenových snímků, CT, MRI^[2]), astronomii (korekce atmosférických vlivů u teleskopických snímků), mikroskopii (zlepšení rozlišení a kontrastu mikroskopických obrazů), forenzní analýzu (zlepšení kvality bezpečnostních kamer), digitální fotografii (odstranění rozmazání a šumu z fotografií) či průmyslová kontrola kvality (zlepšení kvality obrazů pro automatickou inspekci).

Metody restaurování obrazu zahrnují lineární metody jako Wienerův filtr a inverzní filtr, nelineární přístupy včetně Richardsonova–Lucyova algoritmu, regularizační metody používající totální variaci nebo vlnkovou regularizaci, a moderní metody založené na umělé inteligenci. Na rozdíl od zlepšování obrazu, které upravuje obraz heuristicky pro lepší vizuální vjem, je restaurování formulováno jako inverzní úloha využívající známý degradační model.

Vývoj restaurování obrazu začal v 19. století ručním odstraňováním vad na fotografických negativech a postupně se vyvinul přes digitální metody 20. století až k současným pokročilým technikám založeným na hlubokém učení. Aplikace zahrnují i kolorování historických fotografií, rekonstrukci chybějících oblastí obrazu (inpainting) či restauraci videozáznamů. Přestože tyto techniky nabízejí výjimečné možnosti, vyvolávají také etické otázky, zejména při práci s historickými dokumenty nebo forenzními materiály.

Digitální obraz může být degradován řadou vlivů, které snižují jeho kvalitu. Mezi nejčastější případy patří rozmazání, šum a geometrické zkreslení. Rozmazání vzniká například pohybem kamery nebo snímaného objektu během expozice, nesprávným zaostřením optické soustavy, případně atmosférickými jevy, které narušují průchod světla – zejména v astronomii nebo při dálkovém průzkumu Země.

Šum vzniká typicky během převodu světla na digitální signál v obrazovém senzoru. Nejčastěji se projevuje jako gaussovský šum, ale může jít také o impulzní šum („pepř a sůl“) nebo kvantizační šum při digitalizaci. Geometrické zkreslení, jako je rotace, změna měřítka nebo perspektivní deformace, mění prostorové uspořádání obrazu a je třeba jej korigovat například při analýze nebo porovnávání obrazových dat.

Metody restaurování obrazu se liší podle toho, jaké informace máme k dispozici o degradačním procesu. V případě, že známe přesně impulzní odezvu (PSF – point spread function), lze použít přímé metody. Pokud je znám pouze typ degradace (například rozmazání pohybem), ale nikoli její parametry, používáme odhadovací techniky. Nejtěžší případ nastává tehdy, když není znám typ ani parametry degradace – zde je třeba využít tzv. slepou dekonvoluci.

Z hlediska výpočetního přístupu se metody dělí na lineární, nelineární, regularizační a metody založené na umělé inteligenci. Lineární metody, jako je inverzní filtr nebo Wienerův filtr, předpokládají lineární model degradace a často se používají ve frekvenční oblasti. Wienerův filtr je zvláště vhodný v případech, kdy je degradace doprovázena šumem, protože optimalizuje kompromis mezi obnovou detailů a potlačením šumu.^[3]

Nelineární metody, jako je Richardsonův–Lucyův algoritmus, využívají iterativní přístup a lépe zvládají složité degradace. Zachovávají fyzikálně realistické vlastnosti obrazu, jako je nezápornost nebo celkový jas. Regularizační metody zavádějí do úlohy doplňkové podmínky, které odrážejí apriorní znalosti o vlastnostech obrazu – například předpoklad hladkosti v homogenních oblastech nebo ostrosti na hranách. Typickým příkladem je metoda totální variace.

Moderní vývoj přinesl široké využití hlubokého učení v restauraci obrazu. Konvoluční neuronové sítě (CNN), generativní adversariální sítě (GAN) i novější difuzní modely dokáží obnovit obrazové informace i bez explicitního modelu degradace. Tyto přístupy jsou mimořádně účinné u složitých nebo kombinovaných degradací, jaké se vyskytují například u historických fotografií nebo záběrů z reálného prostředí.^[4]

Na rozdíl od metod zlepšování obrazu (image enhancement), které často upravují obraz čistě heuristicky pro subjektivně lepší vizuální vjem, je restaurování obrazu formulováno jako inverzní úloha – tedy snaha najít původní obraz na základě známého degradačního modelu a pozorovaných dat.^[5]

Restaurování obrazu vychází již z počátků fotografie v 19. století, kdy se např. prach, škrábance či trhliny odstraňovaly ručně přímo na negativu nebo pozitivu. Kolorování černobílých snímků pomocí štětce či airbrushe bylo běžnou praxí již od 60. let 19. století. V roce 1957 byl vytvořen první digitální obraz, což položilo základ pro pozdější algoritmické přístupy v oblasti zpracování obrazu. S příchodem digitálních technologií se brzy objevily první automatizované techniky pro redukci šumu a korekci obrazu. Během 70. a 80. let díky rozšíření CCD senzorů, digitalizaci satelitních a astronomických dat vznikaly softwarové nástroje pro biologické, medicínské a dálkové snímkování s možností potlačení šumu a korekce geometrických deformací.

Na počátku 90. let 20. století pak Kodak uvedl systém Cineon – integrované digitální filmové prostředí pro skenování, digitální korekci obrazu, odstranění vad, barevnou úpravu i opětovný výstup na film. První významná aplikace proběhla v roce 1993, kdy byl pomocí Cineonu digitalizován, očištěn a barevně upraven klasický animovaný film Sněhurka a sedm trpaslíků.^[6] Systém Digital ICE od Kodaku umožnil automaticky odstraňovat prach a škrábance při skenování filmů.

Od počátku 21. století se restaurování obrazu opíralo o pokročilé matematické metody jako Wienerův filtr, Richardsonova‑Lucyho konvoluce a frekvenční dekonvoluce, zvláště v oblasti lékařského zobrazování, astronomických dat i digitalizace kulturního dědictví. Ve 20. letech 21. století přinesly převrat metody založené na hlubokém učení. Příkladem je metoda restaurování maleb vyvinutá na MIT: pomocí AI se vytvoří digitální maska, poté vytiskne na tenkou polymerovou fólii a reverzibilně aplikuje na poškozený obraz nebo malbu; celý proces včetně analýzy a přenosu pigmentů trvá jen několik hodin.^[7][8]

Degradaci obrazu lze matematicky popsat jako transformaci původního (nedegradovaného) obrazu u(x,y) na pozorovaný (degradovaný) obraz z(x,y) pomocí degradačního operátoru D:

${\displaystyle z=D(u)\,}$

Úkolem restaurace obrazu je najít inverzní operaci, která ze známého degradovaného obrazu z odhadne původní obraz u:

${\displaystyle u=D^{-1}(z)\,}$

V praxi se degradace obrazu skládá z několika složek, které lze zapsat jako:

${\displaystyle z(T(x,y))=(u*h)(x,y)+n(x,y)\,}$

kde

T(x,y) představuje geometrické zkreslení (rotace, změna měřítka, posun),

(u * h)(x,y) značí konvoluci původního obrazu s impulzní odezvou zobrazovacího systému,

h(x,y) je impulzní odezva (také označovaná jako Point Spread Function – PSF) a

n(x,y) reprezentuje šum (noise).

Z matematického hlediska tedy restaurace obrazu je zvláštním případem inverzní úlohy, nalezení argumentu operátoru ze známého výsledku působení operátoru na tento argument. V případě restaurace obrazu je obvyklou komplikací to, že degradační operátor D není předem přesně znám.

Lineární metody předpokládají, že degradační operátor D (a tedy i jeho inverze) jsou lineárními operátory. To znamená, že degradace i následné restaurování obrazu se dá popsat pomocí lineárních transformací, jako je konvoluce, Fourierova transformace nebo soustava lineárních rovnic. Tento předpoklad umožňuje využít dobře známé matematické nástroje z oblasti lineární algebry a zpracování signálu.

Mezi nejčastěji používané lineární metody patří takzvaný inverzní filtr, který přímo invertuje degradační operaci, pokud je známá impulzní odezva zobrazovacího systému. Tento postup je však citlivý na přítomnost šumu a může vést k nestabilním výsledkům. Složitější variantou je Wienerův filtr, který kombinuje inverzní filtraci s potlačením šumu a poskytuje optimální řešení ve smyslu minimalizace střední kvadratické chyby. Wienerův filtr se nejčastěji realizuje ve frekvenční oblasti pomocí rychlé Fourierovy transformace a je využíván například v lékařském zobrazování, astronomii nebo při restaurování starých fotografií.

Lineární metody jsou obvykle výpočetně efektivní a dobře analyzovatelné, ale jejich účinnost klesá v přítomnosti nelineárních degradací nebo silného šumu. V takových případech je vhodné uvažovat nelineární nebo regularizační přístupy, případně využít umělou inteligenci.

Při řešení restaurování obrazu v obrazové oblasti se konvoluční rovnice z = u * h transformuje na soustavu lineárních rovnic. Tento přístup je užitečný zejména pro pochopení struktury problému a pro případy, kdy je impulzní odezva definována pouze lokálně nebo má specifické vlastnosti, které nelze efektivně využít ve frekvenční oblasti.^[9]

Pro digitální obraz z(x,y) o rozměrech N × N pixelů a známou impulzní odezvu h(x,y) lze konvoluci zapsat jako soustavu lineárních rovnic ve tvaru:

${\displaystyle \mathbf {Z} =\mathbf {H} \cdot \mathbf {U} \,}$

kde Z a U jsou vektory o rozměru N², obsahující hodnoty pixelů degradovaného a původního obrazu seřazené po řádcích. Uspořádání prvků ve vektorech následuje konvenci, kdy se nejprve vyčerpají všechny sloupce prvního řádku, poté druhého řádku a tak dále:

${\displaystyle \mathbf {Z} ={\begin{pmatrix}z_{11}\\z_{12}\\\vdots \\z_{1N}\\z_{21}\\z_{22}\\\vdots \\z_{NN}\end{pmatrix}},\quad \mathbf {U} ={\begin{pmatrix}u_{11}\\u_{12}\\\vdots \\u_{1N}\\u_{21}\\u_{22}\\\vdots \\u_{NN}\end{pmatrix}}\,}$

Matice H má rozměry N² × N² a její struktura závisí na typu impulzní odezvy. Pro typickou impulzní odezvu gaussovského typu lze matici H zapsat v blokové formě. Uvažujme například jednoduchou impulzní odezvu o rozměrech 3×3 pixely:

${\displaystyle \mathbf {h} ={\begin{pmatrix}b&a&b\\a&c&a\\b&a&b\end{pmatrix}}\,}$

kde a, b a c jsou koeficienty charakterizující šířku a tvar degradace. Matice H má pak specifickou blokovou tridiagonální strukturu:

${\displaystyle \mathbf {H} ={\begin{pmatrix}\mathbf {D} &\mathbf {B} &\mathbf {0} &\cdots &\mathbf {0} \\\mathbf {B} &\mathbf {D} &\mathbf {B} &\cdots &\mathbf {0} \\\mathbf {0} &\mathbf {B} &\mathbf {D} &\cdots &\mathbf {0} \\\vdots &\vdots &\vdots &\ddots &\vdots \\\mathbf {0} &\mathbf {0} &\mathbf {0} &\cdots &\mathbf {D} \end{pmatrix}}\,}$

Jednotlivé bloky D a B jsou rovněž tridiagonální matice rozměru N × N. Hlavní diagonální blok D má tvar:

${\displaystyle \mathbf {D} ={\begin{pmatrix}c&a&0&\cdots &0\\a&c&a&\cdots &0\\0&a&c&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\cdots &c\end{pmatrix}}\,}$

zatímco vedlejší diagonální bloky B mají strukturu:

${\displaystyle \mathbf {B} ={\begin{pmatrix}b&0&0&\cdots &0\\0&b&0&\cdots &0\\0&0&b&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\cdots &b\end{pmatrix}}\,}$

Tridiagonální struktura matice H umožňuje efektivní řešení soustavy lineárních rovnic pomocí specializovaných algoritmů, jako je Thomasův algoritmus nebo LU dekompozice pro pásové matice. Výpočetní složitost takového řešení je O(N⁴) operací, což je významně vyšší než O(N² log N) operací potřebných pro řešení ve frekvenční oblasti pomocí rychlé Fourierovy transformace.^[10]

Přímé řešení soustavy Z = H · U poskytuje přesný výsledek pouze v případě absence šumu. Při přítomnosti šumu se soustava stává špatně podmíněnou a řešení je nestabilní. Navíc, matice H může být singulární nebo blízká singularitě, což znemožňuje nalezení jednoznačného řešení. Tyto problémy vedou k preferenci frekvenčního přístupu nebo k použití regularizačních technik, které do soustavy zavádějí dodatečné omezující podmínky pro stabilizaci řešení.

Výpočet restaurování obrazu ve frekvenční oblasti představuje výrazně efektivnější alternativu k přímému řešení v prostorové oblasti. Metoda využívá toho, že Fourierova transformace převádí složitou operaci konvoluce na jednoduché násobení ve frekvenční oblasti, což dramaticky snižuje výpočetní náročnost.^[11] Pro degradační model z(x,y) = (u * h)(x,y) proto platí:

${\displaystyle {\mathcal {F}}\{z(x,y)\}={\mathcal {F}}\{u(x,y)\}\cdot {\mathcal {F}}\{h(x,y)\}\,}$

Označíme-li Fourierovy transformace příslušných funkcí jako Z(u,v), U(u,v) a H(u,v), lze degradační model zapsat jednoduše jako:

${\displaystyle Z(u,v)=U(u,v)\cdot H(u,v)\,}$

Pro odhad původního obrazu stačí vydělit spektrum degradovaného obrazu spektrem impulzní odezvy:

${\displaystyle U(u,v)={\frac {Z(u,v)}{H(u,v)}}\,}$

Restaurovaný obraz v prostorové oblasti se získá aplikací inverzní Fourierovy transformace:

${\displaystyle u'(x,y)={\mathcal {F}}^{-1}\left\{{\frac {Z(u,v)}{H(u,v)}}\right\}\,}$

Tento postup se nazývá inverzní filtr ve frekvenční oblasti a je matematicky ekvivalentní inverzní filtraci popsané v předchozí kapitole, avšak s podstatně nižší výpočetní složitostí.

Praktická implementace využívá diskrétní Fourierovu transformaci (DFT) a její rychlou variantu FFT (Fast Fourier Transform). Pro obraz o rozměrech N × N pixelů vyžaduje FFT pouze O(N² log N)operací, což je významný pokrok oproti O(N⁴) operacím potřebným pro řešení v prostorové oblasti. Pro typické obrazy o rozlišení 512×512 pixelů to znamená rozdíl mezi přibližně 2,4 miliony a 70 miliardami operací.

Při implementaci je třeba věnovat pozornost několika technickým aspektům. Fourierova transformace předpokládá periodické pokračování signálu, což může způsobit artefakty na okrajích obrazu. Tento problém se řeší doplněním obrazu nulami (zero-padding) nebo použitím okenních funkcí. Velikost obrazu pro optimální efektivitu FFT algoritmu by měla být mocninou dvojky.

Další důležitou otázkou je rozdílná velikost obrazu a impulzní odezvy. Impulzní odezva je obvykle podstatně menší než obraz, proto je třeba ji rozšířit na velikost obrazu doplněním nul. Alternativně se může menší obraz periodicky opakovat, což však může vést k nežádoucím artefaktům.

Spektrum impulzní odezvy H(u,v) může nabývat velmi malých nebo nulových hodnot pro určité frekvence, což způsobuje numerické problémy při dělení. V praxi se tento problém řeší zavedením prahu, pod kterým se dělení neprovádí, nebo použitím pseudo-inverzní matice. Tyto úpravy však mohou vést ke ztrátě některých frekvenčních složek v restaurovaném obraze.

Frekvenční přístup také umožňuje intuitivní interpretaci degradačního procesu. Impulzní odezva většiny zobrazovacích systémů působí jako dolní propust, která potlačuje vysoké frekvence odpovídající jemným detailům. Restaurace pak spočívá v zesilování těchto potlačených frekvencí, což ale současně zesiluje i vysokofrekvenční šum přítomný v obraze.^[12]

Výpočet ve frekvenční oblasti tak představuje efektivní nástroj pro restauraci obrazu, avšak jeho úspěšná aplikace vyžaduje pečlivé zvládnutí numerických problémů a porozumění fyzikální podstatě degradačního procesu. Pro praktické aplikace s přítomností šumu je často nutné přejít k sofistikovanějším metodám, jako je Wienerova filtrace.

Wienerův filtr je optimální lineární metoda pro restaurování obrazu v přítomnosti šumu. Byla vyvinuta Norbertem Wienerem v 40. letech 20. století původně pro zpracování časových řad a později adaptována pro zpracování obrazu.^[13] Na rozdíl od inverzní filtrace, která ignoruje přítomnost šumu, Wienerův filtr dosahuje optimálního kompromisu mezi odstraněním degradace a potlačením šumu.

Wienerův filtr minimalizuje střední kvadratickou chybu mezi původním obrazem u(x,y) a jeho odhadem û(x,y). Matematicky je tento problém formulován jako hledání filtru, který minimalizuje výraz:

${\displaystyle E=\mathbb {E} \left\{|u(x,y)-{\hat {u}}(x,y)|^{2}\right\}\,}$

kde E{·} označuje operátor střední hodnoty. Řešení tohoto optimalizačního problému ve frekvenční oblasti vede k Wienerovu filtru ve tvaru:

${\displaystyle W(u,v)={\frac {H^{*}(u,v)}{|H(u,v)|^{2}+{\frac {S_{n}(u,v)}{S_{f}(u,v)}}}}\,}$

kde H*(u,v) je komplexně sdružená funkce k H(u,v), S_n(u,v) je výkonové spektrum šumu a S_f(u,v) je výkonové spektrum původního obrazu. Restaurovaný obraz se pak získá jako:

${\displaystyle F'(u,v)=W(u,v)\cdot Z(u,v)\,}$

Podíl S_n(u,v)/S_f(u,v) představuje převrácenou hodnotu poměru signálu a šumu pro každou frekvenci. V oblastech spektra, kde je signál silný vzhledem k šumu, se Wienerův filtr chová podobně jako inverzní filtr. Naopak v oblastech s nízkým poměrem signál-šum filtr potlačuje tyto frekvenční složky, čímž zabraňuje zesílení šumu.

Analýza chování Wienerova filtru odhaluje jeho dvě základní funkce. První část filtru H*(u,v)/|H(u,v)|² představuje inverzní filtraci, která odstraňuje vliv degradace. Druhá část |H(u,v)|²/(|H(u,v)|² + S_n/S_f) působí jako adaptivní dolní propust, která potlačuje šum proporcionálně k místnímu poměru signál-šum.

V praktických aplikacích je často obtížné získat přesné odhady výkonových spekter S_n(u,v) a S_f(u,v). Pro bílý šum je však výkonové spektrum konstantní a lze jej odhadnout z oblasti obrazu, která neobsahuje užitečný signál. Výkonové spektrum původního obrazu se často aproximuje pomocí periodogramu degradovaného obrazu nebo se předpokládá určitý modelový tvar, například exponenciální nebo gaussovský.

Zjednodušená verze Wienerova filtru předpokládá konstantní poměr šumu k signálu v celém spektru:

${\displaystyle W(u,v)={\frac {H^{*}(u,v)}{|H(u,v)|^{2}+K}}\,}$

kde K je konstanta úměrná poměru výkonu šumu k výkonu signálu. Tato parametrizace významně zjednodušuje implementaci, protože vyžaduje odhad pouze jednoho parametru místo celých výkonových spekter.

Volba parametru K má zásadní vliv na kvalitu restaurování. Příliš malé hodnoty K vedou k nedostatečnému potlačení šumu a filtr se chová podobně jako inverzní filtr. Příliš velké hodnoty naopak způsobují nadměrné rozmazání obrazu. Optimální hodnota K závisí na konkrétní aplikaci a často se určuje experimentálně nebo pomocí iterativních metod.^[14]

Wienerův filtr má několik důležitých vlastností. Je to optimální lineární filtr v tom smyslu, že žádný jiný lineární filtr nemůže dosáhnout nižší střední kvadratické chyby. Filtr je také reálný a sudý, což zaručuje, že restaurovaný obraz zůstane reálný. Navíc je Wienerův filtr stabilní – malé změny ve vstupních datech vedou pouze k malým změnám ve výstupu.

Hlavní omezení Wienerovy filtrace spočívá v předpokladu linearity degradačního procesu a stacionarity statistických vlastností obrazu a šumu. Metoda také nedokáže rekonstruovat frekvenční složky, které byly degradačním procesem zcela potlačeny. Pro složitější degradace nebo nestacionární šum je často nutné použít nelineární nebo adaptivní metody restaurování.

Nelineární přístupy překračují omezení dané předpokladem linearity operátoru degradace a jsou obecně robustnější vůči šumu, lépe zachovávají hrany a detaily, a dokážou pracovat i v situacích, kdy není přesně znám degradační model.

V této oblasti lze rozlišit několik hlavních přístupů. Prvním z nich jsou iterativní algoritmy založené na pravděpodobnostním modelování, z nichž nejznámější je Richardsonův–Lucyův algoritmus. Ten využívá maximálně věrohodnostní přístup a je oblíbený zejména v astronomii a biomedicínském zobrazování.

Druhým směrem jsou regularizační metody, které formulují restauraci jako optimalizační problém s přidanou penalizací. Regularizace umožňuje stabilizovat inverzní úlohu a zohlednit apriorní znalosti o vlastnostech obrazu – například hladkost, ostrost hran nebo řídkou reprezentaci ve vlnkové doméně.

Třetí a nejdynamičtěji se rozvíjející oblastí jsou metody založené na umělé inteligenci, zejména hlubokých neuronových sítích. Tyto metody se učí komplexní nelineární vztah mezi degradovanými a původními obrazy přímo z dat a často fungují i v případech, kde selhávají klasické modely.

Každý z těchto přístupů má své výhody a oblasti použití. Zatímco klasické nelineární metody poskytují interpretovatelné a matematicky snáze popsatelné modely, metody založené na hlubokém učení nabízejí flexibilitu, vysokou přesnost a schopnost generalizace na různé typy degradací.

Richardsonův–Lucyův algoritmus představuje iterativní metodu založenou na bayesovském přístupu a metodě maximální věrohodnosti. Algoritmus byl nezávisle vyvinut Williamem Richardsonem a Leonem Lucym pro astronomické aplikace, kde je třeba rekonstruovat obrazy hvězd a galaxií degradované atmosférickými vlivy.^[15]

Základní iterační vzorec má tvar:

${\displaystyle u^{(k+1)}(x,y)=u^{(k)}(x,y)\cdot \left[{\frac {z(x,y)}{h(x,y)*u^{(k)}(x,y)}}*h(-x,-y)\right]\,}$

kde u⁽ᵏ⁾(x,y) je odhad původního obrazu v k-té iteraci a h(−x,−y) je zrcadlově otočená impulzní odezva. Algoritmus začíná s počátečním odhadem (často konstantní obraz nebo degradovaný obraz samotný) a postupně jej vylepšuje.

Richardsonův–Lucyův algoritmus má několik významných výhod oproti lineárním metodám. Zachovává nezápornost hodnot pixelů, což je důležité pro fyzikálně realistické výsledky. Algoritmus také zachovává celkový tok světla v obraze, což je zásadní pro kvantitativní analýzy. Konvergence algoritmu je za určitých podmínek garantována a metoda dokáže rekonstruovat i velmi jemné detaily.

Regularizační přístupy zavádějí do problému restaurace dodatečné informace o vlastnostech hledaného řešení. Tyto metody formulují restauraci jako optimalizační problém, kde se minimalizuje kombinace datové a regularizační penalizace:

${\displaystyle {\hat {u}}=\arg \min _{u}\left\{\|Hu-z\|^{2}+\lambda R(u)\right\}\,}$

kde H je degradační operátor, λ je regularizační parametr a R(u) je regularizační funkcionál. Výběr regularizačního funkcionálu R(u) závisí na apriorních informacích o obraze. Často se v tomto případě používá totální variace (Total Variation, TV) je metoda regularizace, která předpokládá, že přirozené obrazy mají relativně malé množství ostrých hran; regularizační funkcionál je integrálem absolutní hodnoty gradientu obrazu:

${\displaystyle R_{TV}(u)=\int |\nabla u(x,y)|dxdy\,}$

TV regularizace úspěšně zachovává hrany při současném potlačení šumu, ale může způsobit schodovitý efekt v hladkých oblastech obrazu.

Waveletová (vlnková) regularizace využívá řídkosti reprezentace přirozených obrazů ve waveletové doméně. Mnoho přirozených obrazů lze vyjádřit pomocí malého počtu významných waveletových koeficientů, což vede k regularizačnímu členu typu L₁ normy waveletových koeficientů.

Revoluční pokrok v oblasti restaurování obrazu přinesly metody založené na hlubokém učení, zejména konvoluční neuronové sítě (CNN). Tyto přístupy se dokáží naučit složitý nelineární vztah mezi degradovanými a originálními obrazy přímo z trénovacích dat, aniž by vyžadovaly explicitní model degradace.^[16]

Generativní adversarialní sítě (GAN) dosahují pozoruhodných výsledků při rekonstrukci silně degradovaných obrazů. Architektura GAN zahrnuje generátor, který vytváří restaurované obrazy, a diskriminátor, který posuzuje jejich realističnost. Trénování probíhá v adversariálním režimu, kdy se obě sítě vzájemně zdokonalují.

Transformerové architektury, původně vyvinuté pro zpracování přirozeného jazyka, nacházejí stále širší uplatnění v oblasti restaurace obrazu. Mechanismus pozornosti (attention) umožňuje sítím efektivně modelovat dlouhodobé závislosti v obrazech a dosahovat vynikajících výsledků při složitých degradacích.

Hybridní přístupy kombinují klasické metody s hlubokým učením. Lze implementovat iterativní algoritmy (jako je Richardsonův–Lucyův) s naučitelnými parametry spolu se sítěmi (unfolded networks), čímž se spojí interpretabilita klasických metod s flexibilitou neuronových sítí. Physics-informed neural networks (PINN) explicitně zahrnují fyzikální znalosti o degradačním procesu do architektury sítě.

Výhody AI přístupů zahrnují schopnost zpracovávat komplexní, nelineární degradace, adaptabilitu na různé typy šumu a degradací, a dosahování vizuálně přesvědčivých výsledků i při silně degradovaných obrazech. AI metody také dokážou efektivně využívat rozsáhlé databáze obrazů pro učení obecných vzorců a struktur.

Současné výzvy AI přístupů spočívají v nutnosti velkých trénovacích datových sad, omezenému zobecnění na degradace nevyskytující se v trénovacích datech, a obtížné interpretabilitě naučených reprezentací. Problémem je také výpočetní náročnost trénování a inference, zejména u transformerových architektur.

Budoucnost restaurování obrazu směřuje k integraci klasických metod s AI přístupy, vývoji metod vyžadujících méně anotovaných dat, a k aplikacím pracujícím v reálném čase v mobilních zařízeních a embedded systémech. Zvláštní pozornost se věnuje metodám schopným pracovat s neznámými nebo proměnnými degradacemi a multimodálním přístupům kombinujícím různé typy senzorických dat.

Restaurování obrazu ve videozáznamech navazuje na metody používané u statických snímků, ale přináší specifické výzvy vyplývající z přítomnosti časové složky. Zatímco u jednotlivých snímků je cílem zlepšit jejich kvalitu nebo odstranit degradaci, u videa je navíc nutné zajistit konzistenci mezi snímky. To znamená, že opravy a úpravy musí být plynulé a nesmí vést k vizuálním artefaktům, jako je blikání, kmitání detailů nebo nečekané změny v pohybujících se objektech.

K běžným úlohám v oblasti restaurování videa patří odstranění šumu, oprava kompresních artefaktů (například u starých VHS nebo digitálně degradovaných záznamů), stabilizace roztřesených záběrů, interpolace chybějících snímků a rekonstrukce záznamů poškozených přenosem nebo stářím. Dále se využívají metody pro konverzi snímkové frekvence a prostorového rozlišení, zejména při převodu historických filmů do formátu HD nebo 4K.

Z hlediska algoritmů se u videa často využívá informace o pohybu mezi snímky. Klíčovým pojmem je zde optický tok, tedy aproximace vektorového pole, které popisuje pohyb pixelů mezi sousedními snímky. Tento tok umožňuje sledovat struktury v čase a rekonstruovat jejich vzhled i ve snímcích, kde byly částečně poškozeny. Dále se uplatňuje tzv. temporální regularizace, která penalizuje náhlé změny mezi snímky, a tím podporuje plynulost výstupu.

Moderní metody restaurování videa využívají hluboké neuronové sítě, často ve formě rekurentních nebo transformátorových architektur. Tyto sítě dokáží zohlednit nejen prostorový kontext jednotlivých snímků, ale i jejich časové návaznosti. Příkladem pokročilé metody je BasicVSR++, která využívá iterativní zpětnou propagaci informací napříč snímky a dosahuje špičkových výsledků v oblasti super-rezoluce a dekomprese videa.^[17]

Restaurování videa tak představuje dynamicky se rozvíjející oblast, která propojuje klasické obrazové algoritmy s časovými modely a metodami strojového učení. Její význam roste s rostoucím zájmem o digitalizaci a obnovu audiovizuálního kulturního dědictví i s požadavky na vysokou kvalitu v moderní multimediální produkci.

Rekonstrukce chybějících nebo poškozených oblastí obrazu (anglicky image inpainting) je součást restaurování obrazu, jejímž cílem je doplnění částí fotografie nebo obrazu, které byly poškozeny, smazány nebo jinak ztraceny. Taková degradace může vzniknout například stářím, fyzickým poškozením (škrábance, skvrny), kompresními artefakty, nebo záměrným odstraněním části obsahu. Souvisejícím problémem je retuš (fotomanipulace), například odstranění nápisů, osob nebo předmětů z fotografie bez ztráty vizuální konzistence.

Postup se využívá především v oblasti digitální rekonstrukce historických fotografií, ale i v běžném grafickém zpracování fotografií, forenzní analýze či při obnově obrazových dat v dálkovém průzkumu Země.

Různé metody inpaintingu se liší podle typu chybějící informace, velikosti oblasti a kontextu. Nejjednodušší metodou je interpolace – doplnění jednotlivých chybějících pixelů podle hodnot v jejich okolí. Používají se například bilineární interpolace, bikubická interpolace nebo spline funkce. Metoda je vhodná pro velmi malé defekty.

Složitější metodou je deterministický inpainting, vycházející z extrapolace hran a struktur z okolních oblastí. Příkladem jsou metody založené na řešení parciálních diferenciálních rovnic, například algoritmus Navier–Stokes nebo metoda, kterou navrhl Alexandru Telea.^[18]Texturový inpainting využívá podobnost textur v okolí a přenáší je do chybějící oblasti. Typickým příkladem jsou patch-based algoritmy, např. Criminisiho algoritmus.^[19]

Moderním přístupem jsou metody založené na strojovém učení, jež používají konvoluční neuronové sítě (CNN), generativní adversariální sítě (GAN) nebo difuzní modely (např. Stable Diffusion). Tyto metody se učí obnovovat obraz na základě rozsáhlých trénovacích sad bez znalosti explicitního modelu degradace.^[20][21]

Metody inpaintingu mají svá omezení. Algoritmy zejména předpokládají stacionaritu nebo určitou míru předvídatelnosti obrazu, což neplatí u některých přírodních nebo technických scén. Interpolace a klasické metody navíc selhávají u větších nebo strukturálně složitých chybějících oblastí. AI metody zase mohou „halucinovat“ obsah – výsledek nemusí odpovídat realitě.

Nástroje jako Adobe Photoshop, GIMP nebo programy využívající modely typu LaMa, DeepFill či DALL·E v umožňují i běžným uživatelům intuitivní retuš chybějících oblastí obrazu.

Kolorování černobílých fotografií je specifický typ úpravy obrazu, při kterém se do původně jednobarevného snímku (obvykle v odstínech šedé) doplňuje barevná informace. Tento proces nemá vždy za cíl přesnou rekonstrukci původních barev, které často nejsou známy, ale spíše vytvoření vizuálně věrohodné a esteticky působivé barevné verze. Kolorování se tak pohybuje na pomezí mezi restaurací a uměleckou interpretací.

Historicky bylo kolorování prováděno ručně, nejprve přímo na filmový materiál nebo papírové kopie, později pomocí grafických editorů. V současnosti se prosazují automatizované metody založené na strojovém učení, zejména na konvolučních neuronových sítích. Tyto modely se učí předpovídat barevné kanály (typicky v barevném prostoru LAB nebo YUV) z jasové složky černobílého snímku, a to na základě rozsáhlých datových sad barevných a odpovídajících černobílých fotografií.^[22]

Vedle klasických neuronových sítí se uplatňují také generativní modely, například generativní adversariální sítě (GAN), které dokáží produkovat realistické barevné variace. Některé přístupy využívají i referenční snímky – barevné fotografie podobného obsahu nebo historické záznamy – k přenosu barevných charakteristik do cílového obrazu. Známým nástrojem pro automatické kolorování je například open-source projekt DeOldify, založený na kombinaci GAN a reziduálních sítí.

Kolorování nachází uplatnění především při digitalizaci historických materiálů, kde pomáhá přiblížit dobové dokumenty současnému publiku, a dále v umělecké fotografii nebo filmové postprodukci. I když barevná interpretace nemusí být fakticky přesná, může mít významnou hodnotu z hlediska vizuální srozumitelnosti, edukace a emocionálního účinku.

Mezi hlavní omezení kolorování patří jeho neurčitost – různé barevné verze mohou být stejně věrohodné, aniž by bylo možné rozhodnout, která odpovídá skutečnosti. Automatické metody se také mohou mýlit při interpretaci kontextu (například zaměnit barvu uniformy nebo pleťový tón), zejména pokud model nebyl trénován na obdobných scénách. Přesto se kolorování stále více uplatňuje jako nástroj pro zprostředkování historie v atraktivnější formě.

Hodnocení úspěšnosti restaurování obrazu se provádí jednak pomocí objektivních metrik, které vyžadují mít k dispozici referenční (ground truth) snímek, a jednak subjektivních nebo bezreferenčních metod, které lépe odrážejí lidské vnímání.

Mezi nejpoužívanější referenční metriky patří PSNR (Peak Signal‑to‑Noise Ratio), založená na střední kvadratické chybě pixelů, a SSIM (Structural Similarity Index), která zachycuje vnímané změny v jasu, kontrastu a struktuře obrazu.^[23] I když PSNR bývá jednoduše aplikovatelná a dobře interpretovatelná, ne vždy odpovídá kvalitě, jak ji vnímá člověk, zatímco SSIM poskytuje přesnější odhad vizuální podobnosti. Roste také význam metrik založených na hlubokých neuronových sítích – zejména LPIPS (Learned Perceptual Image Patch Similarity), která porovnává obrazy na základě reprezentací z mezipaměťových vrstev předtrénovaných sítí, například VGG. Tato metoda se ukazuje jako výrazně korelovaná s lidským hodnocením kvality.^[24]

Další metriky, jako FSIM, GMSD nebo VMAF, se používají zejména pro specifické úlohy jako je hodnocení videa. Pokud není k dispozici referenční snímek, využívají se bezreferenční metody jako NIQE, BRISQUE nebo subjektivní testy typu MOS (Mean Opinion Score).^[25] Optimální postup v praxi i výzkumu často kombinuje jednu tradiční metriku (např. PSNR nebo SSIM) s perceptuální metrikou typu LPIPS a případně i subjektivním hodnocením. Tím vzniká vyvážený přehled o kvantitativní i vizuální kvalitě výsledného obrazu.

Restaurování obrazu, zejména u historických snímků, výtvarných děl nebo forenzních záznamů, vyvolává otázky autenticity a etiky. Zatímco technickým cílem je obnova původního vzhledu, zásahy mohou vést k neúmyslnému zkreslení nebo reinterpretaci původního obsahu. To je patrné například u kolorování černobílých fotografií, kde výsledná podoba často vychází z pravděpodobného, ale nikoli ověřitelného odhadu.

V restaurování uměleckých děl a kulturního dědictví je důležitým principem reverzibilita – tedy možnost provedené zásahy později odstranit nebo přepracovat. V oblasti digitálního restaurování však bývá výsledek často prezentován jako finální, aniž by byl jasně odlišen od originálu. U strojového učení navíc vzniká riziko tzv. halucinací; algoritmus může doplnit detaily, které sice vypadají realisticky, ale nemají oporu v původních datech.

V kontextu zpravodajství, justice nebo vědy je tak nutné restaurované snímky pečlivě označovat a archivovat původní verze. Nepozorná nebo záměrně manipulativní úprava může vést k dezinformaci či porušení integrity historického záznamu. Transparentnost zásahu vyžaduje uvedení použité metody a míry nejistoty doplněných informací.

V oblasti restaurování obrazu existuje široká škála softwarových nástrojů a knihoven pro vědecký výzkum i pro praktické využití. Mezi nejrozšířenější open-source knihovny patří OpenCV, která poskytuje množství filtrů pro odstranění šumu, dekonvoluci či korekci geometrického zkreslení, a to včetně podpory pro integraci s neuronovými sítěmi.^[26] V oblasti hlubokého učení se pro trénink a inferenci modelů často používají frameworky jako TensorFlow a PyTorch, na nichž jsou založeny pokročilé architektury pro restaurování, včetně generativních sítí (např. DeOldify pro kolorování nebo BasicVSR pro video restauraci).^[27] Pro uživatelsky přívětivé použití existují komerční nástroje jako Adobe Photoshop, Topaz Photo AI nebo Remini a často kombinují odšumění, doostření a rozlišení pomocí umělé inteligence. Na poli vědeckého výzkumu je běžné využívat Matlab, zvláště pro klasické lineární a regularizační metody, a také specializované knihovny pro inverzní problémy jako je scikit-image nebo BM3D.

• Odstranění šumu

Zdroj