Téměř každá existující metoda se dá nějakým způsobem vylepšit a posunout dále, myslí si Katarína Dančejová. S touto myšlenkou se pustila i do své diplomové práce, v rámci které testovala a vylepšovala algoritmy pro rozpoznávání oblaků. „Ako osobnú inšpiráciu zo skúsenosti s písaním tejto práce si beriem to, že aj napriek obrovskému kvantu existujúcich výskumov zostáva na prebádanie toľko vecí, a často nie až tak zložitých na realizáciu, že nové inovácie akademickej obci vie priniesť aj neskúsený študent,“ říká absolventka Matfyzu.
Mohla byste stručně představit svou práci?
Vo svojej práci som sa venovala algoritmom na detekciu oblakov na snímkach oblohy. Posledných približne 20 rokov vzniklo veľa rôznych algoritmov na ich detekciu, autori týchto výskumov však často vyvíjali špecificky pre svoje snímacie zariadenia a na všeobecných datasetoch zvykla presnosť týchto algoritmov klesať. Rozhodli sme sa preto na malej podmnožine týchto algoritmov trochu zaexperimentovať. Najprv sme ich naimplementovali v ich pôvodnej verzii a potom sme algoritmom skúšali meniť rôzne parametre a pridávať kroky predspracovania snímok. Všetky tieto modifikácie jedného algoritmu sme potom porovnávali medzi sebou, ale aj v kontexte modifikácií ostatných sledovaných algoritmov na jednom open-source datasete a na jednom vlastnom datasete katedry. Cieľom celého tohto procesu bolo skúsiť nájsť vylepšenie niektorého z algoritmov, ktorý by zvýšil celkovú dosiahnutú presnosť detekcie.
Co vás inspirovalo k tomu zaměřit se právě na toto téma?
Na magisterské štúdium som si vybrala špecializáciu Vizuální výpočty, pod ktoré spadá počítačové videnie a spracovanie obrazu. Pred začiatkom hľadania témy diplomovej práce som začínala mať pocit, že po toľkých predmetoch zaoberajúcich sa tak špecifickou vecou, by som svoje nadobudnuté znalosti mohla využiť práve v diplomovej práci. Jedným z predmetov, ktoré mi pomohli pospájať si súvislosti a spojiť si informácie dokopy, boli Vybrané kapitoly z počítačového vidění pani doc. Eleny Šikudovej. Preto som pri hľadaní práce oslovila ako prvú pani docentku, ktorá mi rovno ponúkla tému aj s datasetom katedry a radami na úvod. To ma rýchlo presvedčilo, že táto téma bude nielen zaujímavá, ale že pri nej budem mať aj odbornú podporu, ktorá je neoddeliteľnou súčasťou dobrého výskumu.
Můžete vysvětlit, jaký konkrétní přínos nebo využití má vaše práce?
Jedno z využití je napríklad lokálna predpoveď oblačnosti, ktorá je dôležitá pre optimalizáciu výkonu solárnych panelov. Pozemné snímky v tomto prípade majú voči tým satelitným veľa výhod a ich spracovanie vhodným algoritmom na detekciu oblakov je nielen presnejšie, ale aj oveľa lacnejšie riešenie.
Otázke detekcie a klasifikácie oblakov sa momentálne venuje nemálo pozornosti, využívajú sa ako tradičné metódy spracovania obrazu, tak aj čoraz častejšie metódy hlbokého učenia. Povedala by som, že na takmer každú metódu je možné nejakým spôsobom nadviazať a rozviť ju.
Veľká pozornosť sa tejto téme venuje aj priamo na našej katedre, kde o nástroji na generovanie umelých snímok čistej oblohy vyšiel kolegom veľmi zaujímavý článok, na ktorý sme sa v diplomovej práci snažili aj čiastočne nadviazať. Nakoľko sa takáto integrácia ukázala ako výrazne zložitejší problém, nepodarilo sa nám ju zahrnúť do modifikácií skúmaných algoritmov. Myslím si však, že výstupom práce boli nové informácie, na ktoré bude možné nadviazať v nejakom ďalšom výskume, ktorý sa venuje automatizovanej detekcii oblakov, napríklad za účelom predpovede počasia, či trénovania neurónových sietí.
S jakými technologiemi a metodami jste pracovala?
Kód algoritmov som písala v Pythone. Počas ich implementácie, validácie a vylepšovania bolo potrebné obrovské množstvo vizuálnych výstupov a medzivýsledkov, na čo sa mi veľmi osvedčilo používanie Jupyter Notebooku. Ten umožnil oveľa jednoduchší priebežný debug a vývoj, ale aj generovanie finálnych vizualizácií použitých v práci.
Co bylo během psaní vaší práce nejtěžší? Je něco, co byste zpětně udělala jinak?
Komplikácií, s ktorými sme sa museli vysporiadať, bolo hneď niekoľko. Na začiatku sme sa snažili nadviazať na inú diplomovú prácu (z ktorej vyšiel odborný článok), ktorej výstupom bol program na generovanie umelej bezoblačnej oblohy. Po mesiacoch skúšania sme naše snahy však museli opustiť, pretože správne nastavenie konfigurátoru na vygenerovanie oblohy podľa svetelných podmienok skutočnej snímky by bolo na celú samostatnú diplomovú prácu. Po približne pol roku sme preto začali „nanovo“ a dospeli sme k výslednej téme práce, ktorá zozbiera zaujímavé algoritmy detekcie a skúsi ich vzájomne porovnať a vylepšiť.
Ďalšou prekážkou potom bola nedostupnosť vhodných datasetov na testovanie presnosti algoritmov. Našli sme nejaké open-source alternatívy (jednu z nich sme nakoniec aj použili), ale žiadna z nich neposkytovala taký typ snímok alebo takú presnosť validačných masiek (t. j. ako by správna detekcia oblakov na snímke mala presne vyzerať), akú by sme potrebovali. Dataset katedry zase nebol anotovaný, a tak sme krkolomne pre niektoré zo snímok museli validačné masky vytvoriť sami ručne, čo amatér dokáže urobiť správne len do určitej miery. Vo výsledku sme sa v práci museli zmieriť s tým, že masky, ktoré máme k dispozícii, nie sú úplne presné a tak aj algoritmy vieme vzájomne porovnať len s určitou presnosťou.
Keď sa nad tým takto spätne zamyslím, neviem, čo by som mohla toho času urobiť inak, aby sme sa niektorým komplikáciám vyhli. Slepé uličky asi do výskumu patria a často sa nedajú rozoznať v predstihu. V takých situáciách podľa mňa veľmi zaváži práve postoj vedúceho práce, ktorý v ideálnom prípade dokáže v určitom momente rozoznať, že sa uberáme nesprávnou cestou a navedie študenta na tú správnu. Na to som mala veľké šťastie a aj keď mi písanie diplomovej práce kvôli takýmto rôznym komplikáciám zabralo takmer rok a pol, za úspešné dokončenie veľmi vďačím svojej vedúcej.
Jakým způsobem jste ověřovala výsledky své práce?
Na určenie presnosti detekcie sa používajú tzv. „ground truth“ (validačné) masky. Tie sa pripravujú manuálne, ideálne odborníkmi. Algoritmus na vstupe dostane snímku, výstupom detekcie je nejaká maska (napr. pixel oblaku má hodnotu 1 a pixel oblohy má 0), ktorá sa potom voči validačnej maske porovná a vyhodnotí sa, koľko pixelov algoritmus voči nej trafil správne.
Použitý open-source dataset mal k dispozícii aj svoje ground truth masky, ktoré neboli podľa nás až tak presné, pre snímky z datasetu katedry som si musela ručne vytvoriť vlastné ground truth masky. Je to veľmi nevďačná práca, pretože to jednak trvá veľmi dlho a jednak do toho človek ide od začiatku s tým, že ako amatér vie vytvoriť masku s obmedzenou správnosťou. Overovanie presnosti algoritmov voči týmto maskám potom už išlo priamočiaro, no museli sme rátať s určitou chybovosťou, čo bolo celkom nemilé.
Co považujete za nejdůležitější výsledek nebo závěr své práce?
Najzaujímavejší výsledok pre mňa osobne je to, že sa nám podarilo vylepšiť jeden veľmi zaujímavý algoritmus, ktorý v rámci predspracovania delí snímku najprv na superpixely (zhlukovanie pixelov do väčších celkov podľa ich podobnosti). Aj napriek očakávanej chybovosti našich validačných masiek sa nám ho podarilo preukázateľne vylepšiť zmenou príznakového kanálu. Navyše pridaním detekcie modality (v praxi ide o rozlíšenie, či je snímka polooblačná alebo je úplne jasná/zamračená), sme dokázali rozšíriť použiteľnosť tohto algoritmu z jedného typu oblačnosti snímok na všetky typy. Ak to mám zhrnúť v jednej vete, podarilo sa nám zaujímavý algoritmus s obmedzenou použiteľnosťou spresniť a výrazne rozšíriť jeho aplikovateľnosť na iných datasetoch.
Máte pocit, že vaše práce může být inspirací pro další studenty nebo odborníky v dané oblasti?
Ako autor svojej práce som voči nej samozrejme veľmi zaujatá a vidím veľa vecí, ktoré by sa dali s dostatkom zdrojov a času urobiť lepšie a ktoré by potenciálne priniesli oveľa významnejšie výsledky. V procese výskumu sme narazili na mnoho vecí, ktorým, pokiaľ viem, zatiaľ nebola venovaná dostatočná pozornosť a rozhodne by si ju zaslúžila. Veľmi lukratívnou témou mi príde napríklad už spomínané spojenie generátora čistej oblohy so skutočnými snímkami (čo má v teórii obrovský potenciál spresňovať výsledky detekcie), čo sa nám nepodarilo; ale vyriešilo by to problémy výskumných tímov po celom svete, ktorí musia pre absenciu referenčnej čistej oblohy zbierať roky dáta a dúfať, že v niektorom roku v danom čase bude obloha bezoblačná.
Ako osobnú inšpiráciu zo skúsenosti s písaním tejto práce si beriem to, že aj napriek obrovskému kvantu existujúcich výskumov zostáva na prebádanie toľko vecí, a často nie až tak zložitých na realizáciu, že nové inovácie akademickej obci vie priniesť aj neskúsený študent.
Jaké jsou vaše plány do budoucna?
Spracovanie obrazu ako študijný odbor som si vybrala hlavne preto, lebo som bola zvedavá, ako tieto veci fungujú. Moja zvedavosť je už nasýtená a plánujem pokračovať na plný úväzok v práci, kde som mimo svoj študijný odbor začala brigádovať už počas štúdia. Teší ma však, že moje nadobudnuté vedomosti nevychádzajú úplne navnivoč, pretože sa otázky spracovania obrazu a počítačového videnia veľmi úzko preplietajú s diaľkovým prieskumom Zeme, ktorý na prírodovedeckej fakulte študuje moja sestra, a tak vieme spojiť znalosti z oboch strán a doplniť si navzájom „hluché miesta“ v otázkach spracovania obrazu.
Odkazy:
