A gépi látás napjaink egyik leggyorsabban fejlődő technológiája, amely kulcsszerepet játszik az automatizálásban – az ipari és logisztikai robotikától kezdve az autonóm járművek fejlesztéséig. Célja, hogy kamerák által rögzített képekből vagy videókból számítógépes algoritmusok segítségével olyan releváns információkat tudjunk kinyerni, amelyek a gépek működéséhez szükségesek, vagy az emberi felhasználók számára közvetlenül értelmezhetők és hasznosíthatók. A gépi látás képes lehet értelmezni és elemezni a háromdimenziós környezetet, felismerni objektumokat, vagy például megbecsülni azok helyzetét és mozgását.

Az elmúlt évtizedben a gépi tanulás, különösen a neurális hálózatok térhódítása forradalmasította a területet: nagyméretű tanító adathalmazokon tanulva ezek a modellek képesek osztályozni a látottakat, felismerni tárgyakat és élőlényeket, szegmentálni képeket, és egyre bonyolultabb vizuális feladatokat megoldani. Ez elengedhetetlen például az autonóm járművek működéséhez, ahol a rendszernek fel kell ismernie az utat az útburkolati jelekkel együtt, detektálni a többi járművet és azok mozgását, a közlekedési táblákat, lámpákat, legfőképp pedig a gyalogosokat.

Ugyanakkor a neurális hálózatokon alapuló gépi látásnak számos korlátja is van. Ezek az algoritmusok rendkívül adatéhesek: hatékony működésükhöz hatalmas mennyiségű, változatos és gondosan annotált képre van szükség. A betanításuk, majd pedig a valós idejű futtatásuk is nagy számítási kapacitást igényel, ami beágyazott rendszerekben – például járművek esetében – nem igazán takarékos, pedig a környezetvédelem egyre fontosabb szemponttá válik. Ezen kívül a gépi tanuló rendszerek működése valószínűségi jellegű: statisztikai mintázatok alapján hoznak döntéseket, így eredményeik mindig hordoznak bizonytalanságot, ami biztonságkritikus rendszerekben, mint amilyen a közlekedés, ahol kiszámíthatóságra és garantált biztonságra lenne szükség, nehezen tolerálható.

Szintén probléma, hogy a neurális hálózatok lényegében „fekete dobozként” viselkednek, vagyis a döntéseik belső logikája nem átlátható, ami megnehezíti az ellenőrzést, a hibakeresést és a magyarázhatóságot. Ezekben a rendszerekben nincs explicit módon jelen semmilyen matematikai, fizikai vagy geometriai szakértelem, azaz nem alkotnak igazi háromdimenziós világmodellt, nem „értik” a háromdimenziós világot úgy, mint mi, csak megtanulják bizonyos mintázatait annak képi vetületeiből.

Az ELTE IK kutatócsoportjánál meglévő szakértői tudás hasznosítása

Az ELTE Informatikai Karának Algoritmusok és Alkalmazásaik Tanszékén működő Geometriai Számítógépes Látás Kutatócsoport a gépi látáshoz egy szokásostól eltérő, matematikailag megalapozott megközelítést alkalmaz, amely kulcsfontosságú lehet a technológia hatékonyságának és megbízhatóságának növelésében. A csoport geometriai elveket helyez a középpontba, és ezen a területen széles körű tapasztalatot halmozott fel az utóbbi években. Céljuk, hogy a kamerákból származó képi adatokból minimális adat- és számításigény mellett is a lehető legpontosabb információkat nyerjék ki a valós háromdimenziós környezetről.

Módszerük kulcseleme az ún. affin transzformációk alkalmazása. A módszer lényege, hogy abban az esetben, ha egy síkfelületet két különböző nézetből – akár két különböző kameranézetből, akár egy kamera eltérő időpillanatban rögzített képeiből – látunk, akkor a két kép közötti affin transzformáció paraméterei alapján következtetni lehet a sík térbeli elhelyezkedésére és mozgására. Ha például egy útfelület, egy fal vagy egy közlekedési tábla képe két különböző nézőpontból készült kameraképen is szerepel (lásd az ábrát), akkor a köztük lévő geometriai viszony (affin transzformáció) alapján kiszámítható, milyen szögben áll, vagy milyen irányban mozdult el a sík – mindez anélkül, hogy mélytanuló modellt kellene betanítani. Ez a megközelítés nem csak a képpontok párosítására képes, mint a legtöbb hagyományos módszer, hanem a felületi normálvektorokat is meg tudja határozni, azaz képes kinyerni a síkok dőlésszögét és orientációját. Ez egyben különösen robusztus, valós idejű és nagy pontosságú számításokat tesz lehetővé.

Miért fontos a geometriai megközelítés?

A kutatócsoportot fémjelző geometriai megközelítésnek számos előnye van, amiket az alábbiakban foglalhatunk össze. 

• Meghatározottság és magyarázhatóság
: A geometriai alapú módszerek kimenetele egyértelműen a matematikai modell eredménye. Ha ismerjük az affin transzformáció paramétereit, pontosan tudjuk, hogyan állnak a síkok egymáshoz képest, hogyan mozogtak az objektumok. A módszer működése teljes mértékben nyomon követhető és átlátható.
• Alacsony adat‑ és számításigény: 
Ellentétben a nagy méretű neurális hálókkal, a geometriai algoritmusok számításigénye jellemzően kisebb, és könnyebben futtathatók beágyazott rendszereken, GPU-felhő vagy nagy teljesítményű AI-gyorsító nélkül.
• Valós idejű futtathatóság
: A minimalizált modellek lehetővé teszik a kameraképek frame-by-frame feldolgozását valós időben, így azonnali – akár vészhelyzeti – beavatkozások is lehetségesek.
• Szakértői tudás beépítése
: A geometriai megfontolások révén a szakértői ismeretek (például a fizikai síkfelületek viselkedése) explicit módon jelennek meg az algoritmusban, ami kiváló alapot ad arra, hogy később ezt a tudást neurális hálózatokkal ötvözzük, és így kapjunk megbízható, átlátható és hatékony hibrid rendszereket, ahol az AI algoritmusok döntései nem csak hatékonyak, hanem átláthatóak és értelmezhetőek is, ez az ún. explainable AI (XAI) területe.

A csoport módszereivel a gépi látás területén felmerülő alábbi konkrét technikai problémák oldhatók meg: 

• Kamera-szenzor kalibráció: pontos idő- és térbeli szinkronizáció a szenzorok között, amely elengedhetetlen a több forrásból (kamera-LiDAR, multi‑kamera) származó adatok összehangolt használatához.
• Statikus sztereó és soknézetű panorámaképek: a detektált és párosított síkfelületek alapján háromdimenziós modellek építése és azok felhasználása panorámaképek előállításához.
• Dinamikus feltérképezés feladatok: kameramozgás során előálló több nézőpontból készült képek alapján rekonstruálni a térbeli modellt (Structure from Motion, SfM), vagy egyidejűleg térképezni fel a környezetet és meghatározni a kamera pozícióját és irányát (SLAM), akár valós időben.
• Térbeli pontfelhők és normálvektorok kinyerése: síkok pozíciói a hagyományos módszereknél részletesebb és pontosabb háromdimenziós értelmezést tesznek lehetővé, ami a mozgásbecslés szempontjából is kulcsfontosságú, lásd a következő pontot.
• Vizuális odometria: kizárólag kameraképekből a jármű vagy robot mozgásának, pozíciójának és sebességének becslése, LiDAR nélkül. Ez a megközelítés gyors és robusztus működést biztosít beágyazott környezetben, így hozzájárulhat az autonóm járművek valós idejű követéséhez.
• Ipari robotok pontos vezérlése: 2D LiDAR és kamera adatok fúziója robotkar pozíciójának és a megragadott tárgy dimenzióinak detektálásához.

A csoport erőssége, hogy az elméleti kutatást szorosan összekapcsolja a gyakorlati megvalósítással. Saját fejlesztésű tesztplatformjaikon – például az ELTECar (többkamerás autóplatform), az ELTEKart (távirányított gokart), illetve egy laboratóriumi robotkar – szinkronizált, valós körülmények között rögzített adatokkal dolgoznak. A csoport által kidolgozott kalibrációs eljárások biztosítják, hogy a rögzített felvételek és mérések alapján az algoritmusok terepi alkalmazhatósága is vizsgálható legyen.

A csoport aktívan részt vesz az oktatásban is: évente indítanak autonóm járműves hallgatói versenyeket, ahol az egyetemi diákok az ELTEKart platformon tesztelhetik saját fejlesztésű algoritmusaikat. Ezek a versenyek nemcsak az elmélet alkalmazását segítik elő, hanem hozzájárulnak a hallgatók szakmai fejlődéséhez és a kutatói szemlélet formálásához is. A csoport ezen kívül nemzetközi és hazai partnerekkel dolgozik együtt, többek között a Robert Bosch GmbH támogatásával.

Cikksorozatunk további részei elérhetők „A gépi érzékelés csodája. A szenzorok és ami mögöttük van.” című tudománykommunikációs program honlapjáról.

Kapcsolódó tudományos publikációk

☞Barath at al. 2017: A minimal solution for two-view focal-length estimation using two affine correspondences
☞Baráth & Hajder 2018: Efficient recovery of essential matrix from two affine correspondences
☞Baráth at al. 2019: Optimal multi-view surface normal estimation using affine correspondences
☞Hajder & Baráth 2020: Relative planar motion for vehicle-mounted cameras from a single affine correspondence