Az MIT kutatói egy új számítógépes látórendszert mutatnak be, amely bármilyen fényes tárgyat egyfajta kamerává változtat: lehetővé teszi a megfigyelő számára, hogy a sarkok mögé vagy az akadályok mögé lásson.

A tárgy tükröződéséből értékes és gyakran rejtett információk nyerhetők az ember közvetlen környezetéről. Ha kameraként újrahasznosítja őket, korábban elképzelhetetlen bravúrokat hajthat végre, például átnézhet a falakon vagy az égbe. Ez kihívást jelent, mert sok tényező befolyásolja a tükröződést, beleértve az objektum geometriáját, az anyag tulajdonságait, a 3D környezetet és a megfigyelő nézőpontját. Egy objektum geometriájának dekonstruálásával és a róla visszaverődő tükörsugárzástól való belső világosításával az emberek mélyreható nyomokat és következtetéseket vonhatnak le a környező környezet burkolt részeiről.

Az MIT és a Rice számítógépes látás kutatói kifejlesztettek egy módszert a tükröződések felhasználásával a valós környezet képeinek előállítására. A tükröződések segítségével a fényes tárgyakat „kamerává” varázsolják, és azt a benyomást keltik, hogy a felhasználó a hétköznapi tárgyak „lencséin” keresztül nézi a világot, mint például a kerámia kávéscsészén vagy a fém papírnehezéken.

A kutatók által alkalmazott módszer szerint a meghatározatlan geometriájú fényes objektumokat sugárzási térkamerákká alakítják. A fő ötlet az, hogy az objektum felületét digitális szenzorként használják fel a környező környezetről visszaverődő fény kétdimenziós rögzítésére.

A kutatók magyarázata szerint az új nézetszintézis olyan új perspektívákat mutat be, amelyek csak közvetlenül a jelenet fényes tárgya számára láthatók, a megfigyelő számára azonban nem, köszönhetően a környezet sugárzási mezőinek helyreállításának. Elképzelhetjük továbbá a jelenetben lévő közeli objektumok által generált aglodrátokat sugárzási mező segítségével. A kutatók által kidolgozott módszert végponttól végpontig tanítják az objektum több fényképének felhasználásával, hogy egyidejűleg becsüljék meg az objektum geometriáját, diffúz sugárzását és 5D-s környezetének sugárzási mezőjét.

A kutatás célja a tárgy elkülönítése a tükröződésétől, így az objektum úgy „látja” a világot, mintha egy kamera lenne, és rögzíti a környezetét. A számítógépes látás egy ideje küszködik a tükröződésekkel, mivel ezek egy ismeretlen alakú 3D-s jelenet torz 2D-s ábrázolásai.

A kutatók az objektum felületét virtuális szenzorként modellezik, és összegyűjtik az objektum körüli 5D-s környezet sugárzási mezőjének kétdimenziós vetületét, hogy háromdimenziós ábrázolást hozzanak létre az objektum által látott világról. A környezet sugárzási mezőjének nagy részét blokkolják, kivéve az objektum visszaverődéseitől. A látómezőn túl a regény megjelenítésének szintetizálása, vagy olyan új perspektívák bemutatása, amelyek közvetlenül csak a jelenetben lévő fényes tárgy számára láthatók, de a szemlélő számára nem, a környezet sugárzási mezőinek felhasználásával válik lehetővé, ami szintén lehetővé teszi. az objektumtól a környezetig terjedő mélység és fényerő becslésére.

Röviden, a csapat a következőket tette:

• Bemutatják, hogyan lehet a hallgatólagos felületeket virtuális szenzorokká alakítani, amelyek képesek 3D-s képeket készíteni környezetükről csupán virtuális kúpok segítségével.
• Együtt számítják ki az objektumot körülvevő 5D sugárzási mezőt, és megbecsülik a diffúz sugárzást.
• Bemutatják, hogyan lehet a környező környezet fénymezőjét felhasználni új, emberi szem számára láthatatlan perspektívák létrehozására.

Ennek a projektnek az a célja, hogy rekonstruálja az óceán ötdimenziós sugárzási mezőjét egy ismeretlen alakú és albedó fényes elem számos fényképéből. A tükröződő felületek tükröződése egy jelenet látómezőn kívüli elemeit tárja fel. Pontosabban, a fényes objektum felületi szabályai és görbületei határozzák meg, hogy a megfigyelő képei hogyan kerülnek a valós világra.

A kutatóknak pontosabb információra lehet szükségük a visszavert tárgy vagy valóság alakjáról, ami hozzájárul a torzuláshoz. Az is lehetséges, hogy egy fényes tárgy színe és textúrája összeolvad a tükröződésekkel. Ráadásul nem könnyű felismerni a mélységet a visszavert jelenetekben, mert a tükröződések egy háromdimenziós környezet kétdimenziós vetületei.

A kutatócsoport leküzdötte ezeket az akadályokat. Kezdik azzal, hogy különböző szögekből lefényképezik a fényes tárgyat, különféle tükröződéseket rögzítve. Az Orca (Objects Like Radiance-Field Cameras) a három szakaszból álló folyamat rövidítése.

Az Orca több nézetű visszaverődést is képes rögzíteni azáltal, hogy a tárgyat különböző szögekből leképezi, amelyeket azután a fényes objektum és a jelenet többi tárgya közötti mélység, valamint magának a fényes tárgy alakjának becslésére használ fel. Az ORCa 5D sugárzási térmodellje több információt rögzít a kép egyes pontjaiból érkező és elérő fénysugarak erősségéről és irányáról. Az Orca pontosabb mélységbecslést tud készíteni az 5D sugárzási mezőben található adatoknak köszönhetően. Mivel a jelenet 5D sugárzási mezőként, nem pedig 2D képként jelenik meg, a felhasználó olyan részleteket láthat, amelyeket szögek vagy egyéb akadályok eltakarnak. A kutatók kifejtik, hogy miután az ORCa összegyűjtötte az 5D sugárzási mezőt, a felhasználó bárhol elhelyezhet egy virtuális kamerát a területen, és létrehozhatja a szintetikus képet, amelyet a kamera előállít. A felhasználó megváltoztathatja egy tárgy megjelenését, például kerámiáról fémre, vagy virtuális tárgyakat építhet be a jelenetbe.

A sugárzási tér definíciójának a hagyományos látótávolságú sugárzási mezőn túlmutató kiterjesztésével a kutatók új utakat nyithatnak meg a környezet és a benne lévő objektumok vizsgálatában. A kivetített virtuális szélességek és mélységek segítségével a munka lehetőségeket nyithat meg a virtuális objektumok beillesztésében és a 3D-s érzékelésben, például a kamera látóterén kívülről származó információk extrapolálására.

szkennelje be a papír És Projekt oldal. Ne felejts el csatlakozni 22k+ML Sub RedditÉs discord csatornaÉs És E-mailes hírlevél, ahol megosztjuk a legfrissebb mesterségesintelligencia-kutatási híreket, menő AI-projekteket és még sok mást. Ha bármilyen kérdése van a fenti cikkel kapcsolatban, vagy ha valamit kihagytunk, nyugodtan írjon nekünk a címre [email protected]

🚀 Tekintse meg a 100-as évek mesterséges intelligencia eszközeit az AI Tools Clubban