Naukowcy z MIT przedstawiają nowy komputerowy system wizyjny, który zamienia każdy błyszczący obiekt w coś w rodzaju kamery: umożliwiając obserwatorowi widzenie za rogami lub za przeszkodami.

Z odbicia obiektu można wydobyć cenne i często ukryte informacje o najbliższym otoczeniu człowieka. Zmieniając ich przeznaczenie na kamery, można dokonać wcześniej niewyobrażalnych wyczynów, takich jak patrzenie przez ściany lub w niebo. Jest to trudne, ponieważ na odbicia wpływa wiele czynników, w tym geometria obiektów, właściwości materiałów, środowisko 3D i punkt widzenia obserwatora. Poprzez dekonstrukcję geometrii obiektu i wewnętrzne rozjaśnienie go z odbijającego się od niego promieniowania zwierciadlanego, ludzie mogą uzyskać głębokie wskazówki i wnioski na temat osłoniętych części otaczającego środowiska.

Naukowcy zajmujący się wizją komputerową z MIT i Rice opracowali sposób wykorzystania odbić do tworzenia obrazów rzeczywistego środowiska. Używając odbić, zamieniają błyszczące przedmioty w „kamery”, dając wrażenie, że użytkownik patrzy na świat przez „soczewki” zwykłych przedmiotów, takich jak ceramiczny kubek do kawy czy metalowy przycisk do papieru.

Metoda zastosowana przez naukowców polega na zamianie jasnych obiektów o nieokreślonej geometrii w kamery pola promieniowania. Główną ideą jest wykorzystanie powierzchni obiektu jako cyfrowego czujnika do rejestracji światła odbitego od otaczającego środowiska w dwóch wymiarach.

Naukowcy wyjaśniają, że nowa synteza widoku, prezentująca nowe perspektywy, które są bezpośrednio widoczne tylko dla jasnego obiektu w scenie, ale nie dla obserwatora, dzięki przywróceniu pól promieniowania otoczenia. Co więcej, możemy sobie wyobrazić aglodraty generowane przez pobliskie obiekty w scenie za pomocą pola promieniowania. Metoda opracowana przez naukowców jest nauczana od końca do końca, wykorzystując kilka zdjęć obiektu do jednoczesnego oszacowania jego geometrii, promieniowania rozproszonego i pola promieniowania jego środowiska 5D.

Badania mają na celu oddzielenie obiektu od jego odbicia, tak aby obiekt „widział” świat jak kamerą i rejestrował swoje otoczenie. Wizja komputerowa od pewnego czasu boryka się z odbiciami, ponieważ są one zniekształconą dwuwymiarową reprezentacją trójwymiarowej sceny o nieznanym kształcie.

Naukowcy modelują powierzchnię obiektu jako wirtualny czujnik i zbierają dwuwymiarową projekcję pola promieniowania otoczenia 5D wokół obiektu, aby stworzyć trójwymiarową reprezentację świata widzianego przez obiekt. Większość pola promieniowania otoczenia jest blokowana, z wyjątkiem odbić obiektu. Poza polem widzenia, syntetyzowanie wyświetlania powieści lub prezentowanie nowych perspektyw, które są bezpośrednio widoczne tylko dla jasnego obiektu na scenie, ale nie dla obserwatora, jest możliwe dzięki wykorzystaniu pól promieniowania otoczenia, które również pozwalają do oszacowania głębokości i jasności od obiektu do jego otoczenia.

W skrócie, zespół wykonał następujące czynności:

• Pokazują, w jaki sposób ciche powierzchnie można przekształcić w wirtualne czujniki z możliwością wykonywania obrazów 3D ich otoczenia przy użyciu wyłącznie wirtualnych stożków.
• Wspólnie obliczają otaczające pole promieniowania 5D obiektu i szacują jego promieniowanie rozproszone.
• Pokazują, jak wykorzystać pole świetlne otaczającego środowiska do generowania nowych perspektyw niewidocznych dla ludzkiego oka.

Projekt ten ma na celu zrekonstruowanie pięciowymiarowego pola promieniowania oceanu z wielu zdjęć jasnego pierwiastka o nieznanym kształcie i albedo. Blask powierzchni odblaskowych ujawnia elementy sceny znajdujące się poza polem widzenia. W szczególności zasady powierzchni i krzywizna jasnego obiektu określają, w jaki sposób obrazy obserwatora są odwzorowywane na rzeczywisty świat.

Badacze mogą potrzebować dokładniejszych informacji o kształcie odbitego obiektu lub rzeczywistości, co przyczynia się do zniekształceń. Możliwe jest również mieszanie koloru i faktury błyszczącego przedmiotu z refleksami. Co więcej, nie jest łatwo dostrzec głębię w odbitych scenach, ponieważ odbicia są dwuwymiarowymi projekcjami trójwymiarowego środowiska.

Zespół naukowców pokonał te przeszkody. Zaczynają od sfotografowania błyszczącego obiektu pod różnymi kątami, rejestrując różnorodne odbicia. Orca (Objects Like Radiance-Field Cameras) to akronim ich trzyetapowego procesu.

Orca może rejestrować odbicia z wielu widoków, obrazując obiekt pod różnymi kątami, które są następnie wykorzystywane do oszacowania głębokości między jasnym obiektem a innymi obiektami w scenie oraz kształtu samego jasnego obiektu. Więcej informacji o sile i kierunku promieni świetlnych wychodzących i uderzających w każdy punkt na obrazie można uzyskać dzięki modelowi pola promieniowania 5D opracowanemu przez ORCa. Orca może dokonywać dokładniejszych szacunków głębokości dzięki danym w tym polu promieniowania 5D. Ponieważ scena jest renderowana jako pole promieniowania 5D, a nie obraz 2D, użytkownik może zobaczyć szczegóły, które byłyby zasłonięte przez kąty lub inne przeszkody. Naukowcy wyjaśniają, że po zebraniu przez ORCa pola promieniowania 5D użytkownik może umieścić wirtualną kamerę w dowolnym miejscu w okolicy i stworzyć syntetyczny obraz, który wytworzy kamera. Użytkownik może również zmienić wygląd przedmiotu, na przykład z ceramiki na metal, lub włączyć wirtualne obiekty do sceny.

Rozszerzając definicję pola promieniowania poza tradycyjne pole promieniowania w linii wzroku, naukowcy mogą otworzyć nowe możliwości badania środowiska i znajdujących się w nim obiektów. Wykorzystując projektowane wirtualne szerokości i głębokości, praca może otworzyć możliwości wstawiania wirtualnych obiektów i percepcji 3D, takie jak ekstrapolacja informacji spoza pola widzenia kamery.

zeskanuj papier I Strona projektu. Nie zapomnij dołączyć 22k + ML Sub RedditI kanał na discordzieI I Biuletyn e-mailowy, gdzie dzielimy się najnowszymi wiadomościami z badań nad sztuczną inteligencją, fajnymi projektami AI i nie tylko. Jeśli masz jakiekolwiek pytania dotyczące powyższego artykułu lub jeśli coś przeoczyliśmy, napisz do nas na adres [email protected]

🚀 Sprawdź 100’s AI Tools w AI Tools Club