MELON: 3D-rekonstruktion från okända kameravinklar

Vad har hänt

Google Research har presenterat MELON (Mask-conditioned rEconstruction of LOcal Novies), en ny teknik som möjliggör 3D-rekonstruktion av objekt från flera 2D-bilder. Det unika med MELON är att den inte kräver information om var kameran befann sig vid fotograferingstillfället, inte heller hur många foton som finns, eller i vilken ordning de är tagna. Metoden utgår från ett masksegment, identifierar konsekventa utseenden och skapar därefter en 3D-representaton av objektet.

Varför det spelar roll

Traditionella metoder för 3D-rekonstruktion kräver ofta noggranna metadata om kamerans position och riktning, så kallad "pose estimation", eller åtminstone att bilderna är tagna i sekvens. MELON bryter denna begränsning genom att hantera oordnade samlingar av bilder med okända kameravinklar. Detta öppnar upp för mer flexibla applikationer, exempelvis att bygga 3D-modeller från spontana bildsamlingar eller från befintliga ostrukturerade databaser.

Vem påverkas

Utvecklare och forskare inom 3D-grafik, datorseende och AI påverkas direkt. Indirekt kan tekniken användas av företag som arbetar med e-handel (3D-visning av produkter), spelutveckling (generering av speltillgångar) samt inom arkitektur och design för att skapa digitala tvillingar.

EU-status

Ej relevant för EU-status. MELON är en forskningsmetod som inte är kopplad till någon specifik produkt eller tjänst med omedelbar tillämpning i EU-lagstiftning.

Mer att veta

MELON uppnår denna förmåga genom att optimera både objektets form (NeRF) och kamerans positioner samtidigt utifrån endast bilddata. Tekniken är ännu på forskningsstadiet och det finns inga publicerade planer på kommersialisering.