Nvidia zeigt ein KI-Modell, das aus ein paar Dutzend Aufnahmen eine 3D-Szene macht

Nvidias neuestes KI-Rendering kann sich sehen lassen: ein Tool, das „ein paar Dutzend“ 2D-Schnappschüsse schnell in eine gerenderte 3D-Szene umwandelt. Im Video unten können Sie die Methode in Aktion sehen, mit einem Model, das als Andy Warhol verkleidet ist und eine altmodische Polaroidkamera hält. (Denken Sie nicht über Warhols Verbindung nach: Es ist nur ein kleiner Teil der PR-Landschaft.)

Das Tool heißt Instant NeRF und bezieht sich auf „neuronale Strahlungsfelder– Eine Technologie, die 2020 von Forschern der UC Berkeley, Google Research und UCSD entwickelt wurde. Wenn Sie eine detaillierte Erklärung der Neuroradiationsfelder wünschen, können Sie eine lesen Hier, aber kurz gesagt, die Methode ordnet die Farbe und Intensität des Lichts verschiedenen 2D-Aufnahmen zu und generiert dann Daten, um diese Bilder von verschiedenen Beobachtungspunkten zu korrelieren und eine endgültige 3D-Szene darzustellen. Neben Fotos benötigt das System Daten über die Position der Kamera.

Forscher haben diese Art von 2D-Modell in 3D verbessert Seit ein paar Jahren-Hinzufügen weiterer Details zu den endgültigen Präsentationen und Erhöhen der Präsentationsgeschwindigkeit. Nvidia sagt, dass sein NeRF-Sofortmodell eines der am schnellsten entwickelten ist und die Renderzeit von wenigen Minuten auf einen Prozess reduziert, der „fast sofort“ endet.

Da die Technologie schneller und einfacher zu implementieren ist, kann sie für alle möglichen Aufgaben verwendet werden, sagt Nvidia in einem Blogbeitrag. Jobbeschreibung.

„Instant NeRF kann verwendet werden, um Avatare oder Szenen virtueller Welten zu erstellen, Videokonferenzteilnehmer und ihre 3D-Umgebungen aufzunehmen oder Szenen für digitale 3D-Karten zu rekonstruieren“, schreibt Isha Salian von Nvidia. „Die Technologie kann verwendet werden, um Robotern und selbstfahrenden Autos beizubringen, die Größe und Form von Objekten in der realen Welt zu verstehen, indem sie 2D-Bilder oder Videoaufnahmen davon machen. Sie kann auch in der Architektur und Unterhaltung verwendet werden, um schnell digitale Darstellungen zu erstellen von realen Umgebungen, die Entwickler modifizieren und darauf aufbauen können.“ (Das Metaverse scheint aufzurufen.)

Leider hat Nvidia keine Details über seine Methode preisgegeben, daher wissen wir nicht genau, wie viele 2D-Bilder benötigt werden oder wie lange es dauern wird, die endgültige 3D-Szene zu rendern (was auch von der Leistung des Computers abhängen wird, der dies tut Wiedergabe). Die Technologie scheint sich jedoch schnell zu entwickeln und könnte in den kommenden Jahren eine echte Wirkung entfalten.