Nvidia Instant NeRF, czyli jak zamienić zdjęcie w trójwymiarową scenę

28 marca 2022,
18:36
PawelCeregrzyn

Naukowcy Nvidia Research pracujący nad sztuczną inteligencją wykonali przełomowe prace nad cyfrową obróbką zdjęć. Instant NeRF robi wrażenie!

Logo Nvidia
Na skróty
  • Za pomocą nowej technologii wykorzystującej sztuczną inteligencję jesteśmy w stanie stworzyć scenę 3D za pomocą zdjęć.
  • Karty od Nvidia wspierają cały proces, pomagają im w tym zwłaszcza rdzenie Tensor odpowiedzialne za uczenie maszynowe (deep learning).
  • Za pomocą Nvidia Instant NeRF będzie można szkolić roboty, jak i autonomiczne pojazdy; NeRF swoje zastosowanie znajdzie także w branży rozrywkowej.

Naukowcy z Nvidia Research pochwalili się na blogu, że dokonali sporego kroku technologicznego w dziedzinie cyfrowej obróbki zdjęć. Udało się się bowiem przekształcić kilka fotek w pełnoprawną scenę 3D, a to wszystko dzięki sztucznej inteligencji i odpowiednio napisanym algorytmom.

Co to jest Instant NeRF?

Jest to technologia, która wykorzystuje sieci neuronowe do reprezentowania i renderowania scen 3D przy zachowaniu sporej dozy realizmu, a to wszystko na podstawie kilku zdjęć w 2D. Wykonane fotografie powinny uwzględnić odpowiednie kąty i najlepiej zostać wykonane w krótkim odstępie czasu. W przeciwnym wypadku efekty pracy programu mogą dać rezultat w postaci obrazu, który będzie rozmazany i niewyraźny. Technika wykorzystana przy Instant NeRF od „Zielonych” korzysta z tak zwanej lekkiej sieci neuronowej (lightweight neural network), dzięki czemu pojedyncza karta graficzna jest w stanie dokonać obliczeń. Co ciekawe, technika użyta przez naukowców Nvidia Research jest w stanie obejść okluzję i sprawnie radzi sobie z jej brakiem w scenach.

rezultaty wielokrotnej obróbki zdjęcia za pomocą AI, w roli pomocnika fotografia Alberta Einsteina
Źródło: NVIDIA Research Projects na GitHub

Czym są rdzenie Tensor?

Warto nadmienić, że najsprawniej przekształcanie obrazów 2D w trójwymiar – za pomocą nowej techniki – przyjdzie nam dokonać na kartach od Nvidia, z kolei dodatkową pomoc udzielają tutaj rdzenie Tensor, które rozpowszechniły się po premierze kart z serii 20XX, a obecnie mamy ich trzecią generację w modelach RTX 30XX.

Służą one głównie do poprawy finalnej jakości obrazu, jednak nie biorą udziału w procesie renderowania. Odgrywają niebagatelną rolę w uczeniu maszynowym (Deep Learning) i są wykorzystywane głównie w celu odszumiania ulepszonej wcześniej grafiki. Dzięki rdzeniom Tensor możemy na kartach od Nvidia korzystać z nowej jakości skalowania obrazu, jaką jest DLSS (Deep Learning Super Sampling).

Wykorzystanie NeRF w praktyce

Jak pisze firma odpowiedzialna za prace nad projektem – nowa technologia może być wykorzystana do szkolenia robotów i autonomicznych samochodów. Pomoże w tym rejestrowany obraz, który – w czasie rzeczywistym – będzie poddawany analizie przez sztuczną inteligencję. Informacje te są istotne, gdyż na ich podstawie AI będzie w stanie określić rzeczywisty kształt zarejestrowanego otoczenia.

Zastosowanie dla wspomnianej technologii z pewnością znajdzie swoje miejsce także w rozrywce; Instant NeRF wydaje się też być narzędziem ze sporym potencjałem w tworzeniu grafik do NFT.

W temacie tokenów kryptograficznych wypowiadała się niedawno nasza redakcyjna koleżanka, Gabriela Zubek w trakcie czwartej audycji Nerwowa Nerdowa, która tworzona jest wraz z Piotrem Bunkowskim na antenie Radia Tczew – zachęcam do odsłuchu.