Naukowcy z Nvidia Research pochwalili się na blogu, że dokonali sporego kroku technologicznego w dziedzinie cyfrowej obróbki zdjęć. Udało się się bowiem przekształcić kilka fotek w pełnoprawną scenę 3D, a to wszystko dzięki sztucznej inteligencji i odpowiednio napisanym algorytmom.
Co to jest Instant NeRF?
Jest to technologia, która wykorzystuje sieci neuronowe do reprezentowania i renderowania scen 3D przy zachowaniu sporej dozy realizmu, a to wszystko na podstawie kilku zdjęć w 2D. Wykonane fotografie powinny uwzględnić odpowiednie kąty i najlepiej zostać wykonane w krótkim odstępie czasu. W przeciwnym wypadku efekty pracy programu mogą dać rezultat w postaci obrazu, który będzie rozmazany i niewyraźny. Technika wykorzystana przy Instant NeRF od „Zielonych” korzysta z tak zwanej lekkiej sieci neuronowej (lightweight neural network), dzięki czemu pojedyncza karta graficzna jest w stanie dokonać obliczeń. Co ciekawe, technika użyta przez naukowców Nvidia Research jest w stanie obejść okluzję i sprawnie radzi sobie z jej brakiem w scenach.
Czym są rdzenie Tensor?
Warto nadmienić, że najsprawniej przekształcanie obrazów 2D w trójwymiar – za pomocą nowej techniki – przyjdzie nam dokonać na kartach od Nvidia, z kolei dodatkową pomoc udzielają tutaj rdzenie Tensor, które rozpowszechniły się po premierze kart z serii 20XX, a obecnie mamy ich trzecią generację w modelach RTX 30XX.
Służą one głównie do poprawy finalnej jakości obrazu, jednak nie biorą udziału w procesie renderowania. Odgrywają niebagatelną rolę w uczeniu maszynowym (Deep Learning) i są wykorzystywane głównie w celu odszumiania ulepszonej wcześniej grafiki. Dzięki rdzeniom Tensor możemy na kartach od Nvidia korzystać z nowej jakości skalowania obrazu, jaką jest DLSS (Deep Learning Super Sampling).
Wykorzystanie NeRF w praktyce
Jak pisze firma odpowiedzialna za prace nad projektem – nowa technologia może być wykorzystana do szkolenia robotów i autonomicznych samochodów. Pomoże w tym rejestrowany obraz, który – w czasie rzeczywistym – będzie poddawany analizie przez sztuczną inteligencję. Informacje te są istotne, gdyż na ich podstawie AI będzie w stanie określić rzeczywisty kształt zarejestrowanego otoczenia.
Zastosowanie dla wspomnianej technologii z pewnością znajdzie swoje miejsce także w rozrywce; Instant NeRF wydaje się też być narzędziem ze sporym potencjałem w tworzeniu grafik do NFT.
W temacie tokenów kryptograficznych wypowiadała się niedawno nasza redakcyjna koleżanka, Gabriela Zubek w trakcie czwartej audycji Nerwowa Nerdowa, która tworzona jest wraz z Piotrem Bunkowskim na antenie Radia Tczew – zachęcam do odsłuchu.
