Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields

·바이오시스템공학과 김태형 교수와 LG전자 인공지능연구소 공동 연구팀은 텍스트 프롬프트를 통해 사전 훈련된 3D 모델(pretrained NeRF)의 부분적인 스타일 변경과 밀도 추가, 제거 등의 편집이 가능한 Blending-NeRF를 제안하여 해당 연구 논문이 국제 컴퓨터 비전 컨퍼런스 ICCV 2023에 발표되었다. (2023년 10월)

·NeRF(Neural Radiance Field)와 같은 인공지능 기반의 3D 모델 합성 방법을 통해 대규모 3D 콘텐츠 제작이 가능해졌지만, 합성된 객체의 모양과 색상을 국부적으로 편집하는 것은 여전히 도전적인 과제이다. 특히, 3D 모델의 부분적인 편집이 원본 모델의 전체적인 형태를 왜곡하지 않으며 자연스럽게 반영되어야 한다는 어려움이 있다. 본 연구에서는 이러한 어려움을 극복하기 위해 사전 훈련된 NeRF와 편집 가능한 NeRF가 계층적으로 구성된 Blending-NeRF를 제안하였다. 또한, 텍스트 프롬프트를 기반으로 편집 영역을 적절히 지정하고, 객체의 색상과 모양 등을 자연스럽게 수정할 수 있도록 하는 혼합 연산을 도입하여 부분적인 3D 모델 편집을 직관적으로 수행할 수 있게 하였다. 다양한 텍스트 프롬프트를 기반으로 수행된 광범위한 실험은 Blending-NeRF가 원본 모델로부터 자연스럽게 편집된 다양한 3D 모델을 생성하는 것을 보였다.

·이 연구 결과는 3D 모델 편집 분야의 기술적 발전을 견인하여 더욱 발전된 관련 도구와 기술의 개발을 촉진할 것으로 기대되며, 향후 메타버스, 애니메이션, 제품 디자인 등과 같이 3D 객체 편집이 필수적인 산업 분야에서 유용한 도구로 활용될 수 있을 것으로 생각된다.