「写真や動画から、本物そっくりの3D空間を作れたら…」。そんな魔法のような願いをかなえるAI技術、それが「NeRF(ナーフ)」です。「3Dなんて難しそう」「高価なスキャナーが必要では」と思うかもしれませんね。でも実は手元のスマホだけで体験できるほど、NeRFは実用化が進んでいます。
今回はNeRFの基本と従来技術との違い、活用の可能性、そして今すぐ試せるアプリの使い方のコツまで分かりやすく解説します。特別な機器なしで街並みや思い出の空間をデータ化し、バーチャル空間で追体験できる次世代アーカイブの可能性を紹介します。
NeRF(ナーフ)は、「Neural Radiance Fields ニューラル・ラディアンス・フィールド)」の略語で、複数の写真や動画から高度な3D空間を再現する新技術です。AI技術のなかでも人間の脳の神経回路をまねて作ったネットワーク(ニューラルネットワーク)を活用し、2020年、カリフォルニア大学の研究員によって発表されました。
従来の3Dモデルを作る技術では、基本的に形を点でとらえます。しかしNeRFでは、AIが、幾つかの方向から撮影した写真から学習した関数により、三次元空間上の点の光の通り具合を計算します。それにより、カメラが撮影していない角度からの視点もAIが予測・補完し、まるでその場にいるかのようなリアルな映像を自由自在に作り出します。
この方法によって、従来の技術が苦手としていたガラスの透明感や、金属の光沢・反射なども高精度に表現できるようになったのです。
NeRFには特別な機材は不要です。スマホ用のアプリも登場しており、ユーザーは物体をいろいろな角度からパシャパシャと撮影するだけ。撮影した写真や、その時のカメラの位置や向きのデータからAIに学習させれば、3D空間が構築されます。
レーザーを当てて形を測る「物理的な3Dスキャン」とは仕組みが違うものの、「現実を3Dデータ化する」という意味では、カメラとAIだけでできる「新しい形の3Dスキャン技術」と呼べるでしょう。
☆あわせて読みたい
アイデアを現実に 3Dプリントがつなぐ、デジタルツインと物理世界
複数の写真から3D/3DCGを作るといえば、「フォトグラメトリ」という技術が知られています。フォトグラメトリでは十数枚〜数百枚の写真を使い、共通の目印を見つけて物体の輪郭をとらえ、「網の目のデータ(メッシュ)」を作って立体コピーします。ドローンを使って撮影を行い、測量や地形解析に使用するほか、映画やゲーム業界、医療分野でも活用されてきました。
一方、NeRFは、学習した関数により、視線方向によって変わる色や光の通り具合を計算します。そうすることで、見る角度によって変わる輝きや、透明なガラスや水、輪郭があいまいな炎や煙などの複雑な質感も、リアルなクオリティで再現できます。
|
フォトグラメトリ |
NeRF |
| 仕組み |
写真の共通点から「形(メッシュ)」を作る |
空間上の点の色と光の通り方を求める関数をAIに学習させる |
| 得意なもの |
境界がはっきりした・形が固定されたもの |
ガラス、水、金属の光沢、煙、複雑な背景空間 |
| 苦手なもの |
反射するもの・透明なもの・細くて薄いもの |
一部のモノを動かすなどのデータ編集 |
| 3次元情報の表現方法 |
3Dメッシュ・点群 |
ニューラルネットワーク |
| 機材・スキル |
スマホのカメラとアプリ、3D編集の知識 |
スマホのカメラとアプリ、専門知識は不要 |
| 最適な用途 |
ゲームの3D素材、建築の測量 |
バーチャル空間、映像制作、空間アーカイブ |
実際にスマホ用NeRFアプリでトライする時は、カメラの動かし方に気を配りましょう。同じ高さで一周するだけでなく、胸の高さ・頭の上・膝の高さという3つの高さで、それぞれループするように回って撮ります。その場で立ち止まってカメラだけ動かすのではなく、自分が物体の周りをゆっくり歩くように、そしてスマホ自体を3次元空間の中で大きく動かすのがコツ。またカメラの動画設定では、「HDR(ハイダイナミックレンジ)機能」は必ずオフにしておくことも勧められています。
動画の長さやサーバーの状況にもよりますが、スマホの場合は、撮影後にデータをアップロードしてから早ければ十数分程度で3D空間が完成し、画面上で好きな角度に動かせるようになります。
☆あわせて読みたい
新紙幣に採用される3Dホログラムとホログラム映像 何が違う?
アバター作成に注目!人気キャラクターも登場!メタバースアプリが話題に
NeRFは幅広い分野で未来を変えつつあります。特に注目されているのが、世界遺産や思い出の空間をデジタル保存する「アーカイブ」としての活用です。文化財や思い出の実家などを写真から3D化してデジタル保存すれば、写真や動画では残せない「空気感」も、そのまま残すことが可能です。また、撮影した街の映像を3Dマップにして、自動運転の走行シミュレーションに役立てることも考えられています。
さらにNeRFによる映像は、後からカメラワークを自由に変更できる点も強みです。カメラをもっと上に動かす・もっと近づくといった視点変更が簡単にでき、ドローンを飛ばさなくても、スマホで空撮風の映像を作ることだって可能です。そこで映画やCM映像の制作現場での活用も広がっています。
もちろんVR・メタバース分野でもNeRFは大活躍。現実空間を丸ごとデジタル化・バーチャル化できるので、VRゴーグルを使って自由にデジタル空間を歩き回り、飛び回るバーチャル体験がいっそうリアルに楽しめます。
またNeRF自体は写真ベースですが、3DCGと融合させて、現実の街並みの中にファンタジーなキャラクターを歩かせたり、仮想家具を配置してインテリアのシミュレーションを行ったりする技術も実用化されています。NeRFはエンタメから最先端産業まで、私たちの暮らしやビジネスの可能性をすでに大きく広げているのです。
また日本のある企業は、NeRFを使って名古屋の観光用動画を公開しました。数千万単位で撮影された写真からNeRFを使って製作された動画は臨場感たっぷり。観光スポットを自由に駆けまわる、迫力あるカメラワークを楽しめます。NeRFはエンタメから最先端産業まで、私たちの暮らしやビジネスの可能性をすでに大きく広げているのです。
☆あわせて読みたい
メタバースが広げるxR体験。なりたい自分に変身できるバーチャルワールド
テレワーク環境が進化中。VRを使ったバーチャルオフィスも登場
VRもARも現在進行形!バーチャル展示会が世界中で話題に
アーカイブとは何か?故人を生き返らせるライフログやAIチャットボット
NeRFは空間を丸ごと3D化するため、今や「バーチャル空間の大本命」と考えられています。消えゆく文化財や、思い出の場所を空気感ごと残すデジタルアーカイブとしてもますます活躍の場は広がるでしょう。まずはお手元のスマホを使って、最新の3Dスキャン技術を手軽に体験してみませんか。
☆あわせて読みたい
MatterはLANもリモコンも電源も便利に 共通規格でスマートホームの普及促進
写真の背景を消す!スマホアプリの写真編集技術はぼかしから消しゴムへ