アップルのRealityKit 2で開発者はiPhone写真を使ったAR用3Dモデル作成が可能に

今回は「アップルのRealityKit 2で開発者はiPhone写真を使ったAR用3Dモデル作成が可能に」についてご紹介します。

関連ワード （Apple、AR、RealityKit、WWDC、WWDC2021、写真等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Apple（アップル）はWorldwide Developers Conferenceで、RealityKitの大きいアップデートを発表した。デベロッパーがAR（拡張現実）体験の開発を始めるためのテクノロジー群だ。RealityKit 2の公開によって、デベロッパーはAR体験を開発する際にビジュアル、オーディオ、アニメーションをより正確にコントロールできるようになる、とAppleは述べた。しかし最も注目すべきなのは、Appleの新しいObject Capture APIがアップデートされ、iPhoneだけを使って3Dモデルを数分で作成できるようになったことだ。

Appleはデベロッパー向けの講演で、すばらしいARをアプリを作る上で最も難しいのは3Dモデルを作るプロセスだと指摘した。これまでなら数千ドル（数十万円）と何時間もかかっていた作業だ。

新ツールを使うと、デベロッパーはiPhone（またはiPad、デジタル一眼、あるいはドローンでも）だけを使い、被写体を下からを含むあらゆる角度から撮影して2D画像シリーズを作ることができる。

次にmacOS Monterey（モントレー）上でObject Capture APIを使い、わずか数行のコードで3Dモデルを作れる、とAppleは説明している。

画像クレジット：Apple

まず、デベロッパーはReality Kitで新規のフォトグラメトリーセッションを開き、画像をキャプチャーしたフォルダーを指定する。次にプロセスファンクションを呼び出して3Dモデルを要求された精細度で生成する。Object CaptureはAR Quick Lookに最適化したUSDZファイルを生成することができる。デベロッパーがiPhoneとiPadのアプリやウェブサイトにバーチャルあるいは3Dオブジェクトを追加できるシステムだ。3Dモデルは、Xcodeを書いてReality ComposerのARシーンに追加することもできる。

Appleは、Wayfair（ウェイフェア）、Etsy（エッツィー）などのデベロッパーがObject Captureを使って現実世界に存在する物体の3Dモデルを作っていると語った。オンラインショッピングが大規模なARアップグレードを迎えつつある兆候だ。

たとえばWayfairは、Object Captureを使って同社の売り手が商品のバーチャル表現を作るためのツールを開発している。これでWayfairユーザーは今よりも多くの商品をARプレビューできるようになる。

画像クレジット：Apple（Wayfairのツールのスクリーンショット）

Appleは、Maxon（マクソン）、Unity（ユニティー）などのデベロッパーが、Cinema 4DやUnity MARSのような3Dコンテンツ作成アプリの中で、Object Captureを使って3Dコンテンツを作っていることも話した。

RealityKit 2のアップデートには他に、デベロッパーがレンダリングパイプラインを厳密にコントロールしてARオブジェクトのルック・アンド・フィールを微調整するカスタムシェーダー、資源のダイナミックローディング、ARシーンの資源を管理するEntity Component System、RealityKitベースのゲームでARワールドをジャンプしたりスケーリングしたり探検したりできる機能などがある。

Shopify（ショッピファイ）のMikko Haapoja（ミッコ・ハーポヤ）氏というデベロッパーは、新しいテクノロジー（下記参照）をテスト中で、iPhone 12 Maxを使って撮影したリアルワールドのテスト結果をTwitterでシェアした。

自分でテストしてみたいデベロッパーは、Appleのサンプルアプリを、MacにMontereyをインストールして試すことができる。Object Captureに必要な写真を撮るためには、カメラアプリのQloneやApp Storeからダウンロードしたどの画像キャプチャー・アプリケーションでも使うことができる、とAppleはいう。秋にはコンパニオンアプリのQlone MacもObject Capture APIを利用するようになる。

現在、App StoreにはARKitアプリが1万4000以上あり、9000以上のデベロッパーが開発している。全世界で10億台以上AR内蔵のiPhoneとiPadが使用されていることから、Appleは世界最大のARプラットフォームを提供していることになる。

Apple's Object Capture on a Pineapple. One of my fav things to test Photogrammetry against. This was processed using the RAW detail setting.

More info in thread ? pic.twitter.com/2mICzbV8yY

— Mikko Haapoja (@MikkoH) June 8, 2021

Apple's Object Capture is the real deal. I'm impressed. Excited to see where @Shopify merchants could take this

Allbirds Tree Dashers. More details in thread ? pic.twitter.com/fNKORtdtdB

— Mikko Haapoja (@MikkoH) June 8, 2021

画像クレジット：Apple

【原文】

At its Worldwide Developers Conference, Apple announced a significant update to RealityKit, its suite of technologies that allow developers to get started building AR (augmented reality) experiences. With the launch of RealityKit 2, Apple says developers will have more visual, audio and animation control when working on their AR experiences. But the most notable part of the update is how Apple’s new Object Capture API will allow developers to create 3D models in minutes using only an iPhone.

Apple noted during its developer address that one of the most difficult parts of making great AR apps was the process of creating 3D models. These could take hours and thousands of dollars.

With Apple’s new tools, developers will be able take a series of pictures using just an iPhone (or iPad, DSLR or even a drone, if they prefer) to capture 2D images of an object from all angles, including the bottom.

Then, using the Object Capture API on macOS Monterey, it only takes a few lines of code to generate the 3D model, Apple explained.

Image Credits: Apple

To begin, developers would start a new photogrammetry session in RealityKit that points to the folder where they’ve captured the images. Then, they would call the process function to generate the 3D model at the desired level of detail. Object Capture allows developers to generate the USDZ files optimized for AR Quick Look — the system that lets developers add virtual, 3D objects in apps or websites on iPhone and iPad. The 3D models can also be added to AR scenes in Reality Composer in Xcode.

Apple said developers like Wayfair, Etsy and others are using Object Capture to create 3D models of real-world objects — an indication that online shopping is about to get a big AR upgrade.

Wayfair, for example, is using Object Capture to develop tools for their manufacturers so they can create a virtual representation of their merchandise. This will allow Wayfair customers to be able to preview more products in AR than they could today.

Image Credits: Apple (screenshot of Wayfair tool))

In addition, Apple noted developers including Maxon and Unity are using Object Capture for creating 3D content within 3D content creation apps, such as Cinema 4D and Unity MARS.

Other updates in RealityKit 2 include custom shaders that give developers more control over the rendering pipeline to fine tune the look and feel of AR objects; dynamic loading for assets; the ability to build your own Entity Component System to organize the assets in your AR scene; and the ability to create player-controlled characters so users can jump, scale and explore AR worlds in RealityKit-based games.

One developer, Mikko Haapoja of Shopify, has been trying out the new technology (see below) and shared some real-world tests where he shot objects using an iPhone 12 Max via Twitter.

Developers who want to test it for themselves can leverage Apple’s sample app and install Monterey on their Mac to try it out. They can use the Qlone camera app or any other image capturing application they want to download from the App Store to take the photos they need for Object Capture, Apple says. In the fall, the Qlone Mac companion app will leverage the Object Capture API as well.

Apple says there are over 14,000 ARKit apps on the App Store today, which have been built by over 9,000 different developers. With the more than 1 billion AR-enabled iPhones and iPads being used globally, it notes that Apple offers the world’s largest AR platform.

（文：Sarah Perez、翻訳：Nob Takahashi / facebook ）

Apple（日本）

Apple Footer 下取り額は異なる場合があり、下取りに出すデバイスの状態とモデルにもとづきます。下取り額は新しいiPhoneの購入が条件となり、制限が適用される場合があります。20歳以上の方のみが対象です。本プログラムは一部の店舗で ...

Apple サポート 公式サイト

Apple サポートがお手伝いします。すべての Apple 製品のサポート情報や人気のトピックをご案内します。

Apple ID - Apple サポート 公式サイト

Apple ID の設定方法や使い方をご紹介します。Apple ID に関するさまざまなトピック、関連情報、お問い合わせ方法についてご案内します。

Apple IDを管理

Appleのすべてのサービスで使用するアカウントです。. 1つのApple IDとパスワードで、Appleのサービスすべてにアクセスできます。.

Apple IDを管理

Your Apple ID is the account you use for all Apple services.

Apple - Wikipedia

Apple （アップル）は、カリフォルニア州 クパチーノに本社を置くアメリカ合衆国の多国籍テクノロジー企業である。デジタル家庭電化製品 、ソフトウェア、オンラインサービスの開発・販売を行っている。 概要 Apple Campus（旧本社 ...

‎Apple Music

Apple Music J-ロック. B'z：ラブソング. Apple Music J-ロック. はじめての 稲葉浩志. Apple Music J-ロック. はじめての Tak Matsumoto. Apple Music J-ロック. はじめての ONE OK ROCK. Apple Music …

Apple、「iOS 15」「iPadOS 15」「macOS Monterey ...

1 日前  · 米Apple は6月7日（現地時間）、開発者向けのイベント「WWDC 2021」で「iOS 15」、「iPadOS 15」、「macOS Monterey」、「watchOS 8」を発表した。デベロッパ ...

アップルが7万4800円からのiPhone 12シリーズ、10万6800円 ...

Apple（アップル）は米国時間10月13日、スペシャルイベントを開催。5G対応のiPhone 12シリーズ、iPhone 12 Proシリーズを発表した。iPhone 12シリーズの価格は税抜7万4800円から、iPhone 12 Proシリーズは税抜10万6800円から。予約注文開始は、iPhone 12とiP..

アップルのWWDC 2021基調講演をライブ中継で観よう ...

明日、日本時間6月8日午前2時、アップルは開発者会議の初日に（バーチャル）基調講演を行い、大量のソフトウェアアップデートを発表する予定だ。

写真素材なら「写真AC」無料（フリー）ダウンロードOK

無料写真素材を提供する「写真AC」のフリー写真素材は、個人、商用を問わず無料でお使いいただけます。クレジット表記やリンクは一切不要です。Web、DTP、動画などの写真素材としてお使いください。

Google Photos

Google フォトはあなたの写真や動画が帰る場所。保存するとすべて自動的に整理されます。共有も簡単です。

無料の写真素材 · Pexels

どこででも使用できる無料の写真素材。 無料で商業コンテンツとして利用可能 出典は不要 才能あるクリエイターがシェアする、最高の無料の写真素材や動画素材。

写真共有サイト:PHOTOHITO - 人と写真をつなぐ場所

人と写真をつなぐ場所PHOTOHITO(フォトヒト)は、撮影した写真（画像）を投稿して他のユーザーと共有したり、カメラやレンズ、あらゆる被写体、撮影地などから写真（画像）を探すことができる写真共有サイトです。

写真 - Wikipedia

写真（しゃしん、古くは寫眞）とは、 狭義には、穴やレンズを通して、被写体から発される光線を再構成して実像を結ばせ、感光剤に焼き付けたのち、現像処理をして可視化したもの。 このとき、感光剤に焼き付けるまでを行う機器は、基本的にカメラと呼ばれる。

デジカメ・写真プリント・フォトブックのことはおまかせ - …

写真現像やカメラ・デジカメの販売、買取などはカメラのキタムラへ。あなたの大切なお写真の現像・保存・プリントも写真専門店カメラのキタムラにお任せ下さい。スマホも格安で販売中です。

カメラ初心者のための「写真の撮り方」ガイド ｜ キヤノン ...

初めて買った一眼レフやミラーレスカメラ。お子さんの成長記録からSNSで「いいね！」がもらえるオシャレな写真まで、ちょっとした撮り方のコツを覚えるだけで、写真がぐーんとステキになりますよ。さあ、始めましょう！

写真が上手くなる！写真の基本構図10選【カメラ初心者向け ...

カメラ初心者が上手な写真を撮るために意識したいのが「構図」。写真の構図は「写真を通して見せたいもの」をより伝えやすくする撮影テクニックです。被写体に合わせた構図で写真が撮れれば、普通の写真がグッとお洒落に！基本の構図10個を紹介します。...

“テニス界の妖精”が引退 シャラポワ「黒ビキニ＆大開脚」写真

２月26日に引退を表明したテニス界の妖精マリア・シャラポワ。世界ランキング１位の実力もさることながらグラウンド外でもセクシーな姿でファンを魅了した。彼女の黒ビキニ写真などを紹介する。

藤田ニコル「ぜんぶ脱いじゃった」“最初で最後”のグラビア ...

ニュース｜　ViVi専属モデルでタレントの藤田ニコル（21）が、来年2月22日に写真集『好きになるよ？』（講談社）を発売することが決定した。過去に出版したスタイルブックとは一線を画す「グラビア写真集」として、“最初で最後”という意気込みのもとランジェリー姿や手ブラなど出し惜しみのない、過去最大露出に挑戦している。　藤田は「今が自分のカラダ的にも1番ピークだなって感じていて、ここまでやるのは最初で最後という覚悟のもと撮影に挑みました」と決意を明かす。2019年秋、5日間にわたってインドネシア・バリ島でロケを敢行。女子旅スポットとして注目され始めているバリ島のヴィラでの撮影では、広大な自然を背景に開放的になった“オトナ”にこるんの姿を披露した。