Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開

今回は「Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開」についてご紹介します。

関連ワード (具体的、簡単、赤枠内等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Googleは、最新の大規模言語モデルであるGemini 1.5 Proなどを無料で試せる生成AIの利用環境である「Google AI Studio」において、UIのモック画像を示すとAndroidネイティブなCompose UIのコードの生成や修正をしてくれる機能などを、実験的に公開したと発表しました。

UIのモック画像からコードを生成

実験的に公開された機能の1つ目は、UIのモック画像からAndroidネイティブなCompose UIのコード生成です。

具体的には、下記のようなAndroidのUIのモック画像があるとします。

AndroidのUIのモック画像

この画像をプロンプト「Act as an Android app developer. For the image provided, use Jetpack Compose to build the screen so that the Compose Preview is as close to this image as possible. Also make sure to include imports and use Material3.」(Androidアプリの開発者として振る舞ってください。この画像を基に、Jetpack Composeを使用して、Compose Previewがこの画像にできるだけ近くなるように画面を構築します。また、Material3をインポートして使用してください)とともに、Google AI Studioに読み込ませます。

すると、Google AI Studioがコードを生成してくれます。

プロンプトとモック画像をGoogle AI Studioに読み込ませる

下記が、生成されたコードをAndroid Studioでプレビューさせたところ。ほぼ再現されているのが分かります。

生成されたコードをAndroid Studioでプレビューさせたところ

画像で指示するとコードを修正してくれる

もう1つの機能は、生成AIにUI画像上で修正したい部分とコードを示すと、コードを修正してくれる、というものです。

例えば、Android画面の最下部にあるアイコンを均等に並べたいとき、まず画像の修正したい部分を下記のように赤枠で囲みます。

画像の修正したい部分を赤枠で囲う

この画像と、実際のコードをGoogle AI Studioに渡して、次のプロンプト「Given this code file describing a UI screen and the image of its Compose Preview, please fix the part within the red outline so that the items are evenly distributed.」(示されたUI画面を記述したこのコードファイルと、そのCompose Previewの画像を基に、赤枠内の部分を修正してアイテムが均等になるようにしてください)を入力します。

画像と、実際のコードをGoogle AI Studioに渡し、プロンプトで修正を指定

するとGoogle AI Studioは修正したコードを出力してくれます。プレビューしてみると、修正されていることが確認できました。

fig

Googleは他にも、Androidアプリ内にGeminiに対するプロンプトを入力できる機能を簡単に組み込める仕組みもGoogle AI Studioで提供を開始しました。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Spotify Premium、Apple Watchでのオフライン再生が可能に
製品動向
2021-05-24 23:37
Google Cloudとメイヨークリニックが提携–生成AIによる医療業界の変革に向け
IT関連
2023-06-09 10:25
「Boxはコンテンツクラウド」–Boxが新ブランディングと新戦略を発表
IT関連
2021-05-31 07:43
インボイス対応、「適格請求書の受領に関わる準備を完了している」企業はわずか2割–Sansan調査
IT関連
2023-07-23 05:19
バーナーズ・リー氏のソースコード、NFTとして競売に
IT関連
2021-06-16 07:40
Apple Watch「心電図」、ついに利用可能に watchOS 7.3から
-
2021-01-23 22:13
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
Microsoft
2024-03-08 19:29
ダッジが電動マッスルカーの発売を予告、それはどんなクルマになるのか?
モビリティ
2021-07-11 00:40
NASAが火星探査機のパラシュートに込めたメッセージとは?
企業・業界動向
2021-02-25 13:44
高まる製造業のセキュリティ意識、サプライチェーン攻撃を含めたリスク対応
IT関連
2023-12-15 18:39
マセラティ、2025年までに6車種の電気自動車を市場に投入
IT関連
2022-03-19 19:06
NVIDIAが次世代車載半導体「DRIVE Atlan」発表、演算処理性能1000TPSの「車載データセンター」
モビリティ
2021-04-15 12:57
NEC、「Wi-Fi 7」対応無線LANアクセスポイントの新モデルを発表
IT関連
2023-06-13 17:08
MS調査で明らかに–リモートワークで疲弊する従業員を救う手だてはあるか
IT関連
2021-06-27 20:29