Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開

今回は「Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開」についてご紹介します。

関連ワード (具体的、簡単、赤枠内等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Googleは、最新の大規模言語モデルであるGemini 1.5 Proなどを無料で試せる生成AIの利用環境である「Google AI Studio」において、UIのモック画像を示すとAndroidネイティブなCompose UIのコードの生成や修正をしてくれる機能などを、実験的に公開したと発表しました。

UIのモック画像からコードを生成

実験的に公開された機能の1つ目は、UIのモック画像からAndroidネイティブなCompose UIのコード生成です。

具体的には、下記のようなAndroidのUIのモック画像があるとします。

AndroidのUIのモック画像

この画像をプロンプト「Act as an Android app developer. For the image provided, use Jetpack Compose to build the screen so that the Compose Preview is as close to this image as possible. Also make sure to include imports and use Material3.」(Androidアプリの開発者として振る舞ってください。この画像を基に、Jetpack Composeを使用して、Compose Previewがこの画像にできるだけ近くなるように画面を構築します。また、Material3をインポートして使用してください)とともに、Google AI Studioに読み込ませます。

すると、Google AI Studioがコードを生成してくれます。

プロンプトとモック画像をGoogle AI Studioに読み込ませる

下記が、生成されたコードをAndroid Studioでプレビューさせたところ。ほぼ再現されているのが分かります。

生成されたコードをAndroid Studioでプレビューさせたところ

画像で指示するとコードを修正してくれる

もう1つの機能は、生成AIにUI画像上で修正したい部分とコードを示すと、コードを修正してくれる、というものです。

例えば、Android画面の最下部にあるアイコンを均等に並べたいとき、まず画像の修正したい部分を下記のように赤枠で囲みます。

画像の修正したい部分を赤枠で囲う

この画像と、実際のコードをGoogle AI Studioに渡して、次のプロンプト「Given this code file describing a UI screen and the image of its Compose Preview, please fix the part within the red outline so that the items are evenly distributed.」(示されたUI画面を記述したこのコードファイルと、そのCompose Previewの画像を基に、赤枠内の部分を修正してアイテムが均等になるようにしてください)を入力します。

画像と、実際のコードをGoogle AI Studioに渡し、プロンプトで修正を指定

するとGoogle AI Studioは修正したコードを出力してくれます。プレビューしてみると、修正されていることが確認できました。

fig

Googleは他にも、Androidアプリ内にGeminiに対するプロンプトを入力できる機能を簡単に組み込める仕組みもGoogle AI Studioで提供を開始しました。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
米国家安全保障局、CやC++からメモリー安全性の高いJavaなどへの移行を推奨
IT関連
2022-11-15 22:01
ライオン、製品情報のデジタルアセット管理に「Adobe Experience Manager」を採用
IT関連
2023-11-03 11:04
Sansan、Splunkのセキュリティ脅威分析を導入
IT関連
2024-02-02 13:26
マイクロソフト、「Teams Pro」でウェビナー機能など追加予定か
IT関連
2021-02-16 00:29
「Web3」が主流になる時期はいつ頃か–富士通CTOに聞いてみた
IT関連
2023-02-18 15:21
JetBrains、CI/CD環境のマネージドサービス「TeamCity Cloud」を正式リリース
DevOps
2021-05-06 06:20
ブロックチェーンを利用して従来の美術品の所有権管理も行うLobusが6.5億円調達
ブロックチェーン
2021-04-30 06:56
渋谷区、副業人材を11人採用 DX支援などに従事
IT関連
2021-04-28 03:59
小さなスタートアップMayhtは新コンセプトの小型スピーカーで業界の巨人たちに挑む
IT関連
2022-02-05 12:26
Macラインアップ刷新、次期MacBook Airの薄型化とマグネット充電を計画中?
IT関連
2021-01-26 20:45
中国で横行する偽造防止シールの偽物–その対処法は
IT関連
2024-04-06 19:50
AWSマネジメントコンソールに新機能。ウィジェットで自分好みにカスタマイズ可能に
AWS
2022-01-14 04:39
日立製作所、AWS上で構築できる「超高速データベースエンジン」のベストプラクティス構成を提供
IT関連
2023-11-17 04:14
大手テック企業に対する反トラスト調査の手を強めるドイツ競争規制当局がGoogle News Showcaseの徹底調査開始
ネットサービス
2021-06-14 02:13