Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開

今回は「Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開」についてご紹介します。

関連ワード (具体的、簡単、赤枠内等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Googleは、最新の大規模言語モデルであるGemini 1.5 Proなどを無料で試せる生成AIの利用環境である「Google AI Studio」において、UIのモック画像を示すとAndroidネイティブなCompose UIのコードの生成や修正をしてくれる機能などを、実験的に公開したと発表しました。

UIのモック画像からコードを生成

実験的に公開された機能の1つ目は、UIのモック画像からAndroidネイティブなCompose UIのコード生成です。

具体的には、下記のようなAndroidのUIのモック画像があるとします。

AndroidのUIのモック画像

この画像をプロンプト「Act as an Android app developer. For the image provided, use Jetpack Compose to build the screen so that the Compose Preview is as close to this image as possible. Also make sure to include imports and use Material3.」(Androidアプリの開発者として振る舞ってください。この画像を基に、Jetpack Composeを使用して、Compose Previewがこの画像にできるだけ近くなるように画面を構築します。また、Material3をインポートして使用してください)とともに、Google AI Studioに読み込ませます。

すると、Google AI Studioがコードを生成してくれます。

プロンプトとモック画像をGoogle AI Studioに読み込ませる

下記が、生成されたコードをAndroid Studioでプレビューさせたところ。ほぼ再現されているのが分かります。

生成されたコードをAndroid Studioでプレビューさせたところ

画像で指示するとコードを修正してくれる

もう1つの機能は、生成AIにUI画像上で修正したい部分とコードを示すと、コードを修正してくれる、というものです。

例えば、Android画面の最下部にあるアイコンを均等に並べたいとき、まず画像の修正したい部分を下記のように赤枠で囲みます。

画像の修正したい部分を赤枠で囲う

この画像と、実際のコードをGoogle AI Studioに渡して、次のプロンプト「Given this code file describing a UI screen and the image of its Compose Preview, please fix the part within the red outline so that the items are evenly distributed.」(示されたUI画面を記述したこのコードファイルと、そのCompose Previewの画像を基に、赤枠内の部分を修正してアイテムが均等になるようにしてください)を入力します。

画像と、実際のコードをGoogle AI Studioに渡し、プロンプトで修正を指定

するとGoogle AI Studioは修正したコードを出力してくれます。プレビューしてみると、修正されていることが確認できました。

fig

Googleは他にも、Androidアプリ内にGeminiに対するプロンプトを入力できる機能を簡単に組み込める仕組みもGoogle AI Studioで提供を開始しました。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
アマゾンがAWSの宇宙スタートアップアクセラレーターでSeraphimと提携
宇宙
2021-04-01 04:19
ServiceNowがノーコードワークフローの構築を支援する新機能を追加
ソフトウェア
2021-03-13 07:02
IT中心にグローバル人材の獲得支援を行うフォースバレーが約3億円調達、SaaS事業を強化
IT関連
2022-03-16 12:19
ネット中立性に関するコメント2200万の80%が捏造と調査で判明
パブリック / ダイバーシティ
2021-05-09 06:24
「freee人事労務」、月額変更届と算定基礎届の電子申請が可能に
IT関連
2022-06-17 16:12
栄養価不足などを調べられる即時尿検査サービス開発のユーリアが5500万円調達、6月の製品リリース目指す
IT関連
2022-03-11 12:13
ワークデイの次期単独CEO、日本市場への思いを明かす
IT関連
2023-10-19 15:20
DX支援事業を展開するフレクト、経営管理プラットフォーム「DIGGLE」導入
IT関連
2023-04-22 21:15
データ統合プラットフォームのTalend、プライベートエクイティThoma Bravoが買収へ
IT関連
2021-03-12 11:12
伊藤忠商事ら5社、フィジカルインターネットの事業化で協業–「2024年問題」の解決へ
IT関連
2024-05-18 04:49
カシオ「G-SHOCK」に角型ケースのワークアウト用モデル 「初号機のデザインを継承」
くらテク
2021-06-16 00:35
「macOS」で「キーチェーンアクセス」を使う–パスワードを見つけて変更するには
IT関連
2022-07-19 00:09
「Chromebook」で「Linux」をセットアップするには
IT関連
2022-07-22 06:06
Cloudflare WorkersがWebAssemblyでWASIをサポート。WebAssemblyはクロスプラットフォーム対応が当前の世界に
Cloudflare
2022-07-11 05:38