Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開

今回は「Google、UIのモック画像を示すとAndroidネイティブなコードの自動生成や既存コードの修正をしてくれる機能、Google AI Studioで実験的公開」についてご紹介します。

関連ワード (具体的、簡単、赤枠内等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Googleは、最新の大規模言語モデルであるGemini 1.5 Proなどを無料で試せる生成AIの利用環境である「Google AI Studio」において、UIのモック画像を示すとAndroidネイティブなCompose UIのコードの生成や修正をしてくれる機能などを、実験的に公開したと発表しました。

UIのモック画像からコードを生成

実験的に公開された機能の1つ目は、UIのモック画像からAndroidネイティブなCompose UIのコード生成です。

具体的には、下記のようなAndroidのUIのモック画像があるとします。

AndroidのUIのモック画像

この画像をプロンプト「Act as an Android app developer. For the image provided, use Jetpack Compose to build the screen so that the Compose Preview is as close to this image as possible. Also make sure to include imports and use Material3.」(Androidアプリの開発者として振る舞ってください。この画像を基に、Jetpack Composeを使用して、Compose Previewがこの画像にできるだけ近くなるように画面を構築します。また、Material3をインポートして使用してください)とともに、Google AI Studioに読み込ませます。

すると、Google AI Studioがコードを生成してくれます。

プロンプトとモック画像をGoogle AI Studioに読み込ませる

下記が、生成されたコードをAndroid Studioでプレビューさせたところ。ほぼ再現されているのが分かります。

生成されたコードをAndroid Studioでプレビューさせたところ

画像で指示するとコードを修正してくれる

もう1つの機能は、生成AIにUI画像上で修正したい部分とコードを示すと、コードを修正してくれる、というものです。

例えば、Android画面の最下部にあるアイコンを均等に並べたいとき、まず画像の修正したい部分を下記のように赤枠で囲みます。

画像の修正したい部分を赤枠で囲う

この画像と、実際のコードをGoogle AI Studioに渡して、次のプロンプト「Given this code file describing a UI screen and the image of its Compose Preview, please fix the part within the red outline so that the items are evenly distributed.」(示されたUI画面を記述したこのコードファイルと、そのCompose Previewの画像を基に、赤枠内の部分を修正してアイテムが均等になるようにしてください)を入力します。

画像と、実際のコードをGoogle AI Studioに渡し、プロンプトで修正を指定

するとGoogle AI Studioは修正したコードを出力してくれます。プレビューしてみると、修正されていることが確認できました。

fig

Googleは他にも、Androidアプリ内にGeminiに対するプロンプトを入力できる機能を簡単に組み込める仕組みもGoogle AI Studioで提供を開始しました。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
DeNAの技術チーム、「Kaggle」のゲームAIコンペで優勝 自社の強化学習ライブラリ活用
ネットトピック
2021-08-13 23:44
【コラム】シリコンバレーではきちんとしたマネジメントができていない
IT関連
2022-02-11 11:59
キヤノンと日本IBM、芸術・芸能分野で協業–「ボリュメトリックビデオ技術」を活用
IT関連
2021-07-06 01:23
ダスキン、会計業務のフロントシステムとして「SmartDB」を本格利用
IT関連
2023-08-04 22:24
血液ゲノム解析でがん再発を早期発見するソフトウェア開発のC2i Genomicsが108億円調達
バイオテック
2021-04-20 20:18
第2回:日本企業のERP導入を阻む3つのボトルネック
IT関連
2023-12-02 15:35
アプリアイコンは中央寄せ、新規ウィジェット追加? 「Windows 11」らしきリーク画像から分かる新機能まとめ
企業・業界動向
2021-06-18 08:31
ポルシェが2台の電動アシスト自転車を発表、価格は約92万〜115万円
モビリティ
2021-03-06 03:56
伊藤園、コミュニティーメディア「CHAGOCORO」に海外販売支援サービス導入
IT関連
2022-11-09 08:26
オードリー・タン台湾IT担当相が訪日中止
IT関連
2021-07-20 12:46
レノボが企業向けARグラス「ThinkReality A3」を発表、2021年半ば発売予定
IT関連
2021-01-12 20:33
Automataがラボオートメーションの野望を拡大、ラウンドBで57.5億円を調達
IT関連
2022-02-24 08:38
Microsoft、Webのリスク管理企業RiskIQを買収 サイバーセキュリティ強化へ
企業・業界動向
2021-07-14 00:44
【コラム】事前予想と異なるフェイスブック監督委員会によるトランプ氏への決定を掘り下げる
パブリック / ダイバーシティ
2021-05-15 04:25