AIスマートグラスアプリ開発からAIとXRの関わり方を考える

こんにちは。Device Frontierチームの道下です。

普段は業務で XR アプリケーションの開発とマネージャーをやっています。

私は毎年その一年で行った中で一番興味があるものを記事にしています。

今年はAI の分野では、生成 AI がさらに進化し、ツールとして使う存在から、自律的に動くエージェントへ進化してきました。

また、XRデバイスにおいても初のAndroid XR デバイスの登場や Ray-Ban Meta Display の発売など、AI の進化に合わせて人とのインタフェースとなるデバイスも登場しました。

こうした流れの中で、今回は Ray-Ban Meta と今月公開されたばかりのMeta Wearables Device Access Toolkit for Android（DAT)を使い、より日常利用を意識したアプリを作り、今後のAI と XR の関わりについて考えてみました。

今回作ったのは、Ray-Ban Metaからの映像をAIに送って、目の前の食事のカロリーとPFCを教えてくれるものです。

音声で料理名と合計カロリー、詳細はスマホ側で表示するようにしました。

下記の動画はRay-Ban Metaカメラからの映像をスマートフォンでストリーミングし、ボタンをトリガーとして画像をAIに送ることでカロリー・PCFを判定するものです。

2年前にMeta Quest 3 を使って、AIと会話したり、見ているものの説明を返すアプリを作りました。

その際は、Quest 3 のパススルー映像に制約があり、スマートフォンを介した構成を取っていました。

今回のアプリも内容は似ていますが、メガネ型デバイスになったことでより体験ハードルが下がりました。

デバイスについて少しだけ説明します。

Ray-Ban Meta は、Meta と Ray-Ban が共同で開発したスマートグラスです。

普通のメガネに近い見た目ですが、カメラやマイク、スピーカーを内蔵しており、装着したまま撮影や音声操作ができます。

日本ではまだ正式に販売されていないため、私はプライベートでイギリスに旅行した際に購入しました。（技適は申請済みです）

これまでは一人称視点での撮影や音楽を聴くといった用途が中心でした。

しかし今月、DATが公開され、Ray-Ban Meta のカメラ映像をスマートフォンアプリで取得できるようになりました。

アプリの実装はすべて Claude Codeで行いました。

私自身Kotlinは触ったことないので、公式サンプルをベースとして機能追加をするという形で指示をしました。

Claude Codeが実装からapkを作るまでやってくれるので、私はスマホをつなげてadb installを打つだけです。

アプリフローも非常にシンプルで、

となっています。

今後、グラス型デバイスやその他デバイスがスマートフォンのようにどんな人でも使うようになっていくのは、（価格や日本での展開次第な部分もありますが）近い将来必ず来ると思っています。その時に備えて日常的に使いやすいアプリを実際に作り、今試しておくことには意味があると考えています。

今回は料理の情報を表示するアプリでしたが、例えばナビゲーションのように目的地まで案内するものや、行動を補助するような用途など、応用できる場面は多いはずです。個人的には、将来的には「一人につき一つのパーソナライズされたAIアシスタント」が存在する世界になれば楽しそうだなと思っています。

またXR デバイスは、音声、空間情報、一人称視点の映像、手や視線といった多様な入力を扱えるため、そうした AI と非常に相性が良いインタフェースだと思っています。

現在はユーザー操作をトリガーにして AI にリクエストを送る形になっていますが、

今後は AI 側からフィードバックを返すプッシュ型の機能を追加開発しています。

具体的には、Ray-Ban Meta から取得した映像の中に料理が映ったことを検知したタイミングで自動的にリクエストを送り、結果を返します。

このように自然に情報が返ってくる体験がAI スマートグラスらしい使い方だと考えています。

おわりに

今回は、Ray-Ban Meta と AIを使って、日常利用を意識したアプリを一つ作ってみました。

今後もAIとXRの進化を追っていきたいと思います。

最後まで読んでいただきありがとうございました。

ネクストスケープでは共に働く仲間を絶賛募集中です。

ご興味ある方は下記のURLからお気軽に。