コンサルティング & テクノロジー部の茨木です。
今回は 5/22,23 に開催された Microsoft de:code 2018 の MRPPブース出展のレポートです。

テーマ

公式には「AI × IoT で実現するモダンワークプレイス」という表現になっていたようです。（このへんは筆者の管轄外）

初期段階ではコンテンツ東京に出展したアプリ（ファーストラインワーカーをターゲットに、プラント等の現場にIoTデータをMRして見せる・誘導する）の進化版を予定していました。※動画はこちら。
縁あって NTT Communications 様の Communication Engine “COTOHA” と組める流れとなり、AI部分をメインに置いて、COTOHAサイドでバックエンド実装＆システム稼働をして頂き、AIとのインタラクティブな対話によるシナリオを作る事になりました。
基本軸は「IoT+MR」「オフィスの中で」「AIによるサポート」です。また、未来すぎるとオフィスそのものが様変わりしてしまいますので「数年程度の未来感」、実際には常時HoloLensを使うなんて首を痛めてしまいそうですが「HoloLensが進化して、ほぼメガネ感覚」といった妥協軸も設定しています。

シナリオ

■オフィス＋IoT+MR

f:id:nextscape_blog:20210911193517p:plain

パーソナライズされたインフォメーションボード
窓を見ると外の天気が表示
電話の履歴
複合機の基本的なステータス表示
複合機のエラー表示

といった装飾MRがあります。
複合機（パネルを貼り合わせたもの）は実機のイメージです。会場にホンモノは持ち込めませんし、持ち込んだところでIoTで自由に扱える製品は今のところ存在していないはずです。
MRのメリットがないとか、わざわざMRする必要がない要素は極力入れない様にしています。
できることなら、公開されているどこかの天気APIを利用したり、RaspberryPi を用いて現場でセンサーを活用したりしたかったのですが、、、残念ながらすべてハリボテとなりました。。。

他にも、以下の様な案がありましたが時間の都合で見送られています。デモコンテンツはともかく、実際にこんなものもMRで見える未来は来て欲しいものです。

電気ポット
（温度表示があるはずなのに、カップ麺にぬる湯を注ぎ込む不幸は何故か繰り返される）
電子レンジ
（温め終わってるのに放置しているのは誰？）
パーソナライズされたスケジュールボード
（Outlook開けばわかるけど、ボードを見るだけで参照できたら楽そう）

■AIによるサポート

オフィスにある複合機がエラー状態で始まります。
音声コマンド『サポートモード』に反応してシステムが応答、ヘルプ先の候補を示します。
『Hey Cortina』などのウェイクワードは必要ありません。
COTOHAシステム側で Office 365 と接続されていて、そこからターゲットを検索しています。
『○○さんを呼んで』と言った感じで、ここからは自然な対話が始まります。
選択肢は幾つかありますが、今回はデモシナリオの都合上、結局はCOTOHAの応答に接続されるようになっています。
複合機のエラーを伝えると、紙詰まりエラーを特定し、複合機のCGモデルとともに問題箇所を案内します。
実機と重ねる形で直接ポイントせずに横へCGを出現させているのは、CGで解体モデルを示すというコンセプトのためでしたが、今回は複合機が分解されるアニメーションまでは実装されておりません。
紙を取り除くとエラーが消えます。
COTOHAにお礼を伝えると、退席してくれます。