コンサルティング & テクノロジー部 の茨木です。
今回は 5/22,23 に開催された Microsoft de:code 2018 の MRPPブース出展のレポートです。
テーマ
公式には「AI × IoT で実現するモダンワークプレイス」という表現になっていたようです。(このへんは筆者の管轄外)
初期段階では コンテンツ東京に出展 したアプリ(ファーストラインワーカーをターゲットに、プラント等の現場にIoTデータをMRして見せる・誘導する)の進化版を予定していました。※動画はこちら。
縁あって NTT Communications 様の Communication Engine “COTOHA” と組める流れとなり、AI部分をメインに置いて、COTOHAサイドでバックエンド実装&システム稼働をして頂き、AIとのインタラクティブな対話によるシナリオを作る事になりました。
基本軸は「IoT+MR」「オフィスの中で」「AIによるサポート」です。また、未来すぎるとオフィスそのものが様変わりしてしまいますので「数年程度の未来感」、実際には常時HoloLensを使うなんて首を痛めてしまいそうですが「HoloLensが進化して、ほぼメガネ感覚」といった妥協軸も設定しています。
シナリオ
■オフィス+IoT+MR
- パーソナライズされたインフォメーションボード
- 窓を見ると外の天気が表示
- 電話の履歴
- 複合機の基本的なステータス表示
- 複合機のエラー表示
といった装飾MRがあります。
複合機(パネルを貼り合わせたもの)は実機のイメージです。会場にホンモノは持ち込めませんし、持ち込んだところでIoTで自由に扱える製品は今のところ存在していないはずです。
MRのメリットがないとか、わざわざMRする必要がない要素は極力入れない様にしています。
できることなら、公開されているどこかの天気APIを利用したり、RaspberryPi を用いて現場でセンサーを活用したりしたかったのですが、、、残念ながらすべてハリボテとなりました。。。
他にも、以下の様な案がありましたが時間の都合で見送られています。デモコンテンツはともかく、実際にこんなものもMRで見える未来は来て欲しいものです。
- 電気ポット
(温度表示があるはずなのに、カップ麺にぬる湯を注ぎ込む不幸は何故か繰り返される) - 電子レンジ
(温め終わってるのに放置しているのは誰?) - パーソナライズされたスケジュールボード
(Outlook開けばわかるけど、ボードを見るだけで参照できたら楽そう)
■AIによるサポート
- オフィスにある複合機がエラー状態で始まります。
- 音声コマンド『サポートモード』に反応してシステムが応答、ヘルプ先の候補を示します。
『Hey Cortina』などのウェイクワードは必要ありません。
COTOHAシステム側で Office 365 と接続されていて、そこからターゲットを検索しています。
- 『○○さんを呼んで』と言った感じで、ここからは自然な対話が始まります。
選択肢は幾つかありますが、今回はデモシナリオの都合上、結局はCOTOHAの応答に接続されるようになっています。
- 複合機のエラーを伝えると、紙詰まりエラーを特定し、複合機のCGモデルとともに問題箇所を案内します。
実機と重ねる形で直接ポイントせずに横へCGを出現させているのは、CGで解体モデルを示すというコンセプトのためでしたが、今回は複合機が分解されるアニメーションまでは実装されておりません。
- 紙を取り除くとエラーが消えます。
- COTOHAにお礼を伝えると、退席してくれます。
システム構成
■全体Azure IoTHub を中心とした非同期メッセージ交換とServerless。音声解析や口語構文解析の待ち時間が僅かながら必要なのですが、HoloLensの様な非力なデバイスで同期通信はナシです。
■HoloLensアプリ
音声切り出し
基本的に常時音声をキャプチャーしています。装着者の発話に指向を合わせたマイクになっているようで、音量の大小を基準に切り出してあげると適度に対話に必要な音声データを取り出すことができます。
シナリオのコントロール
アプリはクラウドから落ちてくる指示に従って状態を遷移させていくだけの、単純なプレイヤーになっています。対話の進行状態や分岐フローなどに関しては、すべてCOTOHA側のエンジンによってコントロールされています。
最後に
当日はたくさんの方々にご来場頂きました。誠にありがとうございました。
NSStudy (ネクストスケープが主催するIT技術交流会) のお知らせです。
自然言語解析(意味/文脈/辞書等) の技術&「HoloLens開発」@渋谷 #NSStudy 13
Communication Engine “COTOHA” の開発元、NTT Communications 様にご登壇頂き、この記事(の筆者)では書けなかった、日本語テキストに関する、辞書・自然言語解析、テキスト・言語解析・対話・音声認識等の技術紹介セッションが予定されております。