このマニュアルの画面は、例として、CoaroboがATR-Promotions様のブースに納品したユニットで撮影したものです。画面でユメミが出している話題や製品はATR-Promotions様のもので、お客様のタブレットにはそれぞれの設置先の内容が表示されます。
製品の概要
Coarobo Heartbeatは、アバターの「ユメミ」が来場者にあいさつし、Coaroboが設置先に合わせて用意した知識をもとに、質問に声で答える製品です。すべてタブレットだけで動くので、ネットワークも操作する人も必要ありませんが、画面の赤い表示にあるとおり、ユメミは間違えることがあります。
毎日の流れ
- 朝、電源ボタンを押し、Androidが起動したあとHeartbeatが自動で起動するまで待ちます。
- Androidの赤い確認画面「アプリは固定されています」が出たら「OK」をタップして、Heartbeatを画面に固定します(「キオスクモードとアプリ固定」の節を参照)。
- ユメミが画面に立ち、その下に小さな赤い表示があることを確かめ、タブレットの前でユメミに質問をして、答えることを確かめます。
- 大きな「メンテナンス中」の表示がユメミを覆っているときは、PINを入力してメンテナンスモードをオフにします(「メンテナンスモードと設定」の節を参照)。
- 夕方、電源ボタンでタブレットの電源を切ります。
日中はスタッフの操作は必要なく、アプリが異常終了しても約1分で自動的に起動し直します。タブレットのまわりで作業するときなど、しばらく来場者がユメミを使えないようにするには、メンテナンスモードをオンにします。オンにするときはPINは必要ありません。
来場者との会話
- ユメミは、約5メートル先から自分のほうを見ている人に気づき、あいさつをして、話しかけるかタップするように誘います。
- タブレットから約2メートル以内に立ち、ユメミを見て、画面と同じ言語(日本語または英語)で話しかけてください。
- ユメミは、自分のほうを向いている人がいるあいだだけ聞き取り、自分が話しているあいだは聞き取りません。
- 「日本語で話して」や「Speak English」と言うか、言語ボタンをタップすると、言語が切り替わります。
- ユメミが話している途中でも、画面に触れると話をやめます。
- 画面下のヒントをタップすると、ヒントに出ている質問をそのまま聞けます。
- 騒がしい場所では、「聞き取り」ボタンで「タッチのみ」を選んでください(「タッチのみの会話」の節を参照)。
画面上部のボタンは、左から順に次のとおりで、どれも1回のタップで動きます。
| ボタン | 操作できるもの |
|---|---|
| 言語 | 画面と聞き取りの言語(日本語または英語) |
| 衣装と双子 | ユメミの衣装と、双子の女の子と男の子の交代 |
| ツール | ユメミや設置先についての質問のショートカット |
| モーション | ユメミの動きの再生 |
| ワークスペース | 設置先のページと製品カード |
| ウィンドウ | ユメミが見ているもの、聞いているもの、考えていることの表示 |
| テーマ | ライトまたはダークの画面 |
| 聞き取り | 声とタッチ、または騒がしい場所向けのタッチのみ |
| 音量 | 声の大きさとミュート |
| ツアー | ユメミによるHeartbeatの紹介、またはスタッフ向けガイド |
| 設定 | 「メンテナンスモードと設定」の節の設定 |
ツアーボタンの「スタッフ向けガイド」では、ユメミがタブレットの使い方を、朝の起動からPIN、かんたんな復旧まで、画面の言語で10ステップで説明します。
タッチのみの会話
大きな音のエアコンの近くなど、聞き取りには騒がしすぎる場所では、ユメミはタッチだけで会話できるので、来場者は声を出す必要がありません。
- 「聞き取り」ボタンで「タッチのみ」を選びます。また聞き取らせるときは「声とタッチ」を選びます。
- この選択は、アプリやタブレットが起動し直しても変わりません。
- タブレットの前に人が立ったとき、または画面か「ツール」ボタンをタップしたときに、ユメミは両手のあいだに設置先の話題を最大6つ出します。

- 答えのあとには、次に聞ける質問を最大5つ出します。その一部はユメミの言語モデルが考えた質問で、考えごとのアイコンが付きます。最後にはいつも「もう大丈夫です」があり、これを選ぶとユメミはお別れを言って会話を終えます。

- 約25秒タップがないと、ユメミは選択肢をしまいます。何かを選んだ来場者にはお別れを言い、まだ前に立っている人には約15秒後にまた話題を出します。
ユメミの知識
- ユメミが知っているのは、設置先の製品やサービスなど、Coaroboが設置先のために用意した内容と、ユメミ自身とCoarobo Heartbeatのことです。
- 時刻と日付は、タブレットの時計をもとに答えます。
- ネットワークを使わないので、Coaroboが知識を用意したあとの出来事は知りません。知識はアプリと一緒にCoaroboが更新します。
- 答えを知らないときは、そう伝えるか設置先のスタッフに案内しますが、赤い表示にあるとおり、間違えることもあります。
メンテナンスモードと設定
メンテナンスモードは、大きな赤い「メンテナンス中」の表示を出し、スタッフがタブレットのまわりで作業するあいだ、来場者がユメミを使えないようにします。
- 画面の左上の角(灰色のマークがある場所)を約1.2秒、指の下の輪が閉じて設定が開くまで長押しします。
- 「システム」のページで、「アプリの設定」カードの「メンテナンスモード」をオンまたはオフにします。

- メンテナンスモードをオンにするときはPINは必要ありませんが、オフにするときはHeartbeatのPINを入力します(「HeartbeatのPIN」の節を参照)。
- 「アプリの設定」カードには「着替えと双子の交代」もあり、納品のときはオフです。オンにすると、ユメミが約1時間ごとに自分で衣装を着替え、双子と交代します。
- メンテナンス中は上部のボタンが反応しないので、表示の下のほうに小さな文字で長押しの方法が出ています。
- 設定は、1分間触れないと自動で閉じます。設定の上の画面をタップしても閉じます。
- PINが違うと「PINが違います」と出ます。「キャンセル」をタップすると、何も変えずにカードを閉じます。
- PINのカードを閉じたあともAndroidのキーボードが残ることがあります。キーボードの左下の矢印で隠せます。
キオスクモードとアプリ固定
「システム」のページの「キオスクモード」カードには2つのスイッチがあり、タブレットのそばに人がいなくても動くように、納品のときにCoaroboがオンにしています。
- 「自動起動」は、タブレットが起動したあとと、アプリの異常終了の約1分後に、Heartbeatを自動で開きます。
- 「アプリ固定」は、HeartbeatをAndroidの機能で画面に固定し、来場者がホーム画面やほかのアプリに移れないようにします。
- Heartbeatが起動するたびに(朝の起動のときや再起動のあと)、Androidが赤い確認画面「アプリは固定されています」を表示し、「OK」をタップすると固定が始まります。
- この確認画面はHeartbeatではなくAndroidが表示するもので、省くことはできず、どのアプリを固定しても同じものが出ます。
- 「いいえ」をタップすると、Heartbeatは固定されないまま動き続け、次に起動するときにまた確認画面が出ます。
- 固定を解除するには、確認画面のとおり画面の下の端から上にスワイプして長押しします。画面ロックがないので、番号は必要ありません。
- タブレットの電源を切っても固定は解除されるので、スタッフが手で解除する必要はありません。
- Heartbeatを意図して閉じた場合は、アイコンをタップするか、タブレットを再起動するまで閉じたままです。
HeartbeatのPIN
- タブレットにはAndroidの画面ロックがないので、番号なしで起動します。
- Heartbeatには専用のPIN(納品のときにCoaroboが伝える6桁の番号)があります。
- メンテナンスモードをオフにするとき、「キオスクモード」のスイッチを変えるとき、設置先のプロファイルを変えるときに、HeartbeatがこのPINを求めます。
- PINを知っている人はこれらの設定を変えられるので、スタッフの中だけで管理してください。
来場者のプライバシー
- カメラは動きと顔を見つけるだけで、誰なのかは判別せず、Heartbeatは画像を保存せず、音声を録音せず、タブレットの外には何も送りません。
- ユメミの声、聞き取り、言語モデルはすべてタブレットの中で動くので、来場者の言葉もユメミの答えもタブレットの外に出ません。
- 画面下の小さな赤い表示は、このことを来場者に伝えています(「録画・録音、クラウド、遠隔操作なし」「AIは間違えることがあります」、画面の言語で表示)。
- カメラとマイクを使っているあいだはAndroidが緑のインジケーターを表示し、どのアプリもこれを隠せません。
- カメラとマイクを使っていることを知らせる掲示を、タブレットのそばに出してください。
困ったときの対処
| 見えているもの | 対処 |
|---|---|
| Androidのホーム画面 | Coarobo Heartbeatのアイコンをタップします |
| タブレットを起動してもHeartbeatが出ない | 設定で停止したアプリは一度開く必要があるので、アイコンを1回タップします |
| 赤い「メンテナンス中」の表示 | PINを入力して「メンテナンスモード」をオフにします |
| 赤い確認画面「アプリは固定されています」 | 「OK」をタップします |
| ユメミが答えない | 近づいてユメミを見て、音量ボタンも確かめます |
| ユメミの声が小さすぎる、大きすぎる | 上部の音量ボタンで、最初の25%から100%までの大きさを選びます |
| 誰も言っていない言葉に答える、話の途中で答え始める | 「聞き取り」ボタンで「タッチのみ」を選びます |
| タブレットを回してもユメミの向きが変わらない | Heartbeatが従うAndroidの自動回転をオンにします |
Heartbeatは動いているあいだ、タブレットの音量を最大の半分に保ち、音量キーで変えても戻すので、ユメミの声の大きさは画面上部の音量ボタンで選んでください。
タブレット本体
- タブレットはKTC MEGAPAD A32Q7 MAXという31.5インチのAndroidディスプレイで、バッテリーを内蔵し、リモコンが付いていて、Heartbeatとひとつのセットになっています。
- タブレットは電源ポートから19 V、4.74 A(90 W)で充電し、タブレットの説明書によると使用できる温度は0 °Cから40 °Cです。
- タブレットが熱くなるとHeartbeatが自分で描画を抑えるので、熱のための設定は必要ありません。
- タブレットのメーカーであるKTCは本体を購入日から1年間保証し、サポートの窓口は https://jp.ktcplay.com と support@ktcplay.com です。
Coaroboはタブレット本体の保守や修理を行いません。画面、バッテリー、充電器、スピーカー、カメラ、リモコンなど本体の故障は、KTCの1年間の保証にもとづいて、KTCに直接問い合わせてください。Heartbeatについては、最後の節のとおりCoaroboに連絡してください。
出荷時設定からの変更点
Coaroboが変更した設定は次のものだけで、それ以外はタブレットがメーカーから届いたときのままです。
- KTCのシステムソフトウェアを、初回の起動時にバージョン
V1.3.0に更新しました。 - システムの言語は日本語です。
- 設定のために一度だけWi-Fiに接続しましたが、Heartbeat自体はその後ネットワークを必要としません。
- リモコンをタブレットとペアリングしました。
- Googleアカウントにはサインインしていません。
- 画面ロックを設定していないので、タブレットの電源を入れるとアプリが自動で起動できます。
- 画面が消えないように、画面のタイムアウトを無期限にし、スクリーンセーバーをオフにしました。
- Androidのダークテーマを日の入りから日の出までに設定し、HeartbeatはAndroidのテーマに従いますが、Androidがテーマを切り替えるのは画面が消えたときかタブレットの起動時だけです。
- Coaroboがアプリをインストールして更新するために、開発者向けオプションをオンにし、USBデバッグとワイヤレスデバッグをCoaroboのコンピューターとペアリングしました。
- Coarobo Heartbeatをインストールし、カメラとマイクの使用と、自動起動に必要なほかのアプリの上への表示を許可し、自動起動とアプリ固定をオンにしました。
- Androidの日本語のオフライン音声認識(Android System Intelligence)と、Speech Services by Googleの日本語の音声が入っているので、ユメミはネットワークなしで聞き取り、話します。
Heartbeatは動いているあいだ、通知音を消し、メディア音量を最大の半分に保ち、自分の画面を最大の明るさにしますが、アプリを終了するとタブレットはもとの設定に戻ります。
Coaroboへの連絡
Heartbeatについて、たとえばユメミが1分たっても戻らないとき、ホーム画面が1日に何度も出るとき、アプリの固定の確認以外のAndroidのダイアログが画面に残るときは、Coarobo(info@coarobo.com )に連絡してください。タブレット本体の故障は、「タブレット本体」の節のとおりKTCに問い合わせてください。CoaroboのWebサイトは https://coarobo.com です。