ピック待ち時間表示・AIで呼び出し時にさまざまな情報を読み上げ可能に

最近の２つの追加機能についてご紹介します。

どれくらいピック待ちしているかが分かります。

ピック中に停止している時間を表示するようにしました。

停止して一分経過すると、その停止している時間を表示します。
この意図は、ピック先に到着して、どの程度の時間待っているのかを知ることができます。

注意事項
・ピック先に向かっている途中に信号待ち等で停止していても表示されます。
・厳密には、停止したタイミングからではないので、だいたい１分程度割り引いて考えた方が良さそうです。例えば、３分と表示されている時は、２分程待っていると考えてちょうどいいと思います。

呼び出し時のスクリーンショットをAIで自由に解析

こちらはV1.224のまだベータ版です。

呼び出し時のスクリーンショットをAIに解析させ、その返答を情報ウィンドウに表示したり、読み上げさせたりできます。
「設定」→「オーバーレイのアイコン」→「スクリーンショット」と進むと設定項目があります。

この機能を使うには同設定画面にある「メディアプロジェクション使用」と「呼び出し時のスクリーンショット」をオンにする必要があります。
特に理由がない場合は、「オーバーレイを非表示」をオンにして、スクリーンショットにコンパニオンのオーバーレイが写り込まないようにして、コンパニオンに表示された情報をAIに解析させないようにすることをお勧めします。

AIに関する設定項目は以下の通りです。
・呼び出し時AI
呼び出し時AIを有効にする場合にオンにします。オンにした場合、呼び出し時にAIがスクリーンショット画像を解析します。

・呼び出し時AI設定
次で説明します。
・応答を情報ウィンドウに表示
AIの応答メッセージを情報ウィンドウに表示します。情報ウィンドウのメッセージはタップで住所アシスタントの編集行に追記でき、ロングタップですぐに消せます。
・AI応答メッセージ表示時間
AIの応答メッセージを情報ウィンドウに表示する秒数を設定します。

【呼び出し時AI設定でプロンプト(AIへの指示文)をテストし、設定できます】

これまでにすでに呼び出し時スクリーンショットが撮影されている場合、それらのうち最新の20枚を表示しています。
その中から一枚をタップして選ぶことができます。ロングタップするとビューワーで表示します。
スクリーンショット画像を一枚選択し、「プロンプト」にスクリーンショットに関する指示文を入力して、「テスト」をタップするとAIがスクリーンショット画像を解析して、その指示に答えます。
例えば、配達料金はいくらかとか、配達距離は何キロか等を質問できます。

「読み上げ」チェックボックスをオンにするとAIの応答メッセージを音声で読み上げます。
入力を完了したら、ダイアログ下の「OK」をタップして保存します。「キャンセル」をタップすると保存せず、変更を破棄します。
うまくプロンプトを作成すれば、マグロの時や特定の店舗の時に通知するとか、配達先住所を読み上げるといった使い方ができるかもしれません。

この呼び出し時AIをうまく活用すれば、様々な用途に応用できるように思えますが、実際は簡単でないところがあります。
まず、使用回数に制限があります。プロユーザーの方は月に300回、それ以外のユーザーは月3回までとなっています(月内の最初に起動した時のユーザークラスによって、その時付与されます。プロユーザーになった直後には付与されず、翌月からとなりますのでご注意ください)。余った分の翌月への繰り越しはありません。たった3回では瞬時に使い切ってしまいますし、プロの300回でも専業の方では不足します。おそらく1000回以上必要だと思います。この機能を本当に使い込むユーザーが現れた場合、上位プランや追加購入の提供が必要かもしれません。
そして最大の難点は、AIの知能にあります。
理解力はチンパンジー並みと思った方がよく、結構な確率で嘘を言います。それなりに使えるプロンプトを作成したとしてもだいたい10～20%程度の確率で誤判定します。
これは、現在のAIの宿命で、ハルシネーションと呼ばれており、AIが勝手にでたらめを創作します。今後、改善されていくことを期待しますが、残念ながら現状はそのレベルで、そういうものだと理解して使うことになります。

使い物になるかどうかユーザーの反応も含め、まずは試験的な運用になります。AIの進歩は速いため、これから先どのような機能になっていくかは予測できません。