TextGoに新しいMLテキスト検出を追加しました。

今回の記事は、コンパニオンではなく、別のAndroidアプリ「TextGo」についてです。

TextGoに機能追加しましたので説明を記載しておきます。

これまで、通常のテキスト検出方法と、イメージからテキスト検出する方法（OCR）がありました。これにもうひとつ他に、イメージからテキスト検出する方法（OCR）を追加しました。

通常のテキスト検出方法を「AS」

これまでのイメージからテキスト検出する方法を「AI」

新しいイメージからテキスト検出する方法を「ML」

と呼ぶことにします。

AIはプレミアムユーザーのみ使用可能で、月100回までの回数制限があります。

追加したMLには、そうした制限はありません。プレミアムユーザーでなくても使えますし、回数制限もありません。とはいえ、プレミアムユーザーでない場合、そもそも文字数制限があるので、どの方法であってもあまり実用的ではありませんが…

AIの方が検出精度が高いものの、MLで事足りるのであれば回数制限がないMLを使えばいいことになります。

設定

設定項目が変わっています。

「デフォルトテキスト検出」

最初の検出方法を選択します。

「MLテキスト検出モデル」

MLテキスト検出で使う、モデルを選択します。

AIテキスト検出と異なり、検出したい文字の種類に合わせたモデルを選ぶ必要があります。

「ML/AIテキスト検出イメージ解像度」

MLテキスト検出やAIテキスト検出では高速化や通信量削減のためにイメージを縮小してからテキスト検出をしています。

その縮小率を指定します。

MLテキスト検出はイメージを端末内で解析しますし、十分な性能を持った端末でMLテキスト検出をするのであれば、最大（右端）でも高速です。

「AIテキスト検出回数追加購入」

プレミアムユーザーの場合、これまで通り月100回までAIテキスト検出を使え、不足する場合追加購入できます。

検出時

検出した時の画面では、下に並ぶボタン構成が変わっています。

「イメージ保存」

これまで通り、スクリーンショットをストレージに保存します。

「AI検出」「ML検出」「ASへ」

それぞれの方法でテキスト検出を行います。

回数無制限のMLテキスト検出により、低コストでOCRが使えるようになりました。

UberEats、Demaekan、Wolt、menu、その他の配達業務で住所情報の検出にご活用ください。

Google Play および Google Play ロゴは、Google LLC の商標です。

ピックやドロップ中の駐車車両の安全を見守るリモートモニター機能を追加

ピックやドロップに時間がかかっている時に、駐車したままの車両のことが心配になります。

二台の端末でコンパニオンを使っていて、いつも片方の端末を車両のスマホホルダー等に装着して使われている方向けにリモートモニターという機能を追加しました。

この機能はプロフェッショナルユーザー専用となります。

駐車車両が動いた（加速度センサーが反応した）時や、駐車車両の端末に誰かが触れた（近接センサーが反応した）時に、手持ち側の端末に通知します。また、手持ち端末側からリモート端末のカメラで写真を撮影して送信させたり、カメラが人の顔を検出した時に知らせてくれます。

リモート端末（車両の端末）側の設定

「設定」→「その他」→「リモートモニター」を開きます。

駐車判定

・感度

車両が停止状態にあるとみなす端末の加速度センサーの閾値を設定します。

大きな値にすると鈍感になり、小さな値にすると敏感になります。

・時間(秒)

停車状態が設定した秒以上経過した時に駐車中と判断します。

信号待ちで駐車状態と判断されない程度の時間を設定するのがいいのではないかと思います。

センサー

・移動感知時通知

上記設定にて車両が移動した(駐車状態でなくなった)時に手持ち端末に通知します。

手持ち端末側の情報ウィンドウに「移動中」と表示します。

車両を勝手に移動された時に通知してくれることを意図しています。となると、ピックやドロップを終えて戻ってきた配達員自身が動かした時にも通知してしまいます。

・近接センサー感知時通知

端末には近接センサーが搭載されています。これは通話中に頬等が画面に触れて誤作動しないようにするためのもので、通常、画面の上部にあります。

これを利用すると、端末に手を触れようとした時にも検知できることが多いです。

近接センサーが反応すると、手持ち端末側に通知し情報ウィンドウに「近接感知」と表示します。

誰かが、リモート端末を操作しようとしたり、盗もうとしている状況が想定されます。

カメラ

・駐車時カメラ起動

駐車状態になった時にカメラを自動で起動します。プレビューがオーバーレイのタイトル部分に表示されます。

手持ち端末側から遠隔で写真を撮影させて送信できるようになります。

ただし、カメラをオンにするのは駐車中のみなので、移動するとカメラは停止します。誰かが勝手に車両を移動させても、停止されるまでの間カメラは使えません。

・カメラ選択

フロント側かバック側の使用するカメラを選択します。

・顔検出時通知

カメラに顔を検出した時、手持ち端末側に通知し、撮影した写真を送信します。

通行人等、特に害のない人も撮影してしまいます。配達員本人も撮影してしまいます。

撮影フレーム内に対象の人の顔が完全に映っていない場合でも撮影されることがあります。

一度撮影すると30秒間は、顔検出による通知を停止します。これは、大量の写真を延々と送信することがないようにするための対策です。

・最小検出顔サイズ

遠くにいる無関係な人をなるべく検出しないように、撮影する顔の最小サイズを制限します。

手持ち端末側の設定

「設定」→「その他」→「リモートモニター」を開きます。

受信側設定

・通知受信サウンド

リモート端末からの通知がある時に鳴らす音を設定できます。

「設定」→「オーバーレイのアイコン」→「リモートモニター」をオンにします。

オーバーレイにリモートモニターのアイコンが表示され、そのアイコンでリモートモニターウィンドウの表示/非表示を切り替えられます。

リモートモニターウィンドウでは、リモート端末のカメラで撮影した写真を見たり、撮影指示を出したりできます。

最大10枚まで表示し、右端が最新の写真です。

写真をタップすると、端末のストレージに保存してビューワーを開きます。

駐車した場所も分かる

駐車した場所が住所アシスタントの地図に表示されるので、どこに駐車したか分からなくなった時や、万一、どこかに持っていかれた時にご使用ください。

ただし、この位置はリアルタイムに更新されるわけではありません。リモート端末から顔検出等の通知があった時に、ついでに緯度経度を送信しているので、そうしたきっかけがないと更新されません。

補足事項

両方の端末がネットワークに接続できる必要があります。

端末の機種にもよるのですが、写真の転送容量を小さくすることを目的に写真の解像度をかなり落としているので、画質が悪いです。

容量は大きい時で、一枚10Kバイト(=80Kビット)程度になります。1000枚送信して80Mビット（=0.08Gビット）になる計算ですので、ギガ単位の回線を契約されているのであれば、大きなインパクトにならないと考えています。

撮影した写真はサーバーに送信されます。端末で受信すると同時にサーバーの写真は即時削除されます。受信されなかった写真も24～48時間以内に削除されます。

カメラを使うためバッテリーを多く消費します。車両側なのでモバイルバッテリーを接続することで対処可能ではあります。

コンパニオンアイコンメニュー、ピック時にドロップ順お知らせ、FCM経由ナビ転送、他追加。

オーバーレイのコンパニオンアイコンのロングタップでメニューを表示

オーバーレイのコンパニオンアイコンをタップするとコンパニオンアプリを表示しますが、ロングタップした際にメニューを表示するようにしました。

「今日の履歴」と「設定」の２項目あります。

配達中でもオーバーレイから少ない操作で「設定」を変更できますし、「今日の履歴」を開いてメモを編集するような使い方ができそうです。

呼び出し時単価の設定を細分化

呼び出し時の単価計算のオン/オフを細かく設定できるように変更しました。

「設定」→「ウィンドウ」→「情報ウィンドウ」にある以下の項目で、分単価、キロ単価、時間単価の計算のうち必要なものを選択できます。

・呼び出し時分単価計算

・呼び出し時キロ単価計算

・呼び出し時時間単価計算

呼び出し時単価の表示時間を設定できる項目も追加しています。

複数ドロップの時、ドロップ順を表示・読み上げ

ドロップが複数ある場合、ピック時に該当の店舗の配達物をどの順序でドロップするかを情報ウィンドウの配達番号の右に番号で表示し、音声でも読み上げるようにしました。

これにより、配達順序を考慮して計画的に配達バッグ内に配達物を収納できます。仕切りで二階建てにしている場合に、上下どちらに入れておくか、効率を考えて選べます。

実際は、配達物の重量やサイズ等、安定性を優先して収納するべきですが、それが問題にならない状況であれば、配達順に合わせて収納しておくとドロップ先での入れ替え作業を省力化できるかもしれません。

ただし、コンパニオンが誤作動する可能性もあり得ますので、コンパニオンが示す配達順序を100%信用せず、配達先では配達番号を確認してドロップするようにしてください。

くれぐれも、配達物を破損しないために、手間より配達物の安定性を優先してください。

ナビボタンタップ時の検索アプリとして「共有」を追加

「設定」→「ナビ」→「ナビボタンタップ時の検索アプリ」と、「設定」→「ナビ」→「ナビボタンロングタップ時の検索アプリ」で「共有」を選択できるように追加しました。

共有に対応したアプリに住所テキストを転送できます。

もっとも、現状あまり有効な使い方はないかもしれません。配達ナビタイムで使えるかもと思いましたがGoogleマップからの共有にしか対応していない？ようです。

他端末へのナビ転送にFCM経由を追加(プロ用)

これまで、ナビボタンタップ時にサーバー経由と、Bluetooth経由で他の端末にナビ転送できましたが、加えてFCM経由での転送を追加しました。この機能はプロ用となります。

サーバー経由では受信側でのタップが必要で少し手間がかかります。プロであればロングタップして自動受信にすることもできますが、送信側端末でナビボタンをタップしてから受信側が反応するのに数秒かかります。しかし、ネットワーク接続さえできれば端末間の距離に制限がなく、Bluetoothに対応していない端末でも使える利点があります。

Bluetooth経由は、応答速度は速いのですが、端末間の距離が離れると転送できなくなります。

FCM経由は、応答速度がそこそこ速く、ネットワーク接続があれば端末間の距離が離れていても転送可能です。加えてBluetoothのように接続状態を気にする必要がなくなるのは楽です。

まとめると…

・サーバー経由

手動受信、応答速度遅い、接続性高、Bluetooth不要

・Bluetooth経由

自動受信、応答速度速い、接続性低、Bluetooth必要

・FCM経由

自動受信、応答速度速い、接続性高、Bluetooth不要

注意点としては、以下のようなことがあります。

・送受信端末両方で同じGoogleアカウントでコンパニオンを使う必要があります。

・受信側端末で配達支援サービスをオンにしておく必要があります。

・送信端末以外の複数の端末でコンパニオンの配達支援サービスがオンになっている場合、そのすべての端末でナビが起動します。受信したくない端末では「設定」→「ナビ」→「FCM経由ナビを受信する」をオフにしてください。

・コンパニオンのサーバーやFCMのサーバーがダウンした場合、動作しなくなります。

・ネットワークの状態によっては、応答性が悪くなる可能性があります。

その他

呼び出し時、現金払いが含まれるかどうか分かるようになりましたが、その時、音声でお知らせするようにし、情報ウィンドウにも表示するようにしています。

オーバーレイの情報ウィンドウアイコンを消せる設定を追加しています。