スクリーンショット設定の整理、テキストスキャナーとスマートアシスタントでの呼び出し時単価読み上げ設定例等

スクリーンショットの設定項目を整理し、テキストスキャナーとスマートアシスタントを分離(V1.233以降)

設定のスクリーンショットの中に、MLとAIという機能の設定項目がありました。それはスクリーンショットで使っているメディアプロジェクションが関係していたためですが、MLもAIもスクリーンショットを目的としたものではないので、スクリーンショットの設定の中にあるのは不自然でした。
この２つの機能をスクリーンショットの設定から取り出して、「その他」の方に移動しました。
名称も「ML」から「テキストスキャナー」、「AI」から「スマートアシスタント」にそれぞれ変更しました。

テキストスキャナーは画面の中のテキストを機械学習によりOCR的に読み取る機能であり、スマートアシスタントはコンパニオンが賢い助手のようにふるまう機能というイメージからそうした名前にしました。

テキストスキャナーとスマートアシスタントを呼び出し時自動スクリーンショット＆単価読み上げに使う(V1.233以降)

ここ最近、Android 14を使っている一部の方で、呼び出し時の画面の情報を取得できないことから、それに基づく以下のような機能が使えなくなっています。
・呼び出し時に、キロ、分、時間単価の計算の表示・読み上げができない。
・呼び出し時に、業者名の読み上げができない。
・呼び出し時に、自動スクリーンショットされない。
・ピック時に、住所アシスタントにドロップ先の住所が表示されない。
・履歴ページで検索して、呼び出し時の情報が記録されていない。

・その他、呼び出し時のいくつかの読み上げや一部機能が実行されない。

この中で自動スクリーンショットと単価計算の代替手段として、テキストスキャナーとスマートアシスタントを使うことができます。
以下に設定例をご紹介します。

【テキストスキャナーで呼び出し時を検出する】
「設定」→「その他」→「テキストスキャナー」

・呼び出し時検出を使う

オンにします。

注意!通常の呼び出し時検出が使えない場合の代用ですので、これをオンにすると通常の呼び出し時検出は停止します。
・検出テキスト
例えば、「サービス料控除後の支払い額 限定」のように設定します。
これで画面内に「サービス料控除後の支払い額」と「限定」という２つのテキストを検出した時に、公式配達員アプリが呼び出し時の画面になっていると判断します。

この２つのテキストがあるということは、配達依頼レーダーではない通常の呼び出し時の画面である可能性が高いです。

・スマートアシスタント用トリミングテキスト位置(V1.234以降)

例えば、「限定」と設定します。
それにより、画面の中で「限定」と書かれているテキストより上の部分を取り除いてスマートアシスタントに渡します。地図やステータスバーの部分をなにかの情報だと勘違いされることを防ぎます。

【単価計算を設定したい場合】
「設定」→「その他」→「スマートアシスタント」

・呼び出し時スマートアシスタント使用

オンにします。
・呼び出し時指示
例えば、「例」の中の「キロ、分、時間単価」を使います。

表示・読み上げ対象、読み上げ順序を変更する等したい場合には指示文を編集してください。

・応答を情報ウィンドウに表示
オンにします。

【自動スクリーンショットを設定したい場合】
「設定」→「オーバーレイのアイコン」→「スクリーンショット」

・呼び出し時スクリーンショット

オンにします。

スマートアシスタントのポイントを大幅値下げ

スマートアシスタントのポイントは一般ユーザーは毎月初めに3回分付与され、プロフェッショナルユーザーは300回分付与されます。
それで不足する場合は、1000回分を400円で追加購入できました。
これを1000回分を100円に値下げします。

すでに購入されている方の残りポイントも4倍してあります。

これまでよりも費用を気にすることなく使えるようになりました。

このポイントはプロフェッショナルユーザーでなくても購入できます。

MacroDroidで地図アプリ操作を自動化等(V1.232以降)

住所アシスタントからナビ情報を地図アプリに転送できますが、その転送対象にMacroDroidを追加しました。

MacroDroidはAndroidの動作を自動化するアプリです。コンパニオンが未対応の地図アプリを起動したり、転送されたナビ情報を地図アプリに自動入力するような応用が可能になります。

使い方が難しいかもしれませんが、使いこなすとコンパニオンだけでなくAndroidのあらゆることにも活用できるようになります。

コンパニオンからは以下の情報をIntentとして送信します。MacroDroid側では、そのIntentを受信することでコンパニオンからのナビ情報を受け取れます。

アクション:

com.arlosoft.macrodroid.uedc1

com.arlosoft.macrodroid.uedc2

com.arlosoft.macrodroid.uedc3

エクストラ名:text

ヘルプを最新化

最近、ヘルプを更新できていませんでしたが、まずは最新状態に更新しました。
現状のヘルプの切り口からでは、説明しきれていないことがありますのでまだ十分ではありません。
実際のところ、ヘルプはほとんど見られていないと思いますが、それでも情報がないと機能の存在自体を知ることができませんので、わずかな人向けであっても必要なものだと考えています。

付近のリクエスト状況を見れる機能・ヘビーユーザーの有料化

トップページに「付近のリクエスト状況」追加

プロ用として、トップページに付近(半径5km以内)の配達員に入っている配達リクエストの単価を表示するように追加しました。

赤色で時給換算した金額も併せて表示しています。
配達業務を開始する前に、現在の単価の相場感を知ることができます。

実際にオンラインにしなくても、単価の状況をいつでもすぐにチェックできるので便利です。
過去1時間以内の最大10件を表示します。付近にコンパニオンを使っている配達員がいなかったりしてリクエストが入っていない場合は何も表示されません。

有料化を計画中

コンパニオンは実質的に無料で使える状況です。
有料のプロフェッショナルユーザーに登録できますが、プロフェッショナルユーザーにならないと使えない重要機能はないので、無料ユーザーのままでも十分使うことができます。

最初、プロフェッショナルユーザーを設けるにあたって、副業であまり稼働しないユーザーに関しては、300円とはいえ、少ない収益しかないところにアプリの課金が負担になるので無料で使っていただいたらいいのではないかと考えました。

それでは、多く使っているユーザーであればプロフェッショナルユーザーになっているのかといえば、実情はそうでもありません。
6月の一か月間におけるユーザーごとのコンパニオン使用量を一覧にした時、トップ100内で35、42、56、70、97番目の5名の方がプロフェッショナルユーザーでした。使用量トップ30内はゼロでした。全体的に見ても、アプリ使用量とプロフェッショナルユーザー登録に明確な相関関係は見られません。
もともとの主旨とは異なる状況になっていますが、これはこれでいいかもしれないと思ってはいたものの、すでにプロフェッショナルユーザーになられている方からすればアンフェアに見えるのではないかとも思います。
やはり、特に理由がなければ、無料で使えているものをわざわざ有料で使う人はいません。

コンパニオン制作にあたっては、これまでテスト機を調達できないことに不安を持っていました。例えば、すでにAndroid 15のベータ版がリリースされていますが、インストールできる端末がないので事前に対応できない状態です。今後も、今持っている端末に対応したAndroid 15が配信されるまでは対応できません。
端末価格は高価になってきており、新発売のAndroid 15端末を個人で必要もないのに買えません。
また、現在Android 14にて、リクエスト時の情報が取得できない問題が発生していますが、所有しているAndroid 14端末ではそうした現象が発生しておらず、特定端末かあるいは特定状況でのみ発生する可能性があります。その調査のためにレンタルで端末を手配していますが、時間がかかりますし、調査にかける時間も制限されますので、日常的にテストできる環境とは根本的に異なります。

最近のインフレで、サーバー等、あらゆるコストもいつのまにか値上げされています。

こうした実情から、本来の趣旨に立ち返り、使用量の多い方は、プロフェッショナルユーザーに登録していただくことを検討しています。
例えば、一定期間内の使用量が多くなった場合、プロフェッショナルユーザーに登録しないと、コンパニオンを使うことができなくなります。
8月には開始したいと考えていますが、有料化に対する極端な反発が起こるようなら撤回するかもしれません。

プロモーションコード！

30日間、無料試用できるプロモーションコードを用意していますので、これを機会にプロフェッショナルユーザーをお試しください。

「companion202408」(8月末終了)

お支払い画面のお支払い方法部分をタップした後、コードを入力してください。

配達依頼レーダー・ピックパックペイ対応

配達依頼レーダーや一部地域ではピックパックペイが始まっています。そうした業務に対しても正常に動作するよう対応を行っています。
ただし、ピックパックペイは実稼働をしたことがないので、まだ正常に動作するかは不明です。

ピック待ち時間表示・AIで呼び出し時にさまざまな情報を読み上げ可能に

最近の２つの追加機能についてご紹介します。

どれくらいピック待ちしているかが分かります。

ピック中に停止している時間を表示するようにしました。

停止して一分経過すると、その停止している時間を表示します。
この意図は、ピック先に到着して、どの程度の時間待っているのかを知ることができます。

注意事項
・ピック先に向かっている途中に信号待ち等で停止していても表示されます。
・厳密には、停止したタイミングからではないので、だいたい１分程度割り引いて考えた方が良さそうです。例えば、３分と表示されている時は、２分程待っていると考えてちょうどいいと思います。

呼び出し時のスクリーンショットをAIで自由に解析

こちらはV1.224のまだベータ版です。

呼び出し時のスクリーンショットをAIに解析させ、その返答を情報ウィンドウに表示したり、読み上げさせたりできます。
「設定」→「オーバーレイのアイコン」→「スクリーンショット」と進むと設定項目があります。

この機能を使うには同設定画面にある「メディアプロジェクション使用」と「呼び出し時のスクリーンショット」をオンにする必要があります。
特に理由がない場合は、「オーバーレイを非表示」をオンにして、スクリーンショットにコンパニオンのオーバーレイが写り込まないようにして、コンパニオンに表示された情報をAIに解析させないようにすることをお勧めします。

AIに関する設定項目は以下の通りです。
・呼び出し時AI
呼び出し時AIを有効にする場合にオンにします。オンにした場合、呼び出し時にAIがスクリーンショット画像を解析します。

・呼び出し時AI設定
次で説明します。
・応答を情報ウィンドウに表示
AIの応答メッセージを情報ウィンドウに表示します。情報ウィンドウのメッセージはタップで住所アシスタントの編集行に追記でき、ロングタップですぐに消せます。
・AI応答メッセージ表示時間
AIの応答メッセージを情報ウィンドウに表示する秒数を設定します。

【呼び出し時AI設定でプロンプト(AIへの指示文)をテストし、設定できます】

これまでにすでに呼び出し時スクリーンショットが撮影されている場合、それらのうち最新の20枚を表示しています。
その中から一枚をタップして選ぶことができます。ロングタップするとビューワーで表示します。
スクリーンショット画像を一枚選択し、「プロンプト」にスクリーンショットに関する指示文を入力して、「テスト」をタップするとAIがスクリーンショット画像を解析して、その指示に答えます。
例えば、配達料金はいくらかとか、配達距離は何キロか等を質問できます。

「読み上げ」チェックボックスをオンにするとAIの応答メッセージを音声で読み上げます。
入力を完了したら、ダイアログ下の「OK」をタップして保存します。「キャンセル」をタップすると保存せず、変更を破棄します。
うまくプロンプトを作成すれば、マグロの時や特定の店舗の時に通知するとか、配達先住所を読み上げるといった使い方ができるかもしれません。

この呼び出し時AIをうまく活用すれば、様々な用途に応用できるように思えますが、実際は簡単でないところがあります。
まず、使用回数に制限があります。プロユーザーの方は月に300回、それ以外のユーザーは月3回までとなっています(月内の最初に起動した時のユーザークラスによって、その時付与されます。プロユーザーになった直後には付与されず、翌月からとなりますのでご注意ください)。余った分の翌月への繰り越しはありません。たった3回では瞬時に使い切ってしまいますし、プロの300回でも専業の方では不足します。おそらく1000回以上必要だと思います。この機能を本当に使い込むユーザーが現れた場合、上位プランや追加購入の提供が必要かもしれません。
そして最大の難点は、AIの知能にあります。
理解力はチンパンジー並みと思った方がよく、結構な確率で嘘を言います。それなりに使えるプロンプトを作成したとしてもだいたい10～20%程度の確率で誤判定します。
これは、現在のAIの宿命で、ハルシネーションと呼ばれており、AIが勝手にでたらめを創作します。今後、改善されていくことを期待しますが、残念ながら現状はそのレベルで、そういうものだと理解して使うことになります。

使い物になるかどうかユーザーの反応も含め、まずは試験的な運用になります。AIの進歩は速いため、これから先どのような機能になっていくかは予測できません。