ログをとるために生きている

だって楽しいんだもん。

「コピペできない画面を翻訳するiPhoneショートカット」の作り方をchatGPTに聞いてみた

技術的なこと

まあ自分で作った後にですけどね。
前半が自分で作ったショートカットの紹介で、後半がchatGPTに作り方を教えてもらったらどうなったか、です。

このショートカットで出来ること

こんな感じの英語の画面でショートカットを実行すると

画面上の文字を翻訳して、表示してくれる。

画面上の文字がコピーできないような場合でも、他アプリに移動することなく、サクッと翻訳結果を確認出来る。

実際に使っているところ



仕組み

AssistiveTouchから実行する想定で作った。
いつもはAssistiveTouchをオフにしていて、使いたい時だけホームボタン3回押してオンにして使ってる。

「スクリーンショットを撮る」

ただそれだけ。撮るだけ。

「イメージからテキストを抽出」

スクショからテキスト抽出。
翻訳してほしいところ以外（例えば画面中央上部の時刻）もテキスト抽出しちゃうけど、気にしない。

「テキストを翻訳」

抽出したテキストはまるっと翻訳。

「結果を表示」

翻訳結果を表示。

chatGPTにも聞いてみた

このくらいだったらcahtGPTに聞いたらあっさり出来そうだなと思って聞いてみた。

1回目


ここまで具体的に書いてくれるんだ！
でもこれは共有ボタンが押せる時用で今回みたいな状況では使えないし、説明では共有ボタンから使えるようにする設定について言及されていない。
そして翻訳した結果を表示するアクションが足りない。

自作 chatGPTの仰せのままに chatGPTがやりたかったこと(想像)

2回目


これはどういうことだろう。
「テキストを取得」は「入力からテキストを取得」のことだと思うんだけど、「自動」という設定はない。
見つけられてないアクションがあるんだろうか。
あったら便利そうなアクションだけど・・・。

最終的にテキストをコピーするのであれば、クリップボードを取得して翻訳してしまえばいいのでアクションは1つで事足りる。

近づいたように見えて成立しなくなった。

自作(再掲) chatGPTの仰せのままに chatGPTがやりたかったこと(想像)
ちょっと何言ってるか分からない 謎だけどこういうこと？

3回目


まさかの直打ち提案。
面倒になったw
そうじゃないのよ。

自作(再掲) chatGPTの仰せのままに

4回目


勝手にショートカットアプリを諦めないでくれる？？

自作(再掲) chatGPTの仰せのままに

5回目


「OCRを使って画面上のテキストを読み取る」アクションはないはずなので、画面のスクリーンショットを撮る→それをOCRで読み取る、という2段階にしないといけない。
そしてやっぱり、翻訳結果を通知するアクションを入れ忘れている。

自作(再掲) chatGPTの仰せのままに chatGPTがやりたかったこと(想像)
存在しないアクションを指定されているが、おそらくこういうこと

6回目


だいぶ回答がずれてきてしまったので、このあたりで諦める。

最後に

自作ショートカットは、手動でスクショ撮ってGoogle翻訳を使って写真を翻訳すれば同じことができるけど、アプリ移動しなくて良いのでほんとにサクッと確認出来てなかなか便利。
コピペできる画面でもこっちの方が楽かもしれない。

そしてchatGPT。
1回目の完成度はかなり高かったけど、そこから自分の求めてるものにたどり着くまでが長かった。
これは要するに私の質問力の問題では？

chatGPTはOCR読み取りだと精度が低くなるので提案を後回しにしたのかも。
でもOCRを使う前提で質問していたら、5回目の回答までもう少し早く辿り着けたかもしれない。

今のところchatGPTに具体的な作業をしてもらうにはある程度の質問力が必要になるようで、上手く使える人使えない人が出てくるだろうなという感想。
そして使う側も微修正することが出来る程度の知識は必要そう。

それでも60〜80%くらいのものを一瞬で作ってくれるのはほんとすごい。