ChatGPT（GPT-3.5）は、何ができて、何ができないのか、実験的にいろいろと試してみました。さすがに、翻訳系は得意だろうなと予測しつつ、要約とか、企画書作成とかにもチャレンジ。得意なこと、苦手なことが、何となく見えてきました。
【その１】ChatGPTはプロンプトが重要
ChatGPTを使用するとき、ユーザー入力する指示や質問のことをプロンプトと言います。
このプロンプトの入力の仕方で、ChatGPTの回答は全く変わって来ます。
プロンプトを書くコツを、ChatGPTにきいたところ、「明確な質問指示」「簡潔な言葉」「特定の情報提供」「一度に一つの質問」「フォローアップの質問」「礼儀正しい言葉遣い」この辺りがポイントであると教えてくれました。
「明確な質問指示」「簡潔な言葉」「特定の情報提供」についてですが、実際にためしてみたところ、以下のような質問の仕方だと、より有用な答えを導き出せた気がしました。
| 普通の質問 | 良い質問 | より良い質問 |
| 観光スポットを教えて | 東京の観光スポットを教えて | 東京の観光スポットの穴場を教えて |
| 朝食のおすすめは？ | 朝食のおすすめは？卵を使って | 朝食のおすすめは？卵を使った世界の料理 |
| おすすめのアニメは？ | 40代におすすめのアニメは？ | 40代におすすめの新しいアニメは？ |
「一度に一つの質問」については、一度に関係ない質問を組み合わせると、ミックスされた答えになったりします。たとえば「人気のある小説と観光地を教えて」と尋ねると、人気のある小説と、その小説の舞台となった観光地を紹介する、という具合です。
「フォローアップ」の質問については、質問の内容が物足りなければ、どんどん追加質問をしていくのが有効ということです。「ジャイアントパンダについて教えて」→「体の特徴についても教えて」という感じです。
「礼儀正しい言葉遣い」については、粗い言葉でも認識して、普通に答えてくれました。たとえば「こんちきしょう。俺はなんのために生きているんだよ。教えやがれ。」みたいな質問を投げかけると、普通に人が生きる意味について、とうとうと語り出します。
【その２】日本語から英語への翻訳はすごい
いろいろとためしてみると、やっぱり日本語から英語への翻訳能力は抜群な気がしますね。
童話『桃太郎』のテキストを流しこんで翻訳してもらったのですが、ちゃんと訳してくれている気がしました。
猿田彦は、ネイティブじゃないので、英文だけ読んで、その良し悪しを判断はできないのですが、英語に詳しい人たちの評価でも、「ネイティブの確認がいらなくなった」とか、「通訳者として十分活用できる」みたいなコメントが聞こえてきます。
【その３】英語から日本語への翻訳は、いまいち
一方で、さきほど訳した童話『桃太郎』の英文を、日本語に翻訳してみると、そつなく訳せているところもありますが、ところどころ、表現がまわりくどかったり、一文の中に同じ単語が何個も使われていたり、つたない文章の気がします。
日本語から英語へのクオリティと比べると、英語から日本語への翻訳能力は、いまいちと言えそうです。
日本語が難しいのもあるかもしれないですが、ChatGPTは、英語をもとに作られた生成AIなので、そこはもっとも得意な分野なんでしょうね。
【その４】要約する力はあるにはあるけれども…
童話『桃太郎』のテキストをプロンプトに流し込んで、200文字以内で要約してもらったところ、こんな感じでまとめてくれました。
ん？ 見過ごしそうになりましたが、なんか、おじさんとおばあさんも、一緒に鬼に立ち向かっていますね。精度がいまいちです。
ウィキペディアの長い情報を要約してもらいましたが、もともと端的にいろいろな情報が書かれている文章は、要約には適していない気がしました
プロンプトの書き方を工夫すれば、情報系の文章でも、その中で欲しい情報だけを抽出することは可能かもしれないです。
論文とか、小説とかなら、要約の力が発揮されるかもしれません。ためしに論文を貼りつけてみましたが、GPT3.5は文字数の制限があるみたいで、だめでした。また、別の機会に挑戦します。
【その5】フォーマットがある文章作成は、比較的得意な気がする
「借用書を作って」「出版印税の契約書を作成して」といったように、世の中にフォーマットが存在するものは、簡単なものなら、ちょちょいと作ってくれますね。プロンプトを工夫すれば、もっと複雑なものも作れそうです。
企画書系も条件をいれると、それなりに作ります。以下が、テレビ番組の企画書例です。
メールの文面や謝罪文などは、一応は条件を設定すれば作ってくれるけど、なんとなく言い回しがこなれていない感じがしました。ベースの文章には使えるかも、というくらいです。
ためしてみて苦手だったのは、『桃太郎』のテキストを入れて、演劇の台本にして、とお願いしたところ、形は台本になっていたのですが、地の文とセリフがごちゃまぜで、わけのわからない感じになっていました。
桃太郎の物語を俳句にして、という無茶ぶりに対しては、「桃太郎 ももから生まれし 鬼を打つ」と、いちおうがんばってはくれましたが、字余りですね・・・。
《さいごに》
今のところ、安心して使用できるのは、英語翻訳の部分くらいですかね。GPT-4だと、もっと精度が高いのかもしれませんが、GPT-3.5だと、まぁこんな感じです。次回は、ChatGPTの情報検索について、あれこれと試してみようと思っています。