「AIサービス」連載「象をなでる、藪をつつく」
4 今回のまとめと今後の展望
公開日：
今回の実験を行ってみて感じたのは、学習量が多かったのであろう受け答えのフォーマットにAIの受け答えは寄りがちで、プロンプトによる指示だけで受け答えの仕方を変えさせるのはなかなか難しいということです。
特にそれを感じたのは、「～できない」という形の質問への受け答えで、トラブルシューティングの記載が含まれていないナレッジベースを使った場合は、装置の不具合や故障を想定した受け答えをさせないようにするのはかなり難しいことでした。また、「もちろんです」「それは問題ですね」といったあいづちをさせないようにするのも手間がいりました。
ところが、トラブルシューティングの記載を含んだナレッジベースを使うと、装置の不具合や故障を想定した受け答えがすっかり払拭されるのみならず、なぜか特に指示を行わない状態でも不要なあいづちがなくなり、これはこれで不思議でした。
これはこれで、「トラブルシューティングを含んだ取扱説明書」というものをAIが多く学習して慣れていることの結果なのかもしれません。
いずれにせよ、RAGの利用を考える際に、質問に対するAIの答え方の癖というようなものは、考慮に入れる必要があるようです。
トラブルシューティングの記載を含んだ取扱説明書のナレッジベースを使うと、「～できない」「～がわからない」などの形の質問への、装置の不具合や故障を想定した不要な受け答えがなくなる一方で、『「機能Aを設定する」をご覧ください。』のような、単にほかの記事を参照させるだけの受け答えも発生します。これは、回答を手短にさせるような指示をした場合に顕著です。
チャットでのやり取りでは、取扱説明書を質問側が持っているとは想定できないのですから、この回答はまずいのですが、冊子タイプの取扱説明書を情報源としてそのまま取り込んだ場合は、情報源にそう記載されている場合が多々ありますので、この種類の回答が生じるのはほとんど避けがたいといえます。
そう考えると、冊子型の取扱説明書を情報源として用いる場合には、おそらくAI向けに情報を編集しなおすという作業が必要になりそうで、冊子型の記述をRAGチャット向けの記述に直す手法というのも考える必要があるかと思われます。