RAGの実証実験結果報告書

横浜市のRAG実証をNTT東日本が伴走支援し成果を報告


報告書はあっさりしている。
NTT東日本が受注したようで、インタビュー記事があった。

横浜市が挑む、行政サービスにおける生成AIとRAGの活用。積み重ねてきたドキュメントが成功のカギ

最近、Copilot Studioで簡易なRAGを使ってFAQ botを作ってみて分かったことは、
・SharePointのドキュメント内のファイルを見てくれるため、簡単に作れる。
・正規化やクレンジングしないと精度は上がらない。

AIの時代になっても
Garbage in , Garbage out
は変わらない。

住民サービスに使えるレベルになったのだろうか？と思い読んでみた。

---
また、先輩職員たちが、昭和46年以降一つひとつ問い合わせの記録を積み重ね、約3,000件にも及ぶ質疑応答のデータをRAGに連携させています。そのためには、これらのさまざまな形のデータをテキストデータとして構造化する必要があったため、データクレンジングは大変な作業だったと思います。実際の作業では、プログラムを挟みつつ、目視によってノイズとなる情報や文字化けの修正、段落整理などを行っていただいたと聞いています。
---

らしい。納得だ。
精度を上げようとすると、必須だ。

データの正規化やクレンジングなどの前工程は力仕事だ。
RAGで精度が上がりますよ！と言う売り文句に乗せられて導入したはよいけど、イマイチ使えないという会社は多いのではないだろうか。

ビッグデータとかRPAとかDXなどのブームの際にコンピュータが利用できるようにデータを整理していれば、RAGを導入すると効果的だろう。いつになっても、コンピュータが利用できるようにデータを整理する作業を省くことはできない。

ノウハウの継承
最近「AIを使ってベテランのノウハウを継承できます」というサービスも目にする。
そもそも、ノウハウを明文化しなければ使えないが、AIはベテランの頭の中を検索できると思っている人がいる。

最近見たサービスは、ベテランに視線カメラを装着させて、視線の動きをAIで解析するというシステム。
説明してくれた人は
「ほら、ベテランの人は、一瞬右下を見てることがわかりました」
とおっしゃるのだが、ベテランの人が、なぜ、一瞬右下を見たかは教えてくれない。

まさか、新人が真似して一瞬右下を見れば、ベテランと同じクオリティになるわけでもないだろう。

自分はなぜ、右下を見たのだろうか?という問いを立てられる人は少ない。
そばにいる人が「右下の何を見たの?」と問うことで、初めて意識にのぼってくる。
そして、ベテランの断片的な言葉を論理的に構成し、明文化を補助する人が必要だ。　

---

最近の投稿
【Yoshiのよしなしごと】【Yoshiのブログ】【よしなしごと】【AI】