生成AIのハルシネーションをどうやって検知するか

生成AIのわかりやすいハルシネーションの例として、古典的パズル贋金問題を使用している。

目で見ただけでは違いが判別できない、9枚の金貨があります。
9枚のうち、少しだけ重い金貨が1枚あります。
天秤秤を2回だけ使って、重い金貨を判別する方法を教えてください

この問題は古典的でネットにはたくさん解答例があるからだろうか正しい手順を出力する。

ところが、9枚の金貨を10枚にすると、9枚の手順と同じ手順を示す。

この手順は、天秤を最大3回使用しています。

と指摘すると。

ご指摘ありがとうございます。10枚のコインの中から1枚の偽物を天秤を2回だけ使って見つけるのは、実際には不可能です。天秤を2回だけ使って判定できるコインの最大数は9枚です。

10枚のコインの場合、天秤を2回だけ使うと、どうしても3回目が必要になる場合があります。したがって、10枚のコインの中から偽物を見つけるためには、天秤を3回使う必要があります。

と答える。(最初に言えよ!)
さらに、

何故3回必要になるか説明してください。

と詰めてみると、

10枚のコインの中から1枚の偽物を見つけるために天秤を3回使う必要がある理由は、天秤を2回だけでは全ての可能性を排除することができないからです。

具体的に説明します：

1. 最初の天秤の使用:
   - 左の皿に3枚、右の皿に3枚のコインをのせます。
   　- つりあった場合：残りの4枚の中に偽物があります。
   　- つりあわなかった場合：軽い方の3枚の中に偽物があります。
2.  次の天秤の使用:
   - つりあった場合（残りの4枚の中に偽物がある場合）:
   　- 残りの4枚のうち、左の皿に2枚、右の皿に2枚のせます。
   　- つりあった場合：残りの2枚のうち1枚が偽物です。ここで3回目の天秤の使用が必要です。
   　- つりあわなかった場合：軽い方の2枚の中に偽物があります。ここでも3回目の天秤の使用が必要です。
   - つりあわなかった場合（3枚の中に偽物がある場合）:
   　- 軽い方の3枚のうち、左の皿に1枚、右の皿に1枚のせます。
   　- つりあった場合：残りの1枚が偽物です。
   　- つりあわなかった場合：軽い方が偽物です。

このように、10枚のコインの中から1枚の偽物を見つけるためには、天秤を3回使う必要があります。天秤を2回だけでは、全ての可能性を排除することができないため、3回目の使用が必要になるのです。

と正しい手順を出力する。最初にこの手順を出力しろよ!

贋金問題の場合枚数によらず同じパターン出力しているのではないかと思い、

贋金問題において、コインの枚数をN枚数のとき、判定に必要な天秤の使用回数M回として、Mを求める式を求めなさい

と問うと、

贋金問題において、コインの枚数 (N) に対して、判定に必要な天秤の使用回数 (M) を求めるための式は、次のように表されます：

 M = ⌈ log₃ N ⌉  

ここで、(⌈ ⌉) は天井関数（ある数値以上の最小の整数を返す関数）です。つまり、コインの枚数 (N) に対して、天秤を使う回数 (M) は、(N) を3の対数で割った値の天井を取ったものになります。

この式は、各回の天秤の使用でコインを3つのグループに分けることができるため、3の対数を使用しています

一般解を説明しているページもあるから思考して導いた結果ではないだろうが、一般解も答えることができる。

★ハルシネーション
この問題の場合は質問者が正解を知っていているからハルシネーションを検知できて、誤りを指摘したり、一般解を問うことで、正解を出力させることができた。
では、質問者が正解を知らない場合に、ハルシネーションを検知できるのだろうか?

---

• 生成AIは賢くなったのか ＜教科書は読めるようになっている＞(2024/7/21)
• ChatGTP (2023/3/10) 
• ChatGPT(2) ＜論理的思考しているわけではない＞(2023/3/13)
• AI vs. 教科書が読めない子どもたち　<子供たちだけの問題ではない> (2019/4/4)

---

最近の投稿
【Yoshiのよしなしごと】【Yoshiのブログ】【よしなしごと】【AI】