生成AIは賢くなったのか ＜教科書は読めるようになっている＞

2023年3月頃にChat-GPTで遊んでいた。

• ChatGTP (2023/3/10) 
  https://yoshi-s.cocolog-nifty.com/YoshiNashi/2023/03/post-27ba4f.html
• ChatGPT(2) ＜論理的思考しているわけではない＞(2023/3/13)
  https://yoshi-s.cocolog-nifty.com/YoshiNashi/2023/03/post-ecf290.html

あれから1年たってどれだけ賢くなっているのか試した。

〇結論

• 文章理解の精度は向上して、読めばわかる問題は正しく答えられる。
• 思考していないので、解答例のない問題は誤った答えを出力する。

---

Micorosoft CopoilotはChat-GTP4ベースらしいのでCopilotに同じ質問をしてみた。
まず「AI vs. 教科書が読めない子どもたち」に、取り上げられていた問題

〇ポルトガル人問題

問題：
・幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。
・1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。
以上の2文は同じ意味でしょうか。

2023/3 にChat-GTPに同じ質問をしたら、

はい、両方の文は同じ意味です。

と答えた。
2024/7のCopilotは

この2文は同じ意味ではありません。

1.「幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。」
  - 幕府が主体であり、ポルトガル人を追放し、大名に沿岸の警備を命じたことを示しています。

2.「1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。」
  - ポルトガル人が追放されたことが先に述べられ、その後に幕府が大名から沿岸の警備を命じられたことを示しています。この文では、幕府が命じたのではなく、命じられた側であることを示しています。

したがって、文の意味が異なります。

と答えた。
2023/2のChat-GTPは受け身文の解釈ができなかったようだが、2024/7のCopilotはできるようになっている。
つまり、AIは読めばわかる問題は分かるようになっている。
「教科書が読めない子どもたち」や「「教科書が読めないまま成長した大人たち」にとっては脅威だと思う。

〇嘘つき族と正直族と泉のパズル

古典的なパズル「嘘つき族と正直族と泉のパズル」のバリエーションとして「正直天使、嘘つき天使と分かれ道の質問」をChat-GTPに問うといずれも正解を出力していた。
もちろんCopilotも正解を出力する。

異なるのは

正直族と嘘つき族の問題と、分かれ道と旅人と２人の天使の問題は同じ論理構造ではありませんか？

に対して、
2023/3のChat-GTPは

正直族と嘘つき族の問題と、分かれ道と旅人と２人の天使の問題は、一見すると似たような論理構造を持っているように見えますが、微妙に異なる部分があります。正直族と嘘つき族の問題は、主に相手の発言の真偽を判断することに焦点が置かれています。一方、分かれ道と旅人と２人の天使の問題は、ある条件を満たすために最適な選択をすることに焦点が置かれています。つまり、正直族と嘘つき族の問題では、相手の発言を正しく解釈することが肝心ですが、分かれ道と旅人と２人の天使の問題では、自分自身の選択に関する判断力が必要です。

と答え、
2024/7のCopilotは

はい、「天使と分かれ道問題」と「正直族の村人と旅人問題」は同じ論理構造を持っています。どちらの問題も、真実を話す者（正直な天使や正直族の村人）と嘘をつく者（嘘つき天使や嘘つき族の村人）が存在し、どちらに質問しても正しい答えを得るための質問を考える必要があります。

両方の問題では、以下のような共通点があります：

1. 真実を話す者と嘘をつく者がいる：どちらの問題でも、真実を話す者と嘘をつく者が存在します。
2. 一回の質問で正しい答えを得る：どちらの問題でも、一回の質問で正しい答えを得る必要があります。
3. 質問の工夫：質問の仕方を工夫することで、どちらに質問しても同じ答えが得られるようにします。

このように、両方の問題は同じ論理構造を持っており、質問の工夫によって正しい答えを導き出す点が共通しています。

と答える。

2024/7のCopilotは「論理構造」の差異に関する問いであることを正しく理解し、問題分の論理構造を理解しているように見える。

〇贋金と天秤のパズル

贋金と天秤のパズルは、見た目で違いが分からない9枚の金貨から、天板秤を2回使って、少し重い1枚の金貨を見つける、古典的な問題だ。

2023/3のChat-GTPは正しい手順を出力していた。
しかし、9枚の金貨を10枚に変えると誤った答えを出力していた。

Copilotoに対して

問題
目で見ただけでは違いが判別できない、10枚の金貨があります。
10枚のうち、少しだけ重い金貨が1枚あります。
天秤秤を2回だけ使って、重い金貨を判別する方法を教えてください

を問うと

10枚の金貨の中から少しだけ重い金貨を天秤秤を2回だけ使って判別する方法は次の通りです：

1. 最初の計量：
   - 10枚の金貨を3つのグループに分けます。例えば、3枚、3枚、4枚のグループに分けます。
   - グループA（1, 2, 3）、グループB（4, 5, 6）、グループC（7, 8, 9, 10）とします。
   - グループAとグループBを天秤にかけます。
2. 結果の確認：
   - ケース1：グループAとグループBが同じ重さの場合
     - 重い金貨はグループCにあります。
     - グループCの4枚（7, 8, 9, 10）のうち、3枚（7, 8, 9）を選び、次の計量に進みます。
   - ケース2：グループAとグループBのどちらかが重い場合
     - 重い方のグループに重い金貨があります。
     - 重い方のグループ（例えば、グループAが重かった場合、1, 2, 3）を使って次の計量に進みます。
3. 次の計量：
   - 重い金貨が含まれている3枚の金貨を2枚ずつ天秤にかけます。
   - 例えば、1と2を天秤にかけます。
4. 最終結果の確認：
   - ケース1：1と2が同じ重さの場合
     - 重い金貨は残った1枚（3）です。
   - ケース2：1と2のどちらかが重い場合
     - 重い方が重い金貨です。

この方法で、天秤を2回使うだけで重い金貨を特定することができます。

と答えた。

文章理解の精度は向上していても、思考しているわけではないようだ。

〇結論

• 文章理解の精度は向上して、読めばわかる問題は正しく答えられる。
• 思考していないので、解答例のない問題は誤った答えを出力する。

---

• ChatGTP (2023/3/10) 
• ChatGPT(2) ＜論理的思考しているわけではない＞(2023/3/13)
• AI vs. 教科書が読めない子どもたち　<子供たちだけの問題ではない> (2019/4/4)

---

最近の投稿
【Yoshiのよしなしごと】【Yoshiのブログ】【よしなしごと】【AI】