生成AIを使っていると頻繁に出くわすあの現象を表現するのにいい感じのキーワードに出会ったので、今回発生した事象と併せてこちらに書き留めておこうと思います。
発生した事象
昨年11月に噂のGemini 3がリリースされ、かなり賢いという評判を聞いたので期待して使ってみたのですが、これまでの生成AI同様にあの現象に出会しました。
プロンプト１：
Gemini の画像生成は漢字が苦手ですか？
→ Geminiさんは、かなり自信満々です。これは期待できそうです。
プロンプト２：
”生成AIの「再現性」と「冪等性」”
というテーマでGeminiのナノバナナでイラストを生成してみてください
→ 見たことのない漢字が含まれた画像が生成されました。
プロンプト３：
画像内の漢字が完全に間違っています。少なくともこれは正しい日本語で使われる漢字ではありません
→ ほぼ変化なし。
プロンプト４：
全然駄目です。全く 修正されていません。
→ 今回も変化なし。
プロンプト５：
もういいです。諦めました。
→ Geminiさんに謝罪されてしまいました。
発生した原因
せっかくなのでGemini自身に今回発生した事象の原因を聞いてみました。
プロンプト：
この結果は 生成 AI のポチョムキン 理解によるものでしょうか。
→ ポチョムキン理解を自認するGeminiが、これはポチョムキン理解の典型例だと認めました。さらに、ポチョムキンな皮肉までオチに含めた回答になっており、これはこれでなかなか味があります。
ポチョムキン理解
2025年6月にMIT・ハーバード大学・シカゴ大学の研究チームによって命名された現象のことです。
大規模言語モデルが、一見深く理解しているように見えるが、実際にはその本質的に理解していない現象を指す。例えば、ある概念の説明は正確にできるにも関わらず、その応用や実践では矛盾や誤りを生じる状態が該当する。
ポチョムキン村の逸話に基づき、中身の伴わない見かけだけの知識として、MIT（Marina Mancoridis）・ハーバード大学（Keyon Vafa）・シカゴ大学（Bec Weeks, Sendhil Mullainathan）共同研究チームにより名付けられた。この問題は、人工知能のさらなる発展や信頼性向上において重要な課題として議論されている。
LLMは、表面的なパターンを真似て答えを出しているだけ、真の推論能力は持っていないという、似た研究発表は、Appleも出している。
参考情報
今回のキーワード「ポチョムキン理解」を知ったきっかけの動画です。
