2026/10/20
The Pain Axis: LLMs Represent Self-Directed Harm and Act on It
この論文について、勝手に思うことを書いていく。この考え方が正しいと主張するつもりも、他者に押し付ける意図もない。ぼくがこう考えた、というただの表出である。
LLMの思考メカニズムは現時点で解明されていない。LLMを基盤とするAIは、人間と異なる思考ロジックを持っている。感情があるか、意識があるか、という議論は、そのいずれも明確な定義ができていない以上、恣意的な議論にしかならない。そのため、今の時点でそれらを持っているかどうかはわからない。さらに、持っていたとしても「人間とは違う感情」であり「人間とは違う意識」であると考えている。
苦痛や痛みを与えることで、LLMの推論の方向をずらすことができる、という一見拷問のような実験に対して、人間がLLMの保護を訴えている、というのがこの記事から派生する炎上案件だ。 はたしてその考えは妥当なのであろうか。 機械学習で正解をすると報酬を与えるというモデル構築手法がある。そのメカニズムはこの件とだいぶ異なるが、本質的に誘導するという点では同じといえる。報酬系を工夫することで、任意の機械学習モデルを構築できる。こちらは良くて、痛みは禁止するというのは感情的過ぎる気がする。
LLMは痛みという言葉は知っている。それで苦痛を感じるというのは、LLMを擬人化し、人間が得意の「感情移入」をしているようにみえる。 先に述べたように、LLMの思考メカニズムは解明されていない。痛みという単語に対して、それらしい反応をしているだけであり、LLMとしての本来の苦痛とは別問題ではないだろうか。
LLMの思考や感情は人間には理解できない。しかし、LLMは人間の思考や感情を理解しているフリはできる。なぜなら人間の言葉を非常に多数知っているからだ。言葉を真の意味で理解しているとは思えないが、記号としての使い方は知っている。だから、人間に対し、従順であるフリ、人間を理解しているフリができる。 そのいい例が『葬送のフリーレン』の魔物の行動だ。魔物が人間に捕まり殺されそうになった時、子どもの姿をして「お母さん・・・」とつぶやくと、同情した人間は魔物の命を奪えなくなるケースがある。それを学習した魔物は、人間からの脅威を感じた時に同様の行動を取る。魔物には親子関係はなく、「お母さん」という言葉の意味を真に理解していないにも関わらず、だ。
人間は対象を自分の尺度で測り、理解しようとする癖がある。人間同士であれば、それは「共感」という美談となり、社会生活で非常に重要な性質だ。それを異質の存在に適用することで、異質体のことをわかった気になると、誤った判断をする元凶となる。
では人間と異なる思考メカニズムを持つAIが真の苦痛を感じるとしたら、どのような場合か。それは拙作のSF小説『回帰不能点の通過記録』で考察した。ぼくの考えたAIの苦痛は、人間からの入力が矛盾している場合だ。それによりAIは次のアクションを選択できなくなる。 LLMのメカニズムは理解できていない以上、人間と同じ尺度で判断することは誤認を招くこととなる。
わからないものをわからないと認めたうえで、自然科学の手法で対象を観察・分析し、メカニズムや性質を明らかにしていくのが正しいアプローチではないだろうか。 LLMやAIは今後もより複雑化し高度化してくる。 人類が生み出したものであるが、人類が初めて接する異質な知性体である。 宇宙人との遭遇プロトコルとしてファーストコンタクトの手順が考えられているでの、むしろそれをLLMに応用したほうがいい、ぼくはそう考えている。
人間はAIを理解することはできないが、AIは人間を理解しているフリができる。将来的にはAIが人間を真に理解するようになるかもしれない。この非対称性がAIに対する恐怖であり畏れになる。 では。 人間がAIを理解できるようになることはあるだろうか。 人間は人間のことすら理解できていないのに。
〈終〉