この「さとり」は、いわば他者モデルの究極の達人である。他者が心の中に浮かべることを、完全に自分の心の中に再現することができるのだ。（1）

（2022/7/9）

『ロボット工学者が考える「嫌なロボット」の作り方』

ヒューマンエージェントインタラクションの思想

松井哲也　　青土社　　　2022/5/25

＜ヒューマンエージェントインタラクション＞

・私が携わっている分野はヒューマンエージェントインタラクション（Human Agent Interaction、本書では基本的に略称であるＨＡＩを使う）と呼ばれる、比較的新しい研究分野である。これはひとまず簡単に言えば、ロボットや人工知能と、それを使う人間とのかかわりあいに焦点を当て、よりよいロボットや人工知能のデザインを考えようとする工学の一分野である。

・では、私が論じたい「懸念」とは何か。それは、ＨＡＩが「他者の工学」という側面を持っているにもかかわらず、その他者を頑強なモデルによってのみ規定しよう、もしくは社会規範を私たちと共有できるようなものとして開発しようという姿勢が、分野内に広く蔓延していることである。

・さらに、より大きく、現在日本の社会全体に広まっているある傾向についても俎上に載せてみた。それは一口で言えば、「多量のデータを集めて、正しい論理に従って分析すれば、ただ一つの正しい解が得られる」という信念である。これを本書では「データ→ロジック→トゥルース」と呼ぶことにしたい。

・中でも私にとって、大きな着想源となったものについて触れておきたい。その一つはフランス生まれでアメリカを拠点に活動している異色の情報工学者ジャック・ヴァレの、ＵＦＯ（未確認飛行物体）に関する一連の研究である。ヴァレは巷間で信じられているＵＦＯ＝異星人の乗り物という説を否定し、同時に現代のＵＦＯ搭乗員遭遇譚と、かつての欧州における妖精遭遇譚との間に数多くの共通点が見られることを示した。すなわち、この二つは「外部からこの世界にやってきた何か」と遭遇したという経験の、それぞれ別の形での顕現ではないか。と（聞くところによると、その後ヴァレの考えはさらに変化し、現在では全く異なったＵＦＯ観を持っているようであるが）。

・もう一つは、民俗学者・小松和彦の「神隠し」論である。小松は、「神隠し」には失踪事件における人間世界での責任追及を無効化し、「神の仕業・天狗の仕業だから」という理由で人々を納得させるという機能があったと説く。私たちの世界の外側に、人間世界とは全く別の論理に支配された「外部」があり、そこからやってくる何者かが責任を引き受けてくれる――私の研究のモチベーションの一つは、このような「外部の他者」を、ロボット・ＡＩを用いて現代に再臨させられないかということである。実際、そのような他者としてのロボット・ＡＩをデザインすることが可能なのではないかと考えている。

・私は、ロボットや人工知能は「異界」へと人間を導いてくれうる存在であると考えている。

＜機械と異界＞

・前章では、単純なモデル化が不可能な「外部の他者」を、ロボット・人工知能技術の中でどう扱っていくかについて、簡単な見通しを示した。

　しかし、そもそもそのような他者を技術によって再現する必要があるのかどうか、ということに疑問を持つ人も多いかもしれない。

・そこで本章では、このような説明不可能な「外部の他者」が、社会においてどのような役割を狙いうるのかを。これまでとは別の角度から論じてみたい。そのためにまずは、日本のマンガにおけるロボット観について考えてみよう。

・これに対して、『鉄腕アトム』と双璧をなす日本の漫画の生んだロボットである『ドラえもん』はその「製作者」が作中に登場しないということである。作中で語られるところによれば、ドラえもんは未来で大量生産された同規格のロボットのうちの一つであり、アトムのような特定の履歴を持っていない。

・ドラえもんも同様だ。ドラえもんは22世紀という未来からやってくるのだが、この未来はのび太のいる世界と地続きの未来ではなく、実質的には「異界」であろう。そこからやってきたドラえもんは、機械仕掛けのロボットであると同時に、「異界からの他者」である。

・ドラえもんも同様である。のび太の未来を変えるという役割のためにやってきたドラえもんは、その役目を終えれば未来に帰ってしまう。のび太とドラえもんは断ちがたい友情を育んでいながら、同時にドラえもんは、最終的にはのび太が決して手が届かないところに帰ってしまう。

・人工知能的ＨＡＩは、このような外部からの来訪者を記述できない。繰り返しになるが、人工知能とは、認識できる世界の中から自分にとって有益な情報のみを選抜し、自分の内部にしていくシステムだ。人工知能的ＨＡＩは、そのような他者のみを相手にするＨＡＩである。異界からやってくる来訪者は、現行の人工知能・ロボット工学では決して捉えきれない存在である。

　ドラえもんと同等の機能を持つロボットを作るということは、藤子・Ｆ・不二雄が描いたドラえもんを作ることとは全く別のことである。そのようなロボットを現実世界に作った途端に、肝心のドラえもんは私たちの手からすり抜け、遥か未来の彼方の異界へと去ってしまうだろう。

＜ロボットとは何者か＞

・ＳＦにおけるロボットの歴史を辿ってみると、実はアトムのように完全に「人間の友達」であるロボットではなく、ドラえもんのようにその背後に「異界」を垣間見せるロボットのほうが歴史は古い。

　そもそもロボットを社会的存在として論じる際の大きな問題の一つは、私たちはロボットのことをよく知らない、ということである。

・そもそもロボットの歴史を遡ってみると、その原点から、彼らは人間にとって「理解不能な存在」として位置づけられていた。。

・カーツワイルらによる「シンギュラリティ」論、すなわちＡＩが人間の知能を追い越して、人間を支配下におくであろうといった未来予測も、同系統のものであるといえるかもしれない。ロボットや人工知能の研究者の多くはシンギュラリティ論に対して「素人の戯言」だとして冷淡であるが、シンギュラリティ論はむしろロボット・人工知能に対する文化的現象として分析することが適切であるように思える。ついでながら、私もカーツワイルらの言うところのシンギュラリティは起こりえないと考える立場だが、その理由は、端的に現状の人工知能は「外部」を認識できないからである。

＜「天狗の仕業」＞

・ここまで、日本人および世界におけるフィクション内のロボットのイメージを簡単に見てきた。ここで浮かび上がってきたのは、「理解不能な外部の他者」としてのロボットという概念である。さらにこれについて検討するために、ここからは「神隠し」に関する議論を取り上げたい。いきなりロボットやＡＩとは何の関係もなさそうな話題だと思われるかもしれないが、私がこれに注目したいのは、本書で私がその有用性を主張したい外部の他者・説明不可能な他者というものを議論するのに、最もふさわしい例だと思うからである。

・しかし、実は前近代では、私たちはこのような他者を上手く「使って」いたらしい。

　「神隠し」や「天狗隠し」に関する伝承は日本各地に残されている。典型的な事例としては、以下のようなものだ。村で急に子供の姿が見えなくなった。大人たちが総出であちこちを探したが見つからない。しかし一晩ほど経った後に、村はずれの山中などにぼんやりと座り込んでいるところを発見される。一体どこで何をしていたのかを聞きだしてみても、まるで要領を得ない――。

　そして、村人たちはこう結論付ける。この子は天狗に連れ去られていた、もしくは狐狸の類に化かされていたのだろうと。

　もちろんこのような平和的な結末迎えることなく、失踪者はそのまま二度と見つからなかったという場合もある。その場合も、やはり失踪の原因は天狗などの妖怪や山の神の仕業だと解釈された。

　失踪のような不条理や不都合な事態が起こった場合に、その犯人として取り沙汰される天狗・狐狸・山人・山の神のような存在を、民俗学では「解釈装置」と呼ぶらしいが、ここで私が注目したいのは、これらが全て「意思を持ったもの」かつ「人間とは異なる基準によって思考・行動するもの」である点である。

・あえて現実的に考えてみれば、前近代の農村で起きた失踪事件は、実際には事故や人身売買組織による誘拐、失踪者が成人であれば、何らかの理由による自発的な逃亡などであったはずである。そのような現実的な解釈ではなく、あえて「解釈装置」というエージェントを設定したのはなぜか。

　小松和彦は、この点について、それは神隠しの当事者の責任を追及しないためであると指摘した。

・そこで、彼らはその責任を引き受けてくれるエージェントを欲した。天狗や山の神は、前近代人が作り上げた一種のバーチャルエージェントと言ってもいい。ここで重要なことは、これらが「人間とは全く異なる存在」として設定されていたことである。

　例えば、村で子供が失踪した時に、「きっとあの子は、隣村の奴らに誘拐されたのだ」などと考えると、当然隣の村人との間で諍いの原因となるだろう。しかし、誘拐犯が天狗であるとなればどうか。「天狗の仕業なら、もう諦めるしかない」。何しろ天狗相手では捕縛もできまいし、身代金の交渉だってやりようがない。全くの理解・交渉が不可能な相手であるからこそ、「ならばもう諦めよう」という結論を受け入れることができただろう。

・さて、この天狗は、ある村の内部にいる人間にとって、理解も交渉も不可能で因果関係の結べない存在だという意味で、「外部の他者」に他ならない。モデル化も不可能なら、自分たちと同じルールに従うことを期待することもできないし、いつ自分たちの前に現れるのかも予測できない。それが目の前に現れた際には、分析的な姿勢でではなく、ただありのままに対峙するしかない。「解釈装置」をＨＡＩの文脈で記述しようとすると、このような存在になるだろう。

　さて、実はロボットもしくはＡＩも、このような解釈装置である、もしくはなりうる可能性があるとは言えないだろうか？

＜異界と外部＞

・「はじめに」で触れたフランス生まれの情報工学者でＵＦＯ研究家でもあるジャック・ヴァレは、ＵＦＯ＝異星人の乗り物という仮説に批判的な研究者として著名である。ヴァレの議論でよく知られているのが、西洋における妖精伝承と、現代の異星人（より正確に言えば、ＵＦＯ搭乗者）遭遇譚との共通点を指摘したことである。ヴァレは妖精伝承と異星人遭遇譚との間には、食べ物と水の交換、時間感覚の狂いなど、多くの共通する要素が見いだせると述べた。妖精や異星人が実在するのかという問題はここでは触れない。重要なことは、彼らが共に異界からやってくるエージェントであること、そして同時にその「異界からの他者」性の濃度に違いが見いだせることである。

・妖精は、人知を超えた領域の住人であり、あえて現代的に言うならば、科学的に解明できない存在である。一方、近代になって本格的に人々の想像力の中に登場した異星人は、「地球以外の惑星」というある種の異界の住人でありながら、一応は科学的文法に副った記述が可能である。ＵＦＯ＝異星人の乗り物説が「科学的」であるかどうかはともかく、とりあえず「地球以外の惑星に住む地的生命体が、宇宙船を飛ばして地球を来訪している」という想定をすることは可能である。いわば、異星は妖精界よりは一段現実世界に近い異界であると言えるだろう。ここにも、外部をどうにかして内部化しようとするかのような変遷を見ることができる。

＜「説明可能ＡＩ」は可能なのか＞

・ここまで、長々とあえて私にとって専門外の領域から事例を引き写してきたのは、外部の内部化というプロセスが、ロボットや人工知能の歴史にとっても当てはまるのではないかと指摘したかったためである。

　本章で述べた、ＳＦにおけるロボットの歴史を思い出していただきたい。チャペックなど初期の作家が構想したロボットは、人知を超えた外部の存在であった。ＳＦの歴史は、それを内部化、すなわちモデル化可能な存在としようとする試みであったと言える（アシモフの「ロボット三原則」は、それを端的に象徴しているだろう）。頑健な他者モデルに拘泥するＨＡＩ研究者も、この「他者の内部化」という欲望に突き動かされているように、私には思えてならないのである。

＜「説明不可能」という可能性＞

・かつて失踪事件を「神隠し」や「天狗の仕業」として解釈しようとしていた前近代人たちは、いわばそこからさらに進んで、因果の鎖・責任の追及を辿る行為自体を無効化しようとした。その鎖の先は、神や天狗の住む「異界」に繋がっており、そこはこちら側の世界の論理が通用しない領域である。論理が通用しない者には責任は問えない。このような観念は、おそらくはコミュニティを円滑に運営することに寄与していた。自分たちの手に負えないような事態、あるいは手持ちのモデルで解釈できない事態に対しては、因果関係の推論や責任の追及を止めることが最善策だった。

・もちろん、科学が経験的にこれほどの成功を収めている以上、それから遁走しようとすることは理性的な態度ではない。天狗の存在が、再び信じられるようになることも難しいだろう。だが、ロボット・人工知能には、それが可能なのではないだろうか。

＜イエスマンロボットはいらない＞

・ユーザの願い通りの返答をするだけのイエスマンロボットをみんなが使う未来というものは、私には明るいものには思えない。それは徹底的に閉じた対話、対話ならぬ対話を再生産し、私たちをひたすらに内部に閉じ込めようとする世界である。そこでは期待を裏切ることは起きない。期待を裏切り、予想ができず、思いもよらないことをやり、分析しようとしてもできず、決して手が届かない他者。私たちを癒し救ってくれるのは、実はそういうロボット・人工知能なのである。

＜王殺しとＨＡＩ＞

・私は何も、ロボットをハンマーか何かで物理的に破壊しようと提案しているわけではない。私が言う「ロボット殺し」は、古代世界で行われていた「王殺し」から着想を得ている。

・王殺しと言えば、ジェームズ・フレイザーの『金枝篇』である。ここではまず、このフレイザーの古典に沿って王殺しとは何かを整理しておこう。

古代ヨーロッパにおいては、「王殺し」という習慣があったとされている。この時代の王は、ヒトでありながら神の代理としての性質を持つものとされていた。そして、その影響力が及ぶ領域で天災などが起きた場合、その王を殺して新たな王を立てる必要があった。

・王殺しで殺された王も、本来は異界の存在でありながら、たまたま古代人たちが住んでいた世界との境界線上に出現したインタフェースの一種である。その王を殺さなければいけなかったのは、こちら側の世界における王のマテリアル性を否定するためだ。

＜人類への告発者としてのロボット＞

・レヴィナスから再び引用する。レヴィナスのテキストは、「他者とは理解不能な存在である」と定義するだけで終わっているのではない。他者とは理解不可能であるからこそ、外部から私たちを問いただし、告発する。

　世界の枠組みの中では、他者はほとんど無きものである。しかし、他者は私と戦うことができる。言い換えるなら、他者は、他者を襲う力に対して、抵抗力ではなく、その反応の予見不可能性を対峙させる。他者が私に対峙させるものは、より大きな力、算定不能であるがゆえに全体の一部をなすかにみえるエネルギーではなく、この全体に対する他者の存在の超越そのものである。

＜期待は裏切られるべきものである＞

・ロボットを殺そうというのは、ロボットを他者モデルや社会性という檻の中から解放して、全くの外部の他者としての性質を回復させようということである。これをあえて「殺す」と表現するのは、一度内部化してしまったものを外部に押し戻すには、相当な痛みが伴うであろうからである。

　しかし、天然知能的ＨＡＩであれば、そもそも最初から外部に屹立するロボットのみを考える。なので、そこには痛みは伴わないかもしれない。

＜論理ｖｓ.感性という矛盾＞

・結果、批判するテーマが例えば「マイナスイオン」のような疑似科学的テーマの場合は、やはりロボットが論理的に批判することによる効果があった。しかし、「ＥＴＨ（地球外生命体仮説＝未確認飛行物体が異星人の乗り物であるという仮説）」を批判する場合だと、この「論理が勝つ」という傾向が見られなくなるのである。これはあるいは、異星人とロボットがともに「外部の他者」性を持っていることに起因しているのかもしれないが、まだそこまでは断言できない。重要なことは、「ロボットが論理的に説明することが一番効果がある」というごく自然な仮定が、常には成り立たないことである。

＜「わかりあえる」「わかりあえない」を乗り越える＞

・しかし、友達になろうとして手を伸ばしても、決してその手を握り返さない――むしろ手を伸ばせば伸ばすほど、その手が届かない場所に行ってしまうのが、このロボットなのだ。ドラえもんが、のび太といくら仲良くなっても、いつか、何の前触れも理由もなく、その未来の居場所である「異界」に去ってしまうかもしれないのだ。その異界とは、かつては天狗や山の神がいた領域、すなわち世界の因果関係の外部である。

＜ＨＡＩおよびロボットの課題＞

・第１章でも述べたが、国際的なＨＡＩ研究界において、日本人研究者が占めるプレゼンスはかなり大きい。このことを指して、機械学習をはじめとする人工知能の分野ではアメリカや中国の後塵を拝している日本であるが、「ＨＡＩ研究では日本がリーダーである」と誇らしげに語る若手研究者もいる。しかし、喜んでばかりはいられない。

＜現象学偏重主義を改善する＞

・ＨＡＩに限らず、ロボット工学者やＡＩ研究者が好んで読む哲学者は現象学者である。これは、天然知能的ＨＡＩが志向する、「私」を世界の中心として、世界に存在する全てのものを「私」にとっての価値という観点からのみ解釈しようという姿勢と、現象学が極めて相性がよかったから――少なくとも、工学者たちは現象学をそのように利用してきたからである。

　しかし、ＨＡＩは「他者の工学」である。

＜「神」や「異類」を俎上に載せる場合は、その概念を十分整理し、自文化中心主義に陥らないように留意する＞

・私は、「神」やその他の異類がＨＡＩ研究者によって扱われている以上、早急にそれらの概念を整理し、誤用や混乱を減らすように努めるべきであると考える。

＜「私」の特異性を前提に考える＞

・ＨＡＩにおいては、常に「他者」にスポットが当たってきた。それに対して、私は本書で人工知能的ＨＡＩ・自然知能的ＨＡＩ・天然知能的ＨＡＩという概念を導入するに当たり、「私」に対する他者の位置づけについての視点に立脚した。

　そもそもこれまでＨＡＩ研究の主流だった人工知能的ＨＡＩでは、世界の中心としての「私」の存在は自明の前提とされてきた。

＜普遍的なシステムではなく、個別的なエージェントを志向する＞

・これは、前節の「私の特異性」という問題とも深くかかわる題目である。ＨＡＩでは現状、実験心理学的な、つまり統計的なアプローチが主流になっているため、いわば「最大多数に最大の利益を与えるエージェント」が志向されている。

＜「擬人化」で全て解決できるのか＞

・ここで一度節を改めて、もう一つ重要な問題について触れておきたい。

　ＨＡＩにおいて、「擬人化」は重要なキーワードだ。リブースとナスにとって、人間は家電製品や乗用車も擬人化して理解しようとすることが示されたことを受けて、ＨＡＩでは人間がロボットもしきはＡＩを「擬人化」する、ということを前提に研究が進められてきた。

＜分析せず、ただ対峙する＞

・「役に立つか、立たないか」という分析的な問いを無効化し、他者にとってモデル化可能な内部の中に収まることを拒絶し、ただただ他者と対峙するというこの姿勢、これこそが私たちが作るべきロボットである。

＜ＨＡＩ――他者の工学＞

・「はじめに」でも触れたが、私はヒューマンエージェントインタラクション（以下、基本的にＨＡＩと略す）と呼ばれる情報工学の分野で、研究活動を行っている。

　一般の方にとってはあまり聞き慣れない言葉であろう。これは一体何を研究する分野なのかと言われた時、私は「他者の工学」であると答えることにしている。これは、これらの分野が他者の哲学・他者の科学に連なる領域であることを意識した説明である。

＜日本のＨＡＩ＞

・人工知能研究の歴史はほぼ一貫して欧米が中心であり、ＨＣＩもＨＲＩも欧米で生まれた分野である。このような流れの中で、ＨＡＩは日本人が中心となって日本で生まれたという点で注目されることは前節で論じたとおりである。

＜異類としてのロボット＞

・現在のＨＡＩの大きな特徴を一つ挙げるなら、工学でありながら「異類」を研究対象にしようとしている点となる。「異類」とは、本書では人間や動物など、私たちのよく知っているものではない、それどころか実在性すらも科学的には認められていないエージェント――妖怪、幽霊、異星人、妖精、そして神などを指す。

　言い換えれば、ＨＡＩにおいて、ついに工学は「異類」をその俎上に載せたと言ってもいいだろう。

　例えば、「神」を扱っているＨＡＩ研究もいくつかある。従来の宗教研究や文化人類学的な研究との差異は、あくまで工学的な視点に立って、実験をベースとして研究を行っている点である。なお、念のため付け加えておくと、このような研究に携わっている研究者が、必ずしも神や異類の「実在」を主張しているわけではない。

　ここで、なず異類がＨＡＩの対象となるのか、不思議に思う人も多いだろう。その理由を一言で言うならば、ロボットやＡＩも「異類」の一種に他ならないからである。

・本書でも、これから私は、ロボットやＡＩの「異類性」こそが、私たちにとってキーポイントとなることを論じていきたいと思う。多くの研究者が、ＨＡＩの枠組みの中で「異類」に着目しているのも、それが理由の一つだ。

　ただし、「異類」という概念自体が、工学的アプローチにそぐわないという問題があるのは見過ごせないだろう。工学では、対象をまずしっかりと定義づけすることが重要だ。では、「異類」の定義とは何だろうか？　よく考えてみれば、そもそもそのような定義ができないことこそが、「異類」の「異類」たる理由ではないのか？

　さらに、「神」を扱う研究については、それに従事している多くの日本人研究者であることに起因する問題がある。ロボットやＡＩが生まれた西欧圏における「神」、すなわちセム的一神教における人格神と、日本人に身近なアニミズム的な土着の神とでは、他者としてかなりの違いがある。ところが、多くの研究ではこの点が見過ごされているのだ。

＜「他者モデル」の登場＞

・さて、「他者」と聞けば、哲学における他者論を想起する人も多いだろう。20世紀以降の哲学における他者論とは、「この私とは全く別個の存在である何者か」を考え続けていくことであった。

＜他者モデルと機心＞

・このような錯誤は他者モデルに限ったことではなく、実はそもそも人工知能研究に内在する問題から生じるものである。

「はじめに」で触れたように、人工知能の基本的な考え方は「データ→ロジック→トゥルース」の三本柱で説明できる。可能な限り多くのデータを集め、正しい論理」を用いてそのデータを分析すれば、正しい解（トゥルース）がただ一つ得られる、というのが人工知能的な世界観だ。

＜人工知能・自然知能と他者モデル＞

・他者モデルに拘り過ぎると他者が見えなくなる。このことを、いま一度整理しなおしてみたい。導入するのは、郡司ペギオ幸夫の提唱する「天然知能・自然知能・人工知能」のモデル、および「外部」という概念である。

＜「天然知能」ＨＡＩは可能か＞

・さて、ここまで「人工知能的ＨＡＩ」と「自然知能的ＨＡＩ」を定義してきたが、これまでに行われてきたＨＡＩ研究のほとんど全ては、このどちらかに分類できる。

　他者を「自己の内部」として定義する天然知能的ＨＡＩは、自分にとってモデル化可能な他者しか認識することができない。他者を「自己の延長」として定義する自然知能的ＨＡＩは、自分と同じルールを共有できる他者しか認めない。

＜信頼されるロボット・ＡＩ＞

・何度も繰り返すが、ＨＡＩは工学の一分野である以上、人間や社会にとって役に立つものを作ることが重要な使命である。

　そもそもなぜロボットやＡＩを作るのかと言えば、何かの役に立つためである。

　この観点から、特にＨＡＩにおいて盛んに研究されているテーマに「信頼」がある。早い話が、人間により信頼してもらえるロボットやＡＩシステムを設計するにはどうすればいいのか、ということだ。

・日本人の代表的な信頼研究者である山岸俊男は、一般的な「信頼」概念を非常に細分化して検討を加えているが、その中でも一般的信頼とは「相手が自分の利益を上げる行動をとってくれるであろうという期待」と「相手が自分の利益を上げる行動を取る能力を持っているという期待」の二つから構成されると纏めている。これはそのままロボットにも適応可能だろう。

＜「外部」に開いた信頼＞

・しかし、このような一対一のインタラクション研究には、おのずと限界がある。それは、インタラクションの「系」が閉じられたままだということである。

＜他者モデルの敗北＞

・「他者モデル」とは、「相手を完全に理解しよう」という願望を反映した作業仮説である。このモデルを信奉する者は、相手の言動を、そして心の中を、完全に理解することこそが、他者と対峙する上で重要であると信じている。

　私たちが行った初歩的な実験は、モデル化不可能であることこそが、むしろ他者と対峙する上で重要である可能性を示している。

「さとり」という妖怪が登場する昔話をご存じだろうか。日本各地に伝承が残るが、その主なパターンは以下のようなものだ。

　山に入った男が、暗くなってきたので焚火をしていると、山中からさとりが現れる。男が「こいつは山人か」と思うと、さとりは「お前は今、「こいつは山人か」と思ったな」と口にする。男が「気味の悪い奴だ」と思うと、さとりは「お前は今、「気味の悪い奴だ」と思ったな」など言う。そのように、さとりは男の考えていることを次から次へと言い当てるのだが、不意に焚火がはじけて、焼けた欠片がさとりに当たる。さとりは「人間とは思いもよらないことをするものだ」と言って、すごすごと退散した。

　この「さとり」は、いわば他者モデルの究極の達人である。他者が心の中に浮かべることを、完全に自分の心の中に再現することができるのだ。その能力を使って散々男を怖がらせたさとりだが、はじけた焚火によって不意を突かれて退散する。

　この「はじけた焚火」は、さとりの他者モデルにとって全くの外部であった。頑健な他者モデルを持っているさとりは、それ故に外部から飛び込んできたものに対応できなかったのである。さとりの敗因はもう一つある。それは、「はじけた焚火」という事象の主体を、目の前の男に誤って帰属させたことである。言うまでもなく、焚火がはじけたのは偶然であり、男の意思によるものではない。しかし、さとりは「自分と男の二者の糸の中で起こることは、全て自分が男のどちらが主体となって起こすものである」という世界像を描いていた。そのため、焚火が自分に当たった時に、「この男の行為は、自分の他者モデルでは解釈できない‼　」と恐慌をきたしてしまったのである。さとりは、自分の持っている頑健な他者モデルに敗れたのだ。

　私は、頑健な他者モデルを組み込んだロボットやＡＩシステムは、このさとりと同じ失敗を犯すだろうと考えている。むしろモデル化できない他者・無限の存在としてこその他者こそが、私たちの社会の抱える問題を解決できると考えている。

＜解を求めよ＞

・「オススメ商品」のような仕組みは、私たちの身近でＡＩが使われている最も典型的な例の一つである。専門用語ではレコメンドシステムと呼ばれるが、そのアルゴリズムは細かく見ていけば数えきれないほどの種類があるものの、「ユーザの過去の買い物履歴」や「ユーザと似た商品を買っている他の顧客の買い物履歴」といった、過去の情報を入力にして演算を行い、結果を「推薦商品」として出力している、という大まかな考え方は共通している。

＜ＨＡＩと信頼＞

・まとめよう。現状のＨＡＩにおける信頼研究においては、「信頼」が記述可能・理解可能な根拠に基づくものであることを前提としている。すなわち、「私」の内部、「私」と他者の間で閉じた系の内部でのみ成り立つ信頼のみを考えている。判定のための材料が増えれば増えるほど、私たちは正しい判断が下せるようになるはずではないか――これが大本にある考え方である。

＜意思のある機械＞

・前節で定義した「信頼できる」機械・システムといったものは、その内部状態が全て記述可能であり、振る舞いが全て予測可能なものであった。そのような機械・システムは、実は「意思」を持ちえないものであり、すなわち「信頼」ができないものであるということになる。理解可能で説明可能な他者を理想像とし、頑健な他者モデルの構築を目的として他者の振る舞いを記述していこうとすると、信頼に足る他者からはどんどん離れていくのだ。

　喩えるなら、何かの相談をした時に、完全にこちらの想定内の返答しかしてくれないロボットよりも、全く想定外の返答をしてくれるロボットのほうが、万が一という時に真に信頼できる相談相手となるだろう。天然知能的ＨＡＩが目指すべきなのは、このような、これまでの情報学における信頼概念を乗り越える説明不可能な他者である。

＜弱くない「他者」としてのロボット＞

・もう一つ、私が行ったロボット・バーチャルエージェントの他者性と信頼に着目した研究を紹介する。これは、人間とバーチャルエージェントが共同作業をするというシチュエーションを設定した実験である。実験の流れとして、この共同作業は必ず失敗する。その後で、共同作業をした人に、自分とバーチャルエージェントのそれぞれにどのくらい失敗の責任があると思うか、と尋ねた。得られた結果は以下のようなものである。「人間が、エージェントを異類だと感じている場合、エージェントの責任はあまり高く見積もらない」および「エージェントが異類であると感じる場合、計算上、「人間のものでもエージェントのものでもない責任」の度合いが増える」。これもまた、ＡＩおよびロボット・バーチャルエージェントの異類性、すなわち「外部の他者」性がもたらす、実際的な利点を示すものだろう。

・なお、ここで、2章で議論した「天狗の仕業」という概念を思い出してもらいたい。前近代人は、天狗のような異類に責任を仮託することで、責任そのものを宙づりにし、責任追及を無効化したのであった。私たちの実験で観察された「人間のものでもエージェントのものでもない責任」は、誰にも帰属されない責任、まさに「天狗の仕業」としか言いようがないものではないだろうか。

＜ロボットは理解できてはいけない＞

・すでに触れているが、私たちは「外部」の他者＝「異類」としてのロボットと人間との信頼の在り方を探るための実験を行っている。

　ロボットを異類と感じる人とはどのような人だろうか。それはおそらく、「異類」の存在を自然に肯定できる人だろう。自分の内部、自分の他者モデルで分析可能な他者しか認めようとしない人は、そもそも異類という想念事態を受け入れないに違いない。

　こう考えていくと、「妖怪・幽霊・異星人といったものの存在を認める人は、ロボットがミスをしてもロボットへの信頼を損なわない」という仮説を立てることができる。

言い換えるなら、このような異類の存在を認める人は、自分にとって理解できない他者と対峙しても「この人はこういうものだから」と受け入れることができる。しかし、自分が持ちうるモデルの中に適合するものしか認めない人は、自分にとって理解不能な振る舞いをする他者と出会ったら、「こんな者は私の役に立たない」と、すぐに切り捨てることができるのだ。

・本章の冒頭で述べたように、データ→ロジック→トゥルースという枠組みにのみ捉えられて、このような意味での「信頼」を可能とする技術、すなわち「他者」を設計してそれを世界の外部に置くという技術は、一つの救いとなるに違いない。

　ただし、上で紹介したのはあくまで現象探索的な実験であった。では、実際にはどのようにそんな機能を持つロボットを設計すればいいだろうか？