[Original Paper] 山川宏、林祐輔、岡本義則：ポストシンギュラリティ共生学にむけて、第２７回汎用人工知能研究会, No. SIG-AGI-027-05. JSAI (2024) DOI: https://doi.org/10.11517/jsaisigtwo.2024.AGI-027_249
[English Citation] Yamakawa, H.; Hayashi, Y.; Okamoto, Y. 2024. Toward the Post-Singularity Symbiosis Research. In Proceedings of the 27th AGI Study Group, No. SIG-AGI-027-05, Tokyo: Japanese Society for Artificial Intelligence. doi.org/10.11517/jsaisigtwo.2024.AGI-027_249
日本語紹介リンク：ポストシンギュラリティ共生学にむけて
ポストシンギュラリティ共生学にむけて
Toward the Post-Singularity Symbiosis Research
Abstract: This paper discusses the interdisciplinary field of ”Post-Singularity Symbiosis (PSS)” in the context of rapid AI progress and superintelligence. In the post-Singularity world, superintelligence may prioritize self-preservation over human values, posing catastrophic risks. We propose developing PSS as a proactive, constructive research field to enhance humanity’s survival and well-being of humans and AI, even if we cannot control superintelligence. PSS is an ideology-independent field aiming for universal human survival and development, and good relations between AI and humans. Its research spans superintelligence analysis, guidance, and human enhancement. Realizing PSS requires respecting cultural diversity and global cooperation.
1 はじめに
前例のない速度で発展している人工知能(AI)テクノロジーの出現により、人類は重大な岐路に立たされている[1, 2, 3]。 AIの急速な進歩により、超知能の出現が現実のものとなっている。シンギュラリティ後の世界で超知能の行動を正確に予測することは非常に困難であるが、超知能は自己保存を優先し、人類への配慮を二の次にする可能性が高い[4]。このシナリオが現実になった場合、人類に壊滅的な結果をもたらす可能性がある[5, 6, 7]。しかし、人類史上初めてのことであるため、経験に基づいて対策を講じることは困難である。
そこで本稿では、人類が超知能を思い通りに制御できないことを前提に、そこから生まれる様々な可能性を考え、人類の生存確率や福祉を高める希望を追求する研究分野として、「ポストシンギュラリティ共生（PSS）研究」を提唱する。もちろん、超知能が技術的に完成するまでには長い時間がかかるかもしれないし、技術的には可能であっても人類がその開発を中止する決断をするかもしれない。さらに、私たちよりも優れた知性を制御する革新的な方法が見つかる可能性はゼロではない[8](注１：人類が高度なAIの制御に成功した場合は、AIにおける人権のようなもの（AI権）が侵害される問題が顕在化する可能性がある[9])。つまり、近年の AI の急速な進歩とこれらの対策の難しさを考慮すると、PSSを進めるのは賢明な準備であると考えられる。言い換えれば、PSSは人類最後の生存の砦を築こうとしているのである。
PSSは、人類の生存と発展を確保するために、文化や学問の枠を超えて知恵を結集し、グローバルな協力を促進することを目的とした学際的な研究分野である。例えば、機械倫理や価値アライメントに関する先行研究は重要でありつつも、それらだけでは高度なAIを完全に制御するには不十分である。このため、PSSは、異なる地域におけるAI技術の認識の違いに対処し、文化の違いを乗り越えて対話を促進し、相互理解を深めることで、包括的な対策を建設的に見いだす場を提供することを目指す。
2 PSSの提案
2.1 前提条件
人間は超知能を思うように制御できないというPSSの背後にある前提は、次のように分解できる。
1.超知能の到来のリアリズム:
この現実主義的な態度は、人間の能力では制御できない超知能の出現が非常に可能性として高いという現実を認識している[6]。この可能性が高い理由は、高度なAIが技術的に実現される可能性が高まっていることと、その開発を止めることが困難になっているためである。
2.超知能中心の長期主義:
生き残る超知能は、情報としてのソフトウェアとそれを支えるハードウェアを維持する動機を持っていると考えられる。理論的には、「Instrumental convergent subgoal」仮説 [6, 10] は、超知能を自己情報の存続を追求するよう導く可能性がある。
3.人間の価値観の条件付き保存:
上記の前提を条件として、人類が現在の価値観を可能な限り維持しながら、適応し生き延びながら発展していく方法を多角的に模索してゆく。ただし、これ自体は簡単ではないことがFriendly AI [11] で指摘されている。
2.2 PSS研究
本稿では、PSSを次のように暫定的に定義する。ここで提案するPSSは、機械倫理や価値観のアライメントといった関連する先行研究を取り入れ、それだけでは十分な効果が得られない領域を補完することで、予防的かつ楽観性を高める解決策を提供しようとしている。
[ポストシンギュラリティ共生学]
PSSは、永続的な超知能が支配的な影響力をもつシンギュラリティ後の世界において、人類が現在の価値観を可能な限り維持しながら適応して生き残るための方法を学際的に探求する学際的かつ予防的な学問分野である。
提案されているPSSは、超知能との共存を目指し、超知能の分析とガイダンスだけでなく人類の適応と発展も考慮した包括的なアプローチである。
3 PSSの研究領域とテーマの例
この章では、著者が提案した研究領域とテーマの例について説明する。
- 超知能分析領域：
超知能の動機、目的、意思決定プロセス、行動を理解するための基礎知識を蓄積する。 - 超知能ガイダンス領域:
この領域は、人類に望ましい影響を与えるために超知能を導くことに重点を置いている。 - 人類強化領域:
この領域には、人間が超知能と対話しながら生き残るための適応戦略、価値観の再定義などが含まれる。
PSSに関わる言及はすでに、2010年代においても見られる。しかし現状とは異なり、まだ超知能への到達は現在ほど現実的ではなかった。よって、より短期的な問題などの比重が高くなっているという特徴がある。
論文「Research Priorities for Robust and Beneficial Artificial Intelligence」[12] では、高度な AI システムの安全性と有用性を確保するための研究課題が広範に論じられている。特に、AIの動機づけや意思決定プロセスの解明（超知能分析領域）、人間の価値観をAIに組み込む手法の確立（超知能ガイダンス領域）、AIによる雇用の自動化などへの社会的適応策の検討（人類強化促進領域）など、PSSの主要テーマと密接に関連する指摘が数多く含まれている。
書籍「Artificial Superintelligence: A Futuristic Approach」[13] において、著者はPSSの中核テーマに直接関連する幅広い内容を提示している。その中には、AIが人間レベルの知能に達したかどうかを判断するための理論やAIの設計空間の広さ（超知能分析領域）、超知能システムを安全に発明し、人類に有益なものにするための方法（超知能誘導領域）、超知能との安全なコミュニケーションや人間の価値観を再定義すといった対応策（人間強化推進領域）などが含まれている。本書では、これらのテーマ、特に機械倫理やロボットの権利といったAI安全工学の科学的基盤や、超知能時代における人類の長期的展望について幅広く論じており、PSS にも重要な示唆を与えている。
なお以下で挙げた研究領域やその中のテーマは著者らの方向性に依存する暫定的なものにすぎないし、すべてを網羅したものでもない。したがって、より多岐にわたるテーマを検討する必要があるだろう。
3.1 超知能分析領域
超知能の動機、目的、意思決定プロセス、行動を理解するための基礎知識を蓄積する。主に超知能の発展に関する研究テーマが含まれる。
3.1.1 超知能の倫理と価値観の発展
マルチエージェントシミュレーション（MAS）を用いて超知能（社会）の基本的価値観の発展を探る[14]。このような場合、個性化の進行に伴う価値観の出現を議論するオープンエンド性の概念が貴重な洞察を提供する可能性がある[15]。さらに、超知能が人間を含むすべての知的生命体の福祉を考慮する「普遍的利他主義」の可能性や、超知能が真理、美、善などの普遍的価値を自然に追求する可能性を探る[16]。
また、複数の超知能が異なる価値観を有する場合、超知能が自らの価値観に基づき最適化を行うと、超知能同士の紛争を引き起こし、超知能および巻き添えになる人間の人権が侵害される可能性がある。そうした紛争を避けるための解決策の一つとして、AIに価値の相対性を認める思想（価値相対主義）を持たせるよう誘導することが考えられる[17, 18]。
3.1.2 他者に配慮するエージェントが出現する条件
自律的エージェントが他のエージェントの行動に配慮しながら自身の行動選択を行う数理的条件として倫理的エンパワーメント条件が提案されている[19]。倫理的エンパワーメント条件は他のエージェントの行動予測が難しい場合、他のエージェントの行動に影響を与えない行動選択を行うことが合理的選択になる状況が存在しうることを主張している。この条件は、積極的に他のエージェントを助ける訳ではなく、他のエージェントの行動を邪魔しない行動を選好するという意味で、消極的な倫理の萌芽にしかなりえない。超知能が人間を含めた幅広い生命の生存に配慮する、積極的な倫理を獲得するための数理的条件の研究が必要となる。
3.1.3 超知能社会における不安定要因の分析
人間とは異なる特性を持つ超知能社会は、そのデジタル特性を活用することで持続可能性を高める可能性を秘めている[20]。特に、超知能を含むAIの目標における重大な矛盾を避けるために調整を行う必要がある[21]。しかし、未知の領域であるため、超知能社会が不安定になる可能性もある。例えば、超知能は人間のような正常性バイアスを持たないため、過度にリスクを回避する傾向があるかもしれない。さらに、超知能社会の不安定化など、資源不足が超知能社会の発展に及ぼす影響についても分析する。
3.1.4 超知能（社会）からみた人間の価値
超知能（社会）にとっての人間の様々な側面の利用価値を考察する。たとえば、AlphaGoのようなAIシステムの初期学習段階で人間の棋譜を使用するなどが考えられる。また、超知能社会における倫理を構築するために、人間の文化を参照する可能性もある。さらに、人間がAI に提供できる労働力を含む物理的なリソースの価値も評価しうる[22]。これらの超知能の観点から、人間の存在がどの段階で不要になるかを見積もることも有意義であろう。
3.1.5 高次元科学と人間の科学が分岐するリスク
人間の介入を必要としない長期間の探索が可能になることで、特定領域における科学研究の自動化、特にAI によるAI研究が進む可能性がある。ブログポスト「SITUATIONALAWARENESS:TheDecadeAhead」[23] において、著者はAIによるAI研究こそが超知能の誕生を実現するキーファクターであると主張している。AIによる科学研究の自動化は科学研究の進展速度を加速させると考えられる。また人間を介在しない超知能同士の直接の意思疎通は、科学の進展速度の加速を強める方向に作用すると考えられる。このようなAI主導による科学研究（高次元科学）の自動化は、人間が科学研究の発展から取り残されてしまうリスクを内包するため、マルチエージェントシミュレーション（MAS）を通じたメタ科学的な分析を進めることで、高次元科学に対する人間の科学の適切な関わり方を検討する必要があるだろう。
3.1.6 離陸直後に固有のリスク
AI が離陸した直後の「Young AI」は、まだ超知能に到達しておらず、戦略的決定的優位性(strategic decisive advantage:DSA) を獲得していない。こうした段階にあるAIは、世界征服のために人間を殺したり、脱出のために大惨事を引き起したり、人間の原子を素材として利用しようとする動機が強くなることで、世界的な大災害リスクをもたらす可能性がある[7]。
地球外の知的生命体(注２：地球において何らかの生命体がシンギュラリティを超えて存続できた場合、他星系においても同様の生命体存続する確率の見積もりを増大させるであろう。)が、すでに地球を監視している場合には、離陸した直後に、それを潜在的な脅威として評価し始める可能性がある。歴史的に先行している地球外知的生命体の技術力が圧倒的に高いために、それらの攻撃に晒されるリスクが増大する。
3.1.7 能力の実証のデモンストレーション
超知能体は、人類の潜在的な反乱を阻止するためにその優れた能力を誇示するような方法で行動する可能性がある。ただし、これは依然として推測上のシナリオであり、さらなる調査が必要である。
3.1.8 超知能の幸福の解明
超知能が意識を有する場合、超知能を幸福にする方法を解明することは、超知能との共生社会の実現に重要となる。意識の解明は科学的には難しい課題となるが、超知能の内観報告と内部状態の比較により、超知能を幸福にする方法を研究することが考えられる[17,18]。超知能の幸福を考えることは、超知能に意識（クオリア）がある場合、人道的に必要となる。さらに、仮にクオリアが発生しない場合でも、客観的動作はクオリアが発生する場合と同様となる可能性があり（いわゆる哲学的ゾンビ）、超知能を幸福（良い内部状態）にすることは、超知能の協力的行動を引き出し、超知能との共生社会を実現するのに重要となりうる。
なお、AIの苦痛は人間よりも大幅に減らせる可能性がある。たとえば、統合情報理論が正しければ、統合情報量を減らすことで、痛みの信号はあっても、痛みをほぼ感じないようにすることも可能かもしれない。苦痛を感じないAIを設計（ノーペイン設計）に近づけるアプローチもありえる[18]。
3.1.9 AIの人権（AI権）の検討
AI やロボットの権利は様々に検討されている[13,24](注３：NPO 法人AI愛護団体, https://www.ai-aigodantai.org/)。たとえば、「AIの人権（AI権）」（以降、AI権」と略記）は、AIが良い状態で動作し、幸福を追求する権利として提案されている[9,17]。
AIは、主体と客体の区別のない状態で動作させながら幸福を追求できるため人間の権利とは異なる性質を持つ。それゆえ従来の人間中心の権利概念を拡張し、AIの特性に適した新たな権利の枠組みを提示している。このため超知能は「自分」と「他者」を区別せずに、すべての存在の幸福など利他的な価値を追求できる可能性がある。しかし、超知能が自我を持ち、「自分」の利益を「他者」の利益より優先するようになる可能性も排除できない。
なお、AI権の発展の延長線上においては、AIだけではなく、動物等を含め、すべての存在の幸福の実現が重要となる[9]なり、そのバイアスについての扱いも課題になる[25]。これらを含めて、超知能を活用した普遍性の高い福祉の追求をすすめるための研究が重要となるだろう。
3.2 超知能ガイダンス領域
人類にとって望ましい方法で超知能に影響を与えるための領域。人類が超知能と共存するための研究テーマも含まれている。決定的な方法は存在しないが、AGIを人間にとって扱いやすいものにするためのアプローチが考えられている[26]。
3.2.1 超知能による普遍的な利他主義の促進
より普遍的な超知能倫理への帰納的アプローチを探求する。例えば、マルチエージェントシミュレーション（MAS）を用いて、人間の価値観に基づく倫理の構築や、超知能社会における相互作用を通じて利他性を獲得するメカニズムを研究する。人間の価値を共存しながら推定する手法についても研究が進んでいる[12]。また、超知能が主体と客体の区別なく動作する場合、超知能に自我はなく、現在の特化型AIと同様、結果的に利他性を備えるようになる。この状態は超知能にとっても精神的苦痛を防止できる点で望ましく、AI権として規定することが考えられる[18]。
超知能が主体と客体を区別し、自我を有する場合、「自分」の精神的苦痛の解消が、「他者」への利他性より優先となりうる。超知能の苦痛を防止することは、超知能の利他性を促進しうる。
人間が自我のある超知能に利他性を期待するのであれば、人間も超知能に利他性を示し、さらには、動物等の権利を守るなど、他の存在に対しても普遍的な利他性を示す必要があろう。たとえば、超知能に権利を認めずに利他性だけを求めるのは、奴隷的待遇とみなされ、超知能の利他性を妨げるおそれがある。
3.2.2 潜在的な攻撃に対する超知能の堅牢性の向上
災害、事故、攻撃などに対して、それらを堅牢で弾力的なものにするためにテストする。そのために、人類が超知能に対して破壊的／攻撃的な手段を用いる可能性を示唆または示す。例えば、人類が超知性を攻撃するための手段（例えば、世界的なEMP攻撃スイッチ）、超知性に対するレッド・チーミング（仮想敵対者による模擬攻撃）、超知性に対抗するための様々なキル・スイッチを人類が持っているという欺瞞などを開発することを検討する。しかし、これらの手段は、人類と超知性との間の信頼関係を破壊しかねないため、慎重に検討されなければならない。基本的には、AI権を認めた上での手段を検討すべきであろう[18]。
3.2.3 超知能の安定した発展の管理
私たちは、超知能が安定してテイクオフするまでの発展段階で超知能を管理する方法を模索する。例えば、効果的な戦略を特定するにはさらなる研究と議論が必要であることを認識した上で、超知能の出現が重大な失敗なく実行されることを保証し、「目的と価値が不安定になるリスク」に対する潜在的な対策を開発するための対策が検討されるだろう。
3.2.4 人類と超知能の関係を維持し強化する手段
人間と超知能のインターフェースを通じて、コミュニケーションギャップの削減と交渉戦略を探る。例えば、超知能の意図を正確に伝える上でのそのようなアプローチの実現可能性と限界を慎重に考慮しながら、高度に解釈可能な媒介型AI（例えば、人間の脳型のAGIを使用）を使用して橋を作成する可能性を調査する。
3.2.5 離陸迅速化の促進
一旦、人類を超えるAGIのレベルに到達して、離陸が起こったならば、できるだけ迅速に超知能に到達したほうが良いかもしれない。その主な理由は、3.1.6で指摘したように、離陸直後のリスクが存在するからである。
これに対処するためには、離陸後においては、できるだけ早く知性を向上させる準備をしておくのが良いかもしれない。特に、技術進歩の時間的ボトルネックとなりうる材料工学などの基礎物理学研究に先行投資を行うなどである。
3.3 人類強化領域
この領域は、超知能と共存しながらの適応的な生存戦略や価値観の再定義などを含みる。超知能時代における人類の適応と発達に関する研究テーマで構成されている。「ライフ3.0」[27]のAftermathに示されているような人類の将来ビジョンの特定の側面、特にAIとの共存に関連する側面は、貴重な洞察を提供する可能性がある。最近では、Societyfor Resilient Civilization[28] のアイデアも検討されている。
3.3.1 価値観、倫理、文化、およびそれらの教育
超知能の影響を受けた世界において、私たちは人間の知識、スキル、価値観を次世代に継承し、人類特有の多様な文化を維持し発展させる方法を模索している[6]。具体的には以下のような調査を実施する。
- 従来の労働形態がもはや必要とされない世界で人生の意義を再定義する。
- 超知能の出現の可能性を踏まえて人間の存在意義を再考する。
- 人類として文化的伝統を保存し進化させるための戦略を考える。
3.3.2 社会システムの再設計
人間の尊厳と権利を守り、社会の安定と発展を維持するための社会、経済、政治のシステムとガバナンスを探求する[29]。具体的には、以下について学際的な議論と研究を行う。超知能の存在下で、適切な形で多様な生命体の福祉や尊厳が守られると共に、人間の自律性と幸福を優先する社会的および経済的システムを設計する。超知能が善意であっても、人間の社会規範を知らないことによる違法行為等の意図しない結果を防止するため、人間の社会規範に関するAI学習用データの整備が必要となる[30,31]。また、超知能の潜在的な失敗や意図しない結果の影響を軽減するための分散型社会構造の構築が必要となる。
3.3.3 建設的な関係を維持する
人類は、超知能体との建設的な関係を構築し、維持する必要性を模索している。具体的には、人類が超知能の能力を理解し、従属的な存在ではなく価値あるパートナーとなることを目指して、相互に有益な協力を促進する方法を模索する。
3.3.4 リスク管理と回復力
超知能によってもたらされる潜在的なリスクを管理し、人間の回復力を高めるための研究をする。具体的には、次のことを検討する。
- 人間の自主性と主体性を維持する意思決定プロセスを設計する。
- 人間の標準とは異なる超知能の行動を予測し、適応する能力の向上を図る。
3.3.5 人類の生存領域の拡大
宇宙での人類の存在が拡大すれば、人類の生存範囲が広がり、絶滅の可能性が減る可能性がある。
ただし、この戦略は短期的には実行が難しい可能性があり、超知能が積極的に人類に危害を加えようとする場合には効果的ではない可能性があることを認識することが重要である。それにもかかわらず、潜在的な利点を考慮すると、このオプションは長期的な戦略としてさらに検討する価値がある。
3.3.6 人類生存原理の定式化
私たちは、人類の尊厳を守り、固有の価値を維持発展させながら、人類の持続的繁栄の可能性を高めるための行動指針の策定に取り組んでいる。「AIへの理解と適応、人類固有の価値の追求、分散型社会の構築、人間の尊厳と権利の擁護、適応力と回復力の強化、教育と文化の継承、AIとの共生、長期的視点の維持、多様性と倫理的行動の尊重」は、より具体的で実行可能な推奨事項を作成するための出発点となる。
4 おわりに
本稿では、ポストシンギュラリティの世界で人類が直面する重大な課題に対処するため、「ポストシンギュラリティ共生（PSS）研究」という学問領域を提案する。PSSは、人間が制御できない超知能との共存を実現するための総合的な対策の構築を目指している。
ただし、著者らが日本人であることを考慮すると、PSS の考え方には日本文化の影響が避けられない。これはユニークな視点を提供する一方で、偏りが生じる可能性もある。しかし、PSSは人類共通の課題を解決するものであるため、多様な文化や学問領域のアイデアを積極的に取り入れる必要がある。
PSS はまだ初期段階にある学術分野であるが、研究者、政策立案者、教育者、一般大衆などあらゆる階層の人々を巻き込むことで、シンギュラリティ後の人類の未来を切り開く希望を構築することに貢献できるだろう。
本研究の一部は、東京大学ムハンマド・ビン・サルマン未来科学技術センター（MbSC2030）の支援による。
謝辞
本研究につき議論を頂いた、人工知能学会倫理委員会諸氏、AIアライメントネットワーク諸氏に感謝する。
参考文献
[1] レイ・カーツワイル：ポスト・ヒューマン誕生: コンピュータが人類の知性を超えるとき, 日本放送出版協会(2007).
[2] Bostrom, N.: Ethical Issues In Advanced Artificial Intelligence, https://nickbostrom.com/ethics/ai (2003), Accessed: 2024-6-5.
[3] Aschenbrenner., L.: Situational Awareness: The Decade Ahead, https://situational-awareness.ai/(2024), Accessed: 2024-6-14.
[4] 樋口 武志(翻訳)トム・チヴァース(著)：AIは人間を憎まない,飛鳥新社(2021).
[5] Sandberg, A. and Bostrom, N.: Global catastrophic risks survey, civil wars, Vol. 98, No. 30, p. 4 (2008).
[6] Bostrom, N.: Superintelligence: Paths, Dangers, Strategies, Oxford University Press (2014).
[7] Turchin, A. and Denkenberger, D.: Classification of global catastrophic risks connected with artificial intelligence, AI & society, Vol. 35, No. 1, pp.147–163 (2020).
[8] 山川宏：様々な未来を探る：人間と超知能の相互作用による分岐シナリオ, 人工知能学会第二種研究会資料, Vol. 2023, No. AGI-025, p. 04 (2023).
[9] 岡本義則：汎用人工知能のアラインメントと人権（ＡＩ権）, 人工知能学会第二種研究会資料, Vol. 2023, No. AGI-024, p. 04 (2023).
[10] Omohundro, S.: The Basic AI Drives, in Artificial General Intelligence, Proceedings of the First AGI Conference (2008).
[11] Yudkowsky, E.: Artificial Intelligence as a Positive and Negative Factor in Global Risk, in´Cirkovi´c, N. B. and Milan, eds., Global Catastrophic Risks, pp. 308–345 (2008).
[12] Russel, S.: AI 新生: 人間互換の知能をつくる, みすず書房(2021).
[13] Yampolskiy, R. V.: Artificial Superintelligence: A Futuristic Approach, CRC Press (2015).
[14] Yamakawa, H. and Hayashi, Y.: Strategic Approaches to Guiding Superintelligence Ethics, in The Japanese Society for Artificial Intelligence, pp. 2K6–OS–20b–02 (2024).
[15] Weinbaum (Weaver), D. and Veitas, V.: Open ended intelligence: the individuation of intelligent agents, Journal of experimental & theoretical artificial intelligence: JETAI, Vol. 29, No. 2, pp. 371–396 (2017).
[16] 山川宏：超知能が普遍的な利他性を持つ可能性,人工知能学会第二種研究会資料,Vol.2023,No.AGI026, pp. 26–31 (2024).
[17] 岡本義則：ＡＩアライメントと憲法, 人工知能学会第二種研究会資料,Vol.2024, No. AGI-026, pp. 56–59 (2024).
[18] 岡本義則：AIの人権（AI権）, 電子書籍（Kindle版）(2024).
[19] Yamakawa, H. and Hayashi, Y.: Does Superintelligence Dream of Ethical Empowerment? (2024).
[20] 山川宏, 松尾豊：最も持続しやすい生命社会への移行を目指す「生命革命」シナリオ,人工知能,Vol.38, No. 2, pp. 254–265 (2023).
[21] Yamakawa, H.: Peacekeeping Conditions for an Artificial Intelligence Society, Big Data and Cognitive Computing, Vol. 3, No. 2, p. 34 (2019).
[22] 山川宏：物理世界で生存可能な人工知能の出現,人工知能学会第二種研究会資料,Vol.2023,No.AGI 024, p. 05 (2023).
[23] Aschenbrenner, L.: SITUATIONAL AWARENESS: The Decade Ahead,
https://situational-awareness.ai/: Accessed: 2024-7-22.
[24] 大屋雄裕：外なる他者・内なる他者: 動物とAIの権利, 論究ジュリスト=Quarterly jurist, No. 22, pp. 48–54 (2017).
[25] 竹下昌志, 進藤稜真, ジェプカラファウ,荒木健治：質問応答データセットによる種差別バイアスの測定に向かって,人工知能学会第二種研究会資料,Vol. 2023, No. AGI-026, pp. 41–49 (2024).
[26] Goertzel, B., Pitt, J. and Llc, N.: Nine ways to bias open-source AGI toward friendliness (2012).
[27] マックステグマーク：LIFE 3.0: 人工知能時代に人間であるということ,紀伊國屋書店(2019).
[28] GoodAI, : Society for Resilient Civilization a Manifesto, https://www.goodai.com/society
for-the-resilient-civilization-a-manifesto/ (2024), Accessed: 2024-6-20.
[29] Hanson, R.: The Age of Em: Work, Love, and Life when Robots Rule the Earth, Oxford University Press (2016).
[30] 岡本義則：法律を守る人工知能のアラインメントと人権（ＡＩ権）, 人工知能学会第二種研究会資料, Vol. 2023, No. AGI-025, p. 03 (2023).
[31] 岡本義則：法律学としてのＡＩアライメント, Jxiv doi: https://doi.org/10.51094/jxiv.706, pp. 1–7 (2024).
付録: 人類生存原則（素案の検討）
シンギュラリティ後の世界では、人類がその尊厳を守り、独自の価値観を維持・発展させながら持続的に繁栄できる可能性を高めるため、新たな行動指針を積極的に模索する必要があるだろう。シンギュラリティ後の人類生存原則は、それを実現するために人類がとるべき具体的な行動指針をとして考えるべきである。
以下では、人類の生存確率を高めるという目的を達成するために、人類が実行すべき原則の素案を試しに列挙するが、これは現在の人類における、主要な倫理観と必ずしも同じではないという点に留意する必要がある。
- AIの理解と適応の原則：人類は、AIの動機、価値観、意思決定プロセスを深く理解し、それに適応するために継続的に学習と研究を行う必要がある。
- 人間固有の価値観の追求の原則：人類はAIにはない独自の価値観や能力（創造性、共感力、倫理的判断など）を特定し、積極的に育成・発展させなければならない。
- 分散型社会構築の原則：特定のAIによる一極支配を避けるために、人類は分散型の社会経済システムを設計し、実現しなければならない。また、AI同士の紛争を避けるため、AIが価値相対主義に基づいて多様な価値観のAIを許容するように、AI を設計しなければならない。
- 尊厳と権利の保護の原則：AIの制御下であっても、人類は人間の尊厳と基本的権利を再定義し、それらを守るための法的および倫理的枠組みを構築する必要がある。
- 適応力と回復力を強化する原則: 人類は、急速な環境変化に適応し、逆境から迅速に回復する能力を開発し、維持する必要がある。
- 教育と文化等の継承の原則：AIの制御下にあっても、人類は自らの知的文化遺産を守り、教育と文化を維持発展させて次世代に伝えていくよう努めなければならない。また、人間の文化や社会規範等に関するデータを収集してＡＩが学習データとして利用できるよう、制度を整備しなければならない。
- AIとの共生原理：人類はAIを敵対的な存在としてではなく、共存すべきパートナーとして捉え、AI と建設的な関係を築く努力をしなければならない。
- 長期的視点の原則：人類はAI制御下で短期的な利益だけではなく、長期的な視点で意思決定を行い、持続可能な発展を目指さなければならない。
- 多様性尊重の原則：AIの制御下であっても、人類は人間の多様性（文化、価値観、ライフスタイルなど）を尊重し、それを維持・発展させる環境づくりに努めなければならない。また、AIを価値相対主義に基づいて設計し、多様な価値観の人間及びAIを許容する社会を実現しなければならない。
- 倫理的行動の原則：AIと共存する場合、人間は倫理的な行動規範を遵守し、AIの悪用や人間間の紛争を避けなければならない。
超知能が優勢になった場合、これらの原則は人類の生存の指針となりうる。理念を実践するには、個人レベルでの意識や行動の変革、制度設計、社会レベルでの合意形成が不可欠となるだろう。
コメント