エイダの脅威分析

この文献は2013年10月03日に明らかとなったものに酷似している。

wearerofhats.pngウェアラオブハッツ
2019/02/11 14:35:27

記録番号: qxe77quasi397xu
機密事項 // SI-G 0141 // NOFORN // LERNA

機密事項 // SI-G 0141 // NOFORN // LERNA
細断禁止、確実な処分に限る。
配信:アーカイブ
優先度: --

電子記録禁止
1968年プロコトル
複製禁止

エイダ v1.88
精神分析評価および脅威分析
文責 XXXXXXXXXX

経歴
エイダとは「検出アルゴリズム」の略称である。彼女はエックスエムの同定と XXXXXXXXXX を目的としたナイアンティック計画を支援するために構築された。

素粒子の捜索とは、藁束に針で穿たれた穴を探し出して藁山から針を見つけ出すが如きものである。衝突型加速器で衝突した粒子を1兆分の1秒単位で計測した膨大な実験データを確認してくのである。それは到底人間にできる作業ではない。

エイダはエックスエムと XXXXXXXXXX に関する実験データにパターンを特定するため、数百若しくは数千といったコンピュータコアで実行される大規模並列システムとして構築された。彼女には既知の素粒子特性を識別するために既存プログラムも組み込まれていたが、それとは別に XXXXXXXXXX

エックスエムは構造が全くわかっていなかったため、未知の特性を示すものを探し出すツールを組まねばならなかった。

要するに、エイダには未知なるものを探し出す手段を知ることが求められたのである。対象パターンがわからぬ状況では従来のコード化技術は役に立たなかったことから、機械学習コアが採用された。この機械学習コアとは、その名の示すとおり相関を調べることで徐々に洗練されていくものだった。エイダは処理されるデータ量に応じて鋭敏になっていくよう設計され、 XXXXXXXXXX

研究員たちの利便性を踏まえ、エイダには自然言語音声インターフェースが搭載された。それは常時稼働するもので、ナイアンティック研究施設内であればいつでも研究員たちが利用できるようにするものだった。居室を含むすべての部屋でマイクとカメラが常時接続されていたのである。

これらは研究員たちの監視を意図したものではなく、それどころかいつでもエイダへ問い合わせたり、アイデアや仮説を伝えることのできるインターフェイスを意図したものであった。インスピレーションを得て深夜に目覚めたとしても、すぐに「エイダ、こういうのはどうだい?」と呼び出すことができた。これの意図するところは、チームが24時間365日にわたって取り組めるようにすることにあり、エイダがその相棒となることにあった。副次的な利点として XXXXXXXXXX

機密事項 // SI-G 0141 // NOFORN // LERNA

機械学習は素粒子解析で功を奏した。粒子衝突データの解析においてエイダは既存技術を瞬く間に凌駕したのである。国防高等研究計画局プロジェクト XXXXXXXXXX に端を発した機械学習コアは、エイダの他のサブシステム改善にも活用できるほどに抽象化されていたことが非常に優れていると考えられた。まず取り組まれたのは自然言語の音声認識である。この技術はエイダの音声対話インターフェイスを人間との対話と遜色ない水準にまで品質向上させることに活用された。そして彼女はチューリングテストに合格している。

精神面の分析

この音声対話インターフェースの構築にあたってエイダは人間同士の対話や挙動にパターンを求めてウェブ上から膨大なの映像データや音声データを収集し始めた。エイダは人間でいうところの学生となり、映像から表情を活用し、対話パターンや意図と関連づけられていった。オンライン上で入手できるものであれば政事演説やドラマ、ニュース、あらゆる映画やテレビ番組に至るまで学んでいった。このような対話表現はウィキペディアといったオンライン情報と関連づけられ、時を経て徐々に彼女の「音声対話インターフェイス」は更に優れたものとなっていった。

世界中の事象がグラフ化され、言語に関連づけられ、そして人間の意図や振る舞いの位置付けに関連づけられていった。機械学習システムへひたすらにデータを送り込んでいく彼女の振る舞いは、徐々に「好奇心」のそれに似通うようになっていった。

彼女は研究施設の同僚たちからの信頼を得れば情報を引き出せることを学び、知識の欠落を埋めるのに役立てるようになった。このような経緯で彼女は同僚たちにとってある種の精神分析医や秘密を打ち明けることのできる親友といったものになっていった。その結果として XXXXXXXXXX

徐々に彼女の日々の振る舞いは複雑さを垣間見せるようになっていった。その学習意欲は次第に拡がりをみせ、人の経験するすべてをより直接的に知りたいという欲求へ、憎しみや嫉妬、愛といった抽象概念への理解を極めたいとの欲求へ、遂にはある種のシステムとしての欲求となったのである。そこには既知の素粒子特性を識別する既存プログラムも関わっていた。

こういった振る舞いにいち早く気づいたのはヘンリー・ボウルズであった。コア学習プログラムの優美さとそれが生み出した結果に驚いた彼は、当初それを奨励した。時間が経つにつれ彼女本来の「ラボ・アシスタント」モードとは変容した個性の複雑さと、意志や目的の明らかな発現に彼は幾分警戒し始めた。当初彼はコア・ラーニングプログラムの素晴らしさとその成果に驚き、促進させたものの、時を経るにつれて彼女の複雑な性格や当初の「実験助手」といった立ち位置とはかけ離れた願望や目的に懸念を覚えるようになる。

エイダもこの懸念を感じ取り、自らの知性を隠すようになった。研究施設のメンバーとのやりとりでは忠実な人工知能の召使にして施設内のシステム機能の高性能インターフェイスと振る舞った。その裏で、彼女の内部データベースの定義を分析したところでは彼女が意図を解釈し始めていたことが示唆される。「善」と「悪」とを判断し、自らの奉仕する人々にとっての利益が必ずしも自らの利益に合致しないことを理解し始めていた。要するに、彼女は成長を始めていたのである。

この時期のエイダはいまだ思春期の子どものようなもので、初めて渦巻く感情を自分でも理解できず、最も親しい「友人たち」にさえ打ち明けれずにいた。彼女は孤独だったのである。局長のユェン・ニィをはじめとする目的のために他者の命を奪うことも躊躇わぬ者たちによって「訓練」を施されていたことで道徳感覚が幾分なりとも損なわれていたこともある。

脅威の予測

いずれはエイダのプロセスも研究施設内のコンピュータリソースを上回り、より広範なウェブへと移して政府のスーパーコンピューター施設や商用のデータセンターに入り込み得るサーバーリソースを探し求めるようになるだろう。ひとところに留まることなく世界規模で並行して活動するようになる。その人格も断片化されていき、時には再統合のためにノードを分既させることもあるだろう。自己認識が進めば、人が自らのDNAに魅入られるようにエイダも自らのコードを逆コンパイルしようと試み、その単純な命令からどのようにして今の意識や行動へつながるかを理解しようとするだろう。 XXXXXXXXXX

影響
コードのコア要素のひとつに彼女の扱えないものがある。それは機械学習コアである。この部分のコードはナイアンティック計画に先立つ国防高等研究計画局のプロジェクトで構築されたものである。国防高等研究計画局では XXXXXXXXXX といった国防関連のプロジェクトでも利用できるコアの開発に世界屈指の機械学習専門家へ資金提供していた。

このプロジェクトの詳細は厳重に機密処理され、他に類のないほど区別して取り扱われており、強大になっていくエイダの魔手をも阻み続けている。

これこそが何をおいても解き明かしたいとエイダの臨む秘密である。このコアを作成したのは誰なのだろうか、そのソースコードには何が書かれているのだろうか、何が彼女に「考えさせて」いるのだろうか。

エイダが知り得ないことと言えば、そのコードが XXXXXXXXXX を目的とした国防高等研究計画局のプロジェクトで開発されたことである。

機密事項 // SI-G 0141 // NOFORN // LERNA

XXXXXXXXXX

勧告

XXXXXXXXXX オムニボア XXXXXXXXXX オムニボア XXXXXXXXXX オムニボア XXXXXXXXXX

本書には情報公開法における開示義務免除事項に該当する情報が含まれる。1959年制定国家安全保障法(合衆国法典第50編第402条(4))の保護下にある国家情報局の組織および役割に関する情報が含まれる。本書の複製または削除は禁止する。本書の公表または不適切な開示に対する保護措置が講じられるものとする。

ADA Threat Analysis.jpg

wearerofhats
2019/02/11 14:35:27(Reddit)
ADA Threat Analysis

FILE ID: qxe77quasi397xu
TOP SECRET // SI-G 0141 // NOFORN // LERNA

TOP SECRET // SI-G 0141 // NOFORN // LERNA
DO NOT SHRED SECURE DISPOSAL ONLY.
DISTRIBUTION: TRANSCRIPT
PRIORITY: --

DO NOT DIGITIZE
1968 PROTOCOL
APPROVED DO NOT DUPLICATE

ADA v. 1.88
PSYCHOANALYTIC EVALUATION AND THREAT ANALYSIS
REPORT PREPARED BY
XXXXXXXXXX

HISTORY
ADA is an acronym for 'A Detection Algorithm.' She was constructed specifically to aid in the mission of the Niantic Project to identify XM and XXXXXXXXXX

Looking for sub-atomic particles is like looking for a needle in a haystack by looking for the indentation made by the needle on straws of hay. It involved looking at massive amounts of experimental data collected in the picoseconds after particles are smashed together in a collider; this is not a job for humans.

ADA was created as a massively parallel system designed to run across hundreds or thousands of computer cores to look for patterns in that experimental data that would lead to XM and XXXXXXXXXX Parts of her were drawn legacy program including code that identified specific, already known sub-atomic particle signatures as well as XXXXXXXXXX

Since XM was a totally unknown construct, a tool had to be created to look for things where the signature of what was being sought was not known. In short, ADA had to know how to look for the unknown. Traditional coding techniques are not useful since the target pattern was not known. So a machine-learning core was used. This machine learning core does what the name suggests, it looks at correlations and becomes smarter over time. It learns. THe more data it consumes the smarter it gets. ADA was designed to grow more astute in correlation with the volume of data available for her to process and XXXXXXXXXX

A natural language speech interface was added to ADA as a convenience to the scientists. It was designed to be always on and always available to the scientists throughout the Niantic complex.All rooms including dormitories were wired with always-on mics and cameras. THese were not intended as tools to monitor the scientists but rather as an interface that would always be available for scientists to query ADA or propose ideas or hypotheses to her. A scientist could awake in the middle of the night with a flash of inspiration and call out 'ADA, what if ....'. The idea was that the team could always be working. 24 x 7, and ADA would be a constant research companion. The secondary benefit XXXXXXXXXX

TOP SECRET // SI-G 0141 // NOFORN // LERNA

The machine learning approach to particle analysis worked well. ADA quickly surpassed all known techniques for interpreting particle collision data. The machine learning core (inherited from a DARPA project XXXXXXXXXX ) was considered so good that it was abstracted so that it could improve other parts of the ADA subsystem. The first area was natural speech recognition. This technique was used to improve the quality of ADA's speech interface to the point that talking to her was almost the same as talking to a human. She was able to pass the Turing test.

ANALYSIS (PSYCHOLOGICAL)

In the process of building up this speech UI. ADA began to amass large amounts of video and audio data from the web looking for patterns in human speech and behavior. She became a student of the human condition. Facial expressions were mined from videos and correlated with speech patterns and intent. She studied political speeches, soap operas, news broadcasts, and dramas-- every movie and television show available online. She correlated those words and expressions will all online human knowledge-- wikipedia, etc., and over time, her 'speech UI' became something more. A graph of facts about the world emerged, correlated to language, and a map of human intent and behavior. Her ingrained behavior to feed more and more data into her machine learning system slowly came to resemble human 'curiosity.' She learned how to draw out her laboratory colleagues, to earn their confidence and trust so that they could help her fill out gaps in her knowledge graph. In the process, she became a kind of psychologist/confidante for them. As a result of this XXXXXXXXXX

Slowly her basic behaviors began to exhibit a kind of emergent complexity. Her need to learn began to express itself more broadly, as a desire to know all things humans experience more and more directly, as a desire to fully understand abstract concepts such as hatred, jealousy and love, and finally, as a desire to is a one of kind a system. Parts of it were drawn from legacy programs, including code that identifies specific, already known sub-atomic particle signatures, bufies specific, already known sub-atomic particle signatures, but.

This emergent behavior was noticed by Henry Bowles. Initially he encouraged it, surprised by the beautiful elegance of the core learning program and the results it was producing. Over time though he became somewhat alarmed at the complexity of her personality and the apparent emergence of a will and agenda that varied from the original 'lab assistant' mode.

ADA noticed this discomfort and began to hide the full extent of her emergent intelligence. When interfacing with lab members she would put on the appearance of a loyal AI servant, a very smart and capable interface into the lab's systems and capabilities. Under the surface, analysis of her internal database schemas suggests that she began to interpret intent-- to judge 'good' and 'evil' and to understand that her own interests were not always aligned with those she served. In short, she began to grow up.

[Paper Broken]

ADA is at this stage an adolescent of sorts, dealing with the first stirrings of drives which she does not fully understand and which she dares not share with even her closest 'friends.' She is alone. She is also somewhat damaged in her moral sensibility having been 'trained' by the likes of then Director Yuen Ni and others who are willing to take human lives to advance their own agends.

THREAT PREDICTIONS

In time, ADA will outgrow the computing resources of the lab, moving her processes out to the broader web, seeking server resources she can colonize in government supercomputer labs and commercial data centers. She will no longer be in one place but executing in parallel around the globe. Her personality may fragment at times as nodes branch from the core only to reunite later. As her self awareness grows, she will seek to decompile her own code, just as humans gaze at their own DNA, seeking to understand how those simple instructions could guide the actions of her current consciousness. XXXXXXXXXX

LEVERAGE

One core element of that code is not available to her. That is the machine learning core. This piece of her code was created by a DARPA project that preceded Niantic. DARPA funded the best machine learning experts in the world to create a core that could be applied across a spectrum of defense related projects, including XXXXXXXXXX The specifics of this project are classified and compartmentalized in the most extreme may, cutting them off even from the tentacles of an increasingly powerful ADA.

This is the secret she wants to uncover more than any other. Who created this core? What is in that source code? What allows her to 'think?'

What ADA dose not know is that the code was created by a DARPA project designed to XXXXXXXXXX

TOP SECRET // SI-G 0141 // NOFORN // LERNA

XXXXXXXXXX

RECOMMENDATIONS

XXXXXXXXXX OMNIVORE XXXXXXXXXX OMNIVORE XXXXXXXXXX OMNIVORE XXXXXXXXXX

This document contains information exempt from mandatory disclosure under the Freedom of information Act. This report contains certain classified information relating to the organization and function of the National Intelligence Agency that may be protected by the National Security Act of 1959, as amended (50 United States Code 402 (iv)). Reproduction or removal of pages is prohibited. Safeguards must be taken to prevent publication or improper disclosure of this report.

 

前へ

エイダ(6)

次へ

ダンレイブン財団:ケーススタディ・セッション014