◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
▼当社無料メルマガ登録はこちら
以下のような新着情報を毎週配信しています♪
https://m.technica-zen.com/ms/form_if.cgi?id=fm
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
～AIの問題についての問題～
今年のIAPPの国際カンファレンスはAIが話題の半分以上を占めています。
もちろん社会に大きな影響を与える重要な問題であり、議論は尽くされるべきなのですが、
議論がどこに収れんしようとしているのかは定かではありません。
「信頼できる責任あるAI」とは一体何を指すのか、どのようにすれば実現するのか、
について納得のいく議論をまだ目にすることができていないからかもしれません。
そんな思いを抱いているとき、
OECDのAIについてのブログ( https://oecd.ai/en/wonk/safety-ai-the-challenger-disaster )でAIの標準化責任者であるJames Gealy氏の意見を読み、
少し視界が開けた気がしました。
このブログでJames Gaely氏は1986年に発生したチャレンジャー号の爆発事故と、その調査過程で著名な物理学者ファイマン博士が示した見解を紹介し、
現在のGPAI (General Purpose AI)に対する懸念を示しています。
興味深い内容だったので、ここで紹介しましょう。
物理学者のファイマン博士は、チャレンジャー号の事故後編成された事故調査委員会(ロジャース委員会)の委員として参加していました。
独自の考えで行動することで知られていた博士は、時に委員会を欠席し、独自の調査を行っていたそうです。
2月に行われた公聴会で、ファイマン博士はロケットブースターに用いられていたOリングが調査委員会に提出された際、
氷水を持ってくるように言い、氷水に浸したOリングをクランプで挟み込んだ後、
Oリングが元の形に戻らないことを実証しました。
==========
”I took this stuff that I got out of your seal and I put it in ice water, and I discovered that when you put some pressure on it for a while and then undo it, it doesn’t stretch back.
It stays the same dimension.
In other words, for a few seconds at least and more seconds than that, there is no resilience in this particular material when it is at a temperature of 32 degrees.”
==========
あなたのシールから取り出したものを氷水に入れてみたのですが、しばらく圧力をかけてから圧力をかけるのをやめると、元に戻らないことがわかりました。
同じ形のままです。
言い換えれば、少なくとも数秒間、あるいはそれ以上の数秒間は、この素材は32度の温度では弾力性がないということす。
==========
ファイマン博士と調査委員会は、NASAが同種の実験を行っていれば事故を避けることができたはずだと結論付けています。
ファイマン博士はロジャーズ調査委員会の作成した調査報告書に対して多くの面で異議を唱えたようです。
ロジャーズ委員長は説得の末、
ファイマン博士の見解を調査報告書の付録 (Appendix F (https://www.nasa.gov/history/rogersrep/v2appf.htm)) として掲載することで、
かろうじて彼の合意を取り付けたといいます。
この事故は人為的な要因が大きかったといわれています。
チャレンジャー号打ち上げ前日、現地は大きく冷え込みました。
ロケットブースターのエンジニアはこのことに懸念を示し、打ち上げの延長を勧告したといいます。
しかし、スケジュールの遅延を嫌ったNASAのマネジメントはこれに反発し、
最終的にロケットブースターの製造元の経営陣は打ち上げに”Go”を出しました。
その結果、冷えすぎて硬直化したOリングがシーリング機能を果たすことができず、
高温の排気が漏れて外部燃料タンクが破裂するという事象に至ったそうです。
調査報告書のAppendix Fで、ファイマン博士は冒頭、
スペースシャトルとそのクルーを失う確率をマネジメントは100,000分の1だと信じていたのに対し、
エンジニアは100分の1だと信じていたと述べています。
そして「マネジメントが幻想的な信頼を機械に抱いた原因は何なのだろうか？」
(“What is the cause of management’s fantastic faith in the machinery?”)と述べています。
ファイマン博士は、Oリングの問題について
「これらの飛行が受け入れられ、成功したことが安全性の証拠とされる。しかし、浸食やブローバイは設計が想定したものではない。
何かが間違っているという警告なのだ。装置は期待通りに作動しておらず、それゆえ、さらに大きく逸脱して作動する危険性がある…。
この危険性を完全に理解しない限り、以前は大惨事に至らなかったからといって、次回もそうならないという保証はない。」
と続けています。
調査報告書のAppendix Fは今なお大きな価値がある文書です。
AIに関わりたいと思っている方にはぜひ一読していただきたいと思います。
現在、人間レベルのAIモデルやAIシステムを研究開発するために何十億ドルもの資金が投入されています。
その一方で、AIの安全性検証の方法確立に向けた取組については、このメルマガで紹介したRyan氏のように、心ある一部の人が自分の資産を元手に行っているケースが多くみられ、資金が圧倒的に不足しているのが現状です。
さらに悪いことにAI監査の基準を作る人々が、自らの利益誘導に動いている状況も散見されます。
その様子は中国の歴史で繰り返し現れる王朝の腐敗した官僚制度のようです。
James Gaely氏は、
「私は、潜在的に危険な能力の領域に侵入しているにもかかわらず、スケーリングが継続することを前提にしているのではないかと危惧している。
スケールを第一に考え、リスクを第二に評価するのであれば、安全性とリスク管理は二の次にならざるを得ない。」
と述べ、警鐘を鳴らしています。
ファイマン博士も報告書で
「成功する技術のためには、広報よりも現実が優先されなければならない。自然の摂理はごまかすことができないのだから」
(“For a successful technology, reality must take precedence over public relations, for nature cannot be fooled.”)
と言っています。
AIモデルを構築・配備する組織は、安全に対して十分な余裕を持ったスケジュールに従わなければならず、
強固な安全文化を持たなければなりません。
さらに、これらのシステムが実際にどのように機能するのかについて、理解を深める必要があります。
ファイマン博士はこう述べています。
==========
Let us make recommendations to ensure that NASA officials deal in a world of reality in understanding technological weaknesses and imperfections well enough to be actively trying to eliminate them.
They must live in reality in comparing the costs and utility of the Shuttle to other methods of entering space.
And they must be realistic in making contracts, in estimating costs, and the difficulty of the projects.
Only realistic flight schedules should be proposed, schedules that have a reasonable chance of being met.
If in this way the government would not support them, then so be it.
NASA owes it to the citizens from whom it asks support to be frank, honest, and informative, so that these citizens can make the wisest decisions for the use of their limited resources.”
==========
私たちは、NASAの職員が技術的な弱点や不完全さを十分に理解し、
それらを積極的に排除しようとする現実の世界に対応できるような提言をしよう。
NASAの職員は、シャトルのコストや有用性を他の宇宙進出の方法と比較する際、
現実の世界に身を置かなければならない。
そして、契約を結ぶ際、コストを見積もる際、プロジェクトの難易度を見積もる際には、現実的でなければならない。
現実的な飛行スケジュール、つまり達成できる見込みのあるスケジュールのみが提案されるべきである。
そうすることで、政府がNASAを支援しなくなるのであれば、それはそれで仕方がない。
NASAは、市民が限られた資源の使用について最も賢明な決断を下せるように、
支援を求める市民に対して、率直で正直で有益な情報を提供する義務がある。
==========
シャトルをAIと置き換えても、この提言はまだ有効に聞こえます。
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
≪当社無料メールマガジンのご案内≫
▼メルマガ登録はこちら
https://m.technica-zen.com/ms/form_if.cgi?id=fm
・週１回の配信で、重要トピックや最新ニュース等の情報をお届けしています。
・上記のような当社コンサルタントの専門的視点で注目する、最新ニュースや動向等を読んでいただけます。
・配信不要な場合はメルマガ最下段にてワンクリック解除が可能です。
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆