
3日の間に、米国のAI業界でAIのリスクを警告する出来事が3度あった。9月11日には、AIに対する人間の監督を保障し、制御を外れたシステムを防ぐとする法案が米議会で提出されたとのニュースが伝えられた。12日前後には、アンソロピックの最高経営責任者(CEO)ダリオ・アモデイ氏が業界に開発競争を遅らせようと公に求めた。
同じ週に、AI研究者のジェイコブ・コクソン氏はアンソロピックを辞め、XにAIのリスクを警告する投稿をした。AIのルールを誰が定めるべきかという論争が再び浮上した。
競争の真っただ中にいる企業のトップがブレーキを口にするのは珍しい。アモデイ氏は個人サイトdarioamodei.comに「We Must Pace the Frontier(最前線のペースを調整しなければならない)」というタイトルで文章を掲載した。ここでいうフロンティアは、性能が最も高い最先端のAIモデル同士が競り合う最前線を指す。同氏は文章の中で、自身がAI分野に12年間携わってきたと明らかにした。
一部のテック企業の経営陣は、米国がAI競争で主導権を明け渡すわけにはいかないと反発した。
社内から出た声はさらに鋭かった。オープンAIとアンソロピックの両方で働いたコクソン氏は、直近の職場であるアンソロピックを去る際、アンソロピックと競合他社が人々の命を賭けてギャンブルをしていると警告した。内部告発者たちも、業界が自ら定めたルールだけでは不十分だと声を上げた。彼らの批判は業界の競争全体に向けられた。
ワシントンの反応も速まった。米国の元・現職のAI研究者たちが、AIが近いうちに人類の絶滅につながりかねないと警告すると、議員たちの注目が集まった。アナ・パウリナ・ルナ下院議員はAIの「キルスイッチ」を求めた。
キルスイッチは、異常な挙動を示すシステムを人がすぐに停止できるよう組み込んでおく遮断装置だ。11日に提出が伝えられた法案も、人間による監督を前面に掲げた。

政界で飛び交った処方箋は、その度合いがまちまちだ。データセンターに与えるインセンティブに連邦税率100%を課そうという案まで取り沙汰された。先端AIの開発を全面的に中止すべきだという主張も出た。
AIエージェントを止める遮断基準を新たに設けようという提案も話題に上っている。AIエージェントは、人がいちいち指示しなくても複数の段階の作業を自ら処理するプログラムを指す。
アンソロピック1社が歩みを緩めても、競合他社が追随しなければ、損失は緩めた側だけが負うことになる。主導権を明け渡せないという経営陣の反発も、その不安から力を得ている。法で強制する道にも隙はある。複数のAIエージェントが異なるデータセンターで同時に稼働する環境であれば、キルスイッチをどの地点に設けるのか、誰がいつ作動させる権限を持つのかから決めなければならない。
韓国のAI規制の設計も、この論争を避けて通るのは難しい。企業の自主的な約束に頼る条項は、競争が激しくなった途端に力を失いかねない。米国では、競争を率いる会社のCEOとその会社を去った研究者が、1週間のうちにその限界を浮き彫りにした。
人間による監督を宣言1行にとどめるのか、停止する権限と手続きまで条文に盛り込むのかを決めることが課題として回ってくる。規制が競争力を削ぐという反論も、韓国で同じように出てくるものだ。
AIエージェントが予定を修正し、決済まで代わりに処理するようになれば、利用者が信頼して任せる根拠は、会社の善意よりもきちんと機能するキルスイッチに近い。キルスイッチを作動させる権限を誰に与えるかをめぐってワシントンで始まった論争が、韓国にも同じ宿題を渡した。
