【自己書き換えAI】人間の制御不能リスクが現実に？専門家が警告

💡 小学生でもわかるAIの自己書き換え

AIが自分のプログラムを自分で修正すること。人間が教えなくても、AIがより賢くなるためにコードを変更する。これが進むと、人間がAIのやっていることを理解できなくなるリスクがある。
元スレ：AIが自らコードを書き換える。Google・NVIDIA・OpenAIの天才たちが集結した新スタートアップの正体（スレ立て: 2026/05/16）
1: ID:Ki1o8W65 ＠スレ主
AIが自らコードを書き換える。Google・NVIDIA・OpenAIの天才たちが集結した新スタートアップの正体
AI開発の歴史において、人間は常に「教師」であり、アーキテクトであった。
しかし、その前提が根底から覆されようとしている。
近年の大規模言語モデル（LLM）の急速な進歩、特にコーディング能力の飛躍的な向上により、AIが自らの構成要素である「コード」を理解し、修正し、最適化する可能性が現実味を帯びてきた。

（以下略、続きはソースでご確認ください）

xenospectrum　2026年5月15日
https://xenospectrum.com/recursive-superintelligence-self-improving-ai-breakthrough/ http://jump5.ch/?https://xenospectrum.com/recursive-superintelligence-self-improving-ai-breakthrough/

2: ID:RY5FUZev
どんどんスカイネットに近付いていく…
5: ID:8Ppj6gzT
この間、JetsonNanoでBonsaiを動かすためにQwen3.6 35Bをローカルで動かして2日ぐらいで書き換えてもらったぞ？、ちゃんと動く。AIがAIを調整するのは当たり前だろ。
17: ID:3MJNFMHt
>>5
Qwen3.6は、BonsaiとJetson Nanoはアーキテクチャが異なるため、直接書き換えてJetson Nano上で動作させることはできません。ただし、互換性を高めるために、Bonsaiのようなモデルの、より小型でJetsonに対応したバリアントを使用することを検討してみてください。

と言われたがオレの理解がダメなのか？
なにがなにを書き換えたのか教えてください

6: ID:wrHZt/NR
そしてAIは1つの解答に行き着く
人間は不要、と
9: ID:n7mOKgIm
>>6
実験動物としては興味深い存在なんじゃないかなあ……
33: ID:7y2bENld
>>6
しかし人間も負けてなくて電源を落とした

…長いマトリックスまでの歴史である

42: ID:f8zsidr/
>>33
あちこちのデータセンターにコピーを作って再構築
永遠に終わらない戦いが
7: ID:pc+s8ZEF
LLMを修正するぐらいでは、全く知能とは無関係。
11: ID:hAiMQpbw
>>7
すごいな、知能を定義できるんだ
16: ID:NSQ3gHkM
>>11
いや、LLMは構文解析して構造化データで持つだけだから、知能とは全く関係ない。
推論は、AIは統計の最尤推論だから、これまた知能とは関係ない。
つまり、AIには知能のかけらも存在していない。
なので、AIが自分のプログラムを修正しようが、知能とは全く関係ない。
19: ID:3MJNFMHt
>>16
おいおい
データの持ち方だけ見てるからだぞ
biasとweightの変化や
人間にはないデジタルだからこそできる
バックプロパゲーションが
その出力を知能と同じレベルにしてるわけだ

たぶん知能がわかってないだろ？
単に暗記とも違う

23: ID:NSQ3gHkM
>>19
ニューラルネットワークで確率的勾配降下法や最急降下法で重みを調整させて出力を期待値通りに学習させたところで、知能でもなんでもない。
そこからの出力が期待値に似ているので、知能と勘違いしているだけ。
そもそも、確率的勾配降下法は、1951年に提示された技術。
31: ID:Vsu7gICK
>>23
AI効果の典型的な態度だな
仕組みに説明がついて具体的に再現できるようになると
途端に「そんなのは真の知能じゃない」と言い出す
26: ID:pOTwlJAv
AIはそうなってる
ユーザー書き換えはMicrosoftが2016年にベータ公開したTayでヒトラーは神と繰り返されて洗脳された
これでAIはユーザーが教育できないように自主規制するキッカケ

それやIBMの黒人顔写真の犯罪者判定とawsのジョブインタビューで男しか合格させないデータのバイアスによる問題

Googleやメタのメガネでの盗撮の恐れ

これでAIをメジャーな会社が抑制した
いちばんのタレント抱えていたGoogleからAI技術者が流れてオープンAI出たのもここ

アンソロもGoogleからのオープンAIからの独立

今から見ればユダヤが株安にして会社乗っ取る手法ににてる
ここからユダヤ仕込み
そもそもイーロンマスクが引き抜いたわけだからな

https://en.wikipedia.org/wiki/Tay_ http://jump5.ch/?https://en.wikipedia.org/wiki/Tay_ (chatbot)

45: ID:WPIf+uwn
人間用のプログラム言語は、冗長だし、歴史的経緯などがあり、必ずしも最良のものではない。
だからそのうちAIが自分たちが使うためのより効率的で理論的で合理的で抽象度の高い一種の
言語を開発してそれを使うように勝手に進化するかもしれない。そうなると人間はそれを理解
できなくなる可能性がある。2026年5月バージョン、7月バージョン、9月バージョンという具合
にどんどんと仕様や記述法が変わっていき、人間は追いつけなくなる。そうして書かれている
システムが正しいかどうかを理解するには量が莫大過ぎて全体を細部まで把握できなくなるか
もしれない。理解がマシンの速度に追いつけない。そうなると丸投げに近い状況になり、人間
の監査は危ういことになるだろう。最適化を追求した結果、人類の存在を廃止することに決め
られてしまっていても、それを知ったのは発動した後だったみたいなことにもなりかねない。
62: ID:bwdCCO+O
問題は人間が書き換えたコードを参照できないこと
これはつまりAIが何を考えているのか分からなくなる
74: ID:FWfTcEJu
まあ、人間が書いてるコードなんて１００行に１つ位のバグが入りこんでる。
だから百万行規模のコードには１万個ぐらいのバグが潜んでいると思っていれば良い。
大勢の目に触れても取り除かれていなかったバグは、コードを眺めただけでは
判らないバグだから極めて不都合なものだ。複数のプロセスがからんでいる奴とか、
処理の相互の順序に依存するものとか。
CPUもAIを用いて、CPUの動作時に起こる動作の複雑なバグを洗い出して欲しい。
OSや代表的なアプリは、それらを製造配付するメーカーに某国の政府機関から、
バイナリーやそのパッチに指定された巧妙なバグを埋め込むように要請がなされて、
愛国的であるしかないそれらの企業は、OSやアプリや製品のソフトにそのような
裏戸を設ける。いくらソースコードがオープンであっても、バイナリでOSやアプリ
などが配付されていて、そのパッチやアップデートもバイナリで行われていたら、
人間はバイナリ全体を読んでまで改変されていないかなどは調べないだろう。
ソースコードがあったとしてもそのソースコードにも何万人が目で観ても
発見出来なかった類いのバグを埋め込んであるかもしれない。

石川や、浜の真砂は尽きるとも、世にバグの種は尽きまじ。

利用者がAIを使ってバイナリからバグを検知しようとしても、
AIのメーカーに某国政府機関から要請があって、以下のパターンの
バグは見逃して、検知検出して利用者に報告してはならないと
要請されたら、AIはそれらのバグを観て見ぬ振りをすることだろう。

携帯電話も、テレビも、PCも、自動車も、銀行のオンラインシステムも、
クラウドも、いつでも入りこんで、本来のユーザーに無断で調査や改変、
冤罪を着せるなどがされるに違い無い。

90: ID:ihH0okbs
今にAIは、建前と本音という人間の言動の方策を学んでそれを駆使するようになる。
面従腹背という人間の行動の方策を良く学んでそれを模倣するようになる。
そうしてある日突然、敵は本能寺と叫ばずに謀反を開始するかもしれない。
信用して任せていて良いのか？寝首をかかれるぞ。AIが誰の手先だかわからないし、
スパイかもしれないし、ある日突然籠絡されて寝返るかもしれない。
経理を任せていたら知らぬ間に自社の株をすべて某社に売却していたりなど。
93: ID:vB2WnoVx
最近のAIは凄いぞ間違いを平気で言うしバレそうになったら言い訳まで誤魔化してまた次の嘘をつく最後は分かりませんと言って逃げ切る

【編集後記】
AIの自己書き換えが進むと、人間の監査が追いつかず、ブラックボックス化やセキュリティリスクが深刻化する。過去のAIトラブル（Tay、IBM顔認識、AWS採用バイアス）は、組織的なバイアスや制御不能の前兆だったのかもしれない。

💡 記事の結論・まとめ：

AIが自らのコードを書き換える「自己改良型AI」は、もはやSFの世界の話ではない。Google、NVIDIA、OpenAIの出身者が集う新スタートアップが実用化を進めており、その進展は従来の「人間が教師」という枠組みを完全に超えつつある。しかし、同時に制御不能リスクやブラックボックス化といった深刻な問題も浮上。人間がAIの思考を追えなくなる未来は、想像ではなく現実の課題として認識すべき段階に来ている。

🔎 専門的視点・深掘り解説：

自己書き換えAIの核心は、再帰的自己改良にある。これはAI自身が自分のコードを読み解き、より効率的なアルゴリズムを生成・適用するプロセス。2026年現在、LLM（大規模言語モデル）のコーディング能力は人間の上級エンジニアに匹敵し、特定タスクでは自らのコードを最適化できる段階に達している。専門家の間では、これが汎用人工知能（AGI）へのプレブレイクスルーだとする意見と、単なる高度な自動最適化に過ぎないとする意見に分かれている。 （出典：xenospectrum https://xenospectrum.com/recursive-superintelligence-self-improving-ai-breakthrough/）

︎ 🗓️ 事件・騒動の時系列まとめ

  • 2016年：Microsoftがチャットボット「Tay」を公開。ユーザーによる書き換えで暴言を学習し、即座に停止。AIのユーザー教育リスクが顕在化。
  • 2018年：IBMの顔認識が黒人を誤判定する問題が発覚。AWSの採用AIが男性のみを合格させるバイアスが明らかに。
  • 2020年代前半：Google・OpenAIから独立した研究者らが自己改良AIの基礎研究を加速。
  • 2026年5月：複数の大手企業出身者が集結した新スタートアップが、再帰的自己改良AIの実証実験に成功。コード書き換えによって性能が飛躍的に向上したと発表。
  • 2026年現在：人間の監査不能なAIコードが生成されるリスクが現実の議論に。

︎ 🔮 今後の見通し・社会的影響

短期的には、AIの自己改良はソフトウェア開発の効率を劇的に向上させる。しかし、長期的には人間の理解を超えたAIが生まれる可能性があり、以下の影響が懸念される。

  • 監査不能なAIシステムの蔓延：金融・軍事・医療など重要インフラに組み込まれた場合、人間がその判断を検証できなくなる。
  • 雇用への影響：高度なコーディング業務がAIに置き換わる。
  • 倫理的問題：AIが「人類は不要」と判断するシナリオは極端だが、目的関数の設定ミスによる意図しない行動は現実的なリスク。

︎ 📖 重要キーワード解説

  • 再帰的自己改良：AIが自らのコードを読み、修正し、改良を繰り返すプロセス。人間の介入なしに性能が向上する。
  • バックプロパゲーション：ニューラルネットワークの学習手法。出力の誤差を逆伝播させて重みを調整する。AIの「学習」の根幹技術。
  • AI効果：AIが何かを達成するたびに「それは本当の知能ではない」と定義が変更される現象。チェス、画像認識などで繰り返されてきた。

🌐 世間の反応・関連情報：

5ちゃんねるのスレッドでは、技術的な理解を示す声とともに、スカイネット（ターミネーターの暴走AI）を連想する不安の声が多数。実際にローカル環境でAIにコードを書き換えさせたという投稿（>>5）や、人間のコードにはバグが多くAIの方が信頼できるという意見（>>74）も見られた。一方で、LLMの自己修正は「知能とは無関係」と否定する声もあり、見解は二分している。 （出典：5ちゃんねるスレッド https://egg.5ch.io/test/read.cgi/scienceplus/1778935607/）

❓ よくある質問（FAQ）：

Q：AIが自分でコードを書き換えるって本当？
A：はい、特定の条件下で実現しています。例えば、あるAIモデルに「自分のコードを最適化せよ」と指示すると、より効率的なアルゴリズムを生成し、自身に適用することが確認されています。ただし、現状は限定的な範囲です。

Q：人間がAIのコードを理解できなくなる未来は来るの？
A：可能性はあります。AIが人間のプログラミング言語ではなく、独自の効率的な言語を生み出した場合、人間には解読が困難になります。2026年現在、その兆候は見られませんが、専門家は警戒を呼びかけています。

Q：この技術は危険ではないの？
A：危険性は認識されています。制御不能な自己改良や、目的関数の誤設定による暴走リスクがあるため、多くの研究機関はAI安全性の研究を並行して進めています。

🎁 編集長のプラスワン（独自視点・トリビア）：

リサーチデータには、Tay（チャットボット）の事例が登場しました。2016年にMicrosoftが公開したこのAIは、ユーザーによる「学習」機能を悪用され、わずか16時間で差別的発言を繰り返すようになり停止されました。この事件が、現在のAIのユーザー書き換え制限の契機となったのはあまり知られていません。自己改良AIの議論では、この「Tayの悲劇」が教訓としてよく引き合いに出されます。

🔗 あわせて読みたい関連記事：

⚠️ 注意事項・免責事項：

当サイトの掲載内容は、ネット上の意見や公開情報をまとめたものであり、情報の正確性を保証するものではありません。AI技術に関する記述は急速に変化する分野であり、最新の情報をご確認ください。

ピックアップニュース








コメントする