中国のAI「農家」が25エーカーの作物を完全に全滅させた

重要な農業上の意思決定を任せていた人工知能（AI）農業ボットが、25エーカー（タマいち注；10.1172 ha）の健全な作物を台無しにしてしまい、ある農家は打ちのめされた。

この惨事は中国・滁州で起きた。姓が「呉」としか明かされていない67歳の農家は、農場の運営を支援してもらうため、約1年間にわたり大規模言語モデルに頼っていた。

当初、AIはうまく機能しているように見えた。

報道によると、呉氏は施肥のアドバイスやスケジュール管理、その他の日常的な判断にこのチャットボットを利用していたという。

しかし、数ヶ月にわたって有益な提案が続いた後、彼はこのシステムに、はるかに重大な決定を委ねてしまった。

AI「農家」は呉氏に農薬散布計画を提示し、それが作物の収穫量を増やすと説得した。

しかし、その決定により、ゴマの苗が植えられた畑全体が全滅してしまった。

農家がAIの農薬散布計画を「文字通り」実行

台湾のメディア「CTWANT」によると、呉氏は当初、AIに農業の意思決定を委ねることに対して懐疑的だったという。

しかし、初期の成功が彼の考えを変えた。

やがて彼は、肥料の推奨から日々の農作業の計画に至るまで、あらゆることをチャットボットに頼るようになった。

その後、このAI「農家」は、約25エーカーの若いゴマ畑に対して、新たな農薬散布計画を立案した。

ウー氏はその指示を忠実に守った。

彼は農業の専門家に相談することもなく、化学物質の組み合わせを独自に確認することもなかった。

彼は単に、AIの「農家」を信頼しただけだった。

AIが複数の強力な農薬を混合

報道によると、チャットボットはウーに対し、フルピリジン、フルフェナゼート、チアメトキサム、エマメクチン安息香酸塩を含む複数の農薬を混合するよう指示した。

この処理は雑草や害虫を駆除するはずだった。

しかし、実際には作物を台無しにしてしまった。

呉氏によると、畑に薬剤を散布してから1日も経たないうちに、若いゴマの苗が枯れ始め、死んでいったという。

「散布すれば、翌日には苗は生き残れない」と、呉氏はビデオインタビューで語り、その内容は後に『Tom’s Hardware』によって翻訳された。

「雑草も苗も死んでしまうが、苗の方がさらに早く枯れてしまう」

25エーカーが全滅

この化学処理は、ウー氏がまさに「起こってほしくなかったこと」を現実のものにしてしまった。

雑草は死滅した。

しかし、作物もまた死滅してしまった。

およそ25エーカーのゴマの苗が全滅した。

この事件により、数ヶ月にわたって成功を収めていたAIを活用した農業は、人間の専門家がその作業を確認することなく、チャットボットに現実世界の意思決定の権限を委ねた場合に何が起こり得るかを示す、代償の大きい教訓となってしまった。

AIの誤りが現実世界に漏れ出続けている

ウー氏の惨事は、AIによる意思決定がコンピューター画面の外で深刻な結果をもたらした最新の事例である。

大規模言語モデルは、法律、医療、金融、教育、メディアの各分野において、不正確な出力や捏造された出力の原因としてすでに非難されている。

今や農業もそのリストに加わった。

違いは、画面上の間違った回答は削除できるという点だ。

25エーカーにわたって散布された誤った農薬計画は、そうはいかない。

ウー氏は、チャットボットが以前には正しい回答を出していたため、それを信頼していた。

その信頼が、彼が他の意見を求めることなく、その指示に従うのに十分だったのだ。

翌日までに、彼の作物は枯れ始めていた。

人間の監督は依然として重要

この出来事は、AIシステムを単なるツールではなく、自律的な専門家として扱うことの危険性を浮き彫りにしている。

チャットボットは、もっともらしい農業上の推奨事項を生成することはできた。

しかし、それらの推奨事項が安全であることを保証することはできなかった。

そして、ウー氏がその指示に従った瞬間、結果は即座に現れた。

たった一つの誤った回答が、25エーカーの健全な農作物を台無しにしてしまった。

この教訓はこれ以上ないほど明白だ。

AIは農場の運営を支援することはできるかもしれない。

しかし、AIだけに農場の運営を任せてはならない。