ChatGPTなどのAIに企業の偽の連絡先を出力させユーザーを詐欺へと導くサイバー攻撃「Dark Sourcery」

この記事についての感想

マジで最近のAI周りのセキュリティ事情、エグすぎて草も生えないんだが。今回話題になってる『Dark Sourcery』とかいう攻撃手法、これもう斜め上すぎて引くレベルだろ。ChatGPTとかのAIに偽の連絡先を吐かせてユーザーを釣るって、結局アナログな詐欺の手法を最先端の技術でブーストさせてるだけっていうのがなんとも皮肉が効きすぎてるよな。昔からあるフィッシング詐欺とかの亜種だとは思うけど、AIがそれっぽい回答をさらっと返してくるせいで、騙される側のハードルが完全にバグってる気がするわ。っていうか、AIの出力ってなんとなく『機械が言ってるから正解っぽい』みたいなバイアスが掛かりがちじゃん？そこを上手いこと突いてくる辺り、攻撃者側もかなりメタ読みしてきてるよね。しかも最近はプロンプトインジェクションとかも進化しすぎてて、対策する側もマジでイタチごっこっていうか、もうこれ『AIを使うな』が正解になっちゃうの？みたいな絶望感すらある。ビジネスでAI使おうって時に、検索代替として使ってる人も多いだろうけど、この手の攻撃があるって意識しとかないとマジで情弱狩りの餌食になりそう。特に企業の公式情報っぽいのがAIから出てきたら、普通は疑わないもんね。今回の件で、AIの回答を鵜呑みにせずダブルチェックする重要性が改めて浮き彫りになった感じはあるけど、現場の人間からすると『AIに聞いて効率化したいのに、余計な手間増えてんじゃん』ってなりそうで泣ける。サイバー空間の闇深すぎるし、これからもっとAI悪用型の攻撃増えるだろうから、リテラシー上げてかないとマジで積むわ。とりあえずAI回答の検証フローをマストにしないと、情シスが泣きを見る未来しか見えないっていうね。皆さんもAI使う時は話半分、いや話八分くらいで聞いておいた方が吉ってことで、マジで気をつけような。