ChatGPT は発売以来、オンラインで大きな話題を呼んでいると言っても控えめな表現でしょう。サイバーセキュリティにおける大規模言語モデルと AI の機能を披露したことは、このイノベーションが関心と懸念を同程度に引き起こした 1 つの分野です。
AI がサイバーセキュリティに与える影響についての議論は、いまだに続いています。当然のことです。AI は、企業のセキュリティ オペレーターがサイバーセキュリティ ソリューションを強化し、脅威分析を高速化し、脆弱性の修復を加速するのに役立つだけでなく、ハッカーにさらに複雑なサイバー攻撃を仕掛ける手段も提供します。この多面的な影響により、議論と影響は極めて複雑になっています。さらに悪いことに、従来のセキュリティ対策では AI モデルを直接保護するには不十分な場合が多く、AI 自体のセキュリティは一般の人々にとってブラック ボックスのままです。
このトピックを詳しく説明するために、この記事では 3 つの主要領域を深く掘り下げます。
- ChatGPTを含む大規模言語モデルがサイバー攻撃にどのように役立つか
- AIがサイバーセキュリティ防御を強化する方法
- 大規模言語モデル自体のセキュリティ
サイバー攻撃の強化
まず、大規模言語モデル（その 1 つである ChatGPT）がサイバーセキュリティ攻撃の有効性と頻度を高める上で果たす役割について見てみましょう。
サイバー攻撃に使用される大規模言語モデル (LLM) は、主に次の点に重点を置いています。
- サイバーセキュリティツールの使用方法の習得、脆弱性を悪用する方法の特定、悪意のあるコードの作成など、これらはすべて攻撃者にとっての知識ベースとして機能します。
- LLM のプログラミング機能を活用して、回避を目的として悪意のあるコードを隠します。
- 大量自動化 フィッシングメール ソーシャル エンジニアリング攻撃や、ユーザー情報に基づいたソーシャル エンジニアリング辞書の生成に使用します。
- オープンソースまたは漏洩したソースコードのコード監査、脆弱性マイニング、テスト、および悪用を実施します。
- 単一ポイント攻撃ツールを組み合わせて、より強力で複雑なマルチポイント攻撃を形成する
大規模言語モデルの自動生成機能は、侵入の技術的閾値と実装コストを下げ、潜在的な脅威の数を増やすことで、セキュリティ侵害の効率に大きな影響を与えることは明らかです。
このため、LLM は攻撃者のアイデアをコードに簡単に素早く変換できるため、サイバーセキュリティに対する脅威は LLM のメリットよりも大きいという意見が一致しています。これまでは、回避機能を備えたゼロデイ エクスプロイトの開発には、3 ～ 10 人のハッカーのチームが数日、場合によっては数週間かかることもありましたが、LLM の自動生成機能を活用することで、このプロセスが大幅に短縮されました。これにより、新たに発見された脆弱性を武器化するサイクルが短縮され、サイバー攻撃能力が同期して進化するという問題が生じます。
さらに、ChatGPTのオープンソースコードに対する自動監査および脆弱性マイニング機能を利用することで、攻撃者は複数の ゼロデイ脆弱性 より低コストで迅速に。高度に専門化されたオープンソース システムの中には、企業で広く使用されていないものもあり、そのため、攻撃者にとってこれらのシステムの脆弱性を悪用することは費用対効果が高くありません。しかし、ChatGPT はこれを変え、攻撃者のゼロデイ探索の焦点を広く使用されているオープンソース ソフトウェアからすべてのオープンソース ソフトウェアに移します。その結果、セキュリティ侵害がほとんど発生しない特定の専門分野が不意を突かれる可能性も考えられます。
最後に、大規模な言語モデルにより、言語の壁をはるかに簡単に乗り越えることができるため、ソーシャルエンジニアリングやフィッシングがこのようなツールの主な用途になる可能性があります。フィッシング攻撃を成功させるには、非常にリアルなコンテンツが必要です。AI生成コンテンツ（AIGC）を使用すると、さまざまなローカライズされた表現を含むフィッシングメールを大規模かつ迅速に生成できます。ChatGPTのロールプレイング機能を利用すると、さまざまなペルソナからのメールを簡単に作成できるため、コンテンツとトーンがより本物らしくなり、識別の難易度が大幅に高まり、フィッシングキャンペーンの成功率が高まります。
まとめると、生成 AI テクノロジーはサイバー犯罪への参入障壁を下げ、企業の既存のリスク プロファイルを強化しますが、過度に心配する必要はありません。ChatGPT は企業に新たなセキュリティ上の脅威をもたらすものではなく、専門的なセキュリティ ソリューションで現在の脅威に対応できます。
セキュリティ防御の強化
明らかに、大規模言語モデルの潜在的な用途はユーザーによって異なります。サイバー攻撃を強化できるのであれば、サイバーセキュリティ防御も強化できます。
AI と大規模言語モデルは、次の方法でエンタープライズ レベルのセキュリティ運用を強化できます。
- オンライン セキュリティ運用に関する知識を習得し、セキュリティ インシデントへの対応の自動化を改善します。
- 自動スキャンを実行してコードレベルの脆弱性を検出し、見つかった問題の詳細と軽減策の推奨事項をレポートします。
- セキュリティ運用管理のプロセスを支援するコード生成。これには、スクリプト生成とセキュリティ ポリシー コマンド生成が含まれます。
しかし、セキュリティ システム全体の有効性は、最も弱いリンクによって妨げられ、単一の脆弱性ポイントを特定するだけで成功する攻撃者による悪用に対して脆弱になります。さらに、拡張検出および対応 (XDR)、セキュリティ情報およびイベント管理 (SIEM)、セキュリティ オペレーション センター (SOC)、状況認識の進歩にもかかわらず、膨大な量のセキュリティ データの相関分析は依然として困難な課題です。コンテキスト ベースの分析とマルチモーダル パラメータ転送学習は、この問題に対処するための効果的な方法です。ChatGPT のリリース以来、多くのセキュリティ研究者や企業がこの分野で試みており、ログとデータ ストリーム形式の解析に関する明確なフレームワークを提供しています。ただし、相関分析と緊急対応の試みでは、プロセスが依然としてかなり面倒であり、対応の信頼性についてはさらに検証が必要です。したがって、大規模言語モデルが企業のセキュリティ運用に与える影響、特に自動生成機能への影響は、サイバー攻撃を容易にする潜在的な影響と比較すると見劣りします。
生成 AI の特性上、現時点では、専門的なサイバーセキュリティ分析や緊急対応が必要な状況には適していません。理想的なアプローチは、最新の GPT-4 モデルのパワーを活用し、コンピューティング プラットフォームを活用して微調整や追加トレーニングを行い、サイバーセキュリティ アプリケーションに合わせた特注モデルを作成することです。このアプローチにより、分析、意思決定、コード AIGC を強化しながら、サイバーセキュリティの知識ベースの拡張が促進されます。
大規模言語モデル自体のセキュリティ
AI モデルが直面する脅威は従来のサイバー脅威とはまったく異なり、従来のセキュリティ対策を AI モデルの保護に直接適用することは困難です。AI モデルは、以下の脅威に最もさらされています。
プライバシー漏洩とデータ再構築
現在、ChatGPTはユーザーに「プライバシーモード」や「シークレットモード」の手段を提供していません。つまり、ユーザーが共有するすべての会話と個人情報がトレーニングデータとして収集される可能性があるということです。さらに、OpenAIはデータ処理の技術的プロセスをまだ公開していません。
トレーニングデータを保持する機能により、潜在的なリスクが生じます。 プライバシー侵害たとえば、生成モデルが特定のデータセットでトレーニングされると、質問プロセス中に元のコーパスが補足される可能性があります。これにより、モデルがトレーニング セットから実際のデータを再構築できるようになり、データのプライバシーが危険にさらされる可能性があります。
さらに、いくつかの国では、ユーザーデータの使用を監視および規制するためのシステムが不十分であり、セキュリティ上の懸念から一部の国では ChatGPT の使用が禁止されています。この問題に効果的に対処するには、政策と技術対策の組み合わせが不可欠です。
技術的な観点からは、プライベート展開は最も効果的なソリューションであり、エンタープライズ アプリケーションのセキュリティと制御を維持できます。ただし、プライベート モデルを展開するには、モデルを微調整するために必要な人材とコンピューティング能力が必要であり、これはコストのかかる作業になる可能性があります。現在、ほとんどの企業はモデルを微調整するために必要な人材とコンピューティング能力を欠いており、プライベート展開を選択できません。
モデルの盗難
攻撃者は、リクエスト インターフェースの脆弱性を悪用して、機械学習モデルの構造、パラメーター、ハイパーパラメーターを盗むことができます。これにより、攻撃者はターゲット モデルに対してホワイト ボックス攻撃を実行できます。たとえば、攻撃者は ChatGPT への入力として特定のドメインに関連する一連の質問を設計し、知識転送技術を使用して、そのドメインでの ChatGPT の機能を模倣する小さなモデルをトレーニングします。このプロセスを通じて、攻撃者は ChatGPT の特定の機能を盗むことができます。
データ汚染
モデルが最適化のためにユーザーからのフィードバックに依存している場合、攻撃者は継続的に否定的なフィードバックを提供し、将来のモデル バージョンでのテキスト生成の品質に影響を与える可能性があります。
セマンティックインジェクション
このリスクは、ChatGPT が最初に直面した課題の 1 つでした。攻撃者は、微妙な言語を悪用したり、モデルをロールプレイング シナリオに操作したりして、既存のセキュリティ対策や制限を回避し、正確な応答を引き出すことができます。
まとめ
ChatGPT がサイバーセキュリティに与える影響には、良い面と悪い面の両方があります。短期的には、ChatGPT によって攻撃者がサイバー攻撃を実行し、効率性を高めることが容易になります。逆に、防御側が攻撃に効果的に対応するのにも役立ちます。それにもかかわらず、サイバーセキュリティにおける攻撃と防御の性質に根本的な変化はまだもたらされていません。ChatGPT は人間とコンピューターの相互作用シナリオであり、長期的にセキュリティのより深い領域に適用するには、セキュリティ固有のデータ、インテリジェンス、およびディープラーニング モデルとの統合が必要です。この統合により、セキュリティ シナリオに合わせて調整されたセキュリティ指向の GPT が開発され、セキュリティ パラダイムの質的な変化を引き起こす可能性があります。
