출시 이후 ChatGPT가 온라인에서 화제를 불러일으켰다고 말하는 것은 다소 절제된 표현일 수 있으며, 사이버 보안에서 대규모 언어 모델과 AI의 기능을 보여주는 것은 이러한 혁신이 관심과 우려를 동시에 불러일으킨 영역 중 하나였습니다.
AI가 사이버 보안 환경에 미치는 영향에 대한 논의는 아직 중단되지 않았으며 당연히 그렇습니다. AI는 기업 보안 운영자가 사이버 보안 솔루션을 강화하고 위협 분석 속도를 높이며 취약성 해결을 가속화하는 데 도움이 될 뿐만 아니라 해커에게 보다 복잡한 사이버 공격을 실행할 수 있는 수단을 제공합니다. 이러한 다면적인 영향으로 인해 논의와 결과가 매우 복잡해집니다. 설상가상으로 AI 모델을 직접적으로 보호하기에는 전통적인 보안 조치가 부족한 경우가 많으며, AI 자체의 보안은 대중에게 블랙박스로 남아 있습니다.
이 주제를 자세히 다루기 위해 이 문서에서는 세 가지 주요 영역을 자세히 살펴보겠습니다.
- ChatGPT를 포함한 대규모 언어 모델이 사이버 공격을 강화하는 방법
- AI가 사이버 보안 방어를 강화하는 방법
- 대규모 언어 모델 자체의 보안
사이버 공격 강화
먼저 ChatGPT와 같은 대규모 언어 모델이 사이버 보안 공격의 가능성과 빈도를 활성화하는 데 어떤 역할을 할 수 있는지부터 살펴보겠습니다.
사이버 공격에 사용되는 LLM(대형 언어 모델)은 주로 다음에 중점을 둡니다.
- 사이버 보안 도구를 사용하는 방법을 습득하고, 취약점을 악용하는 방법을 식별하고, 악성 코드를 작성하는 이 모든 것이 공격자의 지식 기반 역할을 합니다.
- LLM의 프로그래밍 기능을 활용하여 회피를 목표로 악성 코드를 모호하게 합니다.
- 대량 자동화 피싱 이메일 사회 공학 공격 또는 사용자 정보를 기반으로 사회 공학 사전 생성.
- 코드 감사, 취약점 마이닝, 테스트, 오픈 소스 또는 유출된 소스 코드 활용을 수행합니다.
- 단일 지점 공격 도구를 결합하여 보다 강력하고 복잡한 다지점 공격 형성
대규모 언어 모델의 자동화된 생성 기능은 침입의 기술적 한계점과 구현 비용을 낮추고 잠재적인 위협의 수를 증가시켜 보안 위반의 효율성에 큰 영향을 미친다는 것은 분명합니다.
이는 LLM이 공격자의 아이디어를 신속하게 코드로 쉽게 변환할 수 있기 때문에 LLM이 도움이 되는 것보다 사이버 보안에 더 큰 위협을 가한다는 합의로 이어졌습니다. 이전에는 회피 기능이 있는 제로데이 익스플로잇을 개발하는 데 3~10일 또는 심지어 몇 주가 소요될 수 있었지만 LLM의 자동 생성 기능을 활용하면 이 프로세스가 크게 단축됩니다. 새로 발견된 취약점을 무기화하는 시간이 단축되어 사이버 공격 능력이 동시에 발전할 수 있습니다.
또한 오픈 소스 코드에 대한 ChatGPT의 자동화된 감사 및 취약점 마이닝 기능을 활용하면 공격자가 여러 가지를 마스터할 수 있습니다. 제로데이 취약점 더 저렴한 비용으로 빠르게. 일부 고도로 전문화된 오픈 소스 시스템은 기업에서 널리 사용되지 않습니다. 따라서 이러한 시스템의 취약점을 악용하는 것은 공격자에게 비용 효율적이지 않습니다. 그러나 ChatGPT는 이러한 상황을 바꾸어 공격자의 제로데이 탐색 초점을 널리 사용되는 오픈 소스 소프트웨어에서 모든 오픈 소스 소프트웨어로 전환합니다. 결과적으로, 보안 침해를 거의 경험하지 않는 특정 전문 분야가 방심할 수 있다는 것은 상상할 수 없는 일이 아닙니다.
마지막으로, 대규모 언어 모델을 사용하면 언어 장벽이라는 장애물을 훨씬 더 쉽게 탐색할 수 있습니다. 이는 사회 공학 및 피싱이 이러한 도구의 주요 용도일 수 있음을 의미합니다. 피싱 공격이 성공하려면 매우 사실적인 콘텐츠가 필요합니다. AI 생성 콘텐츠(AIGC)를 통해 현지화된 다양한 표현이 포함된 피싱 이메일을 대규모로 빠르게 생성할 수 있습니다. ChatGPT의 롤플레잉 기능을 활용하면 다양한 인물의 이메일을 쉽게 구성하여 콘텐츠와 어조를 더욱 사실적으로 만들어 식별의 어려움을 크게 높이고 피싱 캠페인의 성공률을 높일 수 있습니다.
요약하면 생성 AI 기술은 사이버 범죄에 대한 진입 장벽을 낮추고 기업의 기존 위험 프로필을 강화하지만 지나치게 걱정할 필요는 없습니다. ChatGPT는 기업에 새로운 보안 위협을 가하지 않으며 전문 보안 솔루션은 현재 위협에 대응할 수 있습니다.
보안 방어 강화
분명히 대규모 언어 모델의 잠재적인 용도는 사용자에 따라 다릅니다. 사이버 공격을 강화할 수 있다면 사이버 보안 방어도 강화할 수 있습니다.
AI 및 대규모 언어 모델은 다음과 같은 방식으로 엔터프라이즈 수준의 보안 운영을 강화할 수 있습니다.
- 온라인 보안 운영과 관련된 지식을 습득하고 이러한 보안 사고에 대한 대응 자동화를 개선합니다.
- 자동 스캔을 수행하여 코드 수준에서 모든 취약점을 감지하고 완화 권장 사항과 함께 발견된 문제를 자세히 설명하는 보고를 제공합니다.
- 보안 운영 관리 프로세스를 지원하는 코드 생성에는 스크립트 생성 및 보안 정책 명령 생성이 포함됩니다.
그러나 전체 보안 시스템의 효율성은 가장 약한 링크로 인해 방해를 받아 단일 취약성 지점만 식별하면 성공하는 공격자의 악용에 취약해집니다. 또한 XDR(확장 탐지 및 대응), SIEM(보안 정보 및 이벤트 관리), SOC(보안 운영 센터) 및 상황 인식의 발전에도 불구하고 방대한 양의 보안 데이터에 대한 상관 관계 분석은 여전히 어려운 과제로 남아 있습니다. 상황 기반 분석과 다중 모드 매개변수 전이 학습은 이 문제를 해결하는 효과적인 방법입니다. ChatGPT가 출시된 이후 많은 보안 연구원과 기업이 이 분야에서 로그 및 데이터 스트림 형식 구문 분석에 대한 명확한 프레임워크를 제공하려는 시도를 해왔습니다. 그러나 상관관계 분석과 비상대응 시도에서는 그 과정이 다소 번거롭고 대응의 신뢰성에 대한 추가 검증이 필요하다. 따라서 대규모 언어 모델이 기업 보안 운영, 특히 자동화된 생성 기능에 미치는 영향은 사이버 공격 촉진에 대한 잠재적 영향에 비하면 미미합니다.
현재 제너레이티브 AI의 특성상 전문적인 사이버보안 분석과 비상대응이 필요한 상황에는 적합하지 않다는 뜻이다. 이상적인 접근 방식은 최신 GPT-4 모델의 성능을 활용하고, 미세 조정을 위한 컴퓨팅 플랫폼을 활용하고, 추가 교육을 실시하고, 사이버 보안 애플리케이션에 맞는 맞춤형 모델을 제작하는 것입니다. 이 접근 방식은 분석, 의사 결정 및 코드 AIGC를 강화하는 동시에 사이버 보안 지식 기반의 확장을 촉진합니다.
대규모 언어 모델 자체의 보안
AI 모델이 직면한 위협은 전통적인 사이버 위협과 완전히 다르며, 기존 보안 조치는 AI 모델 보호에 직접 적용하기 어렵습니다. AI 모델은 다음과 같은 위협에 가장 취약합니다.
개인정보 유출 및 데이터 재구성
현재 ChatGPT는 사용자에게 "개인 정보 보호 모드" 또는 "시크릿 모드" 수단을 제공하지 않습니다. 이는 사용자가 공유하는 모든 대화와 개인 정보가 훈련 데이터로 수집될 수 있음을 의미합니다. 게다가 OpenAI는 아직 데이터 처리에 대한 기술적 프로세스를 공개하지 않았습니다.
훈련 데이터를 유지하는 능력은 다음과 같은 잠재적인 위험을 야기합니다. 개인정보 침해. 예를 들어, 생성 모델이 특정 데이터세트에 대해 학습되면 질문 프로세스 중에 원본 코퍼스를 보완할 수 있습니다. 이는 모델이 훈련 세트에서 실제 데이터를 재구성할 수 있게 하여 데이터의 개인 정보 보호를 위태롭게 할 수 있습니다.
또한 일부 국가에서는 사용자 데이터 사용을 모니터링하고 규제할 수 있는 시스템이 부족하여 보안 문제로 인해 특정 국가에서는 ChatGPT 사용이 금지되었습니다. 이 문제를 효과적으로 해결하려면 정책과 기술 조치의 조합이 필수적입니다.
기술적인 관점에서 프라이빗 배포는 엔터프라이즈 애플리케이션이 보안과 제어를 유지하도록 보장하는 가장 효과적인 솔루션입니다. 그러나 프라이빗 모델을 배포하려면 기업에 이를 미세 조정하는 데 필요한 인재와 컴퓨팅 능력이 필요하며, 이는 비용이 많이 드는 작업이 될 수 있습니다. 현재 대부분의 기업에는 모델을 미세 조정하는 데 필요한 인재와 컴퓨팅 능력이 부족하여 프라이빗 배포를 선택하지 못하고 있습니다.
모델 도난
공격자는 요청 인터페이스의 취약점을 악용하여 기계 학습 모델의 구조, 매개 변수 및 하이퍼 매개 변수를 훔칠 수 있습니다. 이를 통해 대상 모델에 대해 화이트박스 공격을 실행할 수 있습니다. 예를 들어 공격자는 ChatGPT에 대한 입력으로 특정 도메인과 관련된 일련의 질문을 설계한 다음 지식 전달 기술을 활용하여 해당 도메인에서 ChatGPT의 기능을 모방하는 더 작은 모델을 교육할 수 있습니다. 이 과정을 통해 공격자는 ChatGPT의 특정 기능을 훔칠 수 있습니다.
데이터 중독
모델이 최적화를 위해 사용자 피드백에 의존하는 경우 공격자는 지속적으로 부정적인 피드백을 제공하여 향후 모델 버전의 텍스트 생성 품질에 영향을 미칠 수 있습니다.
의미 주입
이 위험은 ChatGPT가 직면한 초기 문제 중 하나였습니다. 공격자는 미묘한 언어를 활용하거나 모델을 롤플레잉 시나리오로 조작하여 기존 보안 조치 및 제한 사항을 우회하여 정확한 대응을 이끌어낼 수 있습니다.
요약
ChatGPT가 사이버 보안에 미치는 영향은 긍정적인 영향과 부정적인 영향을 모두 갖습니다. 단기적으로 ChatGPT를 사용하면 공격자가 사이버 공격을 더 쉽게 수행하고 효율성을 높일 수 있습니다. 반대로 방어자가 공격에 보다 효과적으로 대응하는 데에도 도움이 됩니다. 그럼에도 불구하고 사이버보안의 공격과 방어의 성격에는 아직 근본적인 변화가 이루어지지 않고 있다. ChatGPT는 인간-컴퓨터 상호 작용 시나리오이며, 장기적으로 더 깊은 보안 영역에 적용하려면 보안 관련 데이터, 인텔리전스 및 딥 러닝 모델과의 통합이 필요합니다. 이러한 통합은 보안 시나리오에 맞게 조정된 보안 지향 GPT를 개발하여 잠재적으로 보안 패러다임의 질적 변화를 촉발할 것입니다.
