현대 사회에서 사이버 위협은 기업과 개인의 안전을 심각하게 위협하는 문제로 부상하고 있습니다. 이에 따라 보안 인공지능은 더욱 중요한 역할을 수행하고 있으며, 다양한 산업 분야에서 활용되고 있습니다. 이 글에서는 보안 인공지능이 필요한 이유와 적용된 기술, 실제 적용 사례, 그리고 장점과 한계에 대해 다루어보려 합니다.
보안 AI 인공지능이 필요한 이유
오프라인 위험 대응
보안 인공지능은 오프라인에서 벌어질 수 있는 더 많은 위험에 대응할 수 있습니다. 예를 들어 CCTV 영상을 모니터링하거나 경보에 대응하는 등, 현재 보안 요원이 수행하는 많은 작업을 자동화하는 데에 사용할 수 있습니다. 범죄가 발생할 가능성이 있는 장소와 시간 등 잠재적인 위험을 예측하여 정보를 주기도 하죠. 또한 비즈니스의 특정 요구사항에 맞게 보안 경고를 맞춤 설정하거나, 개인의 위험 프로필에 맞는 보안 조치를 추천 받을 수 있습니다.
사이버 보안 위협 대응
최근 오프라인의 위험 뿐만 아니라 사이버 공간에서의 위협도 많은 문제점으로 대두되고 있습니다. 수없이 많은 사이버 보안 위험 사례를 처리하기 위해서는 많은 인력이 필요합니다. 그러나 이것이 가능한 전문 인력이 부족할 경우, 기업별로 보안 격차가 드러날 수밖에 없습니다. 따라서 보안 툴에 AI를 적용하여 확장 가능한 솔루션을 구축하면, 이러한 문제점을 극복할 수 있습니다.
또한 위험 자동 탐지나 위험에 대한 자동 대응, 소프트웨어 패치 또는 업데이트 등의 반복적인 작업을 자동화하면 인간의 작업 시간을 축소할 수 있게 됩니다. AI는 대량의 데이터를 실시간 분석하는 데에 특화되어 있기 때문에, 이를 기반으로 인간 분석가보다 더 빠르고 정확하게 잠재적인 위험을 식별할 수 있죠.
👉데이터 관리부터 머신러닝 시스템 개발과 서비스 운영을 하나의 서비스로 제공하는 MLOps란?
보안 AI 활용 기술
그렇다면 보안 인공지능에는 어떤 기술이 적용되고 있을까요?
- 통계적 분석 (Statistical analysis)
AI는 시스템 또는 네트워크의 사용자 활동 패턴을 분석하여 정상적인 동작과 비교합니다.
이를 위해 대량의 데이터가 필요하며, 일반적으로 평균, 표준편차, 분산 등의 통계적 지표를 사용하여 정상 범위를 설정합니다.
그런 다음 실시간으로 들어오는 데이터와 비교하여 이상 혹은 비정상적인 패턴을 감지합니다. - 머신러닝 (Machine learning)
AI 모델은 사전에 학습된 데이터를 기반으로 이상 행위를 탐지하는 데 사용됩니다.
예를 들어, 로그인 패턴, 파일 액세스 패턴, 네트워크 트래픽 패턴 등과 같은 데이터로 모델이 학습됩니다.
학습된 모델은 새로운 입력 데이터에 대해 예측을 수행하고, 이러한 예측 결과에서 이상한 동작을 식별합니다. - 심층 학습 (Deep Learning)
딥 러닝은 다층 신경망을 사용하여 복잡한 패턴 인식과 분류 작업을 수행합니다.
데이터의 다양한 특징과 패턴을 자동으로 학습하고, 이를 기반으로 이상 행위를 탐지합니다.
예를 들어, 신경망은 네트워크 트래픽 데이터를 입력으로 받아 정상적인 패턴을 학습하고, 새로운 데이터에서 이와 다른 패턴을 감지하여 이상 행위로 분류할 수 있습니다.
오프라인 보안 활용 기술
현대의 보안은 크게 온라인과 오프라인 상황으로 구분할 수 있습니다. 예를 들어, 오프라인 보안에 활용되는 기술은 사람보다 더 빠르고 정확하게 물리적인 위험을 감지하고 대응할 수 있게 합니다.
- 동작 기반 감시 (Behaviour-based surveillance)
AI는 시스템의 사용자나 애플리케이션의 동작을 실시간으로 모니터링하여 이상 행위를 탐지할 수 있습니다.
예를 들어, 특정 프로세스가 예상되는 동작 패턴을 벗어나거나, 비인가된 시스템 변경이 감지될 경우 AI 시스템은 이를 이상 행위로 판단하고 경고 또는 차단 조치를 취할 수 있습니다. - 얼굴, 물체 및 이벤트 인식 (Facial, Object, and Event Recognition)
아무리 영상을 잘 녹화하더라도 사건 발생 중이나 발생 후 특정 이벤트, 사물 또는 사람을 식별하는 것은 매우 어려운 일입니다. 바로 이 점이 AI 보안 및 감시 솔루션이 필요한 이유죠. 이러한 솔루션은 얼굴, 사물, 이벤트를 쉽게 인식할 수 있을 뿐만 아니라 실시간 전달과 사전 예방적 보안을 촉진합니다.
이외에도, AI를 적용한 보안 솔루션은 얼굴이 없는 상태에서도 인식할 수 있습니다. 예를 들면 키, 성별, 혹은 옷이나 자세와 같은 사람의 신체적 특징을 가지고 사람을 식별하는 것이죠. 또한 활동 패턴을 인식하여 안전한 환경을 장려하면서, 범죄나 비정상적인 행동이 발생하는 것을 감지할 수 있습니다.
👉 객체 인식 (Object detection) 대표 모델 YOLO 란 무엇인가?
온라인 사이버 보안 활용 기술
패턴 및 시그니처 기반 탐지 (Pattern and signature-based detection)
AI는 사전에 알려진 악성 코드, 사이버 공격 및 다른 보안 위협에 대한 패턴과 시그니처 데이터베이스와 비교하여 이상 행위를 감지합니다. 이러한 데이터베이스는 지속적으로 업데이트되며, 새로운 위협에 대한 정보가 추가됩니다.
보안 AI 인공지능 적용 사례
클라우드 환경의 사이버 보안 - Google
Google은 자체 보안 인텔리전스 시스템을 구축하여 악성 소프트웨어와 행동 패턴을 인식하고 차단하는 데에 AI와 머신러닝을 활용합니다.
Google Security Command Center는 TensorFlow 기반의 보안 솔루션입니다. 사용자의 클라우드 환경을 지속적으로 모니터링하여 이상 행위를 탐지하고, 보안 위협에 대응할 수 있습니다. 또한 사용자 환경에서 보안 문제를 감지하기 위해 Event Threat Detection 및 Security Health Analytics와 같은 서비스를 사용합니다. 이러한 서비스는 Google Cloud에서 로그 및 리소스를 스캔하여 위협 표시기, 소프트웨어 취약점, 잘못된 구성을 찾을 수 있습니다.
시각 AI 기술로 구현한 CCTV - UST 연구진
대한민국은 열악한 보안 인력 문제로, CCTV가 있어도 위험 상황에 즉각 대응하기에는 어렵다는 고질적인 문제를 앓고 있었습니다. 그러나 작은 인력으로도 이상행동을 감지할 수 있는 지능형 CCTV가 개발되면서, 이를 극복할 수 있을 것으로 기대되고 있습니다.
과학기술연합대학원대학교(UST) 한국전자통신연구원(ETRI)에서 개발한 지능형 CCTV는 다수의 이상상황을 복합적으로 검출, 판단할 수 있는 통합 프레임워크 기술이 적용되었습니다. 여기에는 시각 인공지능과 언어 인공지능을 결합한 방식으로 컴퓨터가 시스템 경험에 근거하여 정보를 스스로 조합해 결과를 유추하는 ‘제로샷 학습(Zero-shot Learning) 기법’이 적용되었습니다. 궁극적으로 추론 과정에서 탐지 상황을 설정하고 분석하는 인공지능(AI) 기술로 빅데이터 구축 시간과 비용, 기술응용 효율성을 높였다고 하죠.
👉 Foundation Model 기반으로 적은 데이터로 학습시키는 few-shot learning에 대해
그간 지능형 CCTV는 이미 많은 제품이 있었지만, 이 모델이 특별한 이유는 따로 있습니다. 바로 한국인터넷진흥원(KISA)의 일곱 가지 지능형 CCTV 인증 영역인 ‘배회, 침입, 쓰러짐, 싸움, 유기, 방화, 마케팅’ 부문을 모두 통과한 국내 유일의 기술이기 때문입니다. 또한 세계 최대의 3차원 시각 데이터셋(DB)인 싱가포르 난양공대(NTU)의 ‘RGB+D’ 기준 성능평가에서도 94.66%의 행동인식률을 도출할 수 있었습니다. 이를 통해 세계 최고 수준의 이상행동 감지 정확도를 가진 것을 증명할 수 있었습니다. 특히, 안개, 눈, 야간 등 다양한 외부 환경에도 사람의 움직임과 이상행동을 정확히 감지할 수 있다고 하죠.
보안 AI의 한계
보안 인공지능은 현대 사회에서 증가하는 사이버 위협에 대응하기 위해 많은 기업과 조직에서 채택하고 있는 중요한 도구입니다. 그러나 이러한 기술도 자체적인 한계와 도전 과제를 가지고 있습니다. 보안 인공지능의 발전과 함께 우리는 그 한계점을 이해하고 극복하기 위해 지속적인 연구와 개발이 필요함을 알아야 합니다.
한계 1. 기술적인 한계
보안 인공지능은 많은 장점과 혁신적인 기회를 제공합니다. 그러나 기술적인 한계도 여전히 가지고 있습니다.
- 데이터 중독
인공지능 모델은 훈련을 위해 대규모 데이터 세트에 크게 의존합니다. 만약 학습자가 악의적인 의도를 가지고 있거나, 조작된 데이터를 주입할 수 있다면 AI 시스템의 성능과 동작에 영향을 미칠 수 있습니다. 이로 인해 편향되거나 부정확한 결과가 발생하여, 시스템이 취약해지거나 신뢰할 수 없게 됩니다. - 의도하지 않은 결과
AI 시스템은 편견을 포함하거나 사회적 편견을 반영할 수 있는 과거의 데이터를 기반으로 훈련됩니다. 이러한 편견이 적절하게 해결되지 않으면, 인공지능은 차별이나 불공정한 관행을 영속화하여 사회적, 윤리적 문제를 야기할 수 있습니다. - 설명 가능성 부족
딥러닝 신경망과 같은 일부 AI 알고리즘은 매우 복잡하고 해석하기 어려워 ‘블랙박스’라고 불리기도 합니다. 설명 가능성이 부족하면 AI 시스템이 어떻게 결정을 내리는지 이해하기 어려워질 수 있습니다. 이는 잠재적인 보안 위협을 효과적으로 탐지하고 대응하는 능력을 방해할 수 있습니다.
한계 2. 생성 AI의 발전과 맞물린 AI 보안 취약 문제
AI 기술의 발전은 보안 업계에 양날의 검으로 작용하고 있습니다. 특히, ChatGPT와 같은 Generative AI 분야에서 그 영향이 두드러지게 나타납니다. ChatGPT는 보안 취약점을 찾거나 해킹에 활용할 수 있는 소스 코드를 생성하는 등 악용될 수 있는 가능성을 가지고 있습니다.
ChatGPT와 같은 Generative AI 모델은 직접적인 악성 코드 제작법이나 맬웨어 개발과 같은 질문에 대해서는 거부하는 경향이 있습니다. 그러나 프롬프트 엔지니어링 기법을 사용하여 원하는 답변을 얻거나 해킹에 도움이 되는 코드를 생성하려는 해커들의 시도가 빈번하게 발생하고 있습니다. 이 모델들은 명시적인 질문에 대해서만 거부하지만 여전히 해커들의 요구를 우회하여 악용될 수 있는 정보를 생성할 가능성이 남아있기 때문입니다.
따라서 Generative AI의 발전으로 인해 대두된 보안 인공지능 취약 문제는 다음과 같습니다.
- 악성 코드 및 해킹 도구 제작에 활용될 수 있는 정보 생성 가능성
- 프롬프트 엔지니어링과 같은 기법으로 정상적인 질문에서 벗어난 정보 유출 우려
- 반대로 Generative AI 모델 자체가 해결 방법 및 분석 도구로 사용될 가능성
물론 반대로 Generative AI 모델을 해킹 분석 도구로 활용할 수도 있습니다. 이제 많은 국내 보안 기업들도 다양한 방식으로 AI 기술을 활용하기 위해 노력하고 있습니다.
결론: AI에 대해 높은 이해도를 가진 기업만이 보안 인공지능의 취약점을 극복할 수 있습니다.
보안 인공지능의 취약점을 극복하기 위한 하나의 방법으로 최근 ‘AI 레드팀’이 주목 받고 있습니다. 2018년 출범한 Microsoft AI 레드팀은 AI 시스템 취약점을 식별하고 대응하는 방법을 연구하고 있습니다. 2020년에는 산학 협력을 통해서 AI 시스템 위협을 탐지 및 대응, 완화할 수 있는 SW 툴을 구축하는 데에 성공했죠. 같은 해에는 AI 시스템 보안을 자동으로 테스트하는 툴도 오픈소스로 공개했습니다. 올해 초에는 ‘AI 보안 스캐너’를 깃 허브에 공개하면서 왕성하게 활동하고 있습니다.
구글 AI 레드팀은 AI 알고리즘을 정치적 목적으로 악용하지 못하게 하는 프로젝트를 수행하고 있습니다. 마찬가지로 OpenAI 역시 기존 ChatGPT에 탑재된 GPT-3.5 모델이 해킹과 같은 악용에 취약했음을 인식하고, 이를 극복하기 위해 관련 데이터셋과 알고리즘을 수정하고 있습니다. 글로벌 빅테크 기업에서 ‘AI 레드팀’을 운영하는 것은 드라마틱한 일을 해내던 AI라고 해도, 사람의 꾸준한 연구와 개발이 필요하다는 점을 시사하고 있습니다.
보안 AI의 약점과 한계를 극복하기 위해서는 학습 데이터에 대한 이해가 필요합니다. 보안 인공지능은 특히 학습 데이터의 무결성에 많은 영향을 받습니다. 따라서 AI 모델을 학습시킬 때, 데이터의 다양성과 대표성을 고려하여 학습 데이터를 구축하는 작업이 필요합니다. 또한 라벨링된 데이터의 정확성과 일관성을 유지하는 것에 중점을 두어야 합니다.
또한 우수한 보안 인공지능을 구축하기 위해서는 AI 기반 비즈니스 모델에 대한 이해와 협력이 필요합니다. ‘AI 레드팀’처럼, 인공지능에 사람의 손길이 필요하다는 점을 인지하고 전문 인력의 관리와 개발을 이어나가야 합니다. 따라서 보안 인공지능을 제대로 활용하기 위해서는, 새로운 알고리즘과 기술 도입에 추가적으로 대응하여 최신 동향을 반영하고, 보안 위협에 대응하기 위한 AI 모델의 성능과 정확도를 지속적으로 향상시켜야 합니다. 데이터헌트 역시 보안 AI의 무궁무진한 발전을 기대하며 이를 준비하고 있습니다.
다양한 산업에 AI 활용 콘텐츠
- 건축 AI 인공지능
- 의료 AI 인공지능
- 변호사 AI 인공지능
- 커머스 AI 인공지능
- 교육 AI 인공지능
- 금융 AI 인공지능
.webp)
.svg)
