점점 더 똑똑해지는 AI CCTV, 서울시 지능형 CCTV 오탐 개선 사례에 대해 알아보자

안녕하세요, 엘제이테크 공식 블로그 Oh!엘제이입니다.

 

서울시가 지능형 CCTV의 오탐지 문제를 AI 학습으로 획기적으로 줄이고, 이를 넘어 생성형 AI 기반 관제로 진화하고 있는 사례를 살펴보겠습니다.

---

"방역차 연기를 화재로, 집주인을 배회자로" — 지능형 CCTV의 한계

지능형 CCTV는 사람을 대신해 영상을 분석하고 위험 상황을 자동으로 감지하는 기술입니다. 그러나 도입 초기부터 명확한 한계가 있었습니다. 기존의 지능형 CCTV는 합성곱신경망(CNN) 기반의 판별형 기술에 의존했는데, 이 기술은 영상 속 이미지의 특징을 추출해 분류하는 데는 강하지만 상황의 맥락을 이해하지 못한다는 근본적인 약점을 안고 있었습니다.

 

그 결과 현장에서는 어이없는 오탐 사례들이 끊이지 않았습니다. 방역차가 뿌리는 연기를 화재로 인식하거나, 자기 집 앞에서 서성이는 집주인을 수상한 배회자로 분류하는 식이었습니다. 아이들이 장난치며 노는 모습을 폭력 상황으로 오인하거나, 운동 중 잠시 주저앉아 쉬는 시민을 쓰러진 사람으로 잘못 판단하는 사례도 빈번했습니다.

 

문제는 단순히 '오탐이 우습다'는 데서 끝나지 않습니다. 서울시는 대규모의 CCTV를 운영하고 있는데, 관제요원 1명이 한 번에 수백~수천 대에 달하는 화면을 동시에 확인해야 하는 구조입니다. 이런 상황에서 시스템이 잘못된 알림을 쏟아내면, 관제요원은 정작 중요한 진짜 위험 신호를 놓칠 위험이 커집니다. 오탐이 누적될수록 관제 시스템 전체의 신뢰도와 실효성이 떨어지는 악순환이 발생하는 것입니다.

---

4개월의 집중 학습 — 정확도 36%에서 71%로

서울시는 이 문제를 그대로 두지 않았습니다. 2025년 9월 기준 서울시는 11만 5천 대의 CCTV를 운영하고 있었고, 관제요원 1명이 평균 1,199대의 화면을 확인해야 하는 구조였습니다. 이러한 한계를 극복하기 위해 서울시는 산·학·연과 자치구가 함께 참여하는 '지능형 CCTV 활성화 계획'을 수립하고, 맞춤형 이벤트 설정, 오탐 데이터 학습, 사물과 사람을 구분하는 학습 등을 집중적으로 추진했습니다.

 

성과는 예상보다 빠르게 나타났습니다. 불과 4개월간의 집중 학습만으로 지능형 CCTV의 상황 판별 정확도는 36%에서 71%로 거의 두 배 가까이 향상됐습니다. 관제요원이 실제로 의미 있는 이벤트를 확인하는 비율도 37%에서 82%로 크게 높아졌습니다. 서울시는 이 학습 과정을 두고 "지능 수준을 기존의 1세 옹알이 단계에서 5세 어린이 수준까지 끌어올렸다"고 설명했습니다. 개가 엎드려 있어도 더 이상 쓰러진 사람으로 오인하지 않고, 사물과 동물과 사람을 정확히 구분해 판단할 수 있는 수준에 도달한 것입니다.

 

이러한 성과는 단순한 기술적 개선에 머물지 않았습니다. 같은 기간 범죄 발생률은 5% 감소했고 검거율은 4% 향상됐습니다. 시민이 체감하는 안전 수준을 나타내는 약자동행지수도 21% 증가했습니다. 정확도가 높아지면서 실제 사건 처리 건수도 약 6배 이상 늘어났는데, 이는 그동안 오탐에 묻혀 놓치고 있던 진짜 위험 상황들을 시스템이 정확히 짚어내기 시작했다는 의미입니다.

 

이 같은 성과를 인정받아 서울시는 전국 지방자치단체를 대상으로 한 '제30회 정보통신 우수사례 발표대회'에서 대통령상(최우수상)을 수상했습니다.

---

1년 후, 정확도는 다시 81%로

 

[이미지 출처]: 경향신문

 

서울시는 수상 이후에도 학습을 멈추지 않았습니다. 약 1년간 오탐 데이터를 추가로 집중 학습시키고, 자치구별 환경과 사건 특성을 반영한 맞춤형 데이터 고도화를 이어갔습니다.

 

그 결과 지능형 CCTV의 판별 정확도는 81%까지 추가로 개선됐습니다. 관제 효율을 떨어뜨리던 불필요한 오탐 알림 역시 월 454만 건에서 35만 건으로 대폭 줄었습니다. 이는 약 13분의 1 수준으로 감소한 것으로, 관제요원들이 실제 위험 상황에 훨씬 집중할 수 있는 환경이 마련됐다는 뜻입니다.

 

이 개선의 효과는 실제 현장에서도 확인됐습니다. 2025년 12월 종로구에서는 지능형 CCTV가 환풍구 위에 쓰러져 있던 시민을 '쓰러짐' 상황으로 자동 탐지했습니다. 관제요원은 이 알림을 즉시 확인하고 112에 신고했고, 신속한 현장 조치를 통해 해당 시민은 무사히 귀가할 수 있었습니다. 정확도 개선이 실제로 사람의 생명을 지키는 골든타임 확보로 이어진 사례입니다.

---

다음 단계 — 상황을 '이해'하는 생성형 AI 관제

서울시는 여기서 한 걸음 더 나아가고 있습니다. 기존의 지능형 CCTV는 '이상이 있는지 없는지' 판별하는 데 그쳤다면, 앞으로는 '왜 이상한지, 어떤 맥락인지'를 설명할 수 있는 단계로 진화시키겠다는 계획입니다.

 

이를 위해 서울시는 2026년 '지능형 CCTV 고도화 사업'에 총 271억 원을 투입합니다. 이 예산은 CCTV 신규 설치, 저화질 노후 CCTV 교체, 지능형 전환 등을 포함해 지능형 CCTV 8,536대 규모의 인프라 확충에 사용됩니다.

 

특히 핵심은 소형 언어모델(sLLM) 기반의 생성형 AI를 접목하는 시범사업입니다. 기존 객체 인식 중심의 단순 판별을 넘어, 위험 상황의 전후 맥락을 종합적으로 분석하고 대응 우선순위와 판단 근거까지 함께 제시하는 '맥락 인지형 관제' 체계를 구현하겠다는 구상입니다. 서울시는 2026년 1개 자치구를 대상으로 시범사업을 우선 추진해 운영 모델을 정립한 뒤, 성과 분석을 거쳐 전체 25개 자치구로 단계적으로 확대할 계획입니다.

 

강옥현 서울시 디지털도시국장은 "지능형 CCTV는 이제 단순한 감시를 넘어 상황을 읽고 문맥을 이해하는 생성형 AI 관제로 진화하고 있다"며 "오탐을 줄이고 대응 속도를 높여 시민의 골든타임을 지키며, 가장 안전한 도시 서울을 만들어 가겠다"고 밝혔습니다.

---

CCTV 대수보다 중요한 것 — '정확하게 보는 능력'

이번 사례가 시사하는 바는 분명합니다. CCTV의 가치는 단순히 몇 대를 설치했느냐가 아니라, 그 영상을 얼마나 정확하게 해석하고 빠르게 대응할 수 있느냐에 달려 있습니다. 서울시는 CCTV 설치 대수를 늘리는 양적 확충의 시대를 지나, AI 학습을 통해 관제의 질을 높이는 단계로 들어섰습니다.

 

관제요원 한 명이 감당할 수 있는 화면의 수는 물리적으로 한계가 있습니다. 결국 그 한계를 보완하는 것은 정확하게 판단하는 AI 기술입니다. 오탐을 줄이는 것은 단순히 시스템의 편의를 위한 것이 아니라, 진짜 위험 신호를 놓치지 않기 위한 핵심 조건입니다.

---

정리하며

서울시의 사례는 지능형 CCTV가 단순한 감시 장비에서 시민의 안전을 실질적으로 지키는 정교한 시스템으로 발전해가는 과정을 잘 보여줍니다. 정확도 36%에서 시작해 71%, 그리고 81%까지. 그 숫자 하나하나에는 오탐으로 놓칠 뻔했던 진짜 위험 상황을 더 정확히 짚어내려는 꾸준한 노력이 담겨 있습니다.