지난 주 미국의 공격으로 촉발된 미국-이란-이스라엘 전쟁은 여러 가지 면에서 충격적이다. 아무리 마음에 안 든다고 하더라도 한 나라의 지도자를 정치 외교적 방법이 아니라, 살상무기 공격으로 무참히 살해하는 것이 21세기 문명시대에 맞는지 의문이고, 실수든 오작동이든 이란의 어느 초등학교를 공격하여 165명이 어린이를 사망케 한 것도 아연실색하게 한다.
전쟁에 깊숙이 개입하는 AI
또 다른 전쟁 양상의 큰 변화는 AI 기술이 전쟁에 깊숙이 연결되고 있다는 점이다. 최근 미국에서는 AI 정책 결정에서 상징적인 사건이 벌어졌다. AI 안전을 핵심 가치로 내세워 온 앤트로픽(Anthropic)사와 트럼프 행정부 사이의 갈등이다. 앤트로픽사는 자사 모델 클로드(Claude)의 사용 범위를 두고 대량감시나 완전 자율살상무기 체계에 활용되는 것에 강한 제한을 두려 했고, 정부는 국가안보 목적의 폭넓은 활용 가능성을 열어두는 정책을 시행하려고 한 것이다. 급기야, 트럼프 행정부는 앤트로픽사를 배제하고, OpenAI와 계약을 하면서 AI 기술을 군사적으로 적극 활용하는 쪽으로 정책을 결정했다.
이 사건은 단순한 기업 간 경쟁이 아니다. AI 기술을 어디까지 허용할 것인가를 둘러싼 정책 방향과 철학의 충돌이었다. 이 사건은 우리에게 중요한 질문을 던진다. 정부가 AI를 활용해 대량감시 체계를 구축하고, 더 나아가 자율살상무기 체계를 운용하려 할 때, 우리는 어떤 기준으로 이를 바라봐야 하는가 ?
대규모 감시 사회
AI 기반 대량감시는 과거의 감시 체계와는 질적으로 다르다. 예전의 감시는 사후적이었다. 기록을 모으고, 영장을 받아 뒤를 추적했다. 그러나 오늘날 AI는 실시간으로 방대한 데이터를 분석한다. 수많은 CCTV 영상, 통신 기록, 금융 거래, 이동 경로가 한데 모여 알고리즘의 계산 대상이 된다. 단순한 저장이 아니라 ‘위험도 평가’와 ‘행동 예측’이 이루어진다. 잠재적 위협을 미리 분류하고, 의심 점수를 매긴다. 시민은 더 이상 익명의 군중이 아니라, 점수화된 데이터 단위가 된다.
정부는 이를 국가안보와 범죄 예방의 도구라고 설명한다. 실제로 테러나 중대 범죄를 예방하는 데 AI 분석이 기여할 가능성은 높다. 문제는 경계선이다. 감시 권한은 한 번 확대되면 되돌리기 어렵다. 그리고 감시 체계는 정권의 성격에 따라 얼마든지 방향을 바꿀 수 있다. 오늘은 테러리스트를 찾기 위해 사용되지만, 내일은 비판적 시민이나 정치적 반대자를 분류하는 데 쓰이지 않는다고 누가 장담할 수 있는가.
AI 로 움직이는 자율살상무기
자율살상무기 체계는 한 걸음 더 나아간다. 인간의 명시적 승인 없이 알고리즘이 표적을 식별하고 공격 결정을 내리는 구조다. 그동안의 전쟁의 역사에서 책임은 항상 인간에게 귀속되어 왔다. 지휘관이 명령을 내렸고, 군인이 방아쇠를 당겼다. 그러나 AI가 판단의 핵심을 차지하면 상황은 달라진다. 기계가 잘못 인식하여 민간인이 희생되었을 때, 그 책임은 누구에게 있는가. 알고리즘을 설계한 기업인가, 이를 배치한 정부인가, 아니면 ‘시스템 오류’라는 말 뒤로 그 책임이 사라질 것인가.
국제사회는 이미 자율살상무기 금지 또는 제한을 둘러싸고 논의를 이어가고 있다. 그러나 현재의 기술 발전 속도는 논의와 합의 속도를 훨씬 앞지르고 있다. 각국은 ‘안보 경쟁’이라는 이름으로 연구를 가속화한다. 상대가 개발할지 모른다는 불안이 스스로의 결정 속도와 확장을 정당화한다. 이 악순환 속에서 인간의 최종 통제 원칙은 점점 희미해질 위험이 있다.
딜렘마와 과제
여기서 정부의 책임은 분명하다. 감시와 무기 운용은 본질적으로 국가 권력의 행사다. 헌법은 국가에 기본권 보호 의무를 부여하고, 국제법은 무력 사용에 엄격한 기준을 요구한다. AI라는 새로운 수단이 등장했다고 해서 그 원칙이 완화될 수는 없다. 오히려 더 강력한 민주적 통제, 의회의 감시, 독립적 감독 기구의 설치가 필요하다. 기술이 복잡해질수록 통제 구조는 더 투명해져야 한다.
기업의 책임 또한 가볍지 않다. AI 모델을 설계하고 학습시키는 주체는 대부분 민간 기업이다. 기업이 정부와 계약을 체결하는 순간, 그 기술은 공권력과 결합한다. ‘우리는 도구를 제공했을 뿐’이라는 말은 충분한 해명이 되지 않는다. 기술이 인권 침해나 무차별적 공격에 사용될 위험을 예측할 수 있었다면, 그 위험을 최소화할 설계와 조건을 마련해야 한다. 내부 윤리 기준, 고위험 사용 제한, 투명한 공개 절차는 선택이 아니라 책임이다.
또한, 이 문제는 정부와 기업만의 영역에만 머물지 않는다. 다수의 국민들은 시민사회의 안정과 공동체 안전을 원한다. 동시에 모든 구성원들이 자유롭게 의사를 표시할 수 있는 표현의 자유를 누리며 사는 사회를 원한다. 편리함과 안전을 위해 일정 부분의 정보 활용과 감시를 허용할 수는 있다. 그러나 그 한계를 묻지 않는다면, 언젠가 그 감시의 대상이 자신이 될 수 있다. 민주주의는 사람들의 무관심 속에서 서서히 약화되고 위협받을 수 있다.
희망과 절망의 혼돈 속에서
AI는 분명 유용하다. 재난 예측, 질병 진단, 산업 효율화 등 긍정적 영역은 무궁무진하다. 문제는 기술 자체가 아니라 사용의 방향이다. 대량감시는 사회의 안전 확보라는 목적 아래 최소한의 범위로 제한되고, 사법적 통제와 독립적 감사 절차를 거쳐야 한다. 자폭 드론 등 자율살상무기는 인간의 최종 승인 원칙을 국제 규범으로 명확히 해야 한다. 기업은 고위험 계약에 대해 사회적 검증을 받을 수 있는 구조를 갖춰야 한다. 시민은 이 문제를 ‘전문가의 영역’으로만 넘기지 말고 공론의 장에서 질문하고 토론해야 한다.
앤트로픽사와 미국 트럼프 행정부의 갈등은 하나의 사례일 뿐이다. 그러나 그 이면에는 더 큰 질문이 있다. AI가 국가 권력과 결합할 때, 우리는 어디까지 허용할 것인가? 안전이라는 이름으로 모든 것을 위임할 것인가? 아니면 책임 있는 통제를 요구할 것인가?
많은 과학기술자들의 믿음처럼, 과학기술은 중립적일 수 있다. 그러나 권력과 결합한 기술은 돌이킬 수 없는 방향을 갖는다. 원자폭탄, 수소폭탄 등 핵무기가 그 대표적 사례다. 그 방향이 자유를 지키는 쪽이 되도록 만드는 것은 제도와 윤리, 그리고 시민들의 각성과 참여다. 지금 이 문제를 진지하게 논의하고 점검하지 않는다면 우리 인류는 파멸의 길로 빠져들 수도 있다.
황상규 칼럼니스트
ESG평가연구소장, ISO26000한국전문가포럼 공동대표, 전 환경운동연합 사무처장, 독일 프랑크푸르트(괴테)대학 환경윤리학 박사 수료, , ‘사회책임의 시대‘(2013) 저자
