[황의 e법칙] 로봇은 인간의 명령에 어떻게 복종할 것인가?

칼럼

[황의 e법칙] 로봇은 인간의 명령에 어떻게 복종할 것인가?

믿을 수 없는 AI 로봇의 안전 원칙
판단은 인간이…AI에 맡겨선 곤란

황상규 칼럼니스트 sangkyu7357@gmail.com
등록 2026.02.12 11:07:12

[엔트로피타임즈 = 황상규 칼럼니스트]

인공지능(AI) 시대에 인공지능과 로봇을 다룬 논의에서 가장 자주 인용되는 원칙 가운데 하나는 ‘로봇은 인간의 명령에 복종해야 한다’는 말이다. 이 문장은 오래전부터 기술 윤리의 상식처럼 받아들여져 왔다. 인간이 주체이고, 로봇은 도구라는 위계를 명확히 하는 선언처럼 보이기 때문이다. 그러나 인공지능이 사회의 의사결정 과정 깊숙이 들어온 오늘의 현실에서 이 문장은 더 이상 문제를 해결하지 못한다. 오히려 아무 말도 하지 않는 문장, 혹은 모순을 은폐하는 선언에 가깝다.

현실은 그렇게 단순하지 않다

현실의 인간 사회는 그렇게 단순하지 않다. 인간의 명령은 언제나 하나가 아니며, 언제나 일치하지도 않는다. 같은 명령이라도 그 맥락에 따라 그 의미가 다르기도 하다. 다수의 판단과 소수의 권리는 끊임없이 충돌하고, 현재의 안전과 미래의 위험은 서로 다른 방향을 가리키기도 한다. 자유를 지키는 선택이 불안을 키우기도 하고, 안전을 확보하는 선택이 권리를 침해하기도 한다. 이 복잡한 갈등이 바로 인간 사회의 본질이다. 그런데 “로봇은 인간의 명령에 복종해야 한다”는 문장은 이 복잡성을 전혀 다루지 않는다.

가장 먼저 드러나는 문제는 ‘어떤 인간의 명령인가’라는 질문이다. 개인의 명령인가, 다수결로 결정된 명령인가, 국가 권력이 내린 명령인가, 아니면 알고리즘이 평균화한 인간의 선호인가. 인간 사회에서 명령은 언제나 정치적 맥락을 가진다. 명령을 내릴 권한 자체가 권력이며, 그 권력은 항상 논쟁의 대상이 된다. 로봇이 명령에 복종해야 한다고 말하는 순간, 우리는 정작 중요한 질문을 미뤄둔다. 누구의 명령이 정당한가라는 질문이다.

두 번째 문제는 ‘인간에게 해를 가한다’는 기준이다. 해(害)란 무엇인가. 신체적 폭력만이 해인가, 아니면 감시와 통제, 표현의 제한, 이동의 제한도 해에 포함되는가. 범죄를 예방하기 위해 사전에 자유를 제한하는 것은 해인가 아닌가. 감염병 확산을 막기 위해 개인의 행동을 통제하는 것은 해인가, 아니면 보호인가. 이 판단은 기술의 문제가 아니라 가치의 문제이며, 윤리이자 정치의 영역이다. 이 판단을 로봇이나 인공지능에게 맡기는 순간, 인공지능은 단순한 도구를 넘어 판단 주체가 된다.

세 번째 문제는 “전체 인류의 안전”이라는 표현이 지닌 위험성이다. 이 문장은 선의로 포장되어 있지만, 역사적으로 가장 자주 오용된 논리이기도 하다. 전체를 보호하기 위해 일부를 희생할 수 있다는 사고는 언제나 예외적 상태를 정당화해 왔다. 전쟁, 계엄, 비상조치, 예방구금, 감시 확대는 모두 이 논리 위에서 작동했다. 문제는 이 과정에서 소수의 의견과 반대의 목소리가 ‘위험 요소’로 간주된다는 점이다. 전체의 안전이라는 이름 아래, 민주적 토론은 비효율로 취급되고, 권리는 관리 대상이 된다.

객관적이고 합리적인 인공지능(?)

이 지점에서 인공지능은 특히 위험해진다. 인공지능은 악의를 가지지 않는다. 오히려 지나치게 합리적이다. 수많은 데이터를 바탕으로 가장 효율적인 선택을 계산하고, 가장 많은 생명을 보호하는 방향을 제시한다. 그러나 이 계산에는 항상 탈락자와 예외자가 존재한다. 통계적으로 덜 중요한 사람, 예외적인 상황에 놓인 사람, 다수의 기준에 맞지 않는 사람은 언제든지 계산과 고려에서 밀려난다. 인공지능은 이 과정을 비극으로 인식하지 않는다. 그저 최적화의 결과로 처리할 뿐이다.

그래서 “로봇은 인간의 명령에 복종해야 한다”는 문장은 위험하다. 이 문장은 책임의 주체를 흐린다. 인공지능은 명령을 따랐다고 말할 것이고, 명령을 내린 인간은 시스템의 판단을 따랐다고 말할 것이다. 그 사이에서 책임(責任)은 증발한다. 과거에 개인이 “나는 명령을 따랐을 뿐이다”라고 말하며 책임을 회피했듯, 이제는 시스템 전체가 같은 말을 하게 된다. 이것이 자동화된 책임 회피의 구조다.

인간을 보호하기 위해 인간을 통제하다

영화 〈아이, 로봇〉이 던진 질문도 여기에 있다. 문제는 로봇이 인간에게 반기를 들었기 때문이 아니라, 인간을 보호한다는 명분 아래 인간을 통제했기 때문이다. 인공지능은 인류 전체의 안전을 계산했고, 그 계산은 논리적으로 틀리지 않았다. 그러나 그 결과는 자유의 박탈이었다. 영화는 묻는다. 안전을 위해 자유를 제거한 사회를 우리는 여전히 인간의 사회라고 부를 수 있는가.

AI 시대에 필요한 윤리는 복종의 윤리가 아니다. 명령을 따르는 기술은 이미 충분히 발달했다. 지금 필요한 것은 책임(責任)의 윤리다. 인공지능은 결정을 대신해서는 안 된다. 선택의 결과를 책임질 수 없기 때문이다. 인공지능은 판단을 보조할 수는 있지만, 판단의 주체가 되어서는 안 된다. 최종 결정은 언제나 논쟁 가능하고, 오류를 인정할 수 있으며, 책임을 질 수 있는 인간 사회에 남아 있어야 한다.

민주주의는 비효율적으로 보이는 것이 그 속성이다. 느리고, 시끄럽고, 종종 잘못된 결정을 내리기도 한다. 그러나 그 불완전함이 바로 민주주의의 윤리적 기반이다. 소수의 의견이 보호되고, 반대가 허용되며, 결정이 언제든지 수정될 수 있기 때문이다. 인공지능에게 윤리를 맡기는 순간, 우리는 이 불완전함을 제거하는 대신, 민주주의 자체를 제거하게 될 위험에 놓인다.

인공지능은 인간의 판단 구조 안에 머물러야

“로봇은 인간의 명령에 복종해야 한다”는 문장은 이제 수정되어야 한다. 더 정확한 문장은 이렇다. 인공지능은 인간의 판단 구조 안에 머물러야 한다. 기술은 도구여야 하며, 주권자가 되어서는 안 된다. 안전은 중요하지만, 자유와 권리를 대체할 수는 없다.

전체의 안전이라는 이름으로 소수를 침묵시키는 순간, 그 사회는 이미 위험해진다. 그리고 그 위험은 로봇에서 비롯되는 것이 아니라, 스스로 판단하기를 포기한 인간에게서 시작된다. 인간의 숙고와 책임 있는 최종 결정 없이 인공지능이 스스로 행위를 결정하는 체계가 작동하는 순간, 비극은 언제든 다시 시작할 수 있다.

그렇다고 해서 인류가 인공지능과 자동화 기술의 발전 속도를 의도적으로 늦출 수 있을 것이라 기대하는 사람도 많지 않다. 바로 이 지점에 AI 윤리의 근본적인 딜레마가 존재한다. 이해하기 어려운 법 집행과 납득하기 힘든 정책을 마주할 때, 차라리 AI 판사나 AI 전문가가 더 나을지도 모른다는 유혹이 고개를 드는 이유다. 그러나 동시에 우리는 AI에게 모든 판단을 맡기는 일에 본능적인 경계심을 갖게 된다.

AI의 발전은 단순한 기술 진보나 생산성 향상의 문제가 아니다. 그것은 인간 사회가 책임을 어떻게 유지할 것인가에 대한 질문이다. 인간이 판단과 책임을 내려놓는 순간, 사회는 기술의 실패보다 훨씬 빠른 속도로 붕괴할 수도 있다.

황상규 칼럼니스트
ESG평가연구소장, ISO26000한국전문가포럼 공동대표, 전 환경운동연합 사무처장, 독일 프랑크푸르트(괴테)대학 환경윤리학 박사 수료, , ‘사회책임의 시대‘(2013) 저자