“안전한 AI가 글로벌 시장 이끌 것 AI 강국 가는 길 안전연구소가 셰르파 역할”

인공지능안전연구소 김명주 소장
최근의 인공지능(AI) 기술은 ‘아침저녁으로 변한다’는 말이 어울릴 정도로 매일같이 혁신하고 있다. 뒤따라가기에도 바쁜 AI 분야에서 ‘안전’과 ‘윤리’를 말하는 것은 한가한 이야기가 아닐까?
세계에서 6번째로 세워진 AI안전연구소의 김명주 소장은 “‘AI 안전’은 AI 기술 발전과 떼어놓고 생각할 수 없다”고 이야기한다. 중국에서 내놓은 AI 모델 ‘딥시크’의 예를 들 수 있다. 김 소장은 한국과학기술단체총연합회 등이 개최한 ‘딥시크 파장과 미래 전망’이라는 포럼에 참석해 “딥시크 모델의 위험성을 연구하면서 대량살상무기 등에 대한 정보가 얼마나 들어 있는지 확인했는데 상당했다”고 말했다. 각국이 딥시크 사용을 금지하도록 조치하자 뒤늦게 딥시크 측에서 개인정보 수집 패턴을 바꾸기는 했으나 여전히 개인정보 유출의 위험성을 가지고 있다는 설명도 덧붙였다. 우리 정부 역시 개인정보 유출 위험성 등을 고려해 2월 15일을 기해 딥시크 애플리케이션의 국내 서비스를 중단시켰다.
‘안전하지 않은 AI 모델’은 우월한 성능을 보이더라도 시장에서 채택되기 어렵다. 정부, 기업, 개인 모두 AI 기술의 안전성을 우선으로 생각하는 만큼 AI 안전을 이야기하는 것은 곧 AI 기술 발전을 뒷받침하는 일이기도 하다는 것이 김 소장의 설명이다. 안전한 AI 모델을 개발하는 일이 뛰어난 AI 모델을 개발하는 일만큼 중요하다. 안전한 AI를 개발하면 시장을 선도할 수 있다는 것이다.
AI안전연구소는 기존 AI 모델들이 얼마나 안전한지 검증하는 것과 동시에 우리 기업들이 안전한 AI를 개발할 수 있도록 돕는 역할을 한다. 이 시점에서 왜 우리는 AI 안전에 대해 이야기해야 하는지, 어떻게 안전을 측정할 수 있는지 등을 김 소장에게 물어봤다.



2024년 11월에 설립된 AI안전연구소는 세계에서 6번째라고 하는데?
2024년 5월 서울에서 ‘AI 서울 정상회의’가 열렸다. 2023년 11월 영국에서 열린 이후로 두 번째 정상회의였다. AI 서울 정상회의에서는 ‘AI안전 과학에 대한 국제 협력을 위한 서울 의향서’를 비롯해 안전을 강조하는 ‘서울선언’도 채택될 만큼 AI 안전이 키워드였다. 우리 정부도 AI안전연구소를 만들겠다고 약속했다.
안전연구소는 2023년 11월 영국을 시작으로 미국, 일본, 싱가포르가 열었고 캐나다가 우리보다 일주일 먼저 안전연구소를 개소했다.

기술 강대국들이 일제히 안전연구소를 설립하는 데는 이유가 있을 것 같다.
먼저 AI 안전성에 대한 주도권을 쥐려는 이유가 있다. 안전성(safety)이 무엇인지를 얘기하는 것도 상당한 논의가 필요한데 우선 영국이 제일 먼저 안전연구소를 설립한 데는 미국 주도로 개발되고 있는 첨단 AI에 대한 ‘검사’를 주도적으로 하겠다는 의도가 포함돼 있었다. AI를 선도적으로 개발하기 어렵다면 AI 안전을 점검하는 역할을 하겠다는 것이다. 그러자 미국도 나섰다. 곧바로 미국 국립표준기술연구소(NIST) 산하에 AI안전연구소를 설립했다.

영국이 자신들의 AI를 ‘점검’하지 못하게 가로막으려는 의도로도 보인다.
그런 의도가 있었을 것이다. 거기에 덧붙여진 것이 있다. 미국의 AI 안전성 점검은 조금 더 안보적인 측면을 조망한다. 예를 들어 화학·생물·방사능·핵(CBRN) 방어 분야에서 AI가 악용될 가능성을 점검하는 것이다. 실제로 첨단AI 모델을 이용하면 대량살상무기에 대한 위험한 지식을 얻을 수 있다고 한다. 이런 점에서 AI의 안전성을 점검하는 것이다.

안전성을 어떻게 객관적으로 판단하나?
안전성은 증거를 기반으로 한다. 영어로 말하면 ‘evidence based’다. 각국의 안전연구소나 기타 연구소에서는 작업한 명령어(프롬프트) 등을 서로 공유하는데 이것들을 바탕으로 계속해서 AI에게 질문을 던진다. 해킹 대회에는 캡처 더 플래그(Capture The Flag) 방식이 있는데 고지에 꽂혀 있는 깃발을 먼저 뺏는 사람이 이기는 거다. 그 방식대로 깃발, 즉 취약점을 찾기 위해 계속해서 질문해가는 것이다. 그러면서 쌓이게 된 시나리오, 통계, 명령어, 전문가 의견 등이 증거가 될 수 있다.

‘안전하다’는 기준도 객관적이지 않다.
윤리나 안전은 상대적이다. 영국에서는 안전한데 일본에서는 덜 안전할 수도 있는 것이다. 그래서 각국 안전연구소는 긴밀히 소통하고 있다. 안전 평가 시나리오를 표준화하는 것이다. 모든 나라에서 느끼는 공통된 위험을 도출하고 국제 기준을 만드는 것이 안전연구소의 일 중 하나다.

어떤 것이 문제가 되나?
딥페이크, 가짜뉴스 등 안전을 위협하는 문제는 많다. 안전한 AI란 개인정보와 국가 안보를 위협할 만한 정보가 유출되는 일이 없어야 한다. 딥페이크나 가짜뉴스 생성에서도 자유로워야 한다. 접근성도 문제가 된다. 모든 사람이 안전하고 쉽게 접속할 수 있는 AI가 돼야 한다. AI 정상회의가 열리면 모든 사람이 입을 모아 하는 얘기다.

만약 우리에게 AI안전연구소가 없다면 국제적 네트워크에 편입될 수 없었을 텐데?
맞다. 안전연구소는 여러 목적을 가지고 있는데 그중 하나가 AI 안전과 규범에 대해서 선도할 수 있는 국가가 돼야 한다는 것이다. 영국과 미국의 경쟁에서 볼 수 있듯 AI를 만드는 것만큼 AI 안전을 검증하는 것도 중요하다. 이것 또한 하나의 경쟁인 만큼 우리 역시 뒤처져서는 안된다.

AI안전연구소에서는 국제적인 표준에 맞게 AI의 안전성을 점검하는 일을 하나?
그렇다. AI안전연구소는 새로운 AI 모델이 개발되거나 기존 AI 모델이 개편될 때마다 또는 수시로 AI 모델의 안전성을 점검한다. 이 AI에 문제가 없는지 계속해서 점검하고 보완할 점을 찾아나간다.

기업 입장에서는 AI 안전이 ‘규제’처럼 느껴지지 않을까?
평소 자주 드는 비유가 있다. AI안전연구소는 히말라야 등반의 ‘셰르파’ 같은 역할을 한다는 것이다. 셰르파는 네팔 현지에서 히말라야 등반객들의 짐을 들어주고 길을 알려주는 안내원 역할을 한다. 그런데 단순히 안내만 하는 것이 아니다. 셰르파는 등반을 총괄하기도 한다. 등반객들의 짐을 쭉 살펴보며 이 짐은 필요 없다, 필요한 짐이 빠졌다고 잔소리도 한다. 등반 코스를 보면서 이쪽 길로 가야 한다, 내일은 여기까지 가야 한다고 통제도 한다. 안전을 위해서다. 그런데 이 잔소리와 통제가 결국 성공적인 등반을 이끈다.
AI안전연구소도 마찬가지다. 기업 입장에서는 이 부분이 취약하다, 보강하라 잔소리하는 것이 귀찮을 수 있다. 그러나 안전한 AI를 만들어야 하는 시대가 왔다. 우리는 기업들이 안전한 AI를 개발할 수 있도록 기반을 마련해주고 결국에는 더 나은 AI를 개발할 수 있게 돕는다.

안전하지 않은 AI는 결국 시장에서 살아남지 못할 것 같다.
이건 또 다른 기회가 될 수 있다. 우리가 미국과 같은 첨단 AI를 개발하는 일은 어려울지 모르지만 더 안전한 AI를 개발하는 일은 가능할 수 있다는 얘기다.
예를 들어 제3세계 국가들의 입장에서 생각해보자. AI 모델을 선택하는 데 여러 가지 기준이 있을 수 있지만 개인정보, 국가 안보에 관련된 정보 유출의 위험성을 고려하지 않을 수 없다. 이런 국가들은 중국 AI를 선택하지 않을 것이다. 미국 AI에 대해서도 걱정할 수 있다. 그런데 만약 우리 기업이 안전한 AI 모델을 개발해낸다면? 무엇보다 정보 유출 염려가 없는 우리 AI를 선택할 것이다.

그렇게 보면 안전은 규제가 아니라 ‘가능성’인 셈인데?
안전한 AI를 얘기할 때 ‘지속가능한 AI’라고 표현하는 이유가 바로 이 때문이다. 더 뛰어난 AI를 개발하는 것만이 능사가 아니다. 더 안전하고 믿을 만한 AI가 시장에서 살아남을 것이라고 믿는다. AI안전연구소는 그 바탕을 마련해줄 것이다.

김효정 기자


국제 인공지능(AI)안전연구소 네트워크 공식 출범
2024년 11월 미국, 영국, 유럽연합(EU) 등 주요 10개국이 참여하는 국제 인공지능(AI)안전연구소 네트워크가 공식 출범했다. 2024년 5월에 열린 ‘AI 서울 정상회의’에서 발표된 ‘서울선언’의 핵심의제인 AI안전연구소 설립과 안전한 AI에 대한 국제 협력을 이행하기 위한 후속조치다. 우리 정부 역시 AI안전연구소 김명주 소장 등 대표단을 파견해 국제 AI안전연구소와 긴밀한 협력관계를 구축했다.
국제 AI안전연구소 네트워크는 전 세계의 기술전문성을 결집해 AI의 안전 관련 위험과 이를 완화하는 공통의 과학적 이해를 창출하고 국제적 연구를 통해 상호 운용 가능한 원칙, 모범사례 적용 지원을 목표로 한다. 글로벌 협력 분야는 연구(research), 실험(testing), 지침(guidance), 포용(inclusion) 등 네 가지다.
네트워크를 통해 전 세계 AI안전연구소는 AI 안전 과학을 발전시키기 위해 공동 또는 상호 보완적인 연구를 수행하고 첨단 AI 위험과 역량에 대한 국제적 합의를 촉진하는 연구를 추구한다. 고급 AI 모델을 실험하기 위한 모범사례도 구축하며 공동실험연습을 수행하고 평가결과를 공유해 평가결과를 상호 인정할 수 있도록 추진한다. 공통의 AI안전 지침도 마련하고 고급 AI 모형의 실험 해석에 대한 상호 운용 가능한 접근방식을 공유한다. 관련 정보와 기술도구 등을 공유해 다양한 지역과 발전단계에 있는 국가, 이해관계자를 네트워크에 참여시켜 AI 안전 과학에 참여할 수 있는 역량을 강화한다.

(www.korea.kr)