청년으로 돌아온 호국 영웅들 AI는 어떻게 살려냈나

“얼굴에는 살구색, 머리엔 밤갈색 ‘힌트’를 줘볼게요. 수감 중 찍힌 사진이니 수형복은 바랜 듯한 회색으로 해볼까요? 배경을 밝게 하면 얼굴까지 환해 보이는 효과가 있죠. 이렇게 한 가지 색깔 힌트만 주면 인공지능이 스스로 알아서 보다 자연스럽게 색감을 입혀줍니다.”
빛바랜 흑백사진이 색을 입은 순간, 절로 감탄이 흘러나왔다. 주인공은 유관순 열사. 수감 중 서대문형무소 담벼락 앞에서 찍힌 유관순의 얼굴은 세상에 남겨진 거의 유일한 사진이다. 우리 역사의 자랑스러운 얼굴이지만 당시 그의 모습은 고등학생이라고 생각되지 않을 만큼 갖은 고초의 흔적으로 얼룩져 있다. 그런데 흑백의 프레임 안에 갇힌 얼굴에 색과 빛을 드리우자 비장함, 슬픔 뒤에 감춰져 있던 18세 청년의 젊음과 순수함이 고스란히 나타났다. 까마득한 역사 속 ‘위인’은 마치 동시대 인물인 듯 느껴지기까지 했다. 색채사진은 얼굴의 입체감을 살려낸 건 물론 인물의 분위기마저 새롭게 창조해냈다.



‘딥러닝’ 학습 AI 단숨에 흑백사진 복원
국가보훈처는 올해 6·25전쟁 정전 70주년을 맞아 참전 영웅들의 오래된 흑백사진을 고화질의 색채사진으로 재탄생시키는 작업을 하고 있다. 더불어 지난 제104주년 3·1절을 맞아 유관순 열사, 안중근 의사 등 독립운동가 15명의 모습도 색을 더해 복원해냈다. 전쟁영웅, 독립운동가의 인생에서 가장 빛나는 청춘 시절을 소환해 잊히지 않는 영웅으로 기억하자는 취지다. 보훈처는 정전 기념일인 7월 27일까지 총 727명의 전쟁영웅 모습을 이같이 복원할 계획이다.
과거와 현재, 한 세기를 넘은 간극을 메운 건 4차 산업혁명의 핵심인 인공지능(AI) 기술이다. 성균관대 대학원 이강준(소프트웨어학과)·정다혜(인공지능융합학과) 씨는 그 기술을 직접 사진에 적용하는 역할을 맡았다. 이 씨가 변색되고 금이 간 저화질의 사진을 고화질로 변환하면 정 씨가 여기에 색을 입히는 방식으로 협업한다. 두 사람은 석·박사 통합과정을 밟고 있다.
“우선 AI에 고화질의 색채사진을 여러 장 보여줍니다. 그 다음 이것을 저화질의 흑백사진으로 바꿔 다시 입력해요. 또 다시 이걸 고화질의 색채사진으로 바꾸는 과정을 수백, 수천 번씩 반복하는 ‘딥러닝(Deep learning)’을 통해 AI를 학습시키는 거죠. 그럼 나중엔 일정한 코드값만 입력하면 AI가 알아서 사진을 복원해냅니다.”
두 사람은 사진 복원에 쓰인 AI 기술을 이같이 설명했다. 실제로 간단한 코드값을 입력하니 2~3분 만에 금가고 빛바랜 사진이 선명하고 깨끗한 색채사진으로 바뀌어 모니터 화면에 나타났다. 작업과정이 단순해 얼핏 별것 아닌 것처럼 생각하기 쉽지만 여기엔 최첨단 기술이 집약돼 있다. 우선 저화질 사진을 고화질로 복원하는 데는 GFP(Generative Facial Prior)-GAN(Generative Adversarial Network)이 적용됐다. 세계적 인터넷서비스 전문업체 텐센트가 개발한 이 기술은 낡고 오래된 사진을 복원하는 데 쓰이는데, 성균관대 소프트웨어학과에서는 이것을 직접 개발한 ‘딥페이크(Deep fake)’ 프레임워크에 적용해 보다 자연스럽게 인물의 모습을 구현하는 데 성공했다. 딥페이크란 딥러닝과 페이크의 합성어로 AI가 실제 인물과 비슷하게 얼굴과 목소리 등을 가상으로 만들어내는 기술이다. 최근 각국 대통령이나 유명인 등의 모습을 딥페이크를 통해 재현한 콘텐츠가 만들어져 화제가 되기도 했다. 다음은 이강준 씨의 설명이다.
“영화 <분노의 질주> 시리즈에 다섯 차례 출연했던 폴 워커는 자동차 사고로 세상을 떠났어요. 그런데 이후 <분노의 질주: 더 세븐>(2015) 엔딩 시퀀스에 그의 모습이 잠깐 등장해요. 쌍둥이 형제의 얼굴에 컴퓨터그래픽(CG)을 입힌 건데 여기에 쓰인 기술이 바로 딥페이크예요. 저희 연구실에서 자체 개발한 딥페이크 기술에 GFP-GAN을 적용해 바래고 금이 간 낡은 사진을 복원하고 있습니다. 특히 이 기술은 AI가 원본 사진을 중심으로 주변 픽셀을 자체적으로 생성해 사진의 크기까지 늘려줍니다. 과거 사람이 일일이 수작업으로 사진을 복원하던 때는 할 수 없었던 일이죠.”

얼굴·옷 색 직접 지정해 특징 살려
이후 사진에 색을 입히는 작업은 ‘컬러라이제이션’이라고 한다. 이번 작업에는 한국과학기술원(KAIST)이 개발한 AI 자동채색 기술인 ‘iColoriT’가 활용됐다. 현재 네이버에서 서비스하고 있는 ‘웹툰AI페인터’가 AI 자동채색 기술을 적용한 대표적 예다. 이를 활용해 작업하는 웹툰 작가가 늘고 있다는 게 정 씨의 설명이다. 한편 컬러라이제이션은 AI가 모든 색을 알아서 입히는 방식과 한 가지 색을 지정해주면 이와 비슷한 색을 조합해 AI가 자연스럽게 채색을 하는 방식으로 나뉜다. 정 씨는 후자의 방법으로 작업을 하고 있다. 얼굴과 머리카락, 옷은 물론 배경, 여백의 색깔까지 직접 지정해야 하지만 개개인의 분위기와 특징을 살릴 수 있다는 장점이 있다. 흑백으로 뒤덮인 모습이 실제 어떤 색을 입고 있었는지는 알 길이 없기에 정 씨는 당대를 배경으로 한 예술작품이나 색채사진이 남아 있는 다른 인물의 모습 등을 참고한다고 했다. 그는 “AI 기술이 개발되기 전에는 사람이 일일이 포토샵으로 사진을 매만져야 했다”면서 “현대에 찍은 사진인 것처럼 생동감 있게 인물을 표현하는 데 가장 중점을 두고 있다”고 덧붙였다.
AI를 활용한 사진복원이 모두 손쉽게 이뤄지는 건 아니다. 인물이 측면을 바라보고 있거나 이목구비가 흐릿한 경우, 배경에 다른 인물이나 사물이 많은 경우, 흑백의 경계가 모호하고 사진의 크기가 너무 작거나 큰 경우엔 작업이 쉽지 않다.
이강준·정다혜 씨는 드라마 <미스터선샤인>에 등장하는 ‘유진 초이’ 역의 실제 인물로 알려진 황기환 애국지사의 사진을 복원하는 과정이 특히 어려웠다고 털어놨다. 그들에게 전달된 황 지사의 모습은 사진이 아닌 신문기사의 이미지였던 탓에 작업이 쉽지 않았던 것. 두 사람은 인터넷을 뒤져 작업이 가능한 사진을 직접 구한 후일담을 전하기도 했다.
그들에겐 이런 일련의 과정이 살아 있는 역사 공부다. 정 씨는 “공대생이다 보니 역사공부에 상대적으로 소홀했는데 많이 배웠다”고 했다. 이어 “이번 작업을 통해 AI 기술이 사회에 도움이 될 수 있다는 걸 확인했다”면서 자부심도 드러냈다. 이 씨와 정 씨는 색채사진을 통해 현대인들이 역사 속 인물들을 더욱 친근하게 느끼기를 희망한다고 했다. 이 씨는 “나라를 위해 희생한 이들을 기억하는 것이 현재를 살아가는 우리가 할 일”이라고 말한다.
“이번 작업을 하면서 알려지지 않았던 독립운동가와 6·25전쟁영웅을 많이 알게 됐어요. 특히 9개 나라에 을사늑약 무효를 선언하는 친서를 전달하려 시도한 헐버트 박사와 같이 우리나라 독립을 위해 힘쓴 외국인이 있었다는 것도 무척 인상적이었어요. 나라발전과 독립을 위해 희생한 선조들을 잊지 않고 기억하는 것이 우리가 할 일이 아닐까요? 색채사진 속 인물을 통해 국민들이 자랑스러운 우리 역사를 다시 한번 되새기길 바랍니다.”

조윤 기자

박스기사
생존 참전용사 사진도 복원
4월 중 신청 접수

국가보훈처가 생존하는 6·25참전용사들의 사진을 인공지능 기술을 통해 복원하는 사업을 추진한다. 보훈처는 4월 중 6·25참전유공자회 전국 각 지부와 지회, 보훈관서를 통해 전쟁 당시 사진을 접수받는다. 6·25전쟁 정전 70주년을 맞아 727명의 전쟁영웅 사진을 색채사진으로 복원하는 사업의 일환이다.
사진 복원은 5~6월 중 이뤄질 예정이며 복원된 사진은 액자에 담아 참전용사와 유족에게 전달한다. 더불어 정전 기념일인 7월 27일을 전후해 이를 별도 전시하고 사진첩으로도 발간한다. 보훈처와 함께 이번 6·25참전용사 색채사진 복원사업을 기획하고 후원한 자생의료재단은 향후 5년 동안 해마다 6·25참전유공자 1000여 명의 제복 입은 사진을 촬영한 뒤 액자로 제작해 선물하기로 했다.

(www.korea.kr)