이제 사람들의 관심을 끄는 건 ‘예술 창작’을 인공지능이 해낼 수 있을까다. 먼저 화제가 된 건 문학 창작이다. 2016년엔 일본 마쓰바라 진 교수팀의 ‘AI 소설 프로젝트’가 SF 소설가 호시 신이치의 소설 1000편을 학습해 써낸 네 편의 단편 소설 중 일부가 호시 신이치 문학상의 1차 심사를 통과한 데 이어, 2017년엔 중국에서 마이크로소프트의 대화형 챗봇 인공지능 샤오빙이 중국 시인 519명의 시를 학습해 ‘햇살은 유리창을 잃고’란 시집을 냈다. 이듬해인 2018년엔 한국의 KT에서 인공지능으로 쓴 소설을 모집하는 공모전을 열었다.
#이미지를 학습하는 인공지능
학습 데이터 확보와 활용의 용이함 때문에 문학 쪽이 많이 부각되는 편이지만 비슷한 시기 이미지도 인공지능을 접목하기 시작했다. 먼저 2015년 일본에서는 ‘Waifu2x’라는 2D 이미지 확대 & 잡티 감소 프로그램이 CNN(주로 이미지 분석에 활용되는 합성곱 신경망) 기능에 기반한 딥러닝(심층학습)을 이용해 웹 서비스 형태로 발표되었다.
2016년 일본 와세다대학의 이시카와 랩에서는 정리되지 않은 형태의 연필선(러프스케치) 단계의 그림을 입력하면 정리된 펜선(선화)을 추출하는 기술과 흑백사진을 자동으로 채색하는 기술을 발표했다. 이듬해 2017년엔 도쿄대의 아이자와 기요하루와 폴리나 헨스맨이 머신러닝 기법인 GAN(생성적 적대 신경망) 기반 이미지 생성기술인 cGAN(conditional-GAN·조건부 생성적 적대 신경망)을 이용해 흑백 망점(스크린톤)으로 명암을 처리한 완성 만화 원고에서 선화를 자동으로 추출한 후 색을 입히는 기술을 발표했다.
인공지능을 이용한 자동채색 기능이 연구 단계를 넘어 상용화 서비스에 이르는 데 그리 오랜 시간이 걸리지 않았다. 만화 제작 도구로 현업에서 널리 쓰이는 클립스튜디오 1.8.4버전(2018년 11월 29일 발표)에 자동 채색 기능이 공식 탑재됐다. 만화 제작 과정에서 사람의 품을 일정 부분 줄여주는 단계로 들어선 셈이다. 네이버 웹툰은 인터랙션 웹툰 ‘마주쳤다’를 내놓은 데 이어 2018년부터 웹툰 제작에 특화한 자동 채색과 선화 추출 기능을 개발하고 있다.
그런데 2020년 2월, 아예 인공지능이 만든 만화가 등장한다는 소식에 세간의 이목이 집중됐다. 심지어 그 만화는 일본에서 만화의 신이라는 별명으로 불리는 고 데즈카 오사무의 신작이라고 한다. 이미 31년 전에 죽은 대 만화가의 신작을 컴퓨터가 그린다? 기술자들은 물론 호사가들 입장에서도, 그리고 바다 건너 만화 업계인으로서도 호기심이 동하지 않을 수 없는 대목이었다.
‘데즈카2020 프로젝트’의 산물인 만화 ‘파이돈(ぱいどん)’ 표지.
‘파이돈(ぱいどん)’이라는 제목을 단 이 작품은 ‘데즈카2020 프로젝트’의 산물이다. 지난 2월 27일 발간한 고단샤(講談社)의 주간 만화 잡지 ‘모닝’ 13호에 전·후편 가운데 전편이 먼저 실렸는데, 2030년 도쿄를 무대로 기억을 잃은 노숙자 파이돈이 로봇 새와 함께 미스터리한 사건에 맞서는 이야기를 그리고 있다. 공개된 작품의 표지에는 “AI가 해독하는 인간의 업보, 인류의 희망이 된 떠돌이, 여기 탄생!”이라는 홍보 문구가 붙어 있다.
‘파이돈’에서 인공지능이 보인 기여도는 기대보다는(?) 낮다. 데즈카2020 프로젝트는 데즈카 오사무의 장편 65편과 단편 13회 분량을 통해 세계관, 배경, 시나리오 구조를 분석하고 플롯(구성) 생성 기술을 이용해 130개의 이야기의 플롯을 만든 후 데즈카 오사무의 아들인 데즈카 마코토와 시나리오 작가가 붙어 최종 시나리오를 완성했다. 캐릭터도 실사 학습 모델을 응용해 데즈카 오사무 만화 속 인물 이미지 수천 장을 집어넣어 뽑혀 나온 데이터를 바탕으로 사람이 완성했다. 결국 실질적인 창작은 사람이 거의 한 셈이다.
결과적으로는 만화 제작이라는 것이 문자 언어를 서사 구조에 맞추는 과정 다음에 시각 언어와 영상 언어라는 번역 과정이 한참 더 필요하다는 점을, 그리고 단순히 캐릭터와 시나리오 구조만을 ‘학습’해 뽑아낼 수 있는 게 아니라는 점을 드러낸 셈이다. 하지만 반대로 기획자들이 학습 대상을 확실하게 특정한다면 앞으로 기계의 참여 비중이 훨씬 높아진 고인의 또 다른 신작을 만날 가능성은 얼마든지 있다. 그걸 사람들이 진짜 고인의 신작으로 받아들일지와는 별개 문제로 기술적 성취로만 놓고 보자면 그러하다.
만화가 기리키 겐이치가 ‘파이돈’의 콘티 작업을 하고 있다. 데즈카2020 오피셜 영상.
#러다이트 운동은 필요 없어 보이지만…
사실 지금의 결과물만 놓고 보자면 창작자들이 21세기판 러다이트 운동(19세기 초 영국에서 기계에 일을 빼앗긴 노동자들이 벌인 기계파괴운동)을 벌일 필요는 없어 보인다. 학습용 데이터를 철저히 특정 작가에 의존해야 하는 현재 수준에서는 완전한 오리지널 콘텐츠를 만들기 위한 도구라기보다 자동 채색과 더불어 창작의 밑 준비를 위한 도구로서 발전해 나갈 가능성이 오히려 크다. 그럼에도 데즈카 오사무가 선택된 것은 상징성과 관심 집중을 위함이리라.
물론 이 경우에도 작화 조력을 넘어서는 영역에 기계의 힘을 빌리는 데에 따른 도의적 논란이 일어날 가능성은 있다. 하지만 이미 천계영 씨와 같이 몸이 안 좋아져 수작업 없이 입으로 명령을 내려 만화를 창작하는 사례가 나온 시점이고 보면, 특정 작가의 그림 스타일과 연출 스타일을 철저히 데이터베이스화한 상태에서 대략의 시나리오 방향을 ‘선택’하여 기계로부터 완성에 준하는 선택지를 제시 받고 다시 인간이 이를 골라 이용하는 과정을 상상해 보게 된다. 이런 식이라면 만화 창작의 방식에 총감독의 형태가 추가되고, 기계에 입력하기 위한 작화 데이터를 글꼴 디자이너처럼 만드는 직업군이 생길 수도 있다. 학습만화를 비롯해 뛰어난 창의성보다는 브랜드와 기획성을 요구하는 형태의 기업형 만화들에는 오히려 투자 대비 효율성 좋은 결과물을 뽑아내는 방식이 될 수 있다.
생각해 보면 만화만이 아닌 모든 문화는 도구 발전의 역사와 맥을 같이하며 발전해 왔고 그때마다 반발과 적극 활용의 갈림길에서 크고 작은 충돌을 겪어 왔다. 인공지능의 발전 방향은 인간을 대체하기 위함이 아니라 또 다른 쓰임새를 만들기 위한 쪽으로 가야 할 것이다. 데즈카2020의 공식 영상 말미엔 데즈카 오사무의 ‘유리 지구를 구하라’의 대사 하나가 삽입돼 있는데, 이 프로젝트의 지향점이 어디일지 새삼 엿보게 한다. “과학은, 자연이나 인간성을 잊고서 진보만을 목표로 해선 안 된다.”
만화칼럼니스트 iam@seochanhwe.com
