WebtoonMe 프로젝트를 소개합니다.

네이버 웹툰은 업계 선두 주자로서 양질의 IP 콘텐츠를 발굴하고 있으며 그뿐만 아니라 독자의 몰입감을 높일 수 있는 최신 기술을 끊임없이 연구 개발하고 있습니다. 특히 저희 WEBTOON AI 조직은 '딥러닝' 기술을 활용하여 웹툰 독자의 즐거움을 극대화하고 창작자를 돕는 다수의 프로젝트를 진행 중인데요, 지난달에는 몇 번의 클릭만으로 스케치에 자연스러운 색을 입혀주는 <웹툰 AI PAINTER> 베타 버전을 공개하여 많은 관심(관련 기사)을 받았습니다. 이처럼 조직 구성원 모두 <웹툰 X AI>라는, 일반인에게는 아직 낯설지만 흥미로운 조합을 즐겁게 연구하며 기존에 누구도 생각하지 못했던 결과물을 만들어 나가고 있습니다.

네이버 웹툰은 과거에 인터랙티브 웹툰 <마주쳤다>에서, 독자가 찍은 셀카를 웹툰 화풍으로 자연스럽게 변환해 웹툰에 삽입하는 기술을 선보였습니다. 당시 단순히 웹툰을 보는 것이 아니라 직접 웹툰 이야기 전개에 참여할 수 있다는 점에서 많은 독자로부터 좋은 반응을 얻었습니다.(관련 기사)

<WebtoonMe 프로젝트>는 <마주쳤다>에서 활용된 변환 기술에서 한발 더 나아가 '나의 정체성을 유지하면서 더욱 웹툰스러운 변환'을 목표로 하고 있습니다. 이 글에서는 <WebtoonMe 프로젝트>에 활용된 기술 소개와 함께 다양하고 재미있는 결과물을 공유하고자 합니다.

'내 사진을 웹툰으로 바꾸는 기술'을 생각했을 때 어떤 것이 가장 궁금하신가요? 많은 분들이 '내 얼굴이 웹툰 캐릭터로 어떻게 변환될 수 있을까?'를 가장 궁금해하실 텐데요, 저희도 같은 호기심으로 딥러닝 기반 '얼굴 변환' 기술 개발을 시작하여 본 프로젝트를 준비하게 되었습니다.

여러 시행착오 끝에 딥러닝 기반의 얼굴 변환 기술이 어느 정도 완성도를 보였고, 보다 큰 즐거움을 전달하기 위해 얼굴뿐만 아니라 배경을 포함한 사진 전체를 변환하는 방향으로 프로젝트를 확장했습니다. 하지만 기존 얼굴 변환과는 달리 예상치 못한 문제에 부딪쳤는데요, 사진에 존재하는 다양한 사물(얼굴, 신체 부위, 배경 등)이 각각 필요로 하는 '스타일' 특성이 모두 달랐기 때문에 이를 유기적으로 고려하지 못한 변환이 어색한 결과를 보인 것입니다.

저희는 데이터를 분석하여 웹툰 데이터셋에는 일반적으로 딥러닝 연구에 쓰이는 데이터셋과 달리 사물마다 고유의 '스타일'이라는 속성이 있다는 결론을 도출했고, 실제 작품에서 각각의 사물이 어떤 스타일로 제작되는지 이해하기 위해 '웹툰 제작 과정'을 보다 심층적으로 배웠습니다.

WEBTOON AI 조직에서 연구를 할 때 가장 큰 장점 중 하나는 'AI 기술에 관심이 많은 유명 작가님'들을 직접 인터뷰할 수 있는 특별한 기회가 주어진다는 것입니다. 다수의 작가님을 인터뷰하여 '전경(얼굴 등)'과 '배경'이 서로 다른 툴과 방법으로 제작된다는 것은 물론, 유기적인 스타일 부여를 위해 여러 고려 사항이 존재한다는 것을 알게 되었고, 또한 같은 컷 안에서 자연스럽게 조화될 수 있도록 리터칭 기법이 필요하다는 것도 알 수 있었습니다.

저희는 여기서 얻은 인사이트를 다음과 같이 활용했습니다. 우선 얼굴, 신체, 인공물, 자연물 등 다양한 객체로 이루어진 웹툰 데이터셋을 구축하고 다수의 딥러닝 모델을 생성해 전경과 배경의 스타일 유사도를 개선해 나갔습니다. 그리고 작가님들의 리터칭 기법을 모사할 수 있는 여러 후처리 알고리즘을 적용하여 보다 자연스러운 결과가 나오도록 성능 개선을 수행했습니다.

이를 통해 지금까지는 불가능했던 '웹툰과 가까운 변환'은 물론 다양한 '캐릭터 X 배경 스타일 조합'을 통해 재미있는 결과를 많이 만들어낼 수 있었는데요, 저희의 작업 프로세스를 그림으로 정리하면 아래와 같습니다.

이제 변환 결과를 같이 보실까요? 너무 재미있는 결과가 많아 어떤 영상을 보여드릴지 고민을 많이 했는데요, 데모 영상을 고르는 회의도 너무 즐거울 정도였습니다.(결과를 게시할 수 있도록 허가해주신 콘텐츠 원작자 분들께 감사드립니다.)

지금까지 <WebtoonMe 프로젝트>를 간략하게 설명해드렸습니다. 그렇다면 독자분들은 언제 그리고 어떻게 이 기술을 접할 수 있을지 궁금하실 텐데요, 이와 관련하여 진행 중인 재미있는 기획이 많습니다. 프로젝트에서 확보한 변환 기술은 앞서 언급한 것처럼 과거 <마주쳤다>와 같이 독자의 몰입감을 극대화할 수 있는 기술로 적용 가능한 것은 물론이고요, 웹툰 창작 활동에 도움을 주는 창작 도구로도 활용할 수 있도록 고도화를 진행하고 있습니다. 변환 기술이 창작에는 어떻게 쓰일 수 있을까요?

최근 네이버 웹툰은 업계 선두 주자로서 웹툰 창작 생태계를 확장하기 위해 다양한 노력을 하고 있습니다. 앞서 말씀드린 <웹툰 AI PAINTER> 베타 서비스를 시작으로, 그림을 못 그리더라도 보다 쉽게 웹툰을 창작할 수 있는 기술, 즉 "오토 드로잉"(관련 기사) 기술을 집중적으로 개발하는 것도 그중 하나입니다. <WebtoonMe 프로젝트>에서 개발하는 변환 기술 역시 오토 드로잉 기술의 일부로, 보다 쉽고 빠르게 웹툰을 제작할 수 있는 기술로 활용될 예정입니다. 즉, 내가 원하는 인물과 배경 사진을 자연스럽게 나만의 웹툰으로 만들 수 있는 기술, 또 다양한 창작 영감을 제공하는 변환 기술이 웹툰 창작에 기여할 수 있기를 기대하고 있습니다.

감사합니다.