프로젝트 배경

2023년, Midjourney와 Stable diffusion을 바탕으로 한 이미지 생성형 AI 서비스가 우후죽순 나타나고, 웹툰 업계에는 이제 정말로 AI가 작가들을 대체할 것이라는 공포감이 잔뜩 조성되었다. 웹툰업계 작가, 편집자, 작가 지망생들을 대상으로 인터뷰 해 본 결과 분명히 공포감은 있지만 그 누구도 이미지 생성형 AI 서비스를 도구로서 활용하지 않았다.
왜 사용하지 않느냐는 질문에는 결과물이 엉망이다, 정확한 의도대로 결과물을 만들어낼 수 없다, 하나의 레이어만 있는 이미지 파일로 생성되기 때문에 수정도 불편해 생성 후 수정하느니 처음부터 직접 그리는게 낫다는 의견이 대부분이었다.

ai 서비스의 두 가지 사용처

1. 유저에게 없는 능력을 만들어준다
   예시: 음악적 지식이 전혀 없는 사람이 음악을 만들거나, 그림을 못 그리는 사람이 그림을 만들어낼 수 있도록 돕는다.

2. 유저가 직접 할 수 있는 일을 대신, 더 효율적으로 처리하여 작업시간을 단축한다.
   예시: 대화형 AI를 활용해 검색하거나, 강의 혹은 논문을 요약, 정리한다.

TOONDA의 사용자들은 웹툰을 만드는 대부분의 공정을 직접 작업할 수 있기 때문에 AI를 1번 용도로 사용한 경험을 실망스럽다고 말한다. 대부분의 AI가 모든 업계의 실무에서 사용되기보다는 바이럴 요소를 중심으로 마케팅되기 때문에 1번으로 많이 알려져있고 프로덕트도 그에 집중하는 경우가 많은데 실제로 실무에 많이 쓰이는 AI 서비스를 살펴보면 코딩을 위한 코파일럿, 리서치, 요약을 위한 chatGPT 등 사용자가 매니저 겸 디렉터로 감독 관리할 수 있는 영역에서 더 유용하게 사용된다.
웹툰, 영화, 애니메이션 등 스토리보드를 제작하는 영역에서는 아직 디렉터 형태로 작업할 수 있는 AI 툴을 만드는 것을 목표로 했다.

아티스트를 디렉터로 만들기 위해서는 AI가 작업은 대신 해주고, 디렉터가 리뷰, 수정하기 편한 구조를 가져야 한다.
생성형 이미지는 AI가 전혀 수정할 수 없는 코드를 짜주는 것과 같다. 개발 지식이 있는 진짜 개발자라면 이런 서비스를 사용할 이유가 없다는 것은 모두 공감할 것이다. 그렇다면 작가들은 어째서 수정할 수 없는 그림에 매달려 주사위 던지기와 같은 무한 재생성에 목매야 하는걸까?
작가들도 개발자들이 누리는 기술의 발전을 누릴 수 있도록 돕기 위해 AI 기능을 설계하기 시작했다.

페르소나

필명 김게티(32), 웹툰 스토리 & 콘티 작가

대형 웹툰 제작 스튜디오에 소속된 웹툰 스토리& 콘티 작가. 신작 연재가 확정되어 스토리를 정비하고 콘티 제작에 들어갈 예정이다. 편집자와 피드백을 주고받으며 일정분량의 콘티를 완성하면 그림작가에게 인계하는 프로세스로 업무를 진행한다.
지금까지 다섯 작품을 연재한 경험이 있으며 스토리작가로 데뷔하고 싶었지만 스토리작가에게 콘티 제작 능력을 요구하는 경우가 많아 그림 실력을 다듬어 스토리 작가 겸 콘티작가로 근무하고 있다.
오리지널 스토리를 연재하고 싶지만 소속 스튜디오에서 웹소설을 각색한 웹툰을 선호해 웹소설 각색도 맡아서 하고있다.

작품에 대한 반응은 대부분 긍정적이며 참신한 연출이 많다는 의견이 많지만 작업속도가 느려 업무에 허덕이느라 좋은 반응을 즐길 여력이 없는 상황이다. 이때문에 편집자에게 구조적 수정 요구를 받으면 스트레스를 많이 받는 편.

언젠가는 오리지널 스토리로 스튜디오 밖에서 홀로서기 하는 것이 목표이다.
이미지 생성 AI를 보면서 그림작가들을 걱정하면서도 본인의 영역을 대체할 AI가 나오지 않기를 바라고 있다. 종종 대화형 AI를 이용해 리서치를 하거나 캐릭터의 이름을 지어달라고 요청하기도 한다.

User journey map

기존에 없던 작업방식이지만 정보를 넣으면 AI가 스토리보드의 초안을 생성해주고, 그 초안을 수정해서 완성하는 것을 전체 여정의 목적으로 한다.

프로덕트 목표

1. 수정이 용이할 것
   레이어를 분리하고 벡터 형태를 최대한 활용

2. 의도대로 결과물을 생성할 것
   많은 정보를 간편하게 입력

수정이 용이할 것 : 수정할 수 있는 AI 생성 스토리보드

전통적인 스토리보드의 작업방식은 일러스트레이터 등으로 스토리보드의 틀을 만들어두고 포토샵, 클립스튜디오 등으로 틀 안에 그림을 그려 내용을 채워넣는 방식으로 진행된다. 이 때 그림 / 말풍선 / 텍스트 / 컷 별로 레이어를 분리하고 디테일한 경우에는 그림을 배경/인물/오브젝트 등으로 레이어를 나누기도 한다. 일부를 지우면 뒤에는 아무것도 없는 한 장짜리 이미지와 달리 레이어가 많은 경우 위치를 옮기거나 일부를 수정하기 훨씬 수월하기 때문이다.
이 전통적인 방식을 그대로 가져와 각각의 요소를 개별로 생성한다.
이 때 그림이 아닌 다른 모든 요소는 벡터로 생성하여 컴포넌트화 한다. 이를 바탕으로 요소의 위치, 크기, 모양, 색상등이 마음에 들지 않을 경우 손쉽게 수정할 수 있으며 나아가 라이브러리화 하여 작가가 자주 쓰는 형태를 모아두고 반복적으로 사용하거나 AI가 학습하여 해당 형태로 생성할 수 있도록 한다.

의도대로 결과물을 생성할 것: 작품 학습이 용이한 세계관 DB

스토리보드를 작업하는 과정에서 입력된 데이터를 바탕으로 AI를 학습시켜 세계관 DB를 구축한다. 작가보다도 작품에 대해 이해도가 높은 AI를 만드는 것을 목적으로 연재중 발생하는 설정오류나 후속작 작업시 모든 내용을 기억하지 못해도 AI 어시스턴트가 오류를 찾아주고 보정해주는 역할을 한다. 나아가 이미 세계관과 캐릭터에 대한 내용을 모두 학습했기 때문에 작가가 상황을 정해주면 해당 상황에 적합한 캐릭터의 반응을 유추해 스토리를 제안할 수 있다.

이 때 UX에서 가장 큰 챌린지는 ‘사용자가 중간에 포기하지 않고 작품에 대한 내용을 최대한 많이 학습시킬 것인가.’ 이다. 캐릭터 세팅 자체가 작업 효율을 높이고 결과물의 완성도를 높이는 것은 당연하지만 그 과정을 유저가 직접 체감할 수 있어야한다. 예를 들어 빨간머리 앤의 중반부를 뚝 잘라 AI에게 입력하면 다른 맥락을 모르는 AI 모델은 ‘오라버니’ 라는 대사가 나오기 전까지는 마릴라와 매튜를 동거인, 혹은 커플로 인식했다. 이 때 남매라는 설정

을 직접 입력해주면 그제서야 제대로 남매임을 인식하고 내용을 수정하여 출력한다. 이런 추가적인 내용이 즉각적으로 스토리보드에 영향을 주게끔 경험을 전달해야 한다.

추가로 효율뿐만 아니라 캐릭터 정보를 입력하는 인터페이스 자체를 게임 캐릭터 커스터마이징 하는것과 유사하게 디자인하여 정보 입력 자체를 재미있게 할 수 있도록 노력했습니다.