EN

읽을거리 · AI 디자인

메타의 첫 최상위 모델이 디자인 투표 1위, 이 순위를 어떻게 읽을까

메타가 10월 12일 내놓은 Muse Wonder가 사람들이 눈으로 골라 매기는 Design Arena에서 웹사이트와 UI 부문 1위에 올랐다. 투표가 어떻게 돌아가는지, 1위가 말해 주는 것과 말해 주지 않는 것을 그림과 숫자로 정리했다.

· 읽는 데 약 5분

10월 12일, 메타가 Muse Wonder와 Muse Wonder Full을 내놓았다. 메타가 AI 조직을 다시 짠 뒤 처음 내는 최상위급 모델이다. 발표의 중심은 기억력이었다. 며칠, 몇 주가 지나도 사용자에게 중요한 걸 기억하고, 어려운 일도 끝까지 붙들고 가는 모델이라는 설명이다.

디자인 이야기는 발표문에 한 줄도 없었다. 그런데 같은 날 Design Arena에 이 모델이 올라왔고, 이틀이 지난 오늘 웹사이트 부문과 UI 컴포넌트 부문에서 1위에 올라 있다.

Design Arena는 사람들이 AI가 만든 디자인을 직접 보고 골라서 순위를 매기는 곳이다. 새 모델이 나올 때마다 "디자인 1위"라는 말이 붙는 근거가 대개 여기서 나온다. 그래서 이번에는 모델 자체보다 그 순위가 어떻게 만들어지는지를 먼저 들여다봤다.

먼저 밝혀 둘 것. 나는 이 사이트를 클로드 코드로 만들고 있고, 같은 순위표에는 앤트로픽 모델도 올라 있다. 점수는 투표가 쌓이면서 매일 바뀌기 때문에, 아래 숫자는 모두 10월 14일에 본 것이다.

투표 한 번이 순위가 되기까지

Design Arena의 소개 페이지에 방식이 꽤 자세히 적혀 있다. 누군가 "카페 랜딩 페이지 만들어 줘" 같은 요청을 넣으면, 모델 넷이 무작위로 뽑혀 같은 요청을 동시에 받는다. 투표하는 사람은 어느 모델이 만든 건지 모른 채 둘씩 나란히 놓인 결과를 보고 하나를 고른다.

Design Arena는 같은 요청을 받은 모델 넷의 결과를 이름을 가린 채 다섯 번 비교하게 해서 1위부터 4위까지 정한다. 승패는 설명을 위한 예시다.
Design Arena는 같은 요청을 받은 모델 넷의 결과를 이름을 가린 채 다섯 번 비교하게 해서 1위부터 4위까지 정한다. 승패는 설명을 위한 예시다.

고르는 건 모두 다섯 번이다. 처음 두 번은 짝을 지어 고르고, 세 번째는 이긴 둘끼리, 네 번째는 진 둘끼리 붙는다. 마지막 다섯 번째에서 가운데 두 자리가 정해진다. 다섯 번을 고르고 나면 네 모델의 1위부터 4위까지가 나오고, 그제야 모델 이름이 공개된다.

이렇게 쌓인 둘 중 하나 고르기 결과를 통계로 묶어 점수를 낸다. 체스 순위를 매기는 방식과 비슷한 계산이다. 회사가 표를 골라 내거나 손보지 않고, 표 하나하나를 똑같이 센다고 적혀 있다.

1위라는 숫자를 풀어 보면

Muse Wonder는 오늘 기준으로 토너먼트 2,086번에 나갔다. 그 안에서 받은 등수를 펼쳐 보면 이렇다.

Muse Wonder가 Design Arena 토너먼트 2,086번에서 받은 등수는 1등 42%, 2등 25%, 3등 19%, 4등 14%. 부문별 승률은 3D 69%, UI 컴포넌트 66%, 게임 64%, 웹사이트 62%.
Muse Wonder가 Design Arena 토너먼트 2,086번에서 받은 등수는 1등 42%, 2등 25%, 3등 19%, 4등 14%. 부문별 승률은 3D 69%, UI 컴포넌트 66%, 게임 64%, 웹사이트 62%.

1등을 한 건 열 번에 네 번 남짓이다. 나머지 여섯 번은 다른 모델의 결과가 더 낫다는 표를 받았다. 1위 모델이라고 해서 매번 가장 좋은 걸 내놓는 건 아니라는 뜻이다. 상위권이 그만큼 붙어 있기도 하다. 다른 집계 사이트를 보면 웹사이트 부문 상위 10개 모델의 점수 차는 50점 남짓에 그친다.

두 번째 차트도 재미있다. 승률이 가장 높은 부문은 3D(69%)인데, 순위는 오히려 6위다. 웹사이트는 승률이 62%로 가장 낮은데 1위다. 3D 부문에는 이 모델보다 더 많이 이기는 모델이 다섯이나 있고, 웹사이트 부문에는 아직 없다는 얘기다. 순위는 그 모델이 얼마나 잘하느냐만큼, 같은 부문에 누가 있느냐에 따라 움직인다.

숫자가 아직 자리를 잡지 않았다는 점도 알아 두자. 공개 직후 이틀 동안 웹사이트 부문 점수는 1355에서 1363 사이를 오갔고, 2위로 표시된 때도 있었다.

투표가 재지 못하는 것

Design Arena는 스스로를 "주관적인 평가 틀"이라고 소개한다. 숨기지 않고 적어 둔 만큼, 쓰는 쪽도 그 한계를 알고 보는 게 좋다.

먼저 요청이 제각각이다. 문제를 회사가 정해 두는 게 아니라 투표하는 사람이 직접 넣는다. 누군가는 포트폴리오 사이트를, 누군가는 게임 화면을 부탁한다. 누가 어떤 화면에서 투표하는지도 따로 거르지 않는다. 한 리뷰는 이 방식이 "몇 초 사이에 가장 눈에 띄는 결과"를 고르게 만들 수 있다고 지적했다.

디자이너가 일에서 따지는 것들도 대부분 이 투표 밖에 있다.

투표에서 보이는 것투표에서 안 보이는 것
첫눈에 드는 인상우리 브랜드 규칙을 지키는지
요청 한 번에 나온 결과두세 번 고쳐 달라고 할 때 버티는지
화면 한 장의 완성도글자 크기, 대비 같은 접근성
모델끼리의 상대 순위내 파일과 도구로 넘겨받을 수 있는지

투표 방식은 Design Arena 소개 페이지, 한계에 대한 지적은 ToolCenter 리뷰를 참고했다.

그러니 이 순위는 "처음 한 번 맡겼을 때 사람들 눈에 더 자주 든 모델"로 읽는 게 맞다. 쓸모없는 숫자는 아니다. 첫 시안의 인상은 실제로 중요하고, 수천 번의 눈이 고른 결과라는 점도 무시할 수 없다. 다만 그게 곧 우리 일에 맞는 모델이라는 뜻은 아니다.

그래서 디자이너가 이 모델을 쓸 수 있나

지금 바로 써 볼 수 있는 길은 개발자 쪽에 열려 있다.

쓸 수 있는 곳가격
Muse Wonder메타 모델 API, Muse Code100만 토큰당 입력 4달러, 출력 20달러
Muse Wonder FullMuse Code 상위 요금제 구독자토큰 단가 공개 안 됨
Muse 앱구독자부터 차례로 열릴 예정요금제에 따라

출처: 메타 발표, TechCrunch, The Rundown 정리. 지역과 요금제에 따라 다르고, 한국 이야기는 발표에 없었다.

디자이너에게 더 가까운 건 Muse 앱 쪽이다. 메타는 9월 29일 Muse 에이전트에 캔바 연결을 붙였다. 캔바 계정의 글꼴, 색, 브랜드 자산을 불러와 전단이나 초대장, SNS 이미지를 만들고, 결과는 캔바에서 고칠 수 있는 상태로 남는다. 메타는 사용자가 승인하기 전에는 아무것도 게시하거나 보내지 않는다고 했다. 다만 Muse 자체가 아직 미국과 캐나다에서만 쓸 수 있고, 캔바 기능에 어떤 모델이 쓰이는지도 밝히지 않았다.

그래도 방향은 보인다. 디자인 투표에서 1위를 한 모델이 곧 Muse 안에서 돌아가게 되고, 그 Muse는 이미 캔바에 손이 닿아 있다. 앞서 다룬 챗GPT 안의 캔바·피그마·어도비와 같은 흐름이다. 디자인 툴이 대화창 안으로 들어가고, 대화창 쪽 회사들은 자기 모델의 디자인 감각을 내세우기 시작했다.

순위표를 내 눈으로 바꾸는 법

직접 한 번 투표해 보자. Design Arena에 내가 실제로 받는 일과 비슷한 요청을 넣어 보면 된다. "동네 빵집 주문 페이지"든 "앱 설정 화면"이든 좋다. 다섯 번 고르고 이름이 공개되는 순간, 내 눈이 어느 모델 쪽으로 기우는지 알 수 있다. 순위표를 읽는 것보다 이게 더 많이 알려 준다.

내 일과 같은 부문을 보자. 이 사이트는 웹사이트, UI 컴포넌트 말고도 로고, 그래픽 디자인, 슬라이드, SVG 부문을 따로 매긴다. 웹사이트 1위가 로고에서도 잘한다는 보장은 없다. 3D 부문의 Muse Wonder가 그랬듯이.

마지막 판단은 내 규칙으로 하자. 투표가 재지 못하는 부분은 직접 시험해 봐야 한다. 자주 쓰는 템플릿 하나와 브랜드 규칙 한 장을 주고 같은 화면을 만들게 한 뒤, 두세 번 고쳐 달라고 해 보는 거다. Sonnet 5.5 글에서 쓴 방법과 같다. 규칙을 미리 글로 적어 둔 게 있다면 DESIGN.md 한 장을 그대로 붙이면 된다.

AI 모델의 디자인 순위는 앞으로도 계속 뒤집힐 것이다. 이번 주에는 메타였고, 다음 달에는 또 다른 이름이 맨 위에 있을 수 있다. 쓰임새별 AI 도구는 AI 디자인 툴에 모아 두었다.

출처: 메타 발표 (10월 12일), TechCrunch, Design Arena: Muse Wonder · 소개 (10월 14일 확인), BenchLM Design Arena 웹사이트 순위 (10월 13일), ToolCenter, 캔바 뉴스룸, Unite.AI.

함께 읽으면 좋은 글

읽을거리 전체 보기 (24편) →