상상이현실로.

BRANCH WORLD 상상이 현실이 되는 공간

처음으로/울산대학교 문수관/실제 3D 스캔

실제로 스캔한 캠퍼스에 사건 한 문장을 입력하면, 세계가 눈앞에서 바뀌고 그 결과는 걸어 들어갈 수 있는 3D 공간으로 남습니다.

세계에 들어가기
아래로

01실제 장소

모든 것은 진짜 장소에서 시작합니다.

울산대학교 문수관 일대를 XGRIDS PortalCam으로 스캔하고, 3D 가우시안 스플래팅으로 복원했습니다. 모델이 지어낸 풍경이 아니라, 실제로 있는 캠퍼스가 이 세계의 바탕입니다.

가우시안 수 · 최대 디테일
25.07M
2,507만 개의 가우시안이 모여 장면을 이룹니다.
스캔 범위 · 대략
275×252m
문수관과 앞마당, 주변 건물과 숲길까지.
SCAN 스캔 안에서 눈높이로 본 여덟 방향

02한 문장

그리고 한 문장을 입력합니다.

“흰 건물이 무너진다.”

웹 앱에 이 문장을 입력하면 GPU 서버의 파이프라인이 실제로 돌아갑니다. 먼저 지금 보는 장면을 스캔에서 렌더링하고(4.9초), 이어서 아래 단계가 진행됩니다. 사건 영상과 탐색 영상은 동시에 만들어집니다.

100초 문장 입력부터 걸어 들어갈 수 있는 3D 가지까지 · 2026-11-10 한 번 측정

  1. 5.0초

    사건 해석

    비전-언어 모델이 렌더한 장면과 문장을 함께 읽고, 무엇이 어떻게 바뀔지 정합니다.

    gemini-3.5-flash-lite

  2. 15.4초

    사건 뒤 장면

    이미지 편집 모델이 같은 카메라, 같은 구도로 사건이 끝난 뒤의 장면을 만듭니다.

    gemini-nano-banana-2.1

  3. 동시에

    38.6초

    사건 영상

    지금 장면과 사건 뒤 장면을 카메라를 고정한 채 잇습니다. 1280×720, 5초.

    gemini-omni-1.2-flash

    38.2초

    탐색 영상

    사건 뒤 장면 속으로 앞으로 걸어 들어가는 영상을 만듭니다.

    HY-WorldPlay 5B · RTX 5090

  4. 27.5초

    3D 변환

    탐색 영상을 3D 가우시안으로 바꿉니다.

    WorldMirror 2.0 · RTX 5090

  5. 9.2초

    스캔에 끼워 넣기

    깊이를 스캔에 맞춘 뒤, 바뀐 영역만 갈아 끼웁니다.

    스캔 좌표에 정합

03세계가 바뀐다

눈앞에서, 세계가 무너집니다.

사건 영상은 지금 보는 장면에서 시작해, 카메라를 고정한 채 사건 뒤 장면으로 이어집니다. 그래서 무너지는 건물은 어딘가의 건물이 아니라, 방금 본 바로 그 건물입니다.

스캔한 문수관 앞마당 시점에서 흰 건물이 무너지는 사건 영상 EVENT REC
사건 영상 gemini-omni-1.2-flash · 1280×720 · 5초
사건 전: 스캔에서 렌더링한 문수관 앞마당 사건 후: 같은 시점에서 흰 건물이 무너진 모습 BEFORE · 스캔 AFTER · 사건 뒤 장면
전 / 후 같은 카메라, 같은 구도. 균열을 좌우로 끌어 보세요.

04걸어 들어간다

무너진 자리로, 걸어 들어갑니다.

사건 영상이 만들어지는 동안, HY-WorldPlay 5B가 사건 뒤 장면 속으로 걸음을 이어 갑니다. 무너진 건물 쪽으로 다가가는 이 영상이 3D로 바뀔 재료가 됩니다.

무너진 건물 쪽으로 걸어 들어가는 탐색 영상
탐색 영상 HY-WorldPlay 5B · 1280×704 · 38.2초 만에 생성
손대지 않은 원래 세계에서 앞으로 걷는 영상
원래 세계 앞으로 걷기
손대지 않은 원래 세계에서 오른쪽으로 도는 영상
원래 세계 오른쪽으로 돌기

같은 월드 모델로 손대지 않은 원래 스캔 속도 걸어 봤습니다. 바뀐 세계와 바뀌지 않은 세계를 같은 방식으로 걷습니다.

053D로 남는다

그리고 그 세계는 사라지지 않습니다.

WorldMirror 2.0이 탐색 영상을 3D 가우시안으로 바꾸고, 바뀐 영역만 원래 스캔에 끼워 넣습니다. 웹 앱에서는 문장을 입력하고 1분쯤 지나 사건 영상이 먼저 실제 장면 위에서 소리와 함께 재생되고 마지막 프레임에서 멈춥니다. 3D 가지가 준비되면 그 멈춘 화면이 걸어 들어갈 수 있는 진짜 3D로 바뀝니다.

스캔과 새 가지를 합친 3D 장면 안에서 잔해 쪽으로 걸어 들어가는 장면

3D WALK 스캔 + 가지를 합친 장면 안에서, 시작 시점부터 잔해 쪽으로

스캔과 붕괴 가지를 합친 하나의 3D 장면을 네 시점에서 렌더링. 만든 가지는 서버에 남아, 다시 접속해도 세계의 나무에 그대로 있습니다.

측정값

2026-11-10, RTX 5090 한 장과 Gemini API로 잰 첫 실행의 값입니다. 이어진 실행은 102초, 113초였습니다.

100초

문장 하나에서
걸어 들어갈 수 있는 3D 공간까지

사건 영상
39초
로컬 모델로는 8.5분
탐색 영상
38초
사건 영상과 동시에
3D 변환
28초
스캔에 끼워 넣기
9초
깊이 오차 · 중앙값
0.9%
바뀌지 않은 픽셀에서 스캔과 비교, 약 6 cm

같은 문장을 로컬 모델만으로 돌렸을 때는 약 10분 40초가 걸렸습니다.

06새로 생긴다

부수기만 하는 게 아닙니다.

이번에는 자리를 옮겨 다른 방향을 보고 “잔디밭 한가운데에 거대한 고목이 솟아오른다”라고 보냈습니다. 잔디밭이 갈라지며 고목이 솟아 잎을 틔웠고, 그 나무는 지금 스캔한 잔디밭 위에 3D로 서 있습니다. 사건은 지금 서 있는 자리, 보고 있는 방향에서 갈라집니다.

잔디밭이 갈라지며 거대한 고목이 솟아오르는 사건 영상 LIVE · 2026-11-10 · 113초
사건 영상 “잔디밭 한가운데에 거대한 고목이 솟아오른다” · gemini-omni-1.2-flash
스캔한 잔디밭 위에 선 고목의 3D 장면, 사건을 일으킨 자리에서 본 모습
3D 사건을 일으킨 자리에서
스캔한 잔디밭 위에 선 고목의 3D 장면, 옆으로 돌아가 본 모습
3D 옆으로 돌아가서 · 수관 위쪽은 아직 성기게 복원됩니다

웹 앱에 “비행기가 날아들어온다”라고 입력했을 때는 비즈니스 제트기가 날아와 흰 건물 지붕 위에 내려앉았습니다. 그 제트기도 3D 장면 속 그 지붕 위에 그대로 있습니다.

제트기가 날아와 흰 건물 지붕 위에 내려앉는 사건 영상 LIVE · 2026-11-10
사건 영상 “비행기가 날아들어온다” · gemini-omni-1.2-flash
제트기가 올라앉은 3D 장면, 걸어 들어간 시점
3D 걸어 들어간 시점
제트기가 올라앉은 3D 장면, 측면 시점
3D 측면

07가지 치는 세계

세계는 나무처럼 가지를 칩니다.

원래 스캔은 줄기로 남고, 문장마다 새 가지가 자랍니다. 오늘 세 문장이 실제로 가지가 됐습니다. 지금은 모든 가지가 원래 스캔에서 갈라지고, 가지 위에서 다시 갈라지는 ‘가지의 가지’는 다음 단계입니다.

BASE · 줄기

문수관 스캔

실제 스캔

BRANCH

“흰 건물이 무너진다”

실시간 생성 · 100초

BRANCH

“비행기가 날아들어온다”

실시간 생성

BRANCH · 다른 자리에서

“거대한 고목이 솟아오른다”

실시간 생성 · 113초

가지의 가지 · 다음 단계

예: “잔해 사이로 길이 난다”

아직 구현 전

08방향 · 계획

다음 무대는 헤드셋 안입니다.

VR 헤드셋을 쓰고 실제로 스캔한 장소에 섭니다. 말하거나 움직이면 그에 맞춰 물체가, 사건이, 새로운 공간이 나타납니다. 모든 반응을 같은 속도로 만들 수는 없기에, 반응 시간에 따라 세 층으로 나눠 설계하고 있습니다.

  1. 즉시

    걷고, 잡고, 부딪칩니다

    몸의 움직임과 물리 반응은 기기 안에서 바로 렌더링합니다. 기다림 없이 반응해야 하는 층입니다.

    계획 · 로컬 렌더링

  2. 수 초

    말한 물체가 나타납니다

    “여기 벤치 하나”라고 말하면, 그 물체가 실제 3D로 만들어져 공간에 놓입니다.

    계획 · 물체 단위 3D 생성

  3. 수십 초 ~ 수 분

    새 공간, 사건 이후의 세계

    사건을 말하면 이 페이지에서 본 파이프라인이 돌아, 바뀐 세계를 지금 서 있는 장면에 이어 붙입니다.

    작동 중 · 한 번 측정 약 100초

세 번째 층은 웹 앱에서 이미 돌고 있고, 한 번 잰 시간은 약 100초입니다. 첫째와 둘째 층은 계획입니다. 웹 앱에 WebXR 진입 버튼이 있지만, 헤드셋에서는 아직 시험하지 않았습니다.

BRANCH WORLD

상상이 현실이 되는 공간,
직접 들어가 보세요.

세계에 들어가기

만든 재료

스캔
XGRIDS PortalCam · 3D Gaussian Splatting
사건 해석 · 사건 뒤 장면 · 사건 영상
Google Gemini APIgemini-3.5-flash-lite · gemini-nano-banana-2.1 · gemini-omni-1.2-flash
탐색 영상
HY-WorldPlay 5B
3D 변환
WorldMirror 2.0
웹 렌더링
Spark · three.js

탐색 영상과 3D 변환은 우리 GPU(RTX 5090 한 장)에서 Tencent Hunyuan 계열 모델로 돌아갑니다. 같은 사슬은 로컬 모델만으로도 처음부터 끝까지 돌려 봤습니다.