Kling 4.0으로 모션 트랜스퍼 Part 2 🌤️
날씨 예보 영상 8초와 캐릭터 이미지 1장으로, 배경과 그래픽은 그대로 두고 기상캐스터만 내 캐릭터로 바꿉니다. 이번에는 말하는 입 모양(립싱크)에 집중했습니다.
Part 1 · 무대 직캠 안무 모션 트랜스퍼
- 모델 · Kling 4.0
- 모드 · Omni reference
- 1080p · 8초 · 16:9
01재료 준비하기
Part 1과 같은 캐릭터 시트를 쓰고, 원본 영상만 바꿨습니다. 이번 원본은 기상캐스터가 지도를 가리키며 말하는 영상이라, 동작뿐 아니라 입 모양도 소리에 맞아야 합니다.
| 캐릭터 이미지 (@Image1) | 정면·측면·뒷모습과 전신 컷이 함께 있는 캐릭터 시트 |
| 원본 영상 (@Video1) | 16:9 가로 영상 · 1920×1080 · 8초 · 한국어 음성이 들어 있는 날씨 예보 |
원본 영상 3초쯤에 배경이 해상 날씨 지도에서 주간 날씨로 바뀌지만, 카메라가 끊기지 않고 인물이 계속 이어지는 한 컷이라 자르지 않고 그대로 썼습니다.
02레퍼런스 첨부하고 설정하기
Part 1과 같은 방법으로 원본 영상과 캐릭터 이미지를 첨부합니다. 영상을 먼저 올리면 Video1, 이미지를 올리면 Image1이 됩니다.
| 생성 유형 | Video Generation |
| 모델 | Kling 4.0 |
| 레퍼런스 모드 | Omni reference |
| 해상도 · 길이 · 비율 | 1080p · 8초 · Auto (원본을 따라 16:9로 생성) |
| 생성 개수 | 1 |
길이는 원본 영상과 똑같이 8초로 맞춥니다. 길이가 다르면 말과 입 모양의 타이밍이 어긋나기 쉽습니다.
03프롬프트 입력하기
Part 1 프롬프트가 “배경과 안무 유지”에 집중했다면, 이번 프롬프트는 맨 앞에 LIP SYNC 블록을 두고 대사를 시간별로 적어 줬습니다.
Replace ONLY the weather presenter in the reference video with the woman from the reference image. Everything else stays identical to the source video: background, on-screen graphics, camera, lighting and timing. LIP SYNC (top priority): Copy the source presenter's mouth, jaw, lips, cheeks and eyebrows frame by frame, so her lips match the original Korean audio exactly. Each syllable gets the correct mouth shape at the correct moment: open jaw on "a" sounds, rounded lips on "o/u", wide lips on "i/e", lips fully pressed together on "m", "b" and "p" (미터, 비가, 습니다), with visible upper teeth and natural tongue movement. Articulation is crisp and clear like a professional news anchor. No mumbling, no frozen or half-open mouth, no lag behind the audio. Speech (Korean, female news-anchor voice): 0.0–3.3s "서해상에서 최고 3.5미터로 높게 일겠습니다." (seohae-sang-eseo choego sam-jjeom-o miteo-ro nopge ilgetseumnida) 3.3–3.5s short pause, mouth closed, slight smile 3.5–6.2s "비가 그친 뒤에는 다시 쌀쌀해지겠습니다." (biga geuchin dwieneun dasi ssalssal-haejigetseumnida) 6.2–6.4s short pause 6.4–7.6s "날씨 전해드렸습니다." (nalssi jeonhae-deuryeotseumnida), ending with lips closed and a warm smile 7.6–8.0s silent, closed-mouth smile at the camera Facial expression follows the source: friendly, engaged, eyebrows lift on emphasis, brief natural blinks, eyes briefly closed around 1.5s. CHARACTER (from reference image): Korean woman in her 30s, long soft dark-brown wavy hair with face-framing layers, warm natural makeup, rosy lips, gentle smile, small gold hoop earrings, delicate gold pendant necklace, cream-white ribbed knit long-sleeve top with a square neckline, light-blue high-waisted jeans, small black clicker in her right hand. Her face and identity stay sharp and consistent in every frame. POSITION: right third of the frame, same spot, scale and framing as the original presenter (medium-full shot, cropped at the knees), never covering the graphics. MOTION (follow the video exactly): 0–1s turns from the map toward the camera; 1–3s sweeps her left arm open toward the "동해" label; 3–4s lowers her arm to the waist; 4–6.5s reaches her left hand down toward the Friday "23" column, then brings it back; 6.5–8s faces the camera, hands together at the waist. BACKGROUND, unchanged from source: 0–3s KBS "해상 날씨" satellite map of Korea and Japan with wave-height boxes; 3–8s KBS "주간 날씨" sky-and-clouds backdrop with the six-day forecast board (18–23). "KBS 1" logo top-right and sign-language interpreter inset bottom-right stay exactly as in the source. STYLE: live Korean TV broadcast, even soft studio key light on her face, static locked-off camera, photorealistic, sharp 1080p, natural skin texture, realistic teeth and lips, realistic hands. === NEGATIVE PROMPT === lip sync mismatch, delayed mouth movement, mouth not moving, frozen mouth, mumbling, over-exaggerated mouth, blurry mouth, deformed lips, missing or melted teeth, jaw distortion, face warping while speaking, identity drift, original presenter's face, white tweed dress, black collar, outfit change, hairstyle change, changed background, garbled Korean text, changed numbers, removed sign-language inset, camera movement, zoom, deformed hands, extra fingers, flicker, duplicate person, cartoon, plastic skin
프롬프트 핵심
- 립싱크를 맨 앞에 – 원본 기상캐스터의 입, 턱, 입술, 눈썹 움직임을 프레임 단위로 따라 하라고 가장 먼저 적습니다.
- 대사를 시간별로 – 실제 대사를 초 단위 타이밍과 로마자 발음으로 함께 적어, 어느 순간에 어떤 소리를 내는지 알려 줍니다.
- 입 모양 지정 – “아”는 크게 벌리고, “오/우”는 둥글게, “이/에”는 옆으로, ㅁ·ㅂ·ㅍ에서는 입술을 완전히 닫도록 적습니다.
- 쉬는 구간도 – 문장 사이에는 입을 닫고 살짝 웃도록 해서, 말이 없을 때 입이 계속 움직이지 않게 합니다.
- 배경 고정 – 지도, 주간 예보표, 한글 자막과 숫자, KBS 로고, 수어 통역 화면까지 그대로 두라고 적습니다.
- 네거티브 프롬프트 – 입이 늦게 움직이거나, 멈추거나, 뭉개지는 경우와 원본 의상(흰색 트위드 원피스)이 남는 경우를 막습니다.
04대사 타이밍 알아내기
프롬프트에 넣은 대사와 타이밍은 원본 영상의 음성을 Whisper로 받아 적어서 얻었습니다. 단어별 시작 시간까지 나오기 때문에, 문장과 쉬는 구간을 초 단위로 적을 수 있습니다.
| 0.0–3.3초 | 서해상에서 최고 3.5미터로 높게 일겠습니다.seohae-sang-eseo choego sam-jjeom-o miteo-ro nopge ilgetseumnida |
| 3.5–6.2초 | 비가 그친 뒤에는 다시 쌀쌀해지겠습니다.biga geuchin dwieneun dasi ssalssal-haejigetseumnida |
| 6.4–7.6초 | 날씨 전해드렸습니다.nalssi jeonhae-deuryeotseumnida |
원본 영상의 소리는 결과 영상에 그대로 유지됩니다. 립싱크가 더 정확해야 한다면, 결과 영상을 Kling의 Lip Sync 기능에 원본 음성과 함께 한 번 더 넣어 입 모양만 다시 맞출 수 있습니다.
05파일 내려받기
직접 따라 해 볼 수 있도록 실제로 사용한 파일을 공유합니다.