HappyHorse 1.0: guia de prompts e seis casos de uso em vídeo IA

O HappyHorse 1.0 é um Transformer único de ~15 bilhões de parâmetros que faz denoise de tokens de texto, imagem, vídeo e áudio juntos numa sequência. O efeito prático: vídeo 1080p com áudio conjunto nativo em ~38 segundos num H100 — três a seis vezes mais rápido que pares sem perder qualidade perceptiva. Também entrega lip-sync multilíngue em seis idiomas num único weight set. Este guia cobre padrões de prompt que exploram a arquitetura e seis casos de uso que mostram para que o modelo serve de fato.

O que é o HappyHorse 1.0

Transformer de self-attention unificado com 40 camadas em layout sandwich: quatro camadas de entrada/saída por modalidade, 32 camadas compartilhadas no meio. Gating sigmoid por head mantém o treino multimodal estável. Não há submódulo de áudio separado — tokens de áudio vivem na mesma sequência que tokens de vídeo.

Por que a arquitetura unificada importa

A maioria dos modelos de vídeo concorrentes cola áudio num segundo estágio: renderiza vídeo, sintetiza faixa, tenta sync. O HappyHorse gera tudo no mesmo passe de denoise. Por isso diálogo fica na boca, Foley no contato e camadas ambientes coerentes no clipe.

A destilação DMD-2 em 8 passos é a outra metade: a maioria dos flagships usa 25–50 passos com CFG. O HappyHorse usa 8 passos, sem CFG — troca um pouco de headroom por 3–6× de velocidade. Em workflows de iteração pesada, isso é a diferença entre três e doze rascunhos por hora.

Framework de prompt engineering

Quatro hábitos dão a maior parte do ganho de qualidade. Transferem para outros modelos com áudio, mas o HappyHorse recompensa mais.

Pense áudio primeiro

Trate áudio como elemento de primeira classe do brief, não afterthought.

Use linguagem de câmera específica

O modelo interpreta termos de cinematografia com intenção.

• "Slow push-in" — zoom gradual que constrói tensão
• "Tracking shot" — câmera lateral ou seguindo o sujeito
• "Low-angle" — perspectiva de poder e escala
• "Macro close-up" — detalhe extremo, pouca profundidade de campo
• "360-degree orbit" — rotação completa ao redor do sujeito
• "Whip pan" — pan horizontal rápido

Camadas de áudio em três dimensões

Descreva como primeiro plano, meio e fundo — como um sound designer.

• Primeiro plano: som dominante (diálogo, SFX principal)
• Meio: secundários (passos, tecido, tilintar)
• Fundo: textura ambiente (multidão, chuva, trânsito, vento)

Ancore o estilo visual

Dois ou três tokens de estilo funcionam melhor que cinco. Alguns confiáveis:

• Fotorrealismo — "anamorphic bokeh, 35mm film grain, teal-orange grading"
• Anime / estilizado — "cel-shading, thick outlines, flat bold colors"
• Retro — "1990s VHS grain, oversaturated warm tones, CRT scan lines"
• Comercial — "studio lighting, white cyclorama, macro lens"

Sete dicas centrais

1. Coloque sujeito e ação nas primeiras quinze palavras.
2. Descreva áudio explicitamente; diálogo entre aspas.
3. Use direção de câmera específica, não verbos genéricos.
4. Nomeie estilo com filme, paleta ou tradição.
5. Inclua detalhes físicos — chuva no vidro, seda no vento, óleo no metal.
6. Mantenha prompts abaixo de ~100 palavras.
7. Teste em baixa resolução antes de 1080p.

Seis casos de uso testados

Seis briefs que exercitam partes diferentes do modelo.

1. Social curto com som nativo nível ASMR

Para criadores de TikTok e Reels que costumavam camadas de áudio no pós.

"Thai street food vendor flipping pad see ew on a flat-top griddle, close-up of wok with garlic and chilis, oil sizzles loud, spatula scrapes metal, neon signage above, warm tungsten lighting, handheld camera with subtle shake, light rain on plastic awning in the background, customer chatter in Thai mid-distance. 9:16."

2. Criativo de marketing com áudio cinematográfico preciso

Reveal de produto com movimento que honra o objeto e áudio no gesto.

"Luxury chronograph watch on a polished volcanic stone, slow-motion water droplets bead and roll across the dial, slow 360-degree orbit camera, soft mechanical click as the crown is pressed, deep ambient hum, studio lighting on a black background, anamorphic flare from upper left, 16:9."

3. Campanhas multilíngues numa geração

Lip-sync de um weight set. Mesmo shot, seis idiomas.

"A barista in a specialty coffee shop slides a flat white across a wooden counter and says, in casual Mandarin, '今天的豆子很特别，慢慢喝。' Espresso machine hisses, cup slides on wood, indie film aesthetic, soft window light from behind, shallow depth of field, 16:9."

4. B-roll e previz com ambiente em camadas

Establishing shots onde ambiente faz tanto trabalho quanto a imagem.

"Wide shot of a figure in a red parka approaching a glowing Antarctic research station at twilight, slow forward tracking, the camera then pulls back into a wide aerial, howling wind continuous, boots crunching frozen snow, faint radio crackle from inside the station, atmospheric ambient pad, cool blue palette, 21:9."

5. Motion de produto e-commerce a partir de still

Image-to-video que anima hero shot sem perder materiais.

"White running shoes on a charcoal pedestal, slow 360-degree orbit revealing tread, mesh, and neon accents, fine dust particles drift through a key light beam, soft whoosh as the shoe rotates, faint rubber creak, soft landing thud at the end of the rotation, soft studio lighting, 1:1."

6. Stress test multimodal para pesquisa

Teste conjunto áudio-vídeo.

"Three-piece jazz ensemble in a dim club: drums brushed lightly, walking double bass, saxophone solo. The audience taps a glass on the table in rhythm. Smoke drifts through a single overhead spotlight, vintage 16mm film grain, warm amber tungsten, slow lateral tracking from drums to saxophonist, 16:9."

Como se compara

Onde o HappyHorse se encaixa no roster de vídeo 2026.

Limites honestos

Três coisas antes de comprometer prazo com HappyHorse.

• Pesos e código de inferência ainda não publicados no momento da escrita. Repositório em github.com/FreeyW/HappyHorse sem árvore executável. Use pela OmniArt ou API Dashscope da Alibaba.
• Teto de 15 s por clipe. Sem timeline multi-shot nativa; encadeie com Extend em outro modelo para narrativas longas.
• Sem sistema multimodal de referência. Só texto e imagem. Para condicionamento em vídeo ou áudio de referência, use Seedance 2.0.

Começando na OmniArt

O HappyHorse 1.0 está no workspace de vídeo da OmniArt com Seedance 2.0, Kling, Veo 3, Sora 2 e V6. Uma conta, um saldo, avaliação lado a lado. Comece com o brief social ASMR para sentir o fluxo áudio-primeiro; depois o brief e-commerce image-to-video.

Se escolhe entre HappyHorse e Seedance 2.0, a comparação HappyHorse 1 vs Seedance 2 percorre trade-offs shot a shot. Para narrativa longa, o guia BACH é melhor ponto de partida.