HappyHorse 1.0: guía de prompts y seis casos de uso para video con IA

HappyHorse 1.0 es un solo Transformer de 15 mil millones de parámetros que le quita ruido a los tokens de texto, imagen, video y audio juntos, en una misma secuencia. El efecto práctico es un modelo que genera video 1080p con audio nativo conjunto en unos 38 segundos sobre una H100: entre tres y seis veces más rápido que sus pares sin resignar calidad perceptual. Además trae lip-sync multilingüe en seis idiomas desde un mismo juego de pesos. Esta guía cubre los patrones de prompt que aprovechan la arquitectura y seis casos de uso que muestran para qué sirve el modelo de verdad.

Qué es HappyHorse 1.0

HappyHorse 1.0 es un Transformer unificado de autoatención con 40 capas en disposición de sándwich: cuatro capas de entrada y salida por modalidad, y 32 capas intermedias compartidas. Un gating sigmoide por cabeza mantiene estable el entrenamiento multimodal. No hay un submódulo de audio aparte: los tokens de audio viven en la misma secuencia que los de video, y se les quita ruido juntos.

Por qué importa la arquitectura unificada

La mayoría de los modelos de video de la competencia le acopla el audio como segunda etapa: renderizar el video, sintetizar una pista y después intentar sincronizarlas. HappyHorse los genera juntos en la misma pasada de eliminación de ruido. Por eso el diálogo se queda en la boca, el Foley cae justo en el contacto y las capas de ambiente se mantienen coherentes entre cortes dentro de un mismo clip.

La destilación DMD-2 en 8 pasos es la otra mitad de la historia. La mayoría de los modelos de video insignia usa entre 25 y 50 pasos de eliminación de ruido con classifier-free guidance. HappyHorse renuncia a las dos cosas —8 pasos, sin CFG— y cambia un poco de margen por una aceleración de 3–6×. En flujos con muchas iteraciones, esa es la diferencia entre tres borradores por hora y doce.

Marco de ingeniería de prompts

Cuatro hábitos concentran la mayor parte de la mejora de calidad. Son transferibles a otros modelos de video con conciencia de audio, pero HappyHorse los premia más que la mayoría.

Piensa primero en el audio

Trata el audio como un elemento de primera clase del brief, no como algo que se agrega al final. El contraste de abajo es chico al leerlo y enorme al mirarlo.

Usa lenguaje de cámara específico

El modelo interpreta los términos de cinematografía con intención. Úsalos.

• “Slow push-in”: acercamiento gradual que construye tensión
• “Tracking shot”: seguimiento lateral o por detrás del sujeto
• “Low-angle”: perspectiva de poder y escala
• “Macro close-up”: detalle extremo, poca profundidad de campo
• “360-degree orbit”: rotación completa alrededor del sujeto
• “Aerial / drone shot”: vista de pájaro con movimiento hacia adelante
• “Whip pan”: barrido horizontal rápido

Trabaja el audio en tres planos

El audio funciona mejor cuando se describe como primer plano, plano medio y fondo, igual que mezcla una escena un diseñador de sonido.

• Primer plano: el sonido dominante (diálogo, efecto principal)
• Plano medio: los sonidos secundarios (pasos, roces, tintineos)
• Fondo: la textura ambiente (multitud, lluvia, tráfico, viento)

Ancla el estilo visual

Dos o tres tokens de estilo aterrizan más limpio que cinco. Algunos que funcionan de forma confiable:

• Fotorrealismo: “anamorphic bokeh, 35mm film grain, teal-orange grading”
• Anime o estilizado: “cel-shading, thick outlines, flat bold colors”
• Retro: “1990s VHS grain, oversaturated warm tones, CRT scan lines”
• Comercial: “studio lighting, white cyclorama, macro lens”

Siete consejos base

1. Pon el sujeto y la acción en las primeras quince palabras.
2. Describe el audio de forma explícita; pon el diálogo entre comillas.
3. Usa dirección de cámara específica en vez de verbos genéricos.
4. Nombra el estilo visual con referencia a un cine, una paleta o una tradición.
5. Incluye detalles físicos: lluvia sobre vidrio, seda atrapando el viento, aceite sobre metal.
6. Mantén los prompts por debajo de unas 100 palabras.
7. Prueba a baja resolución antes de generar en 1080p.

Seis casos de uso probados

Seis briefs que ejercitan partes distintas del modelo. Cada uno es el tipo de trabajo en el que la arquitectura es genuinamente buena.

1. Formato corto para redes con sonido nativo de calidad ASMR

Pensado para creadores de TikTok y Reels que antes montaban el audio en posproducción.

"Thai street food vendor flipping pad see ew on a flat-top griddle, close-up of wok with garlic and chilis, oil sizzles loud, spatula scrapes metal, neon signage above, warm tungsten lighting, handheld camera with subtle shake, light rain on plastic awning in the background, customer chatter in Thai mid-distance. 9:16."

2. Creatividad de marketing con audio cinematográfico preciso

Revelación de producto con un movimiento que honra el objeto y un audio que cae justo sobre la acción.

"Luxury chronograph watch on a polished volcanic stone, slow-motion water droplets bead and roll across the dial, slow 360-degree orbit camera, soft mechanical click as the crown is pressed, deep ambient hum, studio lighting on a black background, anamorphic flare from upper left, 16:9."

3. Campañas multilingües desde una sola generación

El lip-sync sale de un mismo juego de pesos. El mismo plano, en seis idiomas.

"A barista in a specialty coffee shop slides a flat white across a wooden counter and says, in casual Mandarin, '今天的豆子很特别，慢慢喝。' Espresso machine hisses, cup slides on wood, indie film aesthetic, soft window light from behind, shallow depth of field, 16:9."

4. B-roll y previz con audio ambiental por capas

Planos de establecimiento donde el ambiente trabaja tanto como la imagen.

"Wide shot of a figure in a red parka approaching a glowing Antarctic research station at twilight, slow forward tracking, the camera then pulls back into a wide aerial, howling wind continuous, boots crunching frozen snow, faint radio crackle from inside the station, atmospheric ambient pad, cool blue palette, 21:9."

5. Movimiento de producto para comercio electrónico desde una imagen fija

Un brief de imagen a video que anima un plano hero sin perder los materiales.

"White running shoes on a charcoal pedestal, slow 360-degree orbit revealing tread, mesh, and neon accents, fine dust particles drift through a key light beam, soft whoosh as the shoe rotates, faint rubber creak, soft landing thud at the end of the rotation, soft studio lighting, 1:1."

6. Prueba de esfuerzo multimodal para investigación en IA

Una prueba de improvisación para la secuencia conjunta de audio y video.

"Three-piece jazz ensemble in a dim club: drums brushed lightly, walking double bass, saxophone solo. The audience taps a glass on the table in rhythm. Smoke drifts through a single overhead spotlight, vintage 16mm film grain, warm amber tungsten, slow lateral tracking from drums to saxophonist, 16:9."

Cómo se compara

Dónde encaja HappyHorse dentro del catálogo de video de 2026.

Límites honestos

Tres cosas que conviene saber antes de comprometer una fecha de entrega con HappyHorse.

• Los pesos y el código de inferencia todavía no se publican al momento de escribir esto. El repositorio existe en github.com/FreeyW/HappyHorse, pero el árbol ejecutable todavía no está ahí. Mientras tanto, usa Happy Horse 1.0 en OmniArt o la API Dashscope de Alibaba.
• Tope de 15 segundos por clip. No hay una línea de tiempo multi-shot nativa; encadena con Extend Mode en otro modelo para narrativas más largas.
• Sin sistema de referencias multimodales. Solo texto e imagen. Si necesitas condicionar con referencias de video o de audio, usa Seedance 2.0.

Cómo empezar en OmniArt

Happy Horse 1.0 vive en el espacio de video de OmniArt junto a Seedance 2.0, Kling, Veo 3, Sora 2 y V6. Una cuenta, un saldo de créditos, evaluación de modelos lado a lado. Empieza con el brief social de ASMR de más arriba para tomarle el pulso al flujo con el audio por delante, y después pasa al brief de comercio electrónico cuando quieras probar imagen a video.

Si estás eligiendo entre HappyHorse y Seedance 2.0, la comparación entre HappyHorse 1 y Seedance 2 recorre las contrapartidas plano por plano. Para piezas narrativas más largas, la guía de BACH como director de fotografía es el mejor punto de partida.