HappyHorse 1.0: promptgids en zes toepassingen voor AI-video

HappyHorse 1.0 is één Transformer met 15 miljard parameters die tokens voor tekst, beeld, video en audio samen in één reeks ontruist. Het praktische effect is een model dat 1080p-video met native gezamenlijke audio genereert in ruwweg 38 seconden op een H100 — drie tot zes keer sneller dan vergelijkbare modellen, zonder de waargenomen kwaliteit op te geven. Het levert daarnaast meertalige lipsync in zes talen vanuit één gewichtenset. Deze gids behandelt de promptpatronen die de architectuur uitbuiten, plus zes toepassingen die laten zien waar het model echt voor is.

Wat HappyHorse 1.0 is

HappyHorse 1.0 is een verenigde self-attention-Transformer met 40 lagen in een sandwichopbouw: vier in- en uitgangslagen per modaliteit, 32 gedeelde middenlagen. Sigmoid-gating per head houdt de multimodale training stabiel. Er is geen aparte audiomodule — audiotokens zitten in dezelfde reeks als videotokens en worden samen ontruist.

Waarom de verenigde architectuur uitmaakt

De meeste concurrerende videomodellen plakken audio er als tweede stap aan vast: eerst de video renderen, dan een spoor synthetiseren, dan proberen te synchroniseren. HappyHorse genereert ze samen in dezelfde ontruisingsronde. Daarom blijft dialoog op de mond staan, landt Foley op het contact en blijven omgevingslagen samenhangend over de sneden binnen een clip.

De DMD-2-distillatie in 8 stappen is de tweede helft van het verhaal. De meeste vlaggenschipmodellen voor video doen 25 tot 50 ontruisingsstappen met classifier-free guidance. HappyHorse laat beide vallen — 8 stappen, geen CFG — en ruilt een beetje marge in voor een versnelling van 3 tot 6 keer. Voor workflows waarin je veel itereert, is dat het verschil tussen drie schetsen per uur en twaalf.

Raamwerk voor het schrijven van prompts

Vier gewoonten leveren het grootste deel van de kwaliteitswinst. Ze zijn overdraagbaar naar andere videomodellen die audio meenemen, maar HappyHorse beloont ze meer dan de meeste.

Denk eerst aan audio

Behandel audio als een volwaardig onderdeel van de briefing, niet als een naderhandje. Het contrast hieronder is klein om te lezen en groot om te bekijken.

Gebruik specifieke cameratermen

Het model leest cameratermen met bedoeling. Gebruik ze.

• "Slow push-in" — geleidelijke inzoom die spanning opbouwt
• "Tracking shot" — camera die zijdelings of achter het onderwerp meegaat
• "Low-angle" — perspectief van macht en formaat
• "Macro close-up" — extreem detail, geringe scherptediepte
• "360-degree orbit" — volledige draai rond het onderwerp
• "Aerial / drone shot" — vogelvlucht met voorwaartse beweging
• "Whip pan" — snelle horizontale zwaai

Bouw audio in drie lagen op

Audio werkt het best als je die beschrijft als voorgrond, middengrond en achtergrond — precies zoals een sounddesigner een scène mixt.

• Voorgrond: het dominante geluid (dialoog, hoofdeffect)
• Middengrond: secundaire geluiden (voetstappen, geritsel, gerinkel)
• Achtergrond: de omgevingstextuur (menigte, regen, verkeer, wind)

Zet de beeldstijl vast

Twee of drie stijltokens landen schoner dan vijf. Een paar die betrouwbaar aanslaan:

• Fotorealisme — "anamorphic bokeh, 35mm film grain, teal-orange grading"
• Anime / gestileerd — "cel-shading, thick outlines, flat bold colors"
• Retro — "1990s VHS grain, oversaturated warm tones, CRT scan lines"
• Commercieel — "studio lighting, white cyclorama, macro lens"

Zeven kerntips

1. Zet onderwerp en actie in de eerste vijftien woorden.
2. Beschrijf audio expliciet; zet dialoog tussen aanhalingstekens.
3. Gebruik specifieke camera-aanwijzingen in plaats van algemene werkwoorden.
4. Benoem de beeldstijl met een verwijzing naar film, palet of traditie.
5. Neem fysieke details op — regen op glas, zijde die wind vangt, olie op metaal.
6. Houd prompts onder ongeveer 100 woorden.
7. Test op lage resolutie voordat je op 1080p genereert.

Zes geteste toepassingen

Zes briefings die verschillende delen van het model aanspreken. Elk ervan is het soort werk waar de architectuur echt goed in is.

1. Korte social content met native geluid van ASMR-kwaliteit

Gebouwd voor makers op TikTok en Reels die audio vroeger in de nabewerking eronder legden.

"Thai street food vendor flipping pad see ew on a flat-top griddle, close-up of wok with garlic and chilis, oil sizzles loud, spatula scrapes metal, neon signage above, warm tungsten lighting, handheld camera with subtle shake, light rain on plastic awning in the background, customer chatter in Thai mid-distance. 9:16."

2. Marketingcreatie met filmisch precieze audio

Een productonthulling met beweging die het object recht doet en geluid dat op de actie landt.

"Luxury chronograph watch on a polished volcanic stone, slow-motion water droplets bead and roll across the dial, slow 360-degree orbit camera, soft mechanical click as the crown is pressed, deep ambient hum, studio lighting on a black background, anamorphic flare from upper left, 16:9."

3. Meertalige campagnes uit één generatie

De lipsync komt uit één gewichtenset. Hetzelfde shot, zes talen.

"A barista in a specialty coffee shop slides a flat white across a wooden counter and says, in casual Mandarin, '今天的豆子很特别，慢慢喝。' Espresso machine hisses, cup slides on wood, indie film aesthetic, soft window light from behind, shallow depth of field, 16:9."

4. B-roll en previsualisatie met gelaagd omgevingsgeluid

Openingsbeelden waarin de ambiance net zo veel werk doet als het beeld.

"Wide shot of a figure in a red parka approaching a glowing Antarctic research station at twilight, slow forward tracking, the camera then pulls back into a wide aerial, howling wind continuous, boots crunching frozen snow, faint radio crackle from inside the station, atmospheric ambient pad, cool blue palette, 21:9."

5. Productbeweging voor e-commerce vanuit een stilstaand beeld

Een beeld-naar-videobriefing die een heroshot animeert zonder de materialen te verliezen.

"White running shoes on a charcoal pedestal, slow 360-degree orbit revealing tread, mesh, and neon accents, fine dust particles drift through a key light beam, soft whoosh as the shoe rotates, faint rubber creak, soft landing thud at the end of the rotation, soft studio lighting, 1:1."

6. Multimodale stresstest voor AI-onderzoek

Een jamtest voor de gezamenlijke audio-videoreeks.

"Three-piece jazz ensemble in a dim club: drums brushed lightly, walking double bass, saxophone solo. The audience taps a glass on the table in rhythm. Smoke drifts through a single overhead spotlight, vintage 16mm film grain, warm amber tungsten, slow lateral tracking from drums to saxophonist, 16:9."

Hoe het zich verhoudt

Waar HappyHorse past in de videoline-up van 2026.

Eerlijke beperkingen

Drie dingen om te weten voordat je een deadline aan HappyHorse ophangt.

• De gewichten en de inferentiecode zijn nog niet gepubliceerd op het moment van schrijven. De repository bestaat op github.com/FreeyW/HappyHorse, maar de uitvoerbare code staat er nog niet in. Gebruik in de tussentijd Happy Horse 1.0 op OmniArt of de Dashscope-API van Alibaba.
• Een limiet van 15 seconden per clip. Er is geen native multi-shot-tijdlijn; rijg clips aaneen met Extend Mode in een ander model voor langere verhalen.
• Geen multimodaal referentiesysteem. Alleen tekst en afbeelding. Heb je conditionering op video- of audioreferenties nodig, gebruik dan Seedance 2.0.

Aan de slag op OmniArt

Happy Horse 1.0 staat in de videowerkruimte van OmniArt, naast Seedance 2.0, Kling, Veo 3, Sora 2 en V6. Eén account, één tegoed, modellen naast elkaar beoordelen. Begin met de ASMR-briefing voor social hierboven om de audio-eerst-workflow te leren kennen, en ga daarna door naar de e-commercebriefing zodra je beeld-naar-video wilt testen.

Twijfel je tussen HappyHorse en Seedance 2.0, dan loopt de vergelijking van HappyHorse 1 en Seedance 2 de afwegingen shot voor shot door. Voor langere verhalende stukken is de gids over BACH als cameraman het betere startpunt.