Zatiaľ čo silný AI chatboty ako ChatGPT a Google Bard využívajú technológiu veľké jazykové modely, syntéza obrazu a videa pomocou AI sú postavené na modeloch Diffusion a GAN. Všetky tieto sú súčasťou populárnej Generatívna AI skúsenosti. A v tomto článku sa bližšie pozrieme na najlepšie generátory videa AI. Zatiaľ bolo online len niekoľko modelov umelej inteligencie s prevodom textu na video, ale ktoré z nich sú dobré a použiteľné? Ak to chcete zistiť, poďme ďalej a pozrite si zoznam najlepších generátorov videa AI v roku 2023.
Obsah
1. Dráha Gen-2
Najlepší generátor videa AI, ktorý môžete práve teraz použiť, je Runway Gen-2. Runway už skôr zaviedla generovanie video-to-video s Gen-1 a teraz s modelom Gen-2 môžete generovať video pomocou textových výziev od začiatku. Podobný Výzvy pre strednú cestu, môžešopísať scénu, uhly kameryatď. a prináša neuveriteľné výsledky. Skúsil som nejaké výzvy na Runway a urobilo to slušnú prácu.
Najlepšie na tom je, že do výzvy môžete pridať obrázok a Runway ho môže použiť vo videu. To je celkom fajn, však? Pokiaľ ide o dostupnosť, používanie je takmer zadarmo. Môžete generovať až do4 sekundové videá v rozlíšení 720p a môžete vytvoriť takmer 10 bezplatných videí.
Ak sa rozhodnete získať platený plán (12 USD mesačne), môžete videá exportovať v rozlíšení 4K, avšak 4-sekundové trvanie zostane rovnaké. Ak teda chcete vyskúšať najlepší nástroj AI na prevod textu na video, pozrite sa na Runway Gen-2.
Pozrite si Runway Gen-2 (Zadarmo, platený plán začína na 12 $ mesačne)
2. ModelScope
ModelScope je model prevodu textu na video financovaný laboratóriom DAMO Vision Intelligence Lab spoločnosti Alibaba a časom sa celkom zlepšil. Je postavený na modeli Diffusion a trénovaných na 1,7 miliardy parametrov. V súčasnosti podporuje len anglický vstup a dokáže generovať videá, ktoré zodpovedajú zadávaniu textu.
Našťastie je projekt k dispozícii na Hugging Face, takže ho môžete použiť na generovanie videí AI. Ale majte na pamäti, môže vygenerovať iba 2-sekundové videoa na videu je vodoznak „Shutterstock“. Skúsil som model a zdalo sa mi, že sa pracuje.
Pozrite si ModelScope (Zadarmo)
3. Zeroscope
Zeroscope je ďalší model prevodu textu na video odvodený od ModelScope. Je schopný vytvárať vysokokvalitné AI videá v rozlíšení 1024 x 576. Model bol navyše trénovaný na pôvodnej váhe od ModeScope 9 923 klipov a 29 769 označených snímok pri 24 snímkach (rozlíšenie 1024 x 576). Výsledkom je o niečo lepší výstup ako ModelScope.
Existujú dva modely Zeroscope: zeroscope_v2_576w a zeroscope_v2_XL. Model zeroscope_v2_576w sa používa na generovanie videa a zeroscope_v2_XL je zvyknutýupscale vytvoreného obsahu vo vyššom rozlíšení. Môžete si pozrieť ukážku tohto skvelého generátora videa AI na Hugging Face.
Pozrite si Zeroscope(Zadarmo)
4. VideoCrafter
VideoCrafter je súprava nástrojov AI na vytváranie videa z textových výziev, a to aj bolo vyvinuté spoločnosťou Tencent. Na rozdiel od iných modelov generovania videa AI to dokáže vytvárať videá s dĺžkou až 8 sekúnd a podporuje aj rôzne rozlíšenia.
Existujú tri rôzne spôsoby používať VideoCrafter. Môžete použiť generovanie textu na video, personalizované generovanie videa AI pomocou LoRA a generovanie ovládateľného videa. Všetky tri režimy vám umožňujú vytvárať AI videá od začiatku. VideoCrafter môžete spustiť lokálne na svojom počítači, ak máte výkonný GPU s najmenej 7 GB VRAM. Na internete je však k dispozícii demo Hugging Face, ktoré si môžete vyskúšať nižšie.
Pozrite si VideoCrafter (Zadarmo)
5. Synthesia
Synthesia je nástroj AI, ktorý môžete použiť vytvárať profesionálne videá AI v priebehu niekoľkých minút. Môžete ho použiť na vytváranie tutoriálov, video dokumentácie, prezentácie, predajné prezentácie a ešte oveľa viac. V tomto zmysle to nie je generátor videa AI, ktorý môže použiť vašu textovú výzvu na vytvorenie niečoho od začiatku. Na Synthesia si môžete vybrať z viac ako 140 rôznych avatarov AI a premeniť akýkoľvek text na reč vo viac ako 120 jazykoch.
Na vytváranie profesionálnych videí v podstate nemusíte stavať štúdio a kupovať drahý hardvér. So spoločnosťou Synthesia AI postava a vstavaná prevod textu na reč nástroj, môžete rýchlo začať vytvárať obsah. Jediné, čo musíte urobiť, je zadať skript videa.
Tak na čo čakáš? Pokračujte a vyskúšajte Synthesiu a vytvorte úžasné videá AI. Ak hľadáte alternatívu k Synthesii, môžete sa pozrieť na HeyGen (návšteva) a obrázkové (návšteva).
Pozrite si Synthesia(Jedno bezplatné video, platený plán začína na 22,50 USD mesačne)
6. Kaiber
Kaiber nie je generátor videa AI ako taký, ale dokáže generovať animácie predmetov v rôznych umeleckých formách. Môžete zadať textovú výzvu, nahrať svoj vlastný obrázok alebo nahrať skladbu a dokáže zabrať všetko a pomocou svojho pokročilého generovania umelej inteligencie vytvoriť pútavú animáciu. Môžete tiež nahrať svoje videá a transformovať ich do rôznych štýlov a estetiky.
Aplikácia však nie je úplne zadarmo. Získate 7-dňovú bezplatnú skúšobnú verziu, ale na to budete musieť pridať údaje o svojej karte a predplatiť jej predplatné v hodnote 5 USD plánovať. Jednoducho povedané, Kaiber je nástroj AI, ktorý by ste mali vyskúšať na generovanie povznášajúcich vizuálov vašich obrázkov a videí.
Pozrite sa na Kaibera(7-dňová bezplatná skúšobná verzia, platený plán začína na 5 USD mesačne)
7. Wonder Studio
Wonder Studio nie je nástroj na generovanie videa AI pre bežných spotrebiteľov, ale je zameraný na filmárov a tvorcov obsahu. Umožňuje vám to automaticky animovať počítačom vytvorenú postavu do živej akčnej scény bez nutnosti manuálneho použitia VFX. V podstate dokáže zautomatizovať 80 – 90 % VFX a 3D práce a funguje to dobre. Nie je potrebné používať zložitý 3D softvér ani drahý hardvér.
Wonder Studio dokáže automaticky zistiť herca v scénach a aplikovať CG postavu snímku po snímke bez ťažkej práce VFX. Takže ak ste začínajúci filmár, ktorý potrebuje rýchlo urobiť veľa práce s VFX, mali by ste sa pozrieť na Wonder Studio.
Pozrite si Wonder Studio (Vyžiadať prístup)
8. Google Imagen Video a Phenaki
Google nezverejnil svoj model prevodu textu na obrázok pre verejnosť, ale oznámil modely, na ktorých spoločnosť pracuje. Vyhľadávací gigant pracuje na Imagen Video založenom na modeloch Cascaded Diffusion. Dokáže generovať videá vo vysokom rozlíšení Rozlíšenie 1280 x 768 pri 24 fps.
Google tiež pracuje na Phenaki, modeli prevodu textu na video, ktorý dokáže syntetizovať realistické videá z textových výziev. Oba modely sú vo vývoji a my nie, keď máme v rukách funkčný generátor videa AI. Výskumné práce si však môžete prečítať z nižšie uvedených odkazov.
Pozrite si Google Imagen Video a Phenaki
Okrem toho má Meta oznámila svoj nástroj Make-A-Video AI ktorý dokáže generovať videá z textov. Pomocou textu, obrázkov alebo video vstupu môžete vytvárať realistické, neskutočné a prispôsobené videá. Model Meta je schopný vytvárať pohyblivé videá z jedného obrázka. Môžete tiež pridať viacero obrázkov ako vstup a môže to byť vyplniť v pohybe vytvárať snové videá.
Podľa výskumnej práce spoločnosti Meta má model generovania videa 3x lepšie zastúpenie textu a lepšiu efektivitu ako iné modely. Projekt opäť nie je otvorený pre verejnosť, ale môžete sa prihlásiť a požiadať o prístup z Meta.
Pozrite si video Make-A-Video od spoločnosti Meta
10. Model latentnej difúzie spoločnosti Nvidia
Nakoniec Nvidia oznámila svoj model latentnej difúzie videa s vysokou vernosťou, ktorý dokáže generovať efektívne videá vo vysokom rozlíšení pomocou textových výziev. Môže generovať videá v rozlíšení 1280 x 2048 pri 24 fps, čo je dokonalé. Väčšina jeho videí má dĺžku 5 sekúnd, no dokáže generovať aj dlhšie 5-minútové videá v rozlíšení 512 x 1024. Môžete tiež pridať obrazové vstupy a vytvoriť prispôsobené videá AI.
V priestore video syntézy si myslím, že Nvidia sa v budúcnosti ukáže ako jeden z kľúčových hráčov. Medzitým Nvidia na svojej webovej stránke predstavila niekoľko ukážok videí, ktoré si môžete pozrieť nižšie.
Pozrite si model latentnej difúzie Nvidie
Odporúčané články
Elai.io v zozname chýba
Odpovedzte
