ComfyUI: स्टेबल वीडियो डिफ्यूजन (वर्कफ़्लो ट्यूटोरियल)

1. ComfyUI में स्टेबल वीडियो डिफ्यूजन का उपयोग करना [1]

ComfyUI में स्टेबल वीडियो डिफ्यूजन (SVD) का उपयोग करके इमेज से वीडियो बनाने के लिए एक विस्तृत वर्कफ़्लो की आवश्यकता होती है, जिसमें मॉडल डाउनलोड करना, आवश्यक नोड्स स्थापित करना और विभिन्न सेटिंग्स को कॉन्फ़िगर करना शामिल है।

1.1. ComfyUI में SVD मॉडल स्थापित करना और कॉन्फ़िगर करना [1]

1. SVD मॉडल और ComfyUI के लिए आवश्यकताएँ [1]
   1. स्टेबिलिटी AI ने स्टेबल वीडियो डिफ्यूजन के लिए अपना पहला मॉडल जारी किया है, जो ComfyUI में स्थानीय रूप से चलाया जा सकता है। [1]
   2. यह मॉडल 4090 GPU पर 100% GPU का उपयोग करता है, खासकर Canny सैंपलिंग प्रक्रिया के दौरान। [11]
   3. मॉडल 25 फ़्रेम से अधिक के लिए प्रशिक्षित नहीं है, हालाँकि 4090 GPU 120 FPS तक कर सकता है, लेकिन इससे अधिक पर मेमोरी त्रुटि देता है। [12]
   4. दोनों मॉडल 1024x576 के रिज़ॉल्यूशन पर वीडियो बना सकते हैं, जो पोर्ट्रेट और लैंडस्केप दोनों में काम करता है, लेकिन लैंडस्केप में बेहतर परिणाम देता है। [14]
2. दो SVD मॉडल और उनका उपयोग [15]
   1. पहला मॉडल 14 फ़्रेम उत्पन्न करने के लिए प्रशिक्षित है। [15]
   2. दूसरा मॉडल, SVD XTO, 25 फ़्रेम उत्पन्न करने के लिए प्रशिक्षित है, और इस ट्यूटोरियल में इसका उपयोग किया जाएगा। [17]
3. आवश्यक इंस्टॉलेशन और सेटअप [19]
   1. SVD मॉडल को अपनी ComfyUI डायरेक्टरी में ComfyUI/models/svd फ़ोल्डर में डाउनलोड करें। [19]
   2. Comfy Manager आवश्यक है; इसकी इंस्टॉलेशन के लिए स्टेबल डिफ्यूजन प्लेलिस्ट देखें। [20]
   3. ComfyUI खोलें और सुनिश्चित करें कि सभी कस्टम नोड्स अपडेटेड हैं। [22]
   4. आवश्यक कस्टम नोड्स में W Node Suite, Video Helper Suite, और Image Resize शामिल हैं। [23]
   5. नोड्स स्थापित करने के बाद, ब्राउज़र और कमांड प्रॉम्प्ट को बंद करें, फिर ComfyUI को पुनरारंभ करें। [26]
   6. कस्टम नोड्स के काम करने के लिए FFmpeg स्थापित करना आवश्यक है। [27]
      1. GyanDodev से Windows Builds के लिए FFmpeg रिलीज़ फुल ZIP फ़ाइल डाउनलोड करें। [28]
      2. इसे 7-Zip या WinRAR का उपयोग करके निकालें (इसे ComfyUI के समान स्थान पर रखा जा सकता है)। [30]
      3. bin फ़ोल्डर में जाएँ और उसका स्थान कॉपी करें। [32]
      4. उन्नत सिस्टम सेटिंग्स में, पर्यावरण चर में 'Path' का चयन करें, 'Edit' पर क्लिक करें, 'New' पर क्लिक करें और कॉपी किए गए स्थान को पेस्ट करें, फिर सभी विकल्पों पर 'OK' क्लिक करें। [33]
   7. डिफ़ॉल्ट 'Save Animated WebP' नोड के बजाय 'VHS Video Combine' कस्टम नोड का उपयोग करें, क्योंकि डिफ़ॉल्ट नोड केवल WebP आउटपुट का समर्थन करता है, जबकि कस्टम नोड GIF, WebP, MP4 आदि को ComfyUI के भीतर निर्यात करने की अनुमति देता है। [44]

1.2. SVD वर्कफ़्लो का निर्माण और सेटिंग्स को समझना [49]

1. मूल SVD वर्कफ़्लो का निर्माण [49]
   1. SVD चेकपॉइंट का चयन करें। [39]
   2. 'Video Linear CFG Guidance' नोड जोड़ें। [41]
   3. 'SVD' खोजें और 'Image to Video conditioning' नोड जोड़ें। [42]
   4. 'K-Lite sampler' और 'VAE decode' नोड जोड़ें। [43]
   5. 'VHS Video Combine' नोड जोड़ें। [44]
   6. 'Load Image' नोड जोड़ें, 'Image Resize' नोड जोड़ें, और एक 'Preview' नोड जोड़ें। [51]
2. इमेज रिसाइज़ नोड का उपयोग करना [56]
   1. इस नोड का उद्देश्य इमेज के अनुपात को बनाए रखना और उसे क्रॉप करना है, जिससे आप किसी भी इमेज को ठीक उसी तरह संरेखित कर सकें जैसा आप चाहते हैं। [56]
   2. 'action' सेटिंग को 'Crop to ratio' में बदलें। [59]
   3. अधिकतम ऊँचाई या चौड़ाई 1024 हो सकती है; इस मान को बड़ी तरफ रखें। [60]
   4. 'resize mode' को 'Reduce Size Only' पर रखें, जो बड़ी इमेज के लिए उपयोगी है। [63]
   5. पहलू अनुपात को लैंडस्केप के लिए 16:9 या पोर्ट्रेट के लिए 9:16 पर रखें। [65]
3. CFG, मोशन बकेट ID और शेड्यूलर को समझना [71]
   1. CFG मान महत्वपूर्ण है और 'Video Linear Guidance' नोड पर सेट किए गए न्यूनतम CFG मान के सापेक्ष है। [72]
   2. न्यूनतम CFG मान वह है जब वीडियो शुरू होता है, और सैंपलर में इनपुट किया गया मान वह है जिस पर वीडियो समाप्त होता है। [73]
   3. CFG सेटिंग 'Motion Bucket ID' सेटिंग के सापेक्ष भी है। [74]
   4. 'Motion Bucket ID' और सैंपलर CFG वीडियो में कैमरा और गति आंदोलन को निर्धारित करेंगे। [75]
   5. शेड्यूलर आउटपुट में बहुत अंतर डालता है। [76]
   6. 'denoise' हमेशा एक पर रहेगा, क्योंकि मॉडल को गति और एनीमेशन जोड़ने की आवश्यकता होती है; इसे कम करने से इमेज स्थिर रहेगी। [78]
4. वीडियो फ़्रेम, ऑग्मेंटेशन स्तर और फ़्रेम दर [81]
   1. ऊँचाई और चौड़ाई को पोर्ट्रेट या लैंडस्केप ओरिएंटेशन के अनुसार बदलें, अधिकतम 1024 सुनिश्चित करें। [81]
   2. चेकपॉइंट मॉडल SVD-XT होने के कारण वीडियो फ़्रेम को 25 पर सेट करें। [84]
   3. 'augmentation level' जनरेशन में जोड़ा गया शोर स्तर है, जो विवरण का स्तर जोड़ता है। [85]
      1. यह बहुत संवेदनशील है, और उच्च मान कभी-कभी कम मान की तुलना में खराब गति विवरण देते हैं। [86]
      2. यह इमेज-टू-इमेज और अन्य सेटिंग्स पर निर्भर करता है। [88]
   4. फ़्रेम दर को डिफ़ॉल्ट 8 से 10 में बदलने की सिफारिश की जाती है; उच्च फ़्रेम दर की सिफारिश नहीं की जाती है क्योंकि कुल वीडियो फ़्रेम केवल 25 हैं। [91]
5. आउटपुट प्रारूप और CRF मान [93]
   1. GIF सीमित रंगों का समर्थन करता है; WebP GIF का एक बेहतर विकल्प है और 24-बिट RGB को 8-बिट अल्फा चैनल के साथ समर्थन करता है। [93]
   2. H.264 MP4 प्रारूप का उपयोग करने की सिफारिश की जाती है, क्योंकि यह एक मानक वीडियो प्रारूप है और इसे तृतीय-पक्ष सॉफ़्टवेयर के माध्यम से अपस्केल किया जा सकता है। [94]
   3. CRF मान मुख्य रूप से तब प्रभावित करता है जब आउटपुट MP4 में होता है; उच्च मान गुणवत्ता को कम करता है, और कम मान गुणवत्ता और आकार को बढ़ाता है। [96]
6. CFG और मोशन बकेट ID के साथ गति को नियंत्रित करना [98]
   1. उच्च K सैंपलर CFG इमेज के भीतर विभिन्न तत्वों की गति को बढ़ाता है। [98]
   2. CFG को 3.5 पर सेट करने से मोशन धीमा हो जाता है, जबकि 4.5 पर सेट करने से मोशन अधिक स्थिर और कम पैनिंग वाला होता है। [99]
   3. CFG को 1.5 तक कम करने से पृष्ठभूमि की गति कम हो जाती है और पैनिंग बढ़ जाती है, जिससे विवरणों का नुकसान होता है। [103]
   4. मोशन बकेट मान को पाँच तक कम करने से एक स्थिर इमेज मिलती है जिसमें केवल कुछ तत्व गति में होते हैं, जैसे पानी का प्रतिबिंब। [105]

2. उन्नत एनीमेशन तकनीकें और वर्कफ़्लो [108]

यह खंड ComfyUI में स्टेबल वीडियो डिफ्यूजन का उपयोग करके विशिष्ट और सूक्ष्म एनीमेशन प्रभाव प्राप्त करने के लिए विभिन्न उन्नत तकनीकों और वर्कफ़्लो की पड़ताल करता है।

2.1. पोर्ट्रेट इमेज में सूक्ष्म एनीमेशन [108]

1. पोर्ट्रेट इमेज के लिए सेटिंग्स समायोजित करना [108]
   1. पोर्ट्रेट इमेज में गति जोड़ना मुश्किल हो सकता है क्योंकि पूरी इमेज विकृत हो जाती है। [110]
   2. अनुपात को 9:16 में बदलें, नोड को डिस्कनेक्ट करें, और क्रॉप की गई इमेज संरेखण की जाँच के लिए Q-प्रॉम्प्ट करें। [111]
   3. यदि इमेज क्षैतिज है, तो क्रॉप पैड स्थिति के लिए मान बदलने से इमेज क्षैतिज रूप से शिफ्ट हो जाएगी; 0.5 का मान इमेज को केंद्र-संरेखित करेगा। [112]
   4. शेड्यूलर को Caris में बदलें और कंडीशन में चौड़ाई और ऊँचाई के मानों को उलट दें। [114]
   5. मोशन बकेट को कम मान पर सेट करें। [115]
2. ऑग्मेंटेशन स्तर के साथ विकृति को ठीक करना [116]
   1. मॉडल इमेज के आधार पर गति का पता लगाने के लिए प्रशिक्षित है, इसलिए हाथ जैसी चीज़ों में पहले गति जोड़ी जाएगी। [116]
   2. यदि एनीमेशन विकृत हो जाता है, तो इस विकृति को ठीक करने के लिए ऑग्मेंटेशन स्तर को 0.1 तक बढ़ाएँ। [117]
   3. यदि आप उंगलियों को पूरी तरह से हिलना बंद करना चाहते हैं, तो मोशन बकेट को एक तक कम करें, जिससे केवल हाथ हिलेगा। [119]
   4. ऑग्मेंटेशन स्तर को 0.05 तक और कम किया जा सकता है। [120]
3. पिंग पोंग प्रभाव और चेहरे के एनीमेशन [122]
   1. यदि एनीमेशन में कट है, तो 'पिंग पोंग' प्रभाव का उपयोग करें, जो एनीमेशन को उलट देता है और इसे लूप में चलाता है। [122]
   2. किसी भी क्लोज-अप चेहरे की इमेज के लिए, सैंपलर को किसी भी 'ancestral' में बदलने से मॉडल चेहरे में कुछ एनीमेट करने की कोशिश करेगा, सबसे अधिक संभावना आँखों को। [125]
   3. इसके लिए, मोशन बकेट स्तर 5 से 25 तक काम करता है, जो इमेज पर निर्भर करता है। [126]

2.2. मल्टी-इमेज ब्लिंकिंग एनीमेशन [129]

1. आँखों को झपकाने के लिए मल्टी-इमेज वर्कफ़्लो [129]
   1. इस वर्कफ़्लो में, AI को विशिष्ट सूक्ष्म एनीमेशन करने के लिए एक चाल का उपयोग किया जाता है, जैसे आँखों को झपकाना। [129]
   2. क्लोज-अप इमेज में, सभी 'ancestral' मॉडल आँखों को एनीमेट कर सकते हैं, लेकिन 'Oilers' 'DPM2' या 'DPM++ 2S ancestral' की तुलना में अधिक गति का कारण बनते हैं। [133]
   3. यदि कोई झपकी नहीं है, तो सैंपलर CFG को न्यूनतम CFG मान के करीब लाते हुए कम करने का प्रयास करें, जैसे 1.1। [135]
   4. एक झपकी एनीमेशन बनाने के लिए, दो इमेज लोडर और दो इमेज के सेट की आवश्यकता होती है: एक खुली आँखों वाली और एक बंद आँखों वाली। [140]
   5. 'Repeat Image Batch' नोड को दो बार जोड़ें। [141]
   6. दो 'Image Batch' नोड्स जोड़ें और खुली और बंद आँखों वाली इमेज को मिलाएं। [143]
   7. 'Repeat Image Batch' का मान एक है, जो दो इमेज बैचों में जाता है, जिससे कुल चार इमेज बनती हैं। [145]
   8. झपकी एनीमेशन के लिए, सेटअप ऐसा होना चाहिए कि पहली इमेज खुली आँखों वाली हो, फिर दो इमेज बंद आँखों वाली हों, और अंतिम इमेज फिर से खुली आँखों वाली हो। [146]
2. मल्टी-इमेज विधि के पीछे का सिद्धांत [152]
   1. यह विधि फ़्रेम इंटरपोलेशन का उपयोग नहीं करती है, बल्कि AI को एक संदर्भ इमेज के बजाय एक विशिष्ट क्रम में चार इमेज का एक सेट देती है। [153]
   2. यह AI को काम करने के लिए अधिक पिक्सेल शोर जोड़ता है, जिससे AI जो पहले से कर रहा है उसे प्रभावित करता है। [155]
3. रंग विकृति को ठीक करना और अनुपात समायोजित करना [157]
   1. इस विधि से आँखों का रंग बदल सकता है क्योंकि आइरिस के बजाय बंद पलकों की इमेज होती हैं, जिससे रंग की व्याख्या गड़बड़ा सकती है। [157]
   2. इसे ठीक करने का एक तरीका बंद आँखों वाली इमेज की तुलना में खुली आँखों वाली इमेज की संख्या बढ़ाना है। [158]
   3. अनुपात को 2:1 पर रखें और दोनों इमेज को तदनुसार बढ़ाएँ, जैसे पहली इमेज के लिए आठ और दूसरी इमेज के लिए चार। [159]
4. इमेज-निर्भर व्यवहार और अनुपात समायोजन [166]
   1. कुछ इमेज के लिए, एक ही सेटिंग्स के साथ भी कोई गति नहीं हो सकती है। [166]
   2. यदि ऐसा होता है, तो अनुपात को बदलने की आवश्यकता होती है ताकि पहली इमेज की हर nth संख्या के लिए दूसरी इमेज अधिक हो। [172]
   3. उदाहरण के लिए, पहली इमेज के लिए 'repeat batch' को 12 और दूसरी इमेज के लिए आठ तक बढ़ाना। [174]
   4. यदि थोड़ी विकृति के साथ झपकी आती है, तो 1:1 अनुपात का प्रयास करें। [175]

2.3. चेहरे के भाव और गति एनीमेशन [180]

1. होंठों की गति और चेहरे के भाव [180]
   1. होंठों की गति जैसे चेहरे के भावों को एनीमेट करने के लिए मल्टी-इमेज विधि का उपयोग किया जा सकता है। [180]
   2. यदि एक ही सैंपलर और शेड्यूलर के साथ काम नहीं करता है, तो 'Euler A', 'ancestral', और 'simple' में बदलने से थोड़ा सा मुस्कुराने जैसा प्रभाव मिल सकता है। [182]
   3. यदि दूसरी इमेज की मुस्कान बहुत चौड़ी है, तो ओवरलैपिंग इमेज मिलेंगी। [183]
   4. झपकी एनीमेशन आसान है और उम्मीद के मुताबिक काम करता है। [184]
2. आगे की गति और कैमरा पैनिंग को नियंत्रित करना [185]
   1. इमेज के आधार पर गति अनुमानित होती है; AI इमेज को समझता है और आगे की गति जैसा प्रभाव पैदा कर सकता है। [185]
   2. पेडल आंदोलन को एनीमेट करने का प्रयास न करें, क्योंकि यह मॉडल की वर्तमान स्थिति में काम नहीं करेगा। [187]
   3. मोशन बकेट बढ़ाने से पैर, सिर आदि एनीमेट होंगे। [188]
   4. न्यूनतम CFG के संदर्भ में CFG बढ़ाने से कैमरा पैनिंग और पृष्ठभूमि की गति बढ़ जाएगी। [189]
   5. यदि आप केवल आगे की गति चाहते हैं और कोई कैमरा पैनिंग नहीं चाहते हैं, तो 'पिंग पोंग' प्रभाव को बंद करना सुनिश्चित करें। [190]
3. ऑग्मेंटेशन स्तर का प्रभाव [194]
   1. 'augmentation level' एक बहुत ही संवेदनशील सेटिंग है; 0.05 या 0.1 एक अच्छा प्रारंभिक बिंदु है। [195]
   2. वांछित प्रभाव प्राप्त होने तक मान बढ़ाएँ। [196]
   3. कभी-कभी, इसे थोड़ा अधिक रखने से गति में विवरण का नुकसान होता है। [197]
   4. 'augmentation level' को शून्य पर सेट करने से सब कुछ हिलना बंद हो जाता है। [202]
   5. इसे 0.4 तक बढ़ाने से अधिक धुआँ हो सकता है, लेकिन सामने के पहिये की सबसे स्पष्ट गति स्थिर हो जाती है। [205]

2.4. शोर वाले लेटेंट कंपोजिशन के साथ दो वीडियो को जोड़ना [207]

1. शोर वाले लेटेंट कंपोजिशन का उपयोग करना [207]
   1. यह वर्कफ़्लो दो वीडियो उत्पन्न करता है और प्रभावों को जोड़ता है, जिसे 'noisy latent composition' नामक तकनीक का उपयोग करके किया जाता है। [208]
   2. उदाहरण के लिए, लहरों को धीरे-धीरे हिलाना और टाइम-लैप्स गति प्रभाव के साथ आकाश में बादल जोड़ना। [210]
   3. दूसरे वीडियो के लिए एक अलग समूह बनाएँ, जिसमें 'Image-to-Video' का फिर से उपयोग किया जा सकता है, या 'Text-to-Image' या एक तैयार वीडियो का उपयोग किया जा सकता है। [212]
   4. दूसरे वीडियो के लिए एक बादल इमेज का उपयोग करें, और इमेज के अनुपात या आयामों के बारे में चिंता न करें। [214]
2. इमेज आकार और ऊँचाई को समायोजित करना [218]
   1. 'Image Size to number' नोड जोड़ें, जो ComfyUI के भीतर क्रॉपिंग के बाद रिज़ॉल्यूशन दिखाएगा। [218]
   2. दूसरे वीडियो की ऊँचाई पहले वीडियो के समान नहीं हो सकती है; इसे आकाश को भरने की आवश्यकता है। [219]
   3. दो 'Number-to-Text' नोड्स जोड़ें और चौड़ाई और ऊँचाई को कनेक्ट करें, जो क्रॉपिंग के बाद चौड़ाई और ऊँचाई प्रदर्शित करेगा। [221]
   4. दूसरे वीडियो के लिए पूरी वीडियो प्रोसेसिंग समूह को दोहराएँ, इमेज को दूसरे SVD और कंडीशनिंग से कनेक्ट करें। [224]
   5. दूसरे वीडियो की ऊँचाई 576 नहीं हो सकती है, क्योंकि यह पहले वीडियो को बदल देगा। [225]
   6. चूंकि दूसरी इमेज की रिसाइज़ ऊँचाई 396 है, इसलिए ऊँचाई को लगभग 392 या 400 के मान पर सेट करें। [226]
3. कंडीशनिंग और लेटेंट कंपोजिशन नोड्स को जोड़ना [228]
   1. यह समूह महत्वपूर्ण है क्योंकि सभी प्रॉम्प्ट और K सैंपलर से आउटपुट यहाँ संयोजित होंगे। [228]
   2. प्रॉम्प्ट के लिए, दो 'conditioning combine' नोड्स का उपयोग करें। [229]
   3. सकारात्मक और नकारात्मक का क्रम मायने नहीं रखता है, क्योंकि एक 'latent composition' नोड का उपयोग किया जाएगा, और उस नोड में क्रम मायने रखेगा। [230]
   4. सकारात्मक को पहले नोड से और नकारात्मक को दूसरे संयुक्त कंडीशनिंग नोड से कनेक्ट करें। [232]
   5. दोनों SVD कंडीशनिंग नोड्स से एक 'latent composite' नोड जोड़ें। [233]
   6. 'latent composite' नोड में, दूसरा K सैंपलर 'samples from input' से कनेक्ट होगा, और पहला K सैंपलर 'samples from input' से कनेक्ट होगा। [234]
   7. बादलों को मुख्य नाव इमेज के ऊपर पेस्ट करने के लिए, 'latent composite' के लिए इस क्रम को याद रखें। [236]
4. तीसरा K सैंपलर और Denoise मान [237]
   1. तीसरा K सैंपलर जोड़ें और किसी भी CFG मार्गदर्शन नोड्स से मॉडल को कनेक्ट करें। [237]
   2. कंडीशनिंग, कंबाइन, और लेटेंट कंपोजिट नोड्स को K सैंपलर से कनेक्ट करें। [238]
   3. यहाँ Denoise मान एक नहीं होना चाहिए; पिछले दो सैंपलर में, इसे एक पर सेट किया गया था क्योंकि पिक्सेल शोर के अलावा गति को जोड़ा जाना था। [238]
   4. लेटेंट स्पेस में, पिक्सेल आउटपुट पहले से ही है, और वीडियो आउटपुट में बहुत अधिक बदलाव करने की आवश्यकता नहीं है, सिवाय इसे ब्लेंड करने के। [239]
   5. इसलिए, यहाँ शोर 0.2 से 0.3 होना चाहिए, जो यह सुनिश्चित करेगा कि तीसरे K सैंपलर से आउटपुट पहले दो के अपेक्षाकृत बहुत करीब है, बस संयोजित है। [240]
5. VAE डीकोड और फ़ेदर मान [242]
   1. VAE डीकोड जोड़ें और इसे अंतिम वीडियो आउटपुट से कनेक्ट करें। [242]
   2. यह कैसे संयोजित होता है यह देखने के लिए पहले फ़ेदर मान को शून्य पर रखें। [244]
   3. इसे ब्लेंड करने के लिए मान को तदनुसार बदला जा सकता है, जैसे 256 पर। [245]
6. टेक्स्ट-टू-इमेज समूह को जोड़ना [249]
   1. एक मानक 'Text-to-Image' वर्कफ़्लो जोड़ें, यह सुनिश्चित करते हुए कि ऊँचाई और चौड़ाई 16:9 या 9:16 अनुपात के करीब है, जो भी चयनित चेकपॉइंट के साथ सबसे अच्छा काम करता है। [250]
   2. VAE डीकोड नोड को इमेज रिसाइज़ नोड से कनेक्ट करें। [251]
   3. यह SVD कंडीशनिंग से कनेक्ट होगा। [252]