1. MiniMax H3 का परिचय और सेटअप [1]

MiniMax H3 एक मुफ्त, ओपन-सोर्स AI वीडियो मॉडल है जो 15-सेकंड के वीडियो क्लिप को मूल स्टीरियो ऑडियो के साथ उत्पन्न करता है और इसे आपके कंप्यूटर पर स्थानीय रूप से चलाया जा सकता है।

1.1. MiniMax H3 की मुख्य विशेषताएं [1]

  1. MiniMax H3 एक पूरी तरह से ओपन-सोर्स ओमनीमॉडल है जो उच्च-गुणवत्ता वाले 15-सेकंड के वीडियो को मूल स्टीरियो ऑडियो के साथ उत्पन्न कर सकता है [3]।
  2. यह कई छवियों, वीडियो क्लिप और ऑडियो को एक साथ इनपुट के रूप में ले सकता है, जो इसे स्थानीय रूप से और मुफ्त में चलाता है [6]।
  3. इसे एक "गेम चेंजर" माना जाता है क्योंकि यह AI वीडियो निर्माण में महत्वपूर्ण प्रगति प्रदान करता है [5]।

1.2. ComfyUI में MiniMax H3 स्थापित करना [8]

  1. MiniMax H3 का उपयोग करने के लिए, आपको पहले ComfyUI की आवश्यकता होगी [10]।
    1. यदि आपके पास पहले से ComfyUI नहीं है, तो इसे comfy.org से डाउनलोड करें [11]।
    2. ComfyUI स्थापित होने के बाद, मेनू खोलें, "ब्राउज़ टेम्प्लेट" पर जाएं और "Miniax H3" खोजें [13]।
  2. आपको कुछ वर्कफ़्लो "API" के रूप में लेबल किए हुए मिलेंगे, जो 2K रिज़ॉल्यूशन उत्पन्न करने का एकमात्र तरीका है, लेकिन यह मुफ्त नहीं है [15]।
  3. इसके बजाय, स्थानीय वर्कफ़्लो पर ध्यान केंद्रित करें, जो पूरी तरह से मुफ्त हैं और प्रभावशाली रिज़ॉल्यूशन प्रदान करते हैं, हालांकि अधिक सीमित हैं [17]।

1.3. MiniMax H3 मॉडल फ़ाइलें डाउनलोड करना [21]

  1. आपको वास्तविक मॉडल फ़ाइलों की आवश्यकता होगी, जो Hugging Face पेज से प्राप्त की जा सकती हैं [21]।
    1. सुनिश्चित करें कि आप दो फ़ोल्डरों में प्रत्येक फ़ाइल को डाउनलोड करें [22]।
  2. सभी डिफ्यूजन मॉडल डाउनलोड करने की आवश्यकता नहीं है क्योंकि कुछ बहुत बड़े हैं [23]।
    1. FL to VA मॉडल टेक्स्ट-टू-वीडियो और इमेज-टू-वीडियो के लिए हैं [24]।
    2. REF to VA मॉडल रेफरेंस-टू-वीडियो के लिए हैं [25]।
  3. प्रत्येक समूह के भीतर, आपके हार्डवेयर के आधार पर चुनने के लिए कई आकार हैं [26]:
    1. BF16 (लगभग 66 GB): अधिकतम गुणवत्ता, गंभीर हार्डवेयर के लिए [27]।
    2. BF16 प्रूनड: अगला सबसे अच्छा गुणवत्ता विकल्प, 32 GB से अधिक VRAM और पर्याप्त सिस्टम RAM की आवश्यकता होती है [30]।
    3. INT8 कोमोट: मध्य-श्रेणी, 32 GB कार्ड पर उपयोग किया जाता है और 24 GB से ऊपर किसी भी चीज़ पर ठीक से चलना चाहिए [33]।
    4. प्रूनड INT8: छोटा फ़ुटप्रिंट, RTX 3060 जैसे 12 GB वाले कार्ड पर ऑफलोडिंग का उपयोग करके चलता है [35]।
    5. FP8: RTX 40 और 50 सीरीज़ कार्ड पर तेज़ी से चलने के लिए ट्यून किया गया [37]।
  4. मॉडल डाउनलोड करने के बाद, सुनिश्चित करें कि आप उन्हें सही फ़ोल्डरों में रखें जैसा कि पेज पर दिखाया गया है [39]।

2. MiniMax H3 वर्कफ़्लो का उपयोग करना [40]

यह खंड MiniMax H3 के विभिन्न वर्कफ़्लो, जैसे टेक्स्ट-टू-वीडियो, इमेज-टू-वीडियो और रेफरेंस-टू-वीडियो का उपयोग करने के तरीके का वर्णन करता है।

2.1. टेक्स्ट-टू-वीडियो वर्कफ़्लो [40]

  1. टेक्स्ट-टू-वीडियो वर्कफ़्लो शुरू करने का सबसे सरल तरीका है [40]।
    1. अपने आउटपुट के लिए एक आस्पेक्ट रेश्यो चुनें, फिर एक मेगापिक्सेल मान चुनें [41]।
    2. आप "साइज सेटिंग्स रेफरेंस नोड" में देख सकते हैं कि यह किस रिज़ॉल्यूशन से मेल खाता है [43]।
    3. उच्च रिज़ॉल्यूशन के लिए अधिक समय और संसाधनों की आवश्यकता होगी [44]।
  2. प्रॉम्प्ट के लिए, H3 छोटे और बहुत लंबे दोनों प्रॉम्प्ट को अच्छी तरह से संभालता है [45]।
    1. यदि शॉट सरल है, तो इसे छोटा रखें [46]।
    2. यदि आप संवाद और ऑडियो संकेतों के साथ एक मल्टी-शॉट सीक्वेंस बना रहे हैं, तो जितना हो सके उतना विस्तृत और विशिष्ट बनें [47]।
    3. आप टाइमस्टैम्प का उपयोग कर सकते हैं, जैसे "0 से 2 सेकंड, शॉट एक, 2 से 4 सेकंड, शॉट दो," और प्रत्येक सीमा में क्या होता है इसका वर्णन करें [49]।
  3. आप 15 सेकंड तक की अवधि के लिए वीडियो बना सकते हैं, और H3 24 फ्रेम प्रति सेकंड पर उत्पन्न होता है [51]।
  4. "यूनिट नाम" के तहत, आप अपने डिफ्यूजन मॉडल का चयन करेंगे [53]।
  5. उत्पन्न करना शुरू करने के लिए "रन" पर क्लिक करें [55]।
  6. यदि स्थानीय रूप से गति बहुत धीमी है या कोई समस्या आती है, तो आप H3 को Run Comfy का उपयोग करके ऑनलाइन चला सकते हैं, जो उच्च-स्तरीय GPU और तेज़ जनरेशन तक पहुंच प्रदान करता है [57]।
  7. आप स्थानीय रूप से कम रिज़ॉल्यूशन पर वीडियो उत्पन्न करने का भी प्रयास कर सकते हैं और बाद में इसे उच्च रिज़ॉल्यूशन में अपस्केल कर सकते हैं [60]।
  8. व्यक्तिगत रूप से, टेक्स्ट-टू-वीडियो को केवल एक त्वरित जांच के लिए उपयोगी माना जाता है, क्योंकि इसमें नियंत्रण की कमी होती है [65]।

2.2. इमेज-टू-वीडियो वर्कफ़्लो [68]

  1. इमेज-टू-वीडियो सेटअप टेक्स्ट-टू-वीडियो के समान है, लेकिन अब आप जनरेशन के आधार के लिए एक छवि अपलोड करते हैं [69]।
  2. प्रॉम्प्ट बॉक्स में, आप उस छवि से शुरू होने वाले एक सतत शॉट का वर्णन कर सकते हैं या टाइमस्टैम्प का उपयोग करके नए कट पेश कर सकते हैं [70]।
  3. H3 की एक विशेषता यह है कि आप एक छवि अपलोड कर सकते हैं और उससे पहले कुछ घटित कर सकते हैं [71]।
    1. उदाहरण के लिए, एक पोस्टर डिज़ाइन को इनपुट छवि के रूप में उपयोग किया गया था, लेकिन वीडियो को पूरी तरह से खाली शुरू करने के लिए प्रॉम्प्ट किया गया था, फिर पोस्टर के विभिन्न तत्वों को एक-एक करके एनिमेट किया गया जब तक कि यह पूरी तरह से एक साथ नहीं आ गया [72]।
    2. इसी चाल का उपयोग एक वेब UI पेज को एनिमेट करने के लिए भी किया गया था [74]।
  4. आप एक लंबा मल्टी-शॉट वीडियो उत्पन्न करने के लिए एक ही छवि का भी उपयोग कर सकते हैं, जो बजट उत्पाद विज्ञापनों जैसी चीजों के लिए उपयोगी है, खासकर जब से आपको वीडियो में ध्वनि प्रभाव और संगीत भी मिलता है [75]।
    1. ट्यूटोरियल की शुरुआती क्लिप एक ही फ्रेम इनपुट थी जिसमें प्रॉम्प्ट में थोड़ा मार्गदर्शन था [76]।
    2. H3 ने संवाद और वास्तविक लय के साथ विभिन्न कोणों से दृश्य को फिर से कल्पना की [78]।
  5. हालांकि, H3 त्रुटिहीन नहीं है [82]।
    1. एक परीक्षण में, एक बाघ जैसे प्राणी की छवि दी गई थी और उसे उस सटीक रूप को बनाए रखने के लिए कहा गया था, लेकिन दो सेकंड के भीतर, यह एक नियमित बाघ जैसा दिखने लगा [83]।
    2. हालांकि, इसने पंखों को बनाए रखा [85]।

2.3. रेफरेंस-टू-वीडियो वर्कफ़्लो [86]

  1. रेफरेंस-टू-वीडियो को सर्वश्रेष्ठ ओपन-सोर्स वीडियो मॉडल के लिए H3 को ट्रॉफी देने का कारण माना जाता है [86]।
  2. यहां आप कई प्रकार के मीडिया को सीधे रेफरेंस-टू-वीडियो नोड से जोड़ सकते हैं [87]।
    1. डिफ़ॉल्ट रूप से, दो छवि नोड जुड़े हुए दिखाई देंगे, लेकिन आप आसानी से और जोड़ सकते हैं [88]।
    2. कहीं भी डबल क्लिक करें, "लोड इमेज," "लोड वीडियो," या "लोड ऑडियो" खोजें [89]।
    3. नए नोड को कनेक्ट करें, और एक नया सॉकेट स्वचालित रूप से खुल जाएगा ताकि आप अधिक नोड कनेक्ट कर सकें [90]।
    4. ध्यान रखें कि आप कुल 12 से अधिक मीडिया इनपुट कनेक्ट नहीं कर सकते हैं [91]।
  3. प्रॉम्प्ट करते समय, सुनिश्चित करें कि आप अपने इनपुट को उसी क्रम में संदर्भित करें जिस क्रम में आपने उन्हें कनेक्ट किया था [92]।
    1. पहली छवि आपके टेक्स्ट में "पिक्चर वन" बन जाती है, दूसरी "पिक्चर टू" बन जाती है, और इसी तरह [93]।
    2. यही तर्क वीडियो और ऑडियो पर भी लागू होता है [94]।
  4. यहां संभावनाएं लगभग अनंत हैं [95]।
    1. उदाहरण के लिए, एक कॉमिक कोलाज से कई फ्रेम का उपयोग किया गया था और H3 को टाइमस्टैम्प का उपयोग करके प्रत्येक तत्व की गति को नियंत्रित करने के लिए एक थ्रिलर के शुरुआती सीक्वेंस की तरह एनिमेट करने के लिए प्रॉम्प्ट किया गया था, और इसने इसे खूबसूरती से पूरा किया [96]।
    2. H3 का उपयोग एक संदर्भ छवि के आधार पर एक क्लिप में हरे रंग की स्क्रीन को एक वातावरण के लिए स्वैप करने के लिए भी किया गया था [98]।
    3. उसी रन में, एक संदर्भ छवि का उपयोग करके चरित्र की पोशाक को भी स्वैप किया गया था [100]।
    4. यह सुझाव देता है कि मैनुअल रोटोस्कोपिंग के दिन जल्द ही समाप्त हो जाएंगे [101]।
  5. एक पसंदीदा उपयोग का मामला ऑब्जेक्ट रिप्लेसमेंट है [102]।
    1. एक सोडा कैन को स्वैप किया गया था और जानबूझकर एक पारदर्शी कैन का उपयोग संदर्भ के रूप में किया गया था ताकि यह देखा जा सके कि यह तरल भौतिकी को कैसे प्रभावित करेगा [103]।
  6. H3 का उपयोग टॉकिंग अवतार, चरित्र प्रतिस्थापन और यहां तक कि विजुअल इफेक्ट्स के लिए भी किया जाएगा [106]।
  7. एक बार जब GGUF मॉडल और आगे का अनुकूलन आता है, तो यह केवल तेज़ होगा [108]।