क्वेन इमेज 2.1 जारी! कॉम्फीयूआई में टेक्स्ट टू इमेज और इमेज एडिट
यह YouTube इनसाइट नोट LilysAI से बनाया गया है। मुफ्त में साइन अप करें और वीडियो से 10× तेज़ और गहरे इनसाइट्स पाएं।
Q: Qwen Image 2.1 क्या है?
Q: Qwen Image 2.1 के मुख्य उपयोग क्या हैं?
Qwen Image 2.1 क्या है? यह एक ओपन-सोर्स मॉडल है जो टेक्स्ट-टू-इमेज, इमेज एडिटिंग, और मूल RGBA पारदर्शिता को एक ही पाइपलाइन में 10 संदर्भ छवियों तक संभालता है।
1. क्वेन इमेज 2.1 का परिचय और विशेषताएं
1.1. क्वेन इमेज 2.1 की मुख्य क्षमताएं
- छोटा और बहुमुखी मॉडल
- क्वेन इमेज 2.1 में 7 बिलियन पैरामीटर हैं, जो इसे एक छोटा मॉडल बनाता है।
- यह एक ही मॉडल में इमेज जनरेशन, एडिटिंग, पारदर्शिता और मल्टी-रेफरेंस कंपोजिशन कर सकता है।
- पारदर्शिता का मूल समर्थन
- पहले, पारदर्शी छवियों को संभालने के लिए क्वेन इमेज लेयर्ड नामक एक अलग मॉडल की आवश्यकता होती थी।
- अब, यह क्षमता सीधे क्वेन इमेज 2.1 में निर्मित है, जिससे यह वास्तविक अल्फा चैनल के साथ RGBA छवि आउटपुट कर सकता है।
- इसके लिए किसी बैकग्राउंड रिमूवल नोड या मास्किंग की आवश्यकता नहीं होती है।
- यह एक साधारण तस्वीर से विषय को एक पारदर्शी परत के रूप में भी निकाल सकता है।
- उन्नत इमेज एडिटिंग
- यह 10 संदर्भ छवियों तक ले सकता है, जिससे एक ही तस्वीर में एक मॉडल, पोशाक, जूते, बैग और टोपी जैसे कई तत्वों को संयोजित किया जा सकता है।
- उपयोगकर्ता किसी क्षेत्र को घेर सकते हैं, छवि पर पेंट कर सकते हैं, या एक अलग मास्क प्रदान कर सकते हैं ताकि मॉडल केवल उस क्षेत्र को संपादित करे।
- चेहरे और उत्पाद विवरण पहले से कहीं बेहतर दिखते हैं, और यह सब ComfyUI में मूल रूप से चलता है।
1.2. ComfyUI में क्वेन इमेज 2.1 का उपयोग और प्रदर्शन
- ComfyUI में एकीकरण और सिस्टम आवश्यकताएँ
- क्वेन इमेज 2.1 को ComfyUI में किसी कस्टम नोड की आवश्यकता के बिना चलाया जा सकता है।
- इंट8 बिल्ड के लिए डिफ्यूजन मॉडल और टेक्स्ट एनकोडर के लिए लगभग 16 GB मेमोरी की आवश्यकता होती है।
- 16 GB का ग्राफिक कार्ड इसे आसानी से संभाल सकता है, और यह ऑफलोडिंग के साथ कम मेमोरी पर भी चलेगा।
- ई-कॉमर्स के लिए व्यावहारिक अनुप्रयोग
- यह ई-कॉमर्स के लिए व्यावहारिक है, जैसे उत्पाद डेमो और कपड़ों या एक्सेसरीज़ का प्रदर्शन।
- मॉडल पारदर्शी पृष्ठभूमि के साथ छवियां उत्पन्न कर सकता है, और उत्पन्न छवि चरित्र की मुद्रा को बनाए रखती है।
- इमेज एडिट फ़ंक्शन का उपयोग करके चरित्र में एक्सेसरीज़, रंग और कपड़े जोड़े जा सकते हैं।
- यह 7 बिलियन पैरामीटर मॉडल के भीतर एक महत्वपूर्ण बदलाव है।
- मॉडल डाउनलोड और सेटअप
- Hugging Face रेपो में डिफ्यूजन मॉडल, टेक्स्ट एनकोडर और VAE शामिल हैं, जिनमें से प्रत्येक को डाउनलोड करना होगा।
- मॉडल वेट BF16 में आते हैं, और कम मेमोरी वाले GPU के लिए Qwen-3-VL टेक्स्ट एनकोडर के लिए इंट8 कॉन्व रोट प्लस w4a8 भी उपलब्ध है।
- प्रॉम्प्ट एन्हांसर नोड
- क्वेन इमेज 2.1 को बिना किसी LoRA प्लगइन के चलाना आसान है, लेकिन प्रॉम्प्टिंग कभी-कभी मुश्किल हो सकती है।
- आधिकारिक क्वेन इमेज गिटहब रेपो में "प्रॉम्प्ट रीराइट" के संकेत हैं जो प्रॉम्प्ट एन्हांसर का उपयोग करके प्रॉम्प्ट को फिर से लिखने में मदद करते हैं।
- एक कस्टम प्रॉम्प्ट एन्हांसर ComfyUI नोड बनाया गया है जो आधिकारिक क्वेन इमेज गिटहब की कार्यप्रणाली का उपयोग करता है।
- ComfyUI वर्कफ़्लो का प्रदर्शन
- आधिकारिक ComfyUI उदाहरण वर्कफ़्लो को पहले दिखाया गया था, फिर इसे अनुकूलित किया गया।
- यह वर्कफ़्लो शुरुआती-अनुकूल है और एक ही सबग्राफ में संकुचित है जहाँ उपयोगकर्ता मॉडल (जैसे क्वेन इमेज 2.1 डिफ्यूजन मॉडल और क्वेन 3 VL) और VAE का चयन करते हैं।
- सभी तीन फ़ाइलों को डाउनलोड करने, उन्हें चुनने, पहलू अनुपात का चयन करने और "रन" पर क्लिक करने के बाद छवियां उत्पन्न की जा सकती हैं।
- एक छवि को 5 सेकंड में 25 चरणों में उत्पन्न किया गया था, जो दर्शाता है कि मॉडल तेज़ है।
- इस मॉडल को टर्बो LoRA या कम सैंपलिंग स्टेप्स LoRA की आवश्यकता नहीं है क्योंकि 50 स्टेप्स पर भी यह तेज़ रहता है।
- कम मेमोरी वाला GPU थोड़ा अधिक समय ले सकता है, लेकिन फिर भी एक मिनट के भीतर एक छवि उत्पन्न कर सकता है।
- डिफ़ॉल्ट टेक्स्ट-टू-इमेज आउटपुट में स्पष्ट विवरण के साथ एक ग्राफिक शैली होती है, जो 7 बिलियन पैरामीटर मॉडल के लिए अच्छा प्रदर्शन है।
- इमेज एडिट फ़ंक्शन का उपयोग करके, एक चरित्र पर एक जैकेट और ड्रेस को जोड़ा गया, जबकि मूल चेहरे की विशेषताओं, बालों, शरीर के आकार, मुद्रा और पृष्ठभूमि को संरक्षित किया गया।
- कपड़ों के पैटर्न और रंग आउटपुट छवि में सटीक रूप से दोहराए गए थे, जो ई-कॉमर्स के लिए उपयोगी है।
2. क्वेन इमेज 2.1 के साथ उन्नत कार्यप्रवाह और परीक्षण
क्वेन इमेज 2.1 के साथ कस्टम वर्कफ़्लो, जटिल टेक्स्ट-टू-इमेज जनरेशन, मल्टी-रेफरेंस इमेज एडिटिंग और कैमरा एंगल रोटेशन का परीक्षण किया गया।
2.1. कस्टम वर्कफ़्लो और जटिल टेक्स्ट-टू-इमेज जनरेशन
- कस्टम वर्कफ़्लो और प्रॉम्प्ट एन्हांसमेंट
- कस्टम वर्कफ़्लो एक-पास सैंपलिंग का उपयोग करता है और इसमें प्रॉम्प्ट एन्हांस या प्रॉम्प्ट रीराइट के लिए कस्टम नोड्स शामिल हैं।
- महत्वपूर्ण बात यह है कि क्वेन इमेज मॉडल को समझने के लिए एक लंबा निबंध-जैसा प्रॉम्प्ट नहीं, बल्कि एक स्वरूपित टेक्स्ट प्रॉम्प्ट की आवश्यकता होती है।
- क्वेन टीम का सिस्टम प्रॉम्प्ट महत्वपूर्ण है क्योंकि यह टेक्स्ट-टू-इमेज और इमेज एडिट दोनों के लिए एक संरचना प्रदान करता है।
- गुणवत्तापूर्ण छवि आउटपुट के लिए लंबे, भारी टेक्स्ट प्रॉम्प्ट की आवश्यकता नहीं होती है, बल्कि कुशल प्रॉम्प्टिंग की आवश्यकता होती है।
- जटिल वस्तुओं का चित्रण
- मॉडल जटिल वस्तुओं को चित्रित कर सकता है, जैसे एक स्वचालित घड़ी के आंतरिक भाग, जिसमें पहिए, गियर और असेंबली चरण दिखाए गए हैं।
- पाठ और अवधारणाओं का प्रतिपादन
- यह शास्त्रीय और क्वांटम कंप्यूटिंग जैसी अवधारणाओं को एक स्पष्ट व्याख्याकर्ता के रूप में प्रस्तुत कर सकता है, जिसमें छवि में पाठ भी शामिल है।
- एक ट्रेडिंग टर्मिनल का स्क्रीनशॉट भी उत्पन्न किया गया था, जिसमें कैंडल ग्राफ के लिए सही रंग थे, हालांकि कुछ निशान सटीक नहीं थे।
- तकनीकी आरेख और मानचित्र
- एक सिंटैक्स ट्री के साथ एक चॉकबोर्ड उत्पन्न किया गया था, जिसमें चॉकबोर्ड रंग था, लेकिन फ़ॉन्ट हस्तलेखन के बजाय कंप्यूटर फ़ॉन्ट जैसा था।
- एक ज़ोनिंग मैप और निर्माण भवनों का ब्लूप्रिंट भी बनाया गया था, जिसमें आवासीय, वाणिज्यिक और औद्योगिक क्षेत्रों को दर्शाया गया था।
- हालांकि, ब्लूप्रिंट में कुछ संख्याएं, विशेष रूप से औद्योगिक भवनों के लिए, समझ में नहीं आती थीं, यह दर्शाता है कि मॉडल अवधारणा को प्रस्तुत करने की कोशिश करता है लेकिन संख्यात्मक सटीकता में कमी हो सकती है।
- यथार्थवाद और एशियाई पात्र
- मॉडल यथार्थवादी शैली की छवियां उत्पन्न कर सकता है।
- क्वेन इमेज के पिछले संस्करणों में एशियाई पात्रों के लिए "भारी प्लास्टिक त्वचा" की समस्या थी, लेकिन 2.1 संस्करण में यह कम स्पष्ट है।
2.2. इमेज एडिटिंग और मल्टी-रेफरेंस कंपोजिशन
- पोशाक स्वैपिंग और पारदर्शी पृष्ठभूमि
- इमेज एडिटिंग टेक्स्ट-टू-इमेज की तुलना में अधिक रोमांचक है।
- मॉडल चरित्र की मुद्रा की स्थिति को बनाए रखते हुए, हैंडबैग और हाई-हील जूते जैसी वस्तुओं को स्वैप कर सकता है।
- यह मॉडल पारदर्शी पृष्ठभूमि को आउट-ऑफ-द-बॉक्स उत्पन्न कर सकता है, जो आवश्यक है।
- मल्टी-रेफरेंस ट्राई-ऑन
- क्वेन इमेज 2.1 इमेज एडिट के लिए 10 संदर्भ छवियों तक ले सकता है।
- एक डेमो में, चार संदर्भ छवियों (पैंट, शर्ट, धूप का चश्मा) का उपयोग करके एक चरित्र पर एक नया पहनावा बनाया गया था।
- धूप के चश्मे का आकार, शर्ट का पैटर्न और बटन सटीक रूप से दोहराए गए थे।
- पैंट में दो लटकती हुई पट्टियाँ भी दोहराई गईं, यह दर्शाता है कि मॉडल शैलियों को सटीक रूप से दोहरा सकता है।
- अलीबाबा से क्वेन मॉडल ई-कॉमर्स व्यवसाय के लिए कपड़ों के पहनावे के ट्राई-ऑन के लिए अच्छी तरह से प्रशिक्षित है।
- आंतरिक डिजाइन मॉकअप
- मॉडल का उपयोग आंतरिक डिजाइन के लिए किया जा सकता है, जैसे कि एक खाली कमरे को Pinterest से ली गई संदर्भ छवियों के साथ सजाना।
- यह 10 छवियों तक संदर्भ के रूप में ले सकता है; एक न्यूनतम शैली के कमरे के लिए पांच छवियों का उपयोग किया गया था।
- टेक्स्ट प्रॉम्प्ट में खाली कमरे और वस्तुओं के लेआउट और प्लेसमेंट का वर्णन किया गया था।
- परिणामी छवि में, अधिकांश वस्तुएं संदर्भ से सही थीं, और एक असामान्य आकार की कॉफी टेबल भी उत्पन्न हुई थी।
- रंग वातावरण की रोशनी से मेल खाते थे, हालांकि एक सोफा थोड़ा ऑफ-कलर (हरा) निकला।
- टीवी दीवार शैली और सजावट को कमरे में सफलतापूर्वक जोड़ा गया था, हालांकि आकार एक-से-एक सटीक नहीं था।
- यह मॉडल उन सामान्य लोगों के लिए उपयोगी है जो घर बदल रहे हैं, लेकिन सटीक माप की आवश्यकता वाले पेशेवर डिजाइनरों के लिए नहीं है।
2.3. मॉडल का प्रदर्शन और सीमाएं
- बेंचमार्किंग और प्रदर्शन
- क्वेन इमेज 2.1 अभी भी वर्तमान बाजार इमेज जनरेशन मॉडल के खिलाफ बेंचमार्क पर काफी उच्च स्थान पर है।
- यह 7 बिलियन पैरामीटर मॉडल बेंचमार्किंग में नैनो बनाना 2.0 को एक बिंदु से पार कर गया।
- बेंचमार्किंग के लिए संख्याएं अच्छी हैं, लेकिन वास्तविक उपयोग में विभिन्न आवश्यकताएं और अपेक्षाएं हो सकती हैं।
- यह मॉडल इमेज जनरेशन और इमेज एडिट को जोड़ता है और 7 बिलियन पैरामीटर पर बहुत हल्का है।
- विभिन्न कैमरा कोणों का परीक्षण
- मॉडल विभिन्न कैमरा कोणों में छवियों को बदल सकता है।
- हालांकि, यदि संदर्भ छवि में चरित्र के चेहरे की जानकारी नहीं है, तो खिड़की के बाहर से देखने वाला कैमरा काम नहीं करता है।
- अन्य कैमरा कोणों के लिए टेक्स्ट प्रॉम्प्ट काम करते हैं, जैसे कमरे का टॉप-डाउन व्यू।
- यदि चरित्र की शीट प्रदान की जाती है जिसमें चरित्र के सामने का दृश्य होता है, तो AI कमरे के विपरीत दिशा से देखने पर चरित्र की भविष्यवाणी कर सकता है।
- यह दर्शाता है कि AI मॉडल को समझने और पहचानने के लिए पर्याप्त डेटा प्रदान करना महत्वपूर्ण है।
- कुछ जनरेशन में कोण अभी भी गलत हो सकते हैं, जैसे बिस्तर और तकिया, लेकिन यह अवधारणा को साबित करता है।
- चरित्र के सामने का दृश्य प्रदान करने पर, AI चरित्र को सही ढंग से प्राप्त कर सकता है।
- मल्टीपल टास्क कंपोजिशन
- मॉडल एक ही बार में कई कार्य कर सकता है, जैसे एक चरित्र के लिए एक नया पहनावा जोड़ना और उसे एक कमरे में रखना, एक अलग कोण बनाना।
- यह पुराने इमेज जनरेशन मॉडल के लिए मुश्किल था।
- मॉडल चरित्र, कपड़ों और कमरे में सजावट की स्थिति को बनाए रखता है।
असीमित सामग्री को जीनियस की तरह समझें — LilysAI के साथ
10,00,000+ ज्ञान‑खोजी Lilys AI का उपयोग करते हैं।
