00:00एवरीवन, एंड टुडे सेशन इज़ गोइंग टु बी ऑल अबाउट आर्टिफिशियल इंटेलिजेंस। अब आज के सेशन में देयर आर नो प्रीरक्वज़िट्स, दैट मीन्स दैट एनीबडी हु इज़ इंटरेस्टेड इन आर्टिफिशियल इंटेलिजेंस, मशीन लर्निंग और डीप लर्निंग, कैन गो थ्रू द सेशन। आज हम कवर करने वाले हैं 23 ऑफ़ द मोस्ट इम्पोर्टेन्ट एआई टर्म्स, व्हिच इनक्लूड्स कॉन्सेप्ट्स लाइक एलएलएम्स, रैग्स, एमसीपी, एआई एजेंट्स, ट्रांसफॉर्मर्स, ऐंड मच मोर। अब सबसे पहले लेट्स ट्राई टू अंडरस्टैंड व्हाय एक्जैक्ली आर दीज़ कॉन्सेप्ट्स इम्पोर्टेन्ट। सबसे पहला तो इफ वी आर एनिबडी हु इज़ इंटरेस्टेड इन द एआई इकोसिस्टम, तो हम जानना चाहते हैं कि एआई इंडस्ट्री किस तरीके से इवॉल्व कर रही है, देन इट्स गोइंग टू हेल्प अस डीप इन आवर अंडरस्टैंडिंग। देयर सेकंडली, इफ वी आर एन इंजीनियर, जो डे टू डे बेसिस पर कुछ ऐसे टूल्स के साथ। रिसोर्सेज़ के साथ वर्क करते हैं, जो कि AI बेस्ड हैं, तो वहां पर हमारी समझ बिल्ड होगी, प्लस इट्स गोइंग टू हेल्प हम कम्युनिकेट बेटर विद आवर टीम मेंबर्स, क्योंकि नाउ हम फेमिलियर हो जाएंगे AI जॉर्टन और थर्डली, अगर हम सभी जिनमें इंटरेस्टेड हैं बिल्डिंग अ करियर इन डेटा साइंस, AI इंजीनियरिंग, तो ये सारे के सारे कॉन्सेप्ट्स अनडाउटेडली हमारे करियर के लिए टोन हैं, ही नहीं, बल्कि उसके साथ-साथ हम हैं भी इंटरव्यू प्वाइंट ऑफ व्यू के लिए। तो ये बहुत जरूरी है कि हमारे पास इन कॉन्सेप्ट्स की अच्छी समझ हो। और अभी से पहले कि हम सेशन शुरू करें, वहाँ एक अनाउंसमेंट है, हमारे कंप्लीट AI/ML बैच का, जिसे कॉल्ड PRIME फॉर ऑल, फ्यूचर डेटा साइंटिस्ट्स और AI इंजीनियर्स। तो PRIME के अंदर, 4.5 महीनों में, हम अपना कंप्लीट AI/ML कोर्स कवर करेंगे। हैं। वी आर गोइंग टू कवर अ लॉट ऑफ कॉन्सेप्ट्स रिलेटेड टू मशीन लर्निंग, डीप लर्निंग, जेनरेटिव एआई, एंड एजेंटिक एआई। एंड प्राइम में हम सिर्फ कॉन्सेप्ट्स को कवर नहीं करेंगे, बल्कि हम बहुत सारे माइनर और मेजर प्रोजेक्ट्स भी बनाएंगे। माइनर प्रोजेक्ट्स वे होते हैं जो हम अपने कॉन्सेप्ट्स की प्रैक्टिस के लिए बनाते हैं। और मेजर प्रोजेक्ट्स वे हैं जिनमें हम अपने एडवांस्ड फीचर्स को डेवलप करते हैं, जिनको हम डिप्लॉय भी करते हैं। ये वो प्रोजेक्ट्स हैं जो हम एंड टू एंड बिल्ड करते हैं। और ये इंडस्ट्री ग्रेड प्रोजेक्ट्स होते हैं, जिनको हम अपने रिज्यूम में शामिल कर सकते हैं, ताकि हमारे प्रोफाइल में सुधार हो सके। और चूंकि आप मेरी पढ़ाने की स्टाइल से परिचित हैं, इसलिए प्राइम में जितने भी प्रोजेक्ट्स होंगे, वे सब अधिक प्रभावशाली और उपयोगी होंगे। एआई और एमएल कांसेप्ट्स हैं, जो आप आकर लेक्चर्स के अंदर मेरे साथ सीख रहे होंगे। तो प्राइम का जो लेटेस्ट बैच है, विज़ प्राइम 3.0, उसकी क्लासेस स्टार्ट होने वाली हैं 17 सितंबर 2026 से, और सभी स्टूडेंट्स से डेडिकेटेडली रिक्वेस्टिंग हैं कि इट को ध्यान में रखें। वहाँ एक स्पेशल स्टूडेंट डिस्काउंट होगा, जो 15 सितंबर शाम के 9:00 बजे तक रहेगा। सो, लिंक फॉर द बैच डिज़ डिस्क्रिप्शन बॉक्स में है। और प्राइम के अंदर हमारी लर्निंग स्ट्रेटजी रहेगी विधि लर्निंग बाय डूइंग, यानी हम प्रैक्टिकल लर्निंग पर काफी ज्यादा फोकस करेंगे। हम प्रोजेक्ट्स बनाने, अपने असाइनमेंट्स और समस्याओं को हल करने, और बहुत सारे कांसेप्ट्स के साथ उनके इंप्लीमेंटेशन का कोड लिखने पर ध्यान देंगे। सो, हम आगे जाकर इंडस्ट्री में सफल होंगे। रेडी। अब शुरूआत में ही, हम बिल्ड करेंगे एक मजबूत फ्रेमवर्क कि कैसे एआई सीखता है। अब जैसे कि हम इंसान हैं, हमें नई चीजें सीखनी हैं तो हम कैसे सीखते हैं? हमारे पास अपने अनुभव होते हैं, और साथ ही हम कुछ किताबें पढ़ सकते हैं या फिर हम आस-पास के लोगों से बातें कर सकते हैं, या हम देख सकते हैं कि आसपास के लोग क्या कर रहे हैं। इन तरीकों से हमें जीवन में अलग-अलग इनपुट्स मिलते हैं। उनके आधार पर हम कुछ सामान्य पैटर्न्स को अवॉयड करते हैं, और फिर इन पैटर्न्स और सीखों को अपने निर्णयों में लागू करते हैं। जैसे कि उदाहरण के तौर पर, यदि हम बहुत ही फिट लोगों को जानते हैं, और हम देखते हैं कि अक्सर ये फिट और स्वस्थ लोग क्या खाते हैं—मोटे तौर पर वे बहुत सारे फल खाते हैं—तो हमारे मन में भी यह बात आ जाती है कि अगर हम भी स्वस्थ रहना चाहते हैं, तो हमें भी अपने खान-पान में बदलाव करना चाहिए। डाइट के अंदर बहुत सारे फ्रूट्स को इनक्लूड करेंगे। तो हमने क्या किया? अपने आसपास जितनी भी उपलब्ध इनिशिएशन थीं, उनसे हमने कुछ पैटर्न्स निकाले, कुछ ऑब्जर्वेशन निकाली, और फिर उसे अपनी डिसीजन मेकिंग के ऊपर लाइफ में अप्लाई किया। हमारे एआई सिस्टम्स भी वैसे ही सीखते हैं। सो, एआई सिस्टम्स को मिलता है बहुत सारा डेटा। अब जब हम बात कर रहे हैं डेटा की, तो हम असल में मतलब रखते हैं बहुत बड़े डेटा का। आज हम चैटजीपीटी को यूज़ करते हैं, जेमिना को यूज़ करते हैं, क्लाउड को यूज़ करते हैं। जब इन मॉडल्स को ट्रेन किया जाता है, तो हम एक तरीके से सोच सकते हैं कि ये लगभग इंटरनेट की पूरी से भी अधिक जानकारी से फीड किए गए हैं। इनके पास लगभग सभी विकिपीडिया पेजेस, सभी सार्वजनिक रूप से उपलब्ध आर्टिकल्स का एक्सेस है। इनफैक्ट, आज की डेट में बहुत सारे ऐसे मॉडल्स हैं, जिनको..

03:46काफी सारी रेर बुक्स का भी डेटा फीड किया जाता है, जो शायद इंटरनेट पर भी पब्लिकली अवेलेबल नहीं है। तो जब हम डेटा की बात कर रहे हैं, तो हम बहुत बड़े साइज़ के डेटा की बात कर रहे हैं। तो ये जो डेटा होता है, ये हमारी मशीनों को फीड किया जाता है, और basé on this डेटा, मशीनें recognizing समान पैटर्न्स करती हैं। अब ये पैटर्न्स मशीनें कैसे recognize करती हैं? उसके लिए वहाँ बहुत सारा मैथ है जो पर्दे के पीछे रहता है। और इन पैटर्न्स के आधार पर एक फ्रेमवर्क तैयार होता है, एक मॉडल तैयार होता है, जिसे हम कहते हैं अपना मशीन लर्निंग मॉडल। अब इसे एक उदाहरण से समझते हैं। मान लीजिए हमारे पास बहुत सारे फोटो हैं। मान लीजिए हमारे पास 1 मिलियन फोटो हैं। उनमें से आधी फोटो में हम देखें तो सैड फेस हैं, और आधी में हमें हैप्पी फेस नज़र आ रहे हैं। और ये सारी फोटोज यदि हम अपनी मशीन को फीड करें, तो उनके बेसिस पर यह कर रहा है कि यह पैटर्न्स को पहचानने की कोशिश करेगा। मैं वह पैटर्न्स को पहचानने की कोशिस कर रहा हूं, कि हैप्पी फोटोज़ के अंदर तो वहां एक कॉन्केव शेप है जो ऊपर की तरफ है। मतलब वहां एक स्माइली फेस है। जबकि सैड फोटोज़ के अंदर भी आंखें वॉटरी हैं। तो इस तरीके से कुछ कॉमन पैटर्न हैं, जो हमारी मशीन ऑब्जर्व करेगी और उसके बेसिस पर एक फ्रेमवर्क बनाएगी, जिसे हम कहते हैं अपना मशीन लर्निंग मॉडल। अब यह जो मशीन लर्निंग मॉडल होता है, इसे हम सरलता से एक मैथमेटिकल फंक्शन समझ सकते हैं, जो हमारे लिए भविष्य की भविष्यवाणियाँ कर सकता है। मतलब, एक बार हमारे पास यह मॉडल आ गया। तो अगली बार, यदि हमें ऐसा नया डेटा या नई तस्वीर मिले, जिसमें सैड फेस भी हो सकता है, हैप्पी फेस भी हो सकता है — जो अब तक हमारे मशीन लर्निंग मॉडल ने देखा नहीं था। मतलब, एक नई तस्वीर आई, जो शायद इस ओरिजिनल… डेटा के अंदर अवेलेबल नहीं थी। तो इसके बेसिस पर भी अब हमारा मशीन लर्निंग मॉडल प्रेडिक्ट कर सकेगा कि फोटो सैड है या खुश। तो ये जो हमारा पूरा प्रोसेस होता है, जिसमें हम बहुत सारा डेटा मशीन को फीड करते हैं, जिससे मशीन पैटर्न रिकग्नाइज़ करती है। और फिर ये एक फ्रेमवर्क बनाती है, मशीन लर्निंग मॉडल बनाती है, जो आगे प्रेडिक्शंस कर सके। इस पूरे प्रोसेस को हम कहते हैं अपना ट्रेंनिंग प्रोसेस। और जब एक बार ट्रेंनिंग प्रोसेस के बाद हमारे पास मशीन लर्निंग मॉडल आ जाता है, जो कि है हमारा असली मॉडल, जो की डस दे प्रेडिक्शन फॉर अस नाउ। तो इस मॉडल को जब नया डेटा फीड किया जाएगा, और उसके बेसिस पर अब वो हमें प्रेडिक्शन करके देगा, तो इस प्रोसेस को हम कहते हैं अपना इनफ़ेन्स। और ये जो हमारा मशीन लर्निंग मॉडल होता है, उसको सिंपली हम अपना मैथमेटिकल फंक्शन कहते हैं। समझ सकते हैं। मतलब बेस्ड ऑन सैंपल इनपुट X, ये हमें हमारा Y प्रेडिक्ट करके देगा। तो मैथमेटिकल फंक्शन इज़ दिस, FX फंक्शन। अगर हमारे पास कोई नया डेटा X आ गया है, तो उसके बेसिस पर हमारा आउटपुट Y क्या होगा, वो हमें हमारा ये फंक्शन बताएगा, which is द वन मशीन लर्निंग मॉडल और द डीप लर्निंग मॉडल। तो इस तरीके से हमारे AI सिस्टम्स काम करते हैं। सबसे पहले, ऑफ़ ऑल, बाय ट्रेनिंग ऑन ऑल ऑफ़ डेटा, रिकॉग्नाइजिंग डिफरेंट पैटर्न्स। और एक बार हमारे पास मशीन लर्निंग का ट्रेंड मॉडल आ गया, फिर वो नए डेटा के बेसिस पर हमें नए-नए प्रेडिक्शंस करके दे सकता है। अब लेट्स टॉक अबाउट आवर फर्स्ट टर्म, which are न्यूरल नेटवर्क्स। अब न्यूरल नेटवर्क्स से पहले, लेट्स टॉक अबाउट AI। AI की जब हम बात करते हैं, तो AI इनवॉल्व सिस्टम्स that perform दो ज़्यादा टास्क, that typically require सम ह्यूमन लेवल। इंटेलिजेंस। जैसे हमारे जितने भी हम मनुष्यों हैं, हम इमेज रिकॉग्निशन कर सकते हैं, हम स्पीच ट्रांसलेशन कर सकते हैं। पर आज की डेट में वही काम हमारे लिए हमारे एआई सिस्टम्स भी कर सकते हैं। अब एआई के अंदर ही एक काफी बड़ी डोमेन होती है, जिसे हम मशीन लर्निंग कहते हैं। मशीन लर्निंग के अंदर हम उन सिस्टम्स के साथ डील करते हैं, जो रिक्वायर करते हैं बहुत सारा डेटा। सो, मशीन लर्निंग एल्गोरिदम्स वो एल्गोरिदम्स होती हैं, जो बहुत सारे डेटा पर ट्रेन होती हैं, पैटर्न्स को रिकॉग्नाइज करती हैं, और फिर अपनी डिसीजन मेकिंग करती हैं। जैसे हमारे पास आज की डेट में ईमेल के अंदर स्पैम डिटेक्शन है। तो, स्पैम डिटेक्शन कैसे वर्क करता है? देखिए, यह बहुत सारा डेटा रिलेटेड टू ईमेल्स को लुक्ड करता है, और वहां से उन्होंने पैटर्न्स निकाले कि कौन सी ईमेल स्पैम है और कौन सी ईमेल जेनुइन है। नहीं है। अब मशीन लर्निंग के अंदर ही हमारे पास एक और सबसेट होता है, डोमेन होती है, जो आजकल बहुत लोकप्रिय है, जिसे कॉल्ड डीप लर्निंग कहा जाता है। डीप लर्निंग मशीन लर्निंग का वह हिस्सा है जहां हम न्यूरल नेटवर्क के साथ काम करते हैं। और असल में न्यूरल नेटवर्क क्या हैं? हमारा जो मानव मस्तिष्क होता है, उसमें न्यूरॉन्स होते हैं, जो हमारे मस्तिष्क के अंदर सक्रिय रहते हैं। इन न्यूरॉन्स का हमारे मस्तिष्क में एक पूरा का पूरा नेटवर्क होता है। जब इसी पूरे नेटवर्क को हम आर्टिफिशियल मशीनों के अंदर बनाते हैं, तो इसे कहते हैं आर्टिफिशियल न्यूरल नेटवर्क्स। तो डीप लर्निंग वह भाग है मशीन लर्निंग का, और वह भाग है AI का, जहां हम अपने मानव मस्तिष्क की नकल करने की कोशिश करते हैं। और यह जो नकल है, वह हेल्प ऑफ दिज़ (दिए गए संदर्भ में पूरा वाक्य अधूरा है, लेकिन मुख्य बात समझ में आ रही है।) न्यूरल नेटवर्क्स। तो हमारे पास बहुत सारे डिफरेंट टाइप्स ऑफ न्यूरल नेटवर्क्स होते हैं। पर सबसे पहले, लेट्स अंडरस्टैंड द ओवरऑल कॉन्सेप्ट ऑफ न्यूरल नेटवर्क्स। तो न्यूरल नेटवर्क्स को जब हम विजुअलाइज़ करते हैं, हम उन्हें इस तरह से विजुअलाइज़ करते हैं। यहां पर इस डायग्राम में हमें दिख रहा होगा कि देयर आर अ लॉट ऑफ सर्कल्स, और देयर आर अ लॉट ऑफ कनेक्शंस। ये हर एक जो सर्कल है हमारे डायग्राम के अंदर, इसे कॉल्ड अ न्यूरॉन। तो ये भी एक न्यूरॉन है, ये भी एक न्यूरॉन है, ये भी एक न्यूरॉन है। और हमारे डिफरंट न्यूरॉन्स के कनेक्शंस बनते हैं। सो, दीज़ लाइंस आर कनेक्शंस। तब हमारे पास एक न्यूरल नेटवर्क बनता है। अब न्यूरल नेटवर्क के अंदर हमारे पास मल्टीपल लेयर्स होती हैं, जैसे यहां पर इस पर्टिकुलर लेयर को कॉल्ड एन इनपुट लेयर। इसे हम अपनी इनपुट लेयर कहते हैं, और जो न्यूरल नेटवर्क में हमारी लास्ट लेयर होती है, जिसे हम अपनी आउटपुट लेयर कहते हैं। और generally हमारे पास बीच में बहुत सारी डिफरेंट लेयर्स होती हैं, जिन सबको हम अपनी हिडन लेयर्स कहते हैं। तो न्यूरल नेटवर्क्स में लॉट्स और लॉट्स ऑफ हिडन लेयर्स हो सकती हैं। और हमारा जो डेटा होता है, वो लेफ्ट साइड से राइट साइड की तरफ प्रोपेगेट करता है, या हमारी जानकारी लेफ्ट से राइट की तरफ प्रोपेगेट करती है। तो इस तरीके का फ्रेमवर्क हमारे सारे न्यूरल नेटवर्क्स फॉलो करते हैं। अब न्यूरल नेटवर्क्स को समझने के लिए एक उदाहरण लेते हैं। मान लीजिए हमारे पास कॉलेज के अंदर बहुत सारे स्टूडेंट्स हैं, और इन स्टूडेंट्स के कुछ न कुछ امتحान होते रहते हैं। इन स्टूडेंट्स के हमारे पास मिड सेमेस्टर परीक्षा होती हैं, और सेमेस्टर परीक्षाएं भी होती हैं। और हमारे पास इन स्टूडेंट्स के कुछ..

09:19क्लास टेस्ट्स होते हैं। अब हमें इन पर्टिकुलर एग्जाम से संबंधित स्टूडेंट्स के लिए एक सीजीपीए सिस्टम को डिजाइन करना है। तो क्या हम कह सकते हैं कि यह हमारी इनपुट वैल्यूज हैं, x1, x2, x3, जो हमें मिल रही होंगी ताकि हम डिज़ाइन कर सकें उस सीजीपीए सिस्टम। अब शुरुआत में हो सकता है कि कॉलेज के प्रोफेसर्स ने कुछ रैंडम वेट असाइन कर दिया हो, मतलब उन इनपुट्स को रैंडम वेज दे दी हों। जैसे शुरुआत में हो सकता है कि हमने रैंडमली तय किया हो कि मिडसेमेस्टर्स को हम 0.4 वेट देंगे, यानी 40% वेटेज। और सेमेस्टर्स को भी 40%, क्लास टेस्ट को 20% वेटेज देंगे। और इस तरह से हम कैल्कुलेट करेंगे एक फाइनल जीपीए। ऐसे ही सिस्टम है जो हमारे प्रोफेसर्स ने हमारे लिए डिजाइन किया है, और इसी तरह का सिस्टम हमारे न्यूरल नेटवर्क्स के अंदर भी होता है। एग्ज़िस्ट करता है। मतलब हर एक न्यूरॉन का जो कनेक्शन होता है, उसकी एक पर्टिकुलर वेट वैल्यू होती है। इसके पास वेट वन होगा, इसके पास वेट टू होगा, और इस तरीके से हर एक कनेक्शन का अपना एक वेटेज होता है। और इस वेट वैल्यू से न्यूरल नेटवर्क को पता चलता है कि ये इनपुट यहां से आ रहा है, मतलब अगर यहां से इनपुट x1 आ रहा है, यहाँ से इनपुट x2 आ रहा है, यहाँ से इनपुट x3 आ रहा है। तो हर एक पर्टिकुलर इनपुट अगले न्यूरॉन के लिए कितना महत्वपूर्ण और सिग्निफिकेंट है। वहीं काम जैसे सीजीपीयू में वेटेज का होता है, वैसे ही हमारे पास डेसिमल में कुछ वेट वैल्यूज़ होती हैं। इस सिस्टम को काफी रैंडमली डिज़ाइन किया गया था। प्रोफेसर्स ने नोटिस किया कि क्योंकि क्लास टेस्ट की वेटेज बहुत कम है, बहुत सारे स्टूडेंट्स हैं जो क्लास को स्किप ही कर देते हैं। तो स्टूडेंट्स को क्लास..

10:39अटेंड करने के मोटिवेशन के लिए, जो प्रोफेसर ने किया है, वह यह है कि उन्होंने क्लास टेस्ट की वेटेज को बढ़ाकर 30% कर दिया। और मिड सेमेस्टर की वेटेज को उन्होंने कम कर दिया। इस तरह से उन्होंने वेट्स को एडजस्ट किया ताकि बेहतर रिजल्ट्स मिल सकें। यही प्रक्रिया हमारे न्यूरल नेटवर्क्स के अंदर भी होती है। जैसे हमने अपना सीजीपीए सिस्टम डिज़ाइन किया है, बिल्कुल उसी तरह हम अपने न्यूरल नेटवर्क्स को ट्रेन करते हैं। मतलब, इनिशियलली हमें कुछ डेटा इनपुट मिलता है। डेटा के अंदर जो भी पैरामीटर होते हैं, वे हमारे इनपुट वैल्यूज़ बनते हैं। उस डेटा को हम अपने न्यूरल नेटवर्क को फीड करते हैं। और आखिर में, न्यूरल नेटवर्क हमारे लिए क्या करता है? कुछ न कुछ प्रेडिक्शन करता है। अगर हम बाइनरी क्लासिफिकेशन का उदाहरण लें, जैसे..

11:20हमे 1 मिलियन तस्वीरें ऑफ़ सम एनिमल्स हैं। और हमें हमारे न्यूरेल नेटवर्क को प्रेडिक्ट करना है कि फोटो के अंदर कितना बिल्ली है या नहीं। तो या तो वो हाँ प्रेडिक्ट करेगा या नो प्रेडिक्ट करेगा। एंड डिपेंडिंग ऑन कि फोटो के अंदर बिल्कुल क्या है। हमारी प्रेडिक्शन सही भी हो सकती है, और गलत भी। तो जब हम अपने डेटा को न्यूरेल नेटवर्क को फीड करते हैं, और सारी इनिशिएशन एक लेयर, एक लेयर, एक लेयर से आगे-आगे की तरफ जाती है, और अंत में हमारे पास कुछ प्रेडिक्शन आता है। इस पूरे प्रोसेस को हम कहते हैं फॉरवर्ड प्रोप्रगेशन, क्योंकि यह पूरा प्रोसेस फॉरवर्ड डाइरेक्शन में होता है। एंड आखिर में, कोई भी प्रेडिक्शन, जो हमारा न्यूरल नेटवर्क करता है, जरूरी नहीं कि सारी प्रेडिक्शंस सही हों। अगर प्रेडिक्शन गलत है तो हम कैलकुलेट करते हैं कि प्रेडिक्शन कितनी गलत थी। है। और उसे हम कैल्कुलेट करते हैं इन द फॉर्म ऑफ लॉस। तो हर न्यूरल नेटवर्क प्रोपगेशन के लिए हमारे पास कुछ लॉस वैल्यू आती है कि हमारा न्यूरल नेटवर्क कितना गलत था। अब इसी लॉस को हम दोबारा से अपने नेटवर्क को ऑपोजिट डायरेक्शन में फीड करते हैं ताकि हम वेट्स को एडजस्ट कर सकें। जैसे हमने सीजीपीयू का वेट को एडजस्ट किया था, अब हम अपने न्यूरल नेटवर्क के वेट्स को भी कुछ वैसे ही एडजस्ट करेंगे ताकि हमें बेहतर रिजल्ट मिले अगले वक़्त। तो जब बैकवर्ड डायरेक्शन में जाकर हम अपने सारे वेट्स को इस लॉस वैल्यू के आधार पर एडजस्ट करते हैं, इस प्रोसेस को हम बैकवर्ड प्रोपगेशन कहते हैं। क्योंकि अब हम अपने न्यूरल नेटवर्क को बैकवर्ड डायरेक्शन में प्रोपागेट कर रहे हैं। यह ट्रैवल कर रहा है। तो जैसे हमारा सीजीपीयू सिस्टम वर्क कर रहा था, जब हम फॉरवर्ड डायरेक्शन में गए। सीजीपीए गोल किया। रिजल्ट्स अच्छे नहीं हुए, तो हमने वेट को एडजस्ट कर दिया। सेम प्रोसेस न्यूरल नेटवर्क के अंदर वर्क करता है। इफ वी हैव 1 मिलियन पिक्चर्स, तो हर पिक्चर के लिए पहले हम फॉरवर्ड प्रोअपगेशन करेंगे, अपने न्यूरल नेटवर्क से प्रेडिक्शन लेंगे। फिर बैकवर्ड प्रोपगेशन करके दोबारा से अपने वेट्स को एडजस्ट करेंगे। सो दैट वी मेक द न्यूरल नेटवर्क स्मार्टर हर टाइम। तो अगर 1 मिलियन पिक्चर्स हैं, तो 1 मिलियन फॉरवर्ड प्रोअपगेशन होंगे, 1 मिलियन बैकवर्ड प्रोअपगेशन होंगे, और फाइनली हमारे पास कुछ अच्छी वेट वैल्यूज आ जाएंगी, जिसके बाद हमारा न्यूरल नेटवर्क अच्छे से ट्रेन हो जाएगा। अब डेफिनेटली वहां बहुत भारी मैथ शामिल होती है, जो इस पूरे प्रोसेस में इनवॉल्व होती है, कि यहां पर ये सिर्फ वेट वैल्यूज नहीं होती, इसके साथ-साथ हर एक न्यूरॉन का भी ध्यान रखा जाता है। है, उसके पास एक और अतिरिक्त आर्बिटरी वैल्यू होती है, जिसे कॉल्ड बायस वैल्यू। और यदि हम सिंगल न्यूरॉन का उदाहरण लें, जैसे मान लीजिए कि हम इस न्यूरॉन का उदाहरण ले रहे हैं। इसके पास अगर यह तीन इनपुट की वैल्यू इन तीन कनेक्शनों से आ रही है, तो इसका वेट w1 है, इसका वेट w2 है, इसका वेट w3 है। तो इस न्यूरॉन से क्या आउटपुट निकलेगा? इस न्यूरॉन का जो आउटपुट होगा, वह होगा x1*w1 + x2*w2 + x3*w3, प्लस बायस वैल्यू। और इनका समेशन लेकर, इनके ऊपर हम एक स्पेशल फंक्शन लागू करते हैं, जो कॉल्ड एक्टिवेशन फंक्शन कहलाता है, जिसमें बहुत सारे टाइप्स होते हैं, डिपेंडिंग ऑन कि हम किस तरह का न्यूरल नेटवर्क ट्रेन करना चाह रहे हैं। तो इसका जो आउटपुट होगा, यह इस खास न्यूरॉन का वैल्यू होगा। हर एक सिंगल न्यूरॉन के अंदर बहुत सारा मैथ होता है, जो इसके पीछे काम करता है। सीन। तब जाके हमारा न्यूरल नेटवर्क कुछ न कुछ प्रेडिक्शन कर पाता है। तो न्यूरल नेटवर्क का जो ट्रेंनिंग प्रोसेस होता है, वह कंसिस्ट करता है बहुत सारे फॉरवर्ड प्रोپगेशन और बैकवर्ड प्रोपगेशन पासेस के। एंड वॉन्स वी हैव ए ट्रेन नेटवर्क, एक बार हमारे पास यह पूरा नेटवर्क ट्रेंन हो गया, उसके बाद हम इनफेरेंस कर सकते हैं, यानी प्रेडिक्शन कर सकते हैं। तो नेक्स्ट टाइम हमारे पास कोई नया डेटा आएगा, उसके बेसिस पर वेट्स हमारे पास पहले से ही उपलब्ध हैं। हम सिर्फ फॉरवर्ड प्रोपगेशन करेंगे और अपने लिए एक प्रेडिक्शन ले जाएंगे। नाउ, इस नेटवर्क में हमने बहुत छोटे नेटवर्क का उदाहरण लिया है, लेकिन वास्तविकता में आज की डेट में जितने भी न्यूरल नेटवर्क हैं, हम प्रैक्टिकली देखते हैं, प्रैक्टिकली यूज़ करते हैं, उनमें बहुत सारे अलग-अलग लेयर्स हैं, और वे बहुत सारे..

14:41नेटवर्क्स। तो उनको हम डीप न्यूरल नेटवर्क्स कहते हैं, क्योंकि उनके अंदर बहुत सारी हिडन लेयर्स होती हैं, बहुत सारे न्यूरॉन्स होते हैं, बहुत सारे पैरामीटर्स होते हैं। और क्योंकि इन डीप न्यूरल नेटवर्क्स की वजह से हम कहते हैं कि न्यूरल नेटवर्क्स सामान्य मशीन लर्निंग का हिस्सा नहीं हैं, बल्कि अब ये डीप लर्निंग का हिस्सा हैं। अब अगला टर्म है, जिसे हम समझने जा रहे हैं, वो है लॉर्ग लैंग्वेज मॉडल्स यानी एलएलएम्स। एलएलएम्स आज की तारीख में इतनी पॉपुलर टर्म है कि हमें पहले से ही पता होता है। यदि हमने GPT-3 के बारे में सुना है, तो GPT-5, GPT-4 जैसी क्लाउड सर्विसेस, ये सभी एलएलएम्स की मिसाल हैं, और इनके परिवारों को भी एलएलएम्स कहा जाता है। तो, एलएलएम्स क्या हैं? ये हमारे ऐसे डीप लर्निंग मॉडल हैं या डीप न्यूरल नेटवर्क्स हैं, जो बड़े पैमाने पर ट्रेंड किए जाते हैं। टेक्सचुअल डेटा। व्हाट डू वी मीन बाय लार्ज टेक्सचुअल डेटा? लार्ज डेटा का मतलब है कि हम बात कर रहे हैं विकिपीडिया की पूरी सामग्री की। हम मीन मिलियंस और मिलियंस ऑफ़ बुक्स की। लगभग पूरी इंटरनेट की चीजें। तो इतने ज्यादा डेटा पर हमारे LLMs ट्रेंड करते हैं कि हम उस डेटा को अपना लार्ज डेटा कहते हैं। और क्योंकि यह डेटा mostly टेक्सचुअल इन नेचर है, मतलब यह टेक्स्ट ही हैं, भाषाएँ ही हैं। इसी वजह से हम इन्हें लार्ज लैंग्वेज मॉडल्स कहते हैं। लार्ज लैंग्वेज मॉडल्स हमारे जो LLMs होते हैं, वे मानव भाषा को समझने, उत्पन्न करने, अनुवाद करने और सारांश बनाने में बहुत ही अच्छे होते हैं। और वास्तव में, LLMs क्या करते हैं? हमने सभी ने एलएलएम्स के साथ इंटरैक्ट किया है। अगर हम किसी भी एलएलएम का उदाहरण लें..

16:03चार GPT का इस्तेमाल किया, क्लाउड का इस्तेमाल किया तो मतलब हमने एलएलएम्स के साथ इंटरैक्ट किया है। तो हम generalmente अपने एलएलएम को क्या करते हैं? एक क्वेरी देते हैं और उसकी आधार पर वो हमारे लिए कुछ न कुछ रिस्पांस जेनरेट करता है। यह हमें एक प्रतिक्रिया देता है। जैसे उदाहरण के लिए, अगर हम उससे पूछें कि 'भारत की राजधानी क्या है?' तो वो हमारे लिए जवाब देगा कि दिल्ली ही भारत की राजधानी है। अब एलएलएम्स हमारे लिए रिस्पांस कैसे जनरेट करते हैं? वे इसे प्रेडिक्टिंग द नेक्स्ट वर्ड और द नेक्स्ट टर्म से करते हैं। तकनीकी रूप से कहें तो, एलएलएम्स का मुख्य काम है प्रेडिक्टिंग द नेक्स्ट टोकन। इसका मतलब है कि यदि हमारे पास 'भारत की राजधानी' पहले से लिखा हुआ है, तो उसके बाद अगला शब्द क्या होना चाहिए? और इसी तरह से, वे बहुत अच्छी सटीकता के साथ उत्तर प्रदान करते हैं। काफी अच्छे प्रिसिजन के साथ प्रिडिक्ट करते हैं। और उसके बाद हमारे पास हमारा नेक्स्ट वर्ड या नेक्स्ट टोकन प्रिंट होकर आता है। तो आज के बाद, जब भी हम एलएलएम्स के बारे में सोचते हैं, हमें याद रखना चाहिए कि वे क्या प्रिडिक्ट करते हैं, वह है अगला टोकन। और कैसे वे प्रिडिक्ट करते हैं, वह है बहुत सारी मैथ का उपयोग करके। ये बहुत सारी मैथ होती है जो प्रेडिक्ट करने में मदद करती है कि किसी वर्ड के बाद कौन सा नेक्स्ट वर्ड आ सकता है, जिसके आने की सबसे अधिक संभावना हो। इसमें बहुत सारी मैथ और डेटा लगता है ताकि हम पैटर्न्स को पहचान सकें इन ह्यूमन लैंग्वेज में। इस वजह से एलएलएम्स पहचान पाते हैं कि यदि "कैपिटल ऑफ इंडिया" लिखा हो, तो इसके बाद बहुत बड़ा प्राबबिलिटी है कि "दिल्ली" आएगा। मतलब कि बहुत कम संभावना है कि "इंडिया" के बाद सीधे "एप्पल" आए। जाएगा या इंडिया के बाद सीधे मॉंगो प्रिंट हो जाएगा। उसकी बहुत कम संभावना है, जबकि इसकी प्रिंट होने की ज्यादा संभावना है। तो इस तरीके से यह सब एक गेम ऑफ Probabilities का मामला है कि कौन सा अगला बेस्ट वर्ड है जो हमारे proper response में फिट बैठता है। और इसी लॉजिक के ऊपर हमारे Language Models काम करते हैं और वे हमें एक response जनरेट करके देते हैं। तो जितने भी हम अपने Language Models के साथ इंटरैक्शन करते हैं, चाहे उसमें हमारा इनपुट समझना हो, या अगर हम एक भाषा से दूसरी भाषा में ट्रांसलेशन कराना चाहते हैं, या हम कोई ईमेल लिखवाना चाहते हैं, या फिर हम टेक्स्ट समरीज़ेशन करना चाहते हैं। ये सब happening होती है इस particular work के साथ, जिसमें Language Models capable हैं। अब अगला टर्म जिस पर हम Focus करेंगे, वह है Token और Tokenization। हमें पता है कि हमारे जो भी एलएलएम्स होते हैं या वॉटअवेयर मशीन लर्निंग का एआई है, वे इंसानों की भाषा को सीधे तौर पर समझ नहीं पाते। मतलब वो हिंदी को, अंग्रेजी को, पंजाबी को, जापानी को डायरेक्टली नहीं समझ सकते। इसलिए हमें हर स्ट्रींग, हर पीस ऑफ टेक्स्ट को नंबर में कन्वर्ट करना पड़ता है। अब यदि हमारे बड़े-बड़े पैराग्राफ हैं, क्योंकि आमतौर पर जब भी हम GPT जैसे मॉडल्स से बात करते हैं, तो हम बहुत सारा टेक्स्ट लिखते हैं। इसे नंबर में कन्वर्ट करना बहुत मुश्किल होता है। इसलिए हमें एक सिस्टम की जरूरत है जो उस टेक्स्ट को छोटे-छोटे हिस्सों में तोड़ सके। जब हमारा बहुत सारा टेक्सचुअल डेटा होता है और उसे हम छोटे-छोटे भागों में बांटते हैं, तो वो जो सबसे छोटा यूनिट होती है, जिसके अंदर..

18:54डिवीजन होता है दो टोकन। और सबसे छोटी यूनिट, सबसे छोटा टर्म, है called a टोकन। टोकन को जब भी हम कल्पना करते हैं, हम इसे 3/4 of an English word के बराबर मान सकते हैं। जैसे अंग्रेजी में हम शब्द कहते हैं, वैसे ही जब हम LLMs (लार्ज लैंग्वेज मॉडल्स) की Terms में बात करते हैं, तो हम टोकन की बात करते हैं। लेट me show you an example of tokenization। जैसे यह है OpenAI का टोकनाइज़र। इसमें मैं टेक्स्ट एंटर कर सकता हूं, जैसे "I like generative AI"। अब यह जो पूरा वाक्य है, इसको हमारे टोकनाइज़र ने पांच टोकनों में विभाजित कर दिया है। "I" यह पहला टोकन है, "like" दूसरा, "generative" तीसरा, और "AI" चौथा टोकन है। यह टोकन "I like" में स्पेस भी शामिल है। "Generative" एक अकेला टोकन नहीं है, बल्कि यह अंग्रेजी के एक शब्द का हिस्सा है। यह दो टोकनों में विभाजित हो गया है, जो कि "generate" and "ive" हैं। और अंत में, "AI" पांचवां टोकन है। टोकन। नाउ, क्यों डिवाइड जेनरेटिव को टू पार्ट्स? क्योंकि जब हम इंग्लिश लैंग्वेज की बात करते हैं, तो इंग्लिश के अंदर ये जो "-इवी" सर्फिक्स होता है, यह बहुत पॉपुलर सर्फिक्स है जो मल्टीपल वर्ड्स में इस्तेमाल होता है। जैसे क्रिएटिव, रिएक्टिव, टोकनिव। तो बहुत सारे ऐसे इंग्लिश वर्ड्स हैं जिनके अंदर ये "-इवी" सर्फिक्स बार-बार मौजूद होता है। और इसलिए यह बहुत जरूरी है कि इस सर्फिक्स का स्पेसिफिक मतलब हो, खासकर एलएलएम के लिए। और इसी तरह और भी कई सर्फिक्स और प्रीफिक्स हैं इंग्लिश लैंग्वेज में। जैसे अगर हम "फुल" की बात करें, तो "फुल" भी कई मल्टीपल वर्ड्स में आता है। जैसे helpful हो गया, playful हो गया, joyful हो गया। तो इस तरीके से "full" का भी एक स्पेसिफिक मतलब है, जो एलएलएम के लिए जरूरी है। इसलिए भाषा को टोकन्स में ब्रेक करना जरूरी है। डाउनलोड करने का लॉजिक क्या है? सबसे पहला तो यह कि यह आसान हो जाता है सभी टेक्स्ट को नंबरों में कन्वर्ट करना। और दूसरी बात, टोकन हेल्प करते हैं किसी भी Large Language Model (LLM) को उसकी वोकैबुलरी बनाने में या एक तरह से डिक्शनरी बिल्ड करने में। जैसे हर एक टोकन के साथ संबंधित LLM के लिए एक टोकन आईडी होती है। जैसे यदि हम इन टोकनों को देखें, तो हर टोकन के लिए एक टोकन आईडी है, जो विशिष्ट रूप से तय की गई है। जैसे आई के लिए टोकन आईडी 40 है, और 'लीक' के लिए 1299। यदि हम इसे जनरेटिव AI की जगह मशीन लर्निंग के रूप में बदलें, तो हम देखेंगे कि टोकन आईडी वर्ड्स के लिए बदल गई है। लेकिन शुरू के वर्ड्स अभी भी हमारी टोकनाइजेशन प्रक्रिया में मौजूद हैं। अभी भी हमारे पास चार टोकन हैं। और टोकन आईडी के संदर्भ में, आई के लिए अभी भी वही टोकन आईडी है। भी स्पेसिफिक टोकन होता है इन डिजिटल एलएलएम के पास सेम टोकन आईडी रहती है, जिससे यह और आसान हो जाता है उस शब्द को पहचानना। तो हर एक टोकन के लिए उसकी टोकन आईडी उसके इंडेक्स की तरह होती है, और इस प्रोसेस को टोकनाइज़ेशन कहा जाता है। यह प्रोसेस विशेष एल्गोरिदम्स द्वारा किया जाता है। अगला टर्म जो हम समझेंगे, वह है कॉन्टेक्स्ट विंडो, और यह एक लोकप्रिय टर्म है आर्थिक दृष्टिकोण से। जैसे यदि हम किसी से बात कर रहे होते हैं, तो उसमें सीमित मात्रा में जानकारी होती है, जिसे हम एक संवाद में किसी भी व्यक्ति के बारे में याद रख सकते हैं। वैसे ही एलएलएम के मामले में भी कॉन्टेक्स्ट विंडो उसकी रैम की तरह है, यानी उसकी कार्यशील मेमोरी, जो वर्तमान बातचीत के दौरान इस्तेमाल होती है। चल रहा है जिसमें कुछ क्वेरी है, उसके बाद एलएलएम कुछ रिस्पांस जेनरेट करेगा। फिर दोबारा से यूजर कोई क्वेरी पूछेगा, कोई रिस्पॉन्स जेनरेट करेगा। तो एक सिंगल कॉन्वर्सेशन के अंदर किसी भी एलएलएम की एक पर्टिकुलर लिमिट होती है। एक पर्टिकुलर लिमिट होती है ऑफ ट्रैकिंग, व्हाट एग्जैक्टली हैपेंस इन द कॉन्वर्सेशन। और इस लिमिट को हम कहते हैं उसकी कॉन्टेक्स्ट विंडो। ये उसकी मेमोरी है फॉर द करंट कॉन्वर्सेशन। और ये जो कॉन्टेक्स्ट विंडो होती है, ये जो मेमोरी होती है, इसकी लिमिट होती है, इसे ट्रैक करते हैं हम इन नंबर ऑफ टोकंस। जैसे, फॉर कॉन्टेक्स्ट, कॉन्टेक्स्ट विंडो का अगर साइज़ देखें तो GPT-1, जब आया था, इन 2022, तो GPT-1 के लिए द कॉन्टेक्स्ट विंडो साइज थी 512 टोकंस। जबकि आज के डेट में, जब हम GPT-4 या GPT-6 जैसे मॉडल्स का उपयोग कर रहे हैं, उनके लिए द कॉन्टेक्स्ट..

22:35विंडो साइज़ लगभग 1 मिलियन टोकंस है। वहीं अगर क्लाउड फेबल की बात करें तो द कॉन्टेक्स्ट विंडो साइज़ वहाँ भी लगभग 1 मिलियन टोकंस है। तो, कॉन्टेक्स्ट विंडो साइज़ आज की तारीख में पहले के मॉडल्स की तुलना में काफी ज्यादा बढ़ गया है। अब इस कॉन्टेक्स्ट विंडो में एक एलएलएम exactly क्या स्टोर करता है? सबसे पहली चीज जो कॉन्टेक्स्ट विंडो के अंदर स्टोर होती है, वह है यूजर क्वेरी और यूजर इनपुट। उसके साथ में हमारे एलएलएम का जो भी रिस्पांस जनरेट होता है, वह हमारी कॉन्टेक्स्ट विंडो के अंदर स्टोर हो जाता है। साथ ही, उसके साथ में पूरे वर्तमान बातचीत के सभी पिछले मेसेजेस भी स्टोर होते हैं। मतलब, ऐसी कोई बातचीत नहीं है जिसमें हमने एलएलएम से पूछा हो कि "वहाट इज़ द कैपिटल ऑफ इंडिया?" और उसने जवाब न दिया हो। और यही है। एंटायर कन्फ़रसेशन। जनरली, जब भी हम अपने चैट बोक्स के साथ डील करते हैं, हमारे पास एक सीरीज ऑफ मैसेजेस होते हैं। उसमें जिन भी मैसेजेस होते हैं, वे सारी की सारी हमारी कॉन्टेक्स्ट विंडो के अंदर स्टोर होती हैं। उसके साथ में, अगर हमारा लैंग्वेज मॉडल हमारे लिए कोई डॉक्यूमेंट जेनरेट करता है, रिट्रीव करता है, या फिर हम किसी डॉक्यूमेंट या तस्वीर को अपलोड करते हैं, तो वो सारी चीजें भी कॉन्टेक्स्ट का हिस्सा बन जाती हैं। ये सारी इनफॉर्मेशन मिलाकर हमारी कॉन्टेक्स्ट विंडो को भर देती है। जब हम नया कन्फ़रसेशन शुरू करते हैं, जैसे कि GPT या Claude से, तो शुरुआत में हमारी कॉन्टेक्स्ट विंडो खाली होती है। लेकिन धीरे-धीरे, जैसे-जैसे हम मैसेजेस भेजते रहते हैं, वैसे-वैसे हमारी कॉन्टेक्स्ट विंडो में वह डेटा इकट्ठा होता रहता है। टोकन्स होते हैं, हम चाहे हमारे इनपुट के अंदर और चाहे एलएलएम के आउटपुट के अंदर, वो हमारी कॉन्टेक्स्ट विंडो को फिल अप करते चले जाते हैं। और हमें कभी भी अपनी कॉन्टेक्स्ट विंडो को 80% से 85% से ऊपर Fill Up नहीं करना चाहिए, क्योंकि जैसे-जैसे कॉन्टेक्स्ट विंडो भरती चली जाती है, आखिर में जाकर एलएलएम की जवाब की गुणवत्ता डिग्रेड्स एक्सपोनेंशियली। तो कॉन्टेक्स्ट विंडो को पूरा भरने से बेहतर है कि अगर हमारे पास कोई बहुत कॉम्प्लेक्स टास्क है जिसे हम एलएलएम से हल करवाना चाहते हैं, तो हम उस टास्क को ब्रेक डाउन कर देते हैं, उसे कई सबटास्क में विभाजित करते हैं, और हर एक सबटास्क के लिए अलग से संवाद रखते हैं। या फिर अगर हमारा कॉन्टेक्स्ट विंडो भर चुकी है, तो आज के आधुनिक टूल्स में हमारे पास एक ऑप्शन होता है कि हम बातचीत का सारांश बना सकें, ताकि हम अपनी कॉन्टेक्स्ट विंडो को बनाए रख सकें। एम्प्टी अप कर सकें। आल्सो, वहाँ दो और बातें हैं जो याद रखने योग्य हैं। सबसे पहले, हमारी जो भी कॉन्टेक्स्ट विंडो होती है, वह एलएलएम के लिए, वह स्थायी नहीं है। मतलब, ऐसा नहीं है कि एक कॉन्वर्सेशन के अंदर हमने जितनी भी इनिशिएशन स्टोर कर ली, वह वहां पर स्थायी रूप से स्टोर रहेगी। कॉन्टेक्स्ट विंडो केवल वर्तमान सक्रिय कॉन्वर्सेशन के लिए है। इसके साथ में, एक बड़े कॉन्टेक्स्ट विंडो का मतलब बेहतर प्रदर्शन नहीं है बाइ द एलएलएम, क्योंकि एलएलएम की सीमाएं हैं कि वह किसी भी कॉन्वर्सेशन के कितने हिस्से पर फोकस कर सकता है। तो, सामान्यतः यदि कॉन्टेक्स्ट विंडो का आकार बहुत बड़ा होता है और उसमें भरने के लिए बहुत सारा इनपुट एक बार में दिया जाता है, तो एलएलएम में यह पैटर्न देखा गया है कि वह अधिक फोकस करता है शुरुआत और अंत पर, यानी शुरुआत और अंत में ज्यादा ध्यान देता है। क्वेरी। एंड बीच वाला जो पार्ट होता है, वह थोड़ा सा फज़ी हो जाता है। तो यह जरूरी है कि जब भी हम अपने बड़े लैंग्वेज मॉडेल (एलएलएम) को कोई बड़ा कॉम्प्लेक्स इनपुट दे रहे हैं, तो हम इनपुट में महत्वपूर्ण बातें शामिल करें, अपने इनपुट के शुरू or अंत में। अब, कॉन्टेक्स्ट विंडो के बाद दूसरा टर्म है, वेक्टर। अब, एलएलएम्स बिल्कुल कैसे समझते हैं? उसके लिए हमने बात की कि जो भी इनपुट हमारे पास होता है, जिसे हम एलएलएम को भेजते हैं, उसे पहले टोकनों में परिवर्तित किया जाता है। मतलब, यदि हमने यह इनपुट अपने एलएलएम को दिया है, तो वह परिवर्तित होकर टोकनों में बदल जाएगा। टोकनों में कन्वर्ट होने के बाद, हमारे पास एक टोकन आएगा, दूसरे टोकन की तरह। तीसरे टोकन भी आएगा, और फिर अगले टोकन की तरह। इस तरह से हमारे पास विभिन्न टोकन आ जाएंगे। साथ ही, हर टोकन के लिए, हम यह भी समझ सकते हैं कि..

26:02टोकन आईडी। तो हो सकता है कि डिफरेंट वर्ड्स के लिए हमारे पास अलग-अलग टोकन आईडीज़ हो। जैसे लेट्स टेक अ सैपरेट उदाहरण। हमारे पास तीन वर्ड्स हैं। हम हैं कैट, डॉग और लायन। तो इन तीनों वर्ड्स के लिए हो सकता है कि हमारे पास अलग-अलग टोकन आईडीज़ हों, जैसे इसके लिए 29, इसके लिए 42, और इसके लिए 86। तो हमारे पास मल्टीपल टोकन आईडीज़ हैं। अब टोकन या टोकन आईडी से हमारी जो Large Language Model (LLM) है, उसे किसी भी इनपुट का अर्थ पता नहीं चलता। उसे टोकन का बिल्कुल सही अर्थ या विभिन्न टोकन के बीच संबंध का ज्ञान नहीं होता। अर्थ कब पता चलता है? जब इन टोकनों का पूरा सेट वेक्टर में कनवर्ट किया जाता है। तो वेक्टर क्या है? हमने गणित में पढ़ा होगा कि वेक्टर एक ऐसी मात्रा है जिसमें मात्रा और दिशा दोनों होती हैं। उसी तरीके का। कांसेप्ट हम एलएलएम्स को देते हैं। बेसिकली, अगर हम सिर्फ प्लेन नंबरों की बात करें, तो इनका एज सच कोई रिलेशन नहीं है। लेकिन हम इन्हें अपने तरीके से संबंध बनाने और अलग-अलग टोकन्स को एक-दूसरे से संबंधित करने के लिए जरूरी हैं, ताकि हमारा इनपुट में कुछ मायने आ सके और उसे एलएलएम को फीड किया जा सके। तो हम क्या करते हैं? हम अपने अलग-अलग वर्ड्स को उनके विशेष चरित्ररिकताओं के आधार पर वर्गीकृत करते हैं। जैसे उदाहरण के लिए, यदि हम "कैट" के लिए उसका वेक्टर बनाएंगे, तो वह वेक्टर क्या है? यह मूल रूप से एक वन-डायमेंशनल एरे है जिसमें विभिन्न नंबर होते हैं। ये नंबर कुछ भी हो सकते हैं, जैसे 0.05, 0.3, 0.5। किसी भी टोकन के लिए, हमारे पास विभिन्न सवाल हो सकते हैं, जिन्हें पूछकर हम उस टोकन को समझने की कोशिश करते हैं। यानी, क्या यह एक जानवर है, या यह एक वस्तु है, या यह किसी मानव का हिस्सा है? फिर हम पूछ सकते हैं, क्या इसमें विस्कर्स हैं? क्या इसमें हॉर्न हैं? क्या इसका रंग सफेद है? या काला है? तो इस तरह की मल्टीपल प्रॉपर्टीज हैं, जो हर टोकन के साथ जुड़ी होती हैं। तो वेक्टर का एक तरीका है उन प्रॉपर्टीज़ को मापने का। वेक्टर उन प्रॉपर्टीज़ को नंबरों में बदलने का तरीका होता है। इसलिए, एलएलएम इन प्रॉपर्टीज़ को समझने के लिए सक्षम होता है। संक्षेप में, हर टोकन को नंबरों की श्रृंखला में परिवर्तित किया जाता है, जिन्हें हम वेक्टर कहते हैं। और इन वेक्टर्स को हम विजुअलाइज भी कर सकते हैं। सामान्यतः, वेक्टर्स न-डायमेंशनल होते हैं। यानी, ये सिर्फ एक या दो नंबर ही नहीं होते, बल्कि कई मल्टीपल डायमेंशंस होते हैं। लेकिन हम मानव के रूप में अधिकतम 3D तक समझ सकते हैं। इमेजिन कर सकते हैं। तो फॉर द सेक ऑफ सिंपलिसिटी, लेट्स इमेजिन अ टू डी स्पेस। अब इस टू डी स्पेस के अंदर, जब हम मल्टीपल वैल्यूज के वेक्टर को प्लॉट करेंगे, तो हम नोटिस करते हैं कि वेक्टर इस तरीके से फॉर्म होते हैं। मतलब ये कि ये नंबर्स इस तरीके से क्वांटिफाई किए जाते हैं। तो जो रिलेटेड टोकन होते हैं, वे टू डी प्लॉट के ऊपर एक-दूसरे के पास प्लॉट होते हैं। मतलब जैसे कैट और लायन फ्रॉम द सेम फैमिली हैं, तो हमारे टू डी स्पेस में कैट और लायन के वेक्टर पास-पास होंगे, कंपेयर टू द डॉग वेक्टर। यहीं पर, अगर हमारे पास टाइगर वेक्टर भी आ जाए, तो टाइगर इज़ गोंग टू बी नियरर टू लायन और नियरर टू कैट, इसके कंपेयर टू द डॉग। या फिर, अगर हमारे पास पेट वर्ड आता है, तो पेट इज़ गोंग टू बी नियरर टू डॉग और कैट, इसके कंपेयर टू लायन। इस तरीके से अब वेक्टर की मदद से हमारे..

29:05टोकंस के अंदर कुछ मीनिंग, कुछ कॉन्टेक्स्ट ऐड हो गया है, जो हमारे लैंग्वेज मॉडल्स को अब अलग-अलग टोकंस के बीच में रिलेशनशिप्स फॉर्म करने में मदद करेगा। मतलब यह कि यह शिक्षित करेगा कि लॉयन और कैट ज्यादा रिलेटेड हैं, जैसी कि लॉयन और डॉग से तुलना करें। या डॉग और पेट अधिक रिलेटेड हैं, जैसी कि टाइगर और पेट से तुलना करें। और यह जो पूरा प्रोसेस होता है, उसमें टोकंस को इनवर्टर वectors में कन्वर्ट किया जाता है। इस प्रोसेस को वेक्टराइजेशन कहा जाता है। और अंत में, इन वेक्टर्स को हम अपने किसी भी मॉडल में फीड करते हैं। तो, यह अंत में, उस मॉडल को भेजा जाता है, जिस के आधार पर हमारा लैंग्वेज मॉडल समझ पाता है कि इनपुट क्या था। अब वेक्टर जैसे कि फिजिक्स में भी प्रयोग होते हैं, मैथ्स में भी। लेकिन खास तौर पर जब हम लैंग्वेज मॉडल की कॉन्टेक्स्ट में बात करते हैं। वेक्टर की बात कर रहे होते हैं तो वहां पर हम अपने वेक्टर को वेक्टर एम्बेडिंग्स भी कह देते हैं, सो दैट इज़ हाउ वी यूज़ द टर्म एम्बेडिंग्स। तो जब भी हम एम्बेडिंग्स की बात कर रहे हैं, वी आर एक्चुअली टॉकिंग अबाउट वेक्टर एम्बेडिंग्स इन द कॉन्टेक्स्ट ऑफ़ एलएलएम्स। तो वेक्टर इन्डिविज़ुअली इज जैस्ट अ फॉर्मेट ऑफ़ स्टोरेजिंग डेटा कि हमारे पास वन ऑफ़ एरे है जिसके अंदर मल्टीपल नंबर्स हैं। एम्बेडिंग्स एक्चुअली हमें बताता है कि ये जो वेक्टर है ये स्पेसिफिकली एलएलएम्स के लिए टोकन्स का कुछ ना कुछ मीनिंग कैरी कर रहा है। एंड नाउ लेट्स मूव ऑन टू द नेक्स्ट टर्म व्हिच इज़ कॉल्ड अटेंशन। अटेंशन इज़ प्रॉबब्ली वोन ऑफ़ द मोस्ट इम्पोर्टेंट टर्म्स व्हेन वी टॉक अबाउट एलएलएम्स। एस्पेशियली हमारे जितने भी मॉडर्न एआई-बेस्ड सिस्टम्स, मॉडर्न एआई-बेस्ड चैटबॉट्स हैं, उनके अंदर अटेंशन का। बहुत इंपॉर्टेंट रोल है। चलते हैं सेंटेंसेस को समझने के लिए, ताकि अटेंशन का अर्थ समझ आ सके। चलिए मान लेते हैं कि मैं कोड लिख रहा हूँ Python में, और दूसरी सेंटेंस है, "Python bit me"। अब, अगर हम दोनों सेंटेंसेस में केवल "Python" शब्द को वेक्टर एनकोडिंग में कनवर्ट करें और फिर उसे एलएलएम (LLaMA या अन्य Large Language Model) में फीड करें, तो यह मीनिंग को नहीं समझ पाएगा क्योंकि "Python" का स्पेलिंग ही समान है। दोनों सेंटेंसेस में "Python" का अर्थ अलग है—पहली में, "Python" एक प्रोग्रामिंग लैंग्वेज है, और दूसरी में, "Python" एक सर्प है। यहाँ एक तीसरा सेंटेंसेस भी हो सकता है, जैसे, "About Minti Python," जो कि ब्रिटिश कॉमेडी ग्रुप का नाम है। इसलिए, किसी भी टोकन के लिए केवल वेक्टर एनकोडिंग में कनवर्ट करना जरूरी नहीं है। हमें क्या करना चाहिए? पड़ता है? हमें अंडरस्टैंड करना पड़ता है किसी भी टोकन का कॉन्टेक्स्ट क्योंकि कंपेयर टू द अन्य टोकंस इन द इनपुट। तो, हम क्या करते हैं? हम एक स्पेशल मेकेनिज्म का इस्तेमाल करते हैं या एलएलएम का स्पेशल मेकेनिज्म का इस्तेमाल करते हैं ताकि वह जो है, उसे अटेन्शन कहा जाता है। अटेन्शन मेकेनिज्म के अंदर हम बेसिकली तय करते हैं कि किसी एक विशेष व्यक्तिगत टोकन के लिए कौन से दूसरे संबंधित टोकन हैं, जो हमारे इनपुट सिक्वेंस में मौजूद हैं, और कौन सा टोकन कितना महत्वपूर्ण है ताकि समझ सके मीनिंग ऑफ़ यह पाइथन, कि एलएलएम समझ पाए कि जब भी पाइथन की बात हो रही है, तो हम प्रोग्रामिंग लैंग्वेज और सर्प के बारे में बात कर रहे हैं। और यह कैसे काम करता है, यह समझने के लिए, चलिए मान लेते हैं कि हमारे पास कोई भी एक वाक्य है, जिसके अंदर हम उसकी मीनिंग समझना चाहते हैं। पार्टिकलर टोकन। तो इसके लिये हम क्रिएट करते हैं एक स्पेशल वेक्टर, जिसे हम कहते हैं अपना क्वेरी वेक्टर। और उसके साथ में हमारे जो बाकी टोकन होते हैं, उनके लिये भी हम क्रिएट करते हैं कुछ कॉल्ड की वेक्टर्स। और अपने क्वेरी वेक्टर और की वेक्टर्स के बीच में हम परफॉर्म करते हैं कुछ मैथमेटिकल ऑपरेशंस। ये ऑपरेशंस अलग-अलग वेक्टर ऑपरेशंस होते हैं, जैसे डॉट प्रोडक्ट हो गया। और उसके बेसिस पर हम कैलकुलेट करते हैं कोई चीज़, जिसे कहते हैं एटेंशन स्कोर। और एटेंशन स्कोर हमें बताते हैं कि कोई टोकन कितनी रिलेवेंट है उस ओरिजनल टोकन के साथ। मतलब, जितना हाई एटनशन स्कोर होगा, जैसे कोड और Python का बहुत हाई एटेंशन स्कोर होगा, उसकी वजह से हमें पता चलता है कि यह कोड टोकन वास्तव में रिलेवेंट है, उस Python टोकन का मतलब समझने के लिए। क्योंकि अगर हमें पता है कि सेंटीन्स के अंदर कोड वर्ड यूज़ किया गया है। हैं तो एलएलएम को पता होगा कि यह एक हाई प्रायिकता है कि हम बात कर रहे हैं पाइथन प्रोग्रामिंग लैंग्वेज के बारे में, न कि सर्प के बारे में। उसी तरीके से अगर हम इसका उदाहरण लें, तो यदि हम इस वाक्य का क्वेरी वेक्टर बनाते हैं, तो बाकी सभी वेक्टर के लिए हम अपने की वेक्टर बनाएंगे। और हम एक डॉट प्रोडक्ट या अन्य गणितीय ऑपरेशंस करेंगे क्वेरी और की वेक्टर के लिए। और अंत में हमारे पास हमारा अटेंशन स्कोर निकलकर आएगा। और इस वाक्य के लिए सबसे अधिक अटेंशन स्कोर पाइथन और बिट के लिए जाएगा, क्योंकि कुछ भाग बिट में है। यह हाई प्रायिकता दर्शाता है कि यह संकेत कर रहा है कि यह पाइथन का मतलब एक सर्प है, न कि प्रोग्रामिंग लैंग्वेज। और इसी तरह से पूरा अटेंशन स्कोर कैलकुलेट करने का मैकेनिज्म है, यही हम अपना..

33:35अटेंशन मैकेनिज्म कहते हैं फॉर ऑर एलएलएम्स। अब यह पूरा मैकेनिज्म वाज़ एक्चुअली इंट्रोड्यूस्ड इन एक लैंडमार्क रिसर्च पेपर जो 2017 के अंदर आया था। एंड इट्स अ रियलियन पॉपुलर रिसर्च पेपर जिसे आप जाकर पढ़ भी सकते हैं, इनफैक्ट मैं दी लिंक इन द डिस्क्रिप्शन बॉक्स। यू कैन जाओ एंड रीड द पेपर ऑफ्टर द सेशन। यह पेपर वाज़ कॉल्ड अटेंशन। इज़ ऑल यू नीड। एंड यह वॉली वॉली पॉपुलर पेपर्स में से एक है जब भी हम मॉडर्न ट्रांसफॉर्मर आर्किटेक्चर और मॉडर्न एलएलएम्स की बात करते हैं AI वर्ल्ड में। और इसी इंपोर्टेंट रिसर्च पेपर में एक काफी इम्पोर्टेंट न्यूरल नेटवर्क आर्किटेक्चर इन्ट्रोड्यूज हुआ था, जिसे कॉल्ड द ट्रांसफॉर्मर आर्किटेक्चर। और ट्रांसफॉर्मर आर्किटेक्चर बेस्ड ऑन द अटेंशन मैकेनिज्म। इतना है कि यह जेमिनी में इस्तेमाल किया गया है। यह गूगल का चैटबॉट है, जो गूगल का लेटेस्ट लैंग्वेज मॉडल है। यह डिप सिक में भी इस्तेमाल हो रहा है, यह क्लाउड में भी यूज किया जाता है, और चैटजीपीटी के साथ भी लोकप्रिय है। इसलिए हर पॉपुलर लैंग्वेज मॉडल के पीछे एक ट्रांसफार्मर आर्किटेक्चर है। वास्तव में, एलएलएम्स (Large Language Models) और ट्रांसफार्मर का कॉन्सेप्ट बहुत समान है। बहुत सारे लोग इन्हें एक ही समझ लेते हैं, लेकिन ये अलग भी हैं। अभी तक हमने देखा कि हमारे एलएलएम्स का मुख्य काम अगले टोकन की प्रेडिक्शन करना है। लेकिन वास्तव में, यह काम हमारे ट्रांसफार्मर ही करते हैं। इसलिए, जब भी हम किसी मॉडर्न एलएलएम को देखते हैं, तो हम नोटिस करते हैं कि वह ट्रांसफार्मर आर्किटेक्चर का उपयोग कर रहा है। इस तरह से हम एलएलएम और ट्रांसफार्मर के रिश्ते को समझ सकते हैं। हमारे पास वो है, हम एक लैपटॉप डिवाइस और एक फोन है। फोन के अंदर हम का ऑपरेटिंग सिस्टम है। तो ऑपरेटिंग सिस्टम वो है, जो बहुत काम करता है, मगर एक फोन सिर्फ ऑपरेटिंग सिस्टम नहीं है, बल्कि उसमें कई अन्य फीचर्स भी होते हैं। उसी तरह हमारा मॉडल, एलएलएम और ट्रांसफॉर्मर्स का संबंध भी इसी तरह का है। यह जैसे एक कार है, और कार का इंजन उसका महत्वपूर्ण भाग है, मगर कार में और भी कई फंक्शन होते हैं। वैसे ही हमारे एलएलएम में सबसे पहला काम होता है, अगले टोकन की भविष्यवाणी करना, ताकि हम आउटपुट जनरेट कर सकें। यह हमारे ट्रांसफॉर्मर्स, एनएलपी के ऑपरेटिंग सिस्टम की तरह काम करते हैं। लेकिन एलएलएम के भी कई अन्य टास्क होते हैं, जिन्हें वह परफॉर्म कर सकते हैं, जो ट्रांसफॉर्मर्स का हिस्सा नहीं हैं। जैसे कि कोई भी एलएलएम, किसी सर्च इंजन को एक्सेस कर सकता है, या एक्सटर्नल टूल्स का उपयोग कर सकता है। एक्सेस कर सकते हैं। एक्सटर्नल इनेशन एक्स्ट्रैक्ट कर सकते हैं। तो इस तरीके के मल्टीपल काम हैं जो ट्रांसफॉर्मर नहीं करते, पर एलएलएम एज अ टूल या एलएलएम एज अ सिस्टम पर परफॉर्म करते हैं। सो, दैट इज़ व्हाट द रिलेशनशिप इज़ बिटवीन एलएलएम्स और ट्रांसफॉर्मर्स। अब, एलएलएम्स हमारि लार्ज लैंग्वेज मॉडल्स हैं। पर, वो मॉडल्स कौन सा आर्किटेक्चर यूज़ करते हैं? वो ट्रांसफार्मर आर्किटेक्चर को यूज़ करते हैं। व्हिच इज़ अ न्यूरल नेटवर्क और अ डीप लर्निंग आर्किटेक्चर। अब, व्हाट एक्सैक्टली इज़ द ट्रांसफार्मर आर्किटेक्चर? लेट्स डिस्कस द सिंप्लिफाइड वर्जन फॉर इट। ट्रांसफॉर्मर आर्किटेक्चर की बात करें, तो इट कॉन्सिस्ट्स ऑफ़ टू इंपोर्टेंट ब्लॉक्स। सबसे पहला ब्लॉक हमारे पास होता है, व्हिच इज कॉल्ड द अटेंशन ब्लॉक, जिसके अंदर हम अपनी अटेंशन को कैलकुलेट करते हैं। अब, एक्चुअली..

36:26यह जो अटेंशन कैल्कुलेट होती है, हम डीप डाइव इनटू द ट्रांसफार्मर आर्किटेक्चर। तो मल्टीपल टाइप्स ऑफ अटेंशन होती है। हमारे पास मल्टी-हेड अटेंशन है, सेल्फ अटेंशन है। तो्से बाहर भी बहुत सारे टाइप्स ऑफ अटेंशन हैं। पर हम काफी हाई लेवल में बात कर रहे हैं। सबसे पहले, जो भी हमारे इनपुट टोकन होते हैं, चाहे जो भी हो, वो ट्रांसफार्मर आर्किटेक्चर में सबसे पहले अटेंशन ब्लॉक से गुजरते हैं। उसके बाद, वह दूसरा ब्लॉक पहुंचता है, जो एक फीड फॉरवर्ड न्यूरल नेटवर्क है। और उसके बाद, फीड फॉरवर्ड न्यूरल नेटवर्क हमें आउटपुट देता है। और यह अभी सिर्फ ट्रांसफार्मर आर्किटेक्चर की पहली लेयर है। अब इस लेयर का जो भी आउटपुट होता है, वह अगले लेयर को पास कर दिया जाता है। मतलब कि यही सेट ऑफ़ ब्लॉक्स को हम रिपीट करते हैं। तो चलिए, इसका एक कॉपी बनाते हैं। एंड इसी पूरे प्रोसेस को हम नेक्स्ट लेयर के अंदर रिपीट करेंगे। एंड सिमिलरली इसी सेम प्रोसेस को हम उसकी भी नेक्स्ट लेयर के अंदर रिपीट करेंगे। एंड डिज़ ही हाउ द ट्रांसफॉर्मर आर्किटेक्चर इज़। तो सिंप्लीफाइड टर्म्स में कुछ इस तरीके का प्रोसेस हमारे पास रहता है, जहां पर हम अपने इनपुट टोकन्स को पास करते हैं, उसे अटेंशन ब्लॉक के थ्रू पास करेंगे टू कैलकुलेट द अटेंशन स्कोर और अन्य वैल्यूज रिलेटेड टू अटेंशन। सो दैट वी आर एबल टू अंडरस्टैंड द कॉन्टेक्स्ट ऑफ द इनपुट व्हिच इज़ पास्ड टू अस। उसके बाद वी पास इट थ्रू अ फील्ड फॉरवर्ड न्यूरल नेटवर्क। वी गेट द आउटपुट एंड वी रिपीट डिस प्रोसेस। एंड ये जो पूरा प्रोसेस होता है, उसे हम करीबन एन टाइम्स रिपीट करते हैं, थ्रू ऑलमोस्ट एन लेयर्स, जो आज की डेट में इन मॉडर्न एलएलएम्स में ये नंबर ऑफ लेयर्स इट कैन बी ईवन इन 100स। अब वैसे। तो ट्रांसफॉर्मर आर्किटेक्चर के विभिन्न वर्संस हैं, जिसके लिए हमें एन्कोडर्स को भी समझना पड़ेगा, डिकोडर्स को भी समझना पड़ेगा। मल्टी-हेड अटेंशन, सेल्फ अटेंशन, बहुत सारी मल्टीपल चीजों को समझना पड़ेगा। लेकिन यह है सरलता का व्यू। अगर आप एक डेडिकेटेड सेशन चाहते हैं जब आप ट्रांसफॉर्मर आर्किटेक्चर को समझना चाहें, यदि आप इसे गहराई से समझना चाहते हैं, तो आप मुझे कमेंट्स में बता सकते हैं और हम एक अलग सेशन ट्रांसफॉर्मर्स के बारे में बनाएंगे। अब उच्च स्तरीय व्यू में, यह प्रक्रिया क्यों दुबारा दोहराई जाती है? मतलब, ये मल्टीपल, जो हमारे पास N लेयर्स आती हैं ट्रांसफॉर्मर्स में, उसकी लॉजिक क्या है? लॉजिक यह है कि हमारा जो Large Language Model है, वह हमारे इनपुट के अंदर कॉन्टेक्स्ट के डिफरेंट न्यूसेस को समझ पाए, जैसे लेट्स टेक एग्जांपल ऑफ एन इनपुट। लेट्स सपोज़ दिस इज़ माई इनपुट। बैंक अप्रूव्ड द लोन बिकॉज़ कस्टमर हैड अ गुड क्रेडिट स्कोर। अब इस इनपुट को जब हम पास करेंगे, फर्स्ट लेयर सारा का सारा कॉन्टेक्स्ट नहीं समझ सकती। मैं बेस्ट फर्स्ट लेयर के अंदर हमारा एलएलएम समझेगा कि लोन किसने अप्रूव किया? लोन बैंक ने अप्रूव किया। क्रेडिट स्कोर कैसा था? क्रेडिट स्कोर अच्छा था। ये दो चीजें हो सकती हैं फर्स्ट लेयर के अंदर समझने के लिए। तो फर्स्ट लेयर के अंदर एलएलएम सिर्फ हाई लेवल का मीनिंग समझ पाएगा, जबकि जैसे-जैसे नंबर ऑफ लेयर्स बढ़ेंगे, वो डीपर इंटू द मीनिंग जाएगा। जैसे सेकंड लेयर में हो सकता है कि एलएलएम समझना शुरू करे कि अच्छा क्रेडिट स्कोर लीड करेगा लोन अप्रूवल्स। तो ये एक डीपर लेवल ऑफ़ समझ है। अंडरस्टैंडिंग है, जो शायद सिर्फ एक सिंगल लेयर के अंदर या सिर्फ टू लेयर्स के अंदर किसी एलएलएम को नहीं मिलेगी। और वह है कि यह रेपिटिशन इंडेंट इन द ट्रांसफॉर्मर आर्किटेक्चर। जबकि attention ब्लॉक के अंदर, जब हमारा attention स्कोर कैलकुलेट होता है, तो उस स्कोर को हर टोकन के लिए, सभी अन्य टोकनों समेत, एक ही समय में कैलकुलेट किया जाता है। तो, हमारे पास एक एन x एन साइज़ की मैट्रिक्स कैलकुलेट होती है, जो attention स्कोर के संदर्भ में होती है। और यही कारण है कि यह कंम्प्लेक्सिटी n² के आकार की हो जाती है, जहां पर n टोकन्स की संख्या है। तो जैसे-जैसे हमारे इनपुट के टोकनों की संख्या बढ़ती है, वैसे-वैसे हम कह सकते हैं कि आर्किटेक्चर की जटिलता और लागत भी बढ़ रही है। यही वजह है कि हमें एक वैकल्पिक विधि चाहिए। ट्रांसफॉर्मर आर्किटेक्चर, जिसे हम कहते हैं अपना स्टेट स्पेस मॉडल्स या एसएसएम्स, जो यूज़्ड इन मॉडल्स जैसी कि मंबर्स। नेक्स्ट लेवल्स समझें, फाइंड गिविंग। अब हमारे पास जो भी एलएलएम्स हैं, जो अलग-अलग एआई मॉडल्स हैं, वे सारे पहले से ही ट्रेंड किए गए हैं उस डेटा पर। लेकिन वे स्पेसिफिक स्पेशलाइज्ड फील्ड्स और उन स्पेसिफिक यूज़ केसेस के लिए होते हैं, जिनमें हमें चाहिए स्पेशलाइज़्ड मॉडल्स। जैसे यदि हम मेडिकल फील्ड की बात करें, या फिर फाइनेंस या लीगल की, तो ये वो फील्ड्स हैं जिनमें हमें चाहिए स्पेशलाइज़्ड एलएलएम्स और स्पेशलाइज़्ड मॉडल्स। तो हम यह कैसे पहुंचते हैं? हम यह फाइन ट्यूनिंग के प्रोसेस से करते हैं। फाइन ट्यूनिंग में हम शुरू करते हैं एक बेस मॉडल से, जो पहले से ही एक प्रशिक्षित एलएलएम होता है। फिर हम क्या करते हैं? इस बेस मॉडल को हम ट्रेन करते हैं, फाइं ट्यून करते हैं ऑन अ स्पेशलाइज्ड डेटा सेट, जो कि रिलेवेंट टू आवर यूज केस। मतलब अगर हम एक मेडिकलली स्पेशलाइज़्ड एलएलएम क्रिएट करने की कोशिश कर रहे हैं, तो ये स्पेशलाइज्ड डेटा सेट खासकर मेडिकल का होगा। सो, जिससे हमारा फाइनल एलएलएम आएगा, वह इन मेडिकल जॉर्गन और लीगल केस में समझने वाला या उस स्पेसिफिक फॉर्मेट के अंदर आउटपुट देने वाला होगा। हमारे पास एलएलएम रेडी हो जाएगा। तो स्पेशलाइज्ड डेटा सेट के ऊपर हम बेस मॉडल को ट्रेन करते हैं, और फाइनली, हमें मिलता है एक फाइन ट्यून मॉडल। अब फाइन ट्यून मॉडल के कई उपयोग हो सकते हैं। एक तो यह हो सकता है कि हम इंडस्ट्री स्पेसिफिक मॉडल को..

41:36क्रिएट करना चाह रहे हैं। डैट इज़ व्हाई वी आर डूइंग फाइन ट्यूनिंग। एक हो सकता है कि हम स्पेसिफिक मॉडल बनाना चाह रहे हैं टू परफॉर्म अ पर्टिकुलर टास्क, जैसे कि एक कस्टमर सपोर्ट के लिए ही स्पेसिफिकली हम एक मॉडल क्रिएट करना चाह रहे हैं। तो उसके लिए भी हम फाइन ट्यून कर सकते हैं, या फिर हम एक पर्टिकुलर स्टाइल के अंदर रिस्पांस जनरेट करने के लिए मॉडल को क्रिएट करना चाह रहे हैं। तब भी हम अपने मॉडल्स की फाइन ट्यूनिंग कर सकते हैं। तो फाइन ट्यूनिंग प्रोसेस का बेनिफिट ये होता है कि वी डोंट हैव टू ट्रेन अ मॉडल फ्रॉम स्क्रैच, क्योंकि डैट इज़ गोइंग टू बी रियली एक्सपेंसिव। वी टेक एन ऑलरेडी ट्रेंड मॉडल विच इज़ कैपेबल ऑफ़ अंडरस्टैंडिंग ह्यूमन लैंग्वेज, जो एक जेनरलाइज्ड मॉडल होता है, और उसे हम एक स्पेशलाइज्ड फाइन ट्यून मॉडल के अंदर कन्वर्ट कर सकते हैं। नाउ द नेक्स्ट। कॉन्सेप्ट जो हम समझेंगे वह है सेल्फ सुपरवाइज्ड लर्निंग। सेल्फ सुपरवाइज़्ड लर्निंग को सरल शब्दों में कहें तो यह प्रकार की लर्निंग है, जिसके माध्यम से हमारे मॉडर्न लर्द एलएलएम्स डेटा से पैटर्न्स सीखते हैं। आइए इसे विस्तार से समझते हैं। जब भी हम डेटा की बात करते हैं, जिसे एलएलएम्स को फीड किया जाता है, तो इस डेटा को व्यापक रूप से दो श्रेणियों में विभाजित किया जा सकता है। यह या तो लेबल्ड डेटा हो सकता है या अनलेबल्ड डेटा। लेबल्ड डेटा का मतलब है कि जहां पर किसी इनपुट पैरामीटर x के लिए, हम जानते हैं कि आउटपुट क्या होगा। हमें पता है कि अंतिम परिणाम क्या आने वाला है। उदाहरण के तोर पर, हमारे पास बहुत सारे ईमेल के सैंपल हैं। हमारे पास काफी ईमेल्स हैं, और हर ईमेल के लिए हमें पता है कि क्या वह स्पैम है या नहीं। इसलिए, हर ईमेल का सैंपल हमारे पास मौजूद है। मान लीजिए हमारे पास 1 मिलियन ईमेल्स के सैंपल्स हैं, और हर ईमेल सैंपल के लिए हमें पता है कि ये स्पैम है या नॉट स्पैम। स्पैम है, या नॉट स्पैम, जो भी उस ईमेल के कंटेंट में है उसके अनुसार। अब जब हम इस डेटा को किसी मशीन लर्निंग एल्गोरिदम या डीप लर्निंग एल्गोरिदम को फीड करते हैं, तो हमारा न्यूरल नेटवर्क क्या करेगा? न्यूरल नेटवर्क आर्किटेक्चर इस कोशिश में रहेगा कि ये वैल्यू प्रेडिक्ट करे। इस वैल्यू को हम अपनी टारगेट वैल्यू कहते हैं। इसे कॉल्ड टारगेट वैल्यू और y वैल्यू भी कहते हैं। मतलब, इनपुट x के आधार पर कोई भी न्यूरल नेटवर्क टारगेट को प्रेडिक्ट करने की कोशिश करता है, और फिर देखता है कि उसने कितनी सही प्रेडिक्शन की है। अगर सही प्रेडिक्शन नहीं कर पाया, तो हम लॉस यानी कि त्रुटि की गणना करते हैं। इसे हम पहले ही डिसकस कर चुके हैं, और इसी आधार पर आगे काम किया जाता है। लॉस दोबारा से हमारा जो न्यूरल नेटवर्क आर्किटेक्चर है, वह इंप्रूव करने की कोशिश करता है। नाउ, यह कर सकता है बहुत आसानी से वेरी एजीली, विद लेबल्ड डेटा, लेकिन नॉट ऑल डेटा को लेबल किया जा सकता है। हमारे पास दूसरे तरीके का भी डेटा होता है, जो कि अनलेबल डेटा है। इस डेटा के अंदर बहुत सारे कैरेक्टरिस्टिक्स होते हैं, मतलब-properties होते हैं इस डेटा के अंदर, पर हमें नहीं पता कि एक्जैक्टली प्रेडिक्ट क्या करना है। हमें नहीं पता कि एक्जैक्ट क्यों है, एक्जैक्ट टारगेट वैल्यू क्या है, और इनफैक्ट जब हम बात कर रहे थे कि एलएलएम्स के पास बहुत बड़ा टेक्स्चरल डेटा है, जिसके ऊपर उन्हें ट्रेन किया गया है। मतलब, मॉडर्न डे एलएलएम्स ट्रेंड ऑन ह्यूज अमाउंट्स ऑफ डेटा। तो उसके अंदर निश्चित रूप से हर एक चीज को ह्यूमन लेवल पर लेबल करना संभव नहीं है। तो जो एलएलएम्स हैं, उन्हें कोई तरीका चाहिए। था टु बी एबल टू ट्रेन देमसेल्व्स ऑन दिस अनलिबल डेटा। तो उन्होंने अपने लिए एक बढ़िया तरीका निकाला, वीच या रिसर्चर्स ने एक बढ़िया तरीका निकाला, वीच इज़ सेल्फ सुपरवाइज्ड लर्निंग। सेल्फ सुपरवाइज्ड लर्निंग से पहले एक बार सुपरवाइज्ड लर्निंग की बात करते हैं। सुपरवाइज्ड लर्निंग एक मशीन लर्निंग टेक्निक है। ये एक मशीन लर्निंग या डीप लर्निंग मॉडल के सीखने का तरीका होता है, जिसमें हम क्या करते हैं? जिसमें हम मशीन लर्निंग मॉडल को इनपुट फीड करते हैं, जिसके बेसिस पे मशीन लर्निंग मॉडल आउटपुट प्रेडिक्ट करने की कोशिश करता है। उसके बाद आउटपुट प्रेडिक्ट होता है या नहीं होता, लॉस कैलकुलेट होता है। एंड उस वक्त हम बेकवर्ड प्रोपगेशन का इस्तेमाल करते हैं। सो, दिस इज़ कॉल्ड सुपरवाइज़्ड लर्निंग। तब, व्हाट इज़ सेल्फ सुपरवाइज्ड लर्निंग? सेल्फ सुपरवाइज्ड लर्निंग कहने का मतलब है कि..

45:03हमारा जो एलएलएम है, उसे कुछ भी अगर डेटा फीड किया गया है, तो वह क्या करेगा? अपने इस डेटा के अंदर कुछ पार्ट को हाइड कर देगा। अब क्या पार्ट हाइड हुआ है? यह एलएलएम को पहले से ही पता है। यह जानता है कि वह हिडन है। पर वह क्या करेगा? बेस्ड ऑन पिछले सीक्वेंस और पिछले टोकन्स, वह नेक्स्ट वैल्यू क्या आनी चाहिए थी? उसको प्रेडिक्ट करने की कोशिश करेगा। यह प्रेडिक्ट करने की कोशिश करेगा कि टारगेट वेल्यू क्या होगी। और फिर वह विश्लेषण करेगा कि टारगेट वेल्यू का कितना सही प्रेडिक्शन रहा। यदि वह सही प्रेडिक्शन करता है, तो हाँ, एलएलएम अच्छा काम कर रहा है। अगर वह सही प्रेडिक्ट नहीं करता है, तो यह अच्छा संकेत नहीं है। तो ट्रेनिंग प्रक्रिया में, मॉडल क्या करेगा? अपने वेट्स को एडजस्ट करेगा और अपने आपको बेहतर बनाने की कोशिश करेगा। इस तरह से, सारा डेटा भी हो सकता है कि इसमें दो लेबल्ड ना हो। तो जो भी डेटा है… हमने एलएलएम को फीड किया, उससे वो टारगेट्स खुद ही बना रहा है। देयर आर नो ह्यूमन गिवन लेबल्स, व्हिच आर अवेलेबल टू द एलएलएम। डैट इज़ व्हाय दिज़ लर्निंग इज़ कॉल्ड सिंल्फ सुपरवाइज्ड लर्निंग। सुपरवाइज्ड लर्निंग थी, जिसके अंदर मैनुअली हम ही अपने डेटा सेट के अंदर टारगेट्स अलग से देते हैं। बट, बहुत बड़े डेटा को जब हम एलएलएम्स को फीड करते हैं, जो कि मॉडर्न डे एलएलएम हर एक केस में होता है। तो इतने बड़े डेटा के अंदर मैनुअली लेबल्स ऐड करना रियलली कॉस्टली है, और उसके साथ में ये रियल टाइम कंज्यूमिंग भी है। तो ये एक एफिशिएंट प्रोसेस है। सो, दैट द एलएलएम इन द ट्रेनिंग प्रोसेस इज़ एबल्ड टू क्रिएट टारगेट्स ऑन इट्स ओन। एंड इससे अपने साथ वो एक तरीके से एक गेसिंग गेम खेलता है, खुद को इंप्रूव करते हुए। एंड दिस इज़ द प्रोसेस, दैट इट रिपीट्स मिलियंस ऑफ़ टाइम्स टू बिकम बेटर एट थिंग्स। दो उदाहरण से हम समझ सकते हैं। मान लीजिए हम किसी इमेज के डेटासेट पर किसी एक भाषा मॉडल (एलएलएम) को ट्रेन कर रहे हैं। और मान लीजिए इस इमेज के अंदर हम तय कर लेते हैं कि इस हिस्से को छुपा देना है। तो एलएलएम क्या करेगा? इस particular part को हाइड कर देगा, और फिर अनुमान लगाने की कोशिश करेगा कि इस इमेज के उस हिस्से में क्या आना चाहिए। यह कोशिश करेगा कि क्या अनुमान लगाता है कि यहां पर एक व्हील आना चाहिए। यदि हाँ, तो यह एक अच्छा अनुमान होगा। यदि अनुमान लगाता है कि यहां पर मैं नहीं जानता, एक बिलकुल अलग चीज आना चाहिए, तो यह एक बुरा अनुमान होगा। इसी तरह से यह प्रक्रिया भाषाओं के साथ भी की जा सकती है। यह टेक्स्ट के साथ भी किया जा सकता है। जैसे यदि हम इसे टेक्स्ट के रूप में कुछ डेटा देते हैं, तो इस तरह का डेटा यदि इसके पास उपलब्ध है, तो यह इसमें से कुछ शब्दों को कवर करेगा और उन्हें अनुमान लगाने की कोशिश करेगा। लुक ऐट द टोकन्स। डोन't जज अ बुक बाय इट्स। तो यहां पर नेक्स्ट टोकन क्या आना चाहिए, उसको वो प्रेडिक्ट करने की कोशिश करेगा। अगर कवर प्रेडिक्शन के अंदर आएगा, then that’s a good prediction। But उसकी जगह, अगर लेट्स सपोज़ कि ये प्रेडिक्ट कर रहा है, वॉच, then that’s a bad prediction। So, इन शॉर्ट, what is self-supervised learning? Self-supervised learning is जब हमारा मॉडल अनलेबल डेटा से खुद ही टारगेट्स को डिराइव करता है, then that’s the process of self-supervised learning। And this is the process जिसके थ्रू एक मॉडल can learn the patterns in the language। Now, the next term is reinforcement learning। अब जैसे हमारे पास self-supervised learning था, वैसे ही reinforcement learning भी एक मॉडल को सीखने, ट्रेन करने का एक particular तरीका है। Reinforcement learning के अंदर, what do we do? इसे बहुत ही समान लगता है एक ट्रेनिंग ए पेट। जैसे मैं ने एक पालतू डॉग रखा है, जिसका नाम डॉबी है, और जब भी वह मेरे आदेशों का पालन करता है, तो मैं उस पर इनाम देता हूं। तो इसी तरह का ही समान प्रोसेस हम reinforcement learning के अंदर अपने मॉडल के साथ करते हैं। हमारा जो भी मॉडल होता है, चाहे वह कोई भी हो, यदि वह हमारे अनुसार व्यवहार करता है, यानी कि यदि वह कोई इच्छित आउटपुट लाता है, तो हम उसे रिवॉर्ड्स देते हैं। रिवॉर्ड का मतलब है एक सकारात्मक मूल्य। लेकिन यदि वह कुछ बुरा करता है, तो हम उसे एक पेनल्टी फीड करते हैं, जो कि एक नकारात्मक मूल्य होता है। उदाहरण के लिए, हम मशीन लर्निंग और डीप लर्निंग मॉडल को शतरंज खेलना सिखा रहे हैं। अब, शतरंज में यदि मॉडल अंत में हार जाता है, तो उस स्थिति में कोई भी टुकड़ा लूज हो जाने पर मॉडल को नुकसान होगा। तो इस स्थिति में, जब कोई विशिष्ट टुकड़ा लूज होता है, तो यह एक पेनल्टी या नकारात्मक इनाम माना जाएगा। एक्शन, जबकि अगर ऑपोजिट प्लेयर का कोई पीस लूज़ हो तो वह एक रिवॉर्ड एक्शन है। तो रीइन्फोर्समेंट लर्निंग के अंदर जो भी हमारा मॉडल होता है या इसे हम अपना एजेंट कहते हैं। नाउ, यह एजेंट एजेंटिक आर्टिफिशियल इंटेलिजेंस के एआई एजेंट्स से अलग है। पर रीइन्फोर्समेंट लर्निंग के अंदर जो भी हमारा मॉडल होता है, जिसे हम ट्रेंड कर रहे होते हैं, उसे हम एजेंट कहते हैं। इस एजेंट का काम होता है टु मैक्सिमाइज द रिवॉर्ड्स। तो रिवॉर्ड्स को कैसे मैक्सिमाइज़ किया जाएगा? जैसे किसी भी шах खेलने वाले गेम में रिवॉर्ड्स कैसे बढ़ेंगे? हो सकता है कि बीच में कुछ प्लेयर्स हारे हों। पर हमारा अंतर्निहित लक्ष्य होना चाहिए कि विरोधी प्लेयर्स ज्यादा हारे। और अंत में हम जीतें गेम। तो यह है कि कैसे एजेंट और रीइन्फोर्समेंट लर्निंग का एजेंट काम करता है। ट्रेंड। अब ये तो हो गया प्लेन सिंपल रीइन्फोर्समेंट लर्निंग। उसके साथ में हमें भी हैव अनदर वेरिएशन ऑफ़ इट, जिसे हम कहते हैं रीइन्फोर्समेंट लर्निंग विद ह्यूमन फीडबैक, जो जनरली हमने चैटGPT के अंदर ऑब्जर्व किया होगा। जैसे चैटGPT जब हमें कुछ रिस्पॉन्स देता है, कई बार हमने नोटिस किया होगा कि यह हमें दो कॉपीज़ ऑफ़ द सेम आंसर देता है। यह हमें दो वेरिएशंस ऑफ़ द सेम आंसर देता है। मतलब हमने उससे एक क्वेरी की, हमारे एलएलएम को कोई क्वेरी फीड की, और रिस्पॉन्स के तौर पर उसने हमें दो वर्जन शो किए। पहले वर्जन में हो सकता है कि यह इस्तेमाल करता है कुछ डायग्राम्स या तस्वीरें। जैसे, "लेट मी शो यू लाइक दिस," कुछ इस तरीके से, वहाँ पर कुछ डायग्राम होते हैं और फिर टेक्स्ट। दूसरे में हो सकता है कि रिस्पॉन्स यानी, "यह है रिस्पॉन्स वन," या, "यह है रिस्पॉन्स टू।" तो वहाँ पर दोनों के बीच में फर्क होता है। रेस्पॉन्सेस बट दोनों के अंदर कंटेंट उसने हमें समान दिखाया है। तो वो हमसे पूछता है कि कौन सा जवाब बेहतर है जिसे आप अगले बार प्रिफर करोगे। तो हो सकता है कि हमें डायग्राम्स देखकर समझने में मदद मिलती है, इसलिए हम यह रिस्पॉन्स चुनते हैं। तो जैसे ही हम वह चुनते हैं, यह मॉडल को एक सकारात्मक मूल्य फीड करता है जिससे वह इस जवाब को प्रोड्यूस करता है, और नकारात्मक मूल्य फीड करता है जब वह इस जवाब को प्रोड्यूस करता है। इसे हम कहते हैं कि मानव फीडबैक के आधार पर हमारी रिइन्फोर्समेंट लर्निंग काम कर रही है मॉडल के लिए। अब, व्हाय डू वी डू इट? क्योंकि हर संगठन चाहता है कि उनके एलएलएम्स ऐसी उत्तर जेनरेट करें जो मनुष्यों को प्रेफर हो। इसलिए वे मानव फीडबैक को इस पूरे रिइन्फोर्समेंट लूप में लाते हैं। रीइंफोरमेंट लर्निंग बहुत ही पावरफुल तकनीक है जो गेम्स के अंदर यूज़ होती है, अलग-अलग एलएलएम्स के अंदर यूज़ होती है। इनफैक्ट, रोबोटिक्स के अंदर भी यूज़ होती है ताकि अलग-अलग रोबोट्स को ट्रेन किया जा सके। अब, अगला कॉन्सेप्ट जो हम समझने जा रहे हैं, वह है रैग्स। रैग्स रिट्रीवल ऑर्गुमेंटेड जेनरेशन और रैग्स एक ऐसी प्रॉम्प्ट तकनीक है, जो AI स्पेस में बहुत ही लोकप्रिय टर्म है। यदि आप रैग्स इन डिटेल समझना चाहते हैं, तो मैंने रैग्स पर एक डेडिकेटेड ट्यूटोरियल बनाया है। उसी चैनल पर आप वह ट्यूटोरियल देख सकते हैं। उसमें हमने रैग्स से संबंधित कई कॉन्सेप्ट्स को इन-डेप्थ डिस्कस किया है। लेकिन यहां हम एक हाई लेवल इनक्लेन्डिंग देंगे। जब हम रैग्स की बात करते हैं, उससे पहले बात करते हैं सामान्य LLMs की। कोई भी हमारा LLM है, यदि यह..

51:40नॉर्मल एलएलएम यूजर क्या करेगा, यह पूछेंगे, और उसके basis पर एलएलएम एक response generate करेगा। इसको हम कहते हैं अपनी सामान्य generation, यानी keyword-based generation। लेकिन कई बार हमारे जो एलएलएम्स होते हैं, उनके पास कंपनी-specific data या कुछ internal documentation नहीं होती, जो कि अधिक context जोड़ती है उस response में। उदाहरण के लिए, मान लीजिए कोई ड्रोन कंपनी है। अब उस ड्रोन कंपनी के कई उत्पाद हैं, जो उन्होंने इन-हाउस बनाए हैं, लेकिन ये डेटा पब्लिकली इंटरनेट पर नहीं है। तो एलएलएम को इन सब बातों का कोई ज्ञान नहीं होता। अब मान लीजिए कि कोई customer support एजेंट बनाना है, तो उस customer support AI एजेंट को इन ड्रोन के सभी उत्पादों की सारी जानकारी Access होनी चाहिए। अब..

52:25हाउ इज़ इट गोइंग टू गेट दैट एक्सेस? क्योंकि कोई भी ग्राहक अगर आकर पूछेगा कि लेट्स सपोज़ द ड्रोन कंपनीज़ का नाम डीजीआई, कोई भी आकर पूछेगा डीजीआई मिनी सीरीज के बारे में, टेल मीज़ मोर अबाउट इट, और अगर वो इनेशन वाज़ नॉट अवेलेबल इन द ट्रेनिंग डेटा, जिसके ऊपर हमारा एलएलएम ट्रेन हुआ था, तो वो प्रॉपर रिस्पांस जनरेट नहीं कर पाएगा। That's why कोई भी कंपनी अपने लिए एक रेग पाइपलाइन को सेटअप कर सकती है। नाउ, व्हाट डू वी मीन बाय रेग पाइपलाइन? हम बेसिकली कोई भी डेटा जिसकी हम एक्सेस देना चाहते हैं, उसको एलएलएम को, उस डेटा को हम पब्लिकली नहीं डालना चाहते। हम उस डेटा का इस्तेमाल अपने एलएलएम को रिट्रेन करने के लिए नहीं करना चाहते। बस उस डेटा की एक्सेस देना चाहते हैं। ये डेटा कुछ भी हो सकता है। यह डेटा पीडीएफ हो सकता है, यह डेटा अलग अलग डॉक्यूमेंट्स का हो सकता है, यह डेटा इमेजेज भी हो सकते हैं। कुछ भी। पर्टिकुलर डेटा हो सकता है। तो इसकी एक्सेस हम अपने एलएलएम को डायरेक्टली दे देते हैं, इन द फॉर्म ऑफ ए डेटाबेस इन मेजॉरिटी ऑफ द केसेस। तो नेक्स्ट टाइम कोई कस्टमर आएगा विद द सेम क्वेरी, और एलएलएम क्या करेगा? इस क्वेरी से मैच करने वाले रिलेवेंट डॉक्यूमेंट्स को हमारे डेटाबेस से या इस पर्टिकुलर डेटा से फेच करेगा। एंड नाउ, ऑन द बेसिस ऑफ़ दो पर्टिकुलर डॉक्यूमेंट्स, वो एक बेटर रिस्पांस को जनरेट करेगा। तो दिस इज़ कॉल्ड रिट्रीवल ऑगमेंटेड जेनरेशन। व्हाई इज़ इट कॉल्ड रिट्रीवल ऑगमेंटेड जेनरेशन? क्योंकि एलएलएम जनरेशन तो अभी भी कर रहा है। रिस्पांस को जनरेट कर रहा है, पर अब वो जो जनरेशन है, इट इज़ ऑगमेंटेड और इट इज़ सपोर्टेड विद रिट्रीवल। रिट्रीवल का मतलब है कि उसने रिलेवेंट चंक्स ऑफ डेटा इस डेटाबेस से रिट्रीव किए, ताकि बेटर रिस्पांस जनरेट हो सके। और दिस इज़। कॉल्ड द रेग आर्किटेक्चर और द रेग पाइपलाइन। अब ये जो डेटा के एक्सेस हम एलएलएम्स को देते हैं, उस एक्सेस को दिया जा सकता है इन द फॉर्म ऑफ़ अ ग्राफ डेटाबेस। और यह भी दिया जा सकता है इन द फॉर्म ऑफ़ एनएसक्यूएल डेटाबेस। या अधिकांश मामलों में यह जो एक्सेस होता है, हम इसे इन द फॉर्म ऑफ़ वेक्टर डेटाबेस बनाते हैं, जिसे अभी हम डिस्कस करेंगे। पर अधिकांश रेग पाइपलाइनस के अंदर, हम यूज़ करते हैं एक वेक्टर डेटाबेस, और इसका एक बहुत क्रूशियल कारण है, जिसे अभी हम डिस्कस करेंगे। लेकिन यह सब डन है, और रेग पाइपलाइन इस तरह से सेटअप है, ताकि एलएलएम बेहतर रिस्पांस जेनरेट कर सके यूजर क्वेरी के लिए। अब कई बार, हमने ऑनलाइन कुछ क्लिकबेड वीडियोस देखे होंगे, जिनके ऊपर टाइटल आता है 'रेग इज़ डेड', लेकिन रैग बिल्कुल भी डेड नहीं है। वास्तव में, यह इवॉल्विंग है और यह ग्रो कर रही है। अभी जो क्लिकबेड वीडियोस हैं, इनके बनने का एक कारण भी यही है। यह होता है कि वहाँ है एक न्यू लैंग्वेज मॉडल (LLM) और वहाँ है एक न्यू डीप लर्निंग मॉडल, जो कि रिलीज़ किया गया है, और जिसका कॉन्टेक्स्ट विंडो काफी बड़ा होता है। तो कुछ लोग सोचते हैं कि यदि कॉन्टेक्स्ट विंडो इतना बड़ा है, तो ये जो अतिरिक्त डॉक्यूमेंट्स हैं, इन्हें क्यों न हम किसी एलएलएम के अंदर बातचीत में अपने कॉन्टेक्स्ट विन्डो के अंदर ही स्टोर कर दें। लेकिन यह अलग है उस रिट्रीवल से जो कि वास्तव में डॉक्यूमेंट को वापस लाने का प्रोसेस है, क्योंकि यह रिट्रीवल अपने आप में ही अतिरिक्त फायदे प्रदान करता है। जब हम इस तरीके से रैक पाइपलाइन सेटअप करते हैं, तो हम अपने पूरे डेटाबेस को एक साथ सीधे एलएलएम को एक्सपोज़ नहीं करते, जिसकी वजह से डेटा सिक्योरिटी का एक उच्च स्तर बना रहता है। जैसे कि यदि किसी अस्पताल का डेटाबेस है और अस्पताल अपने विभिन्न पेशेंट के रिकॉर्ड्स को किसी कस्टमर के लिए साझा करता है, तो इसकी सुरक्षा अधिक बनी रहती है। सपोर्ट एआई एजेंट को देना चाहता है, ताकि मरीज also टॉक टू द एजेंट और रेज़ॉल्व उनकी क्वेरिज़। तो हॉस्पिटल नहीं चाहेगा कि सारे मरीजों के रिकॉर्ड्स की जानकारी एक साथ एलएलएम को दे दी जाए। तो रैक पाइपलाइन इस तरह से सेटअप होती है कि पूरे डेटाबेस को एलएलएम एक साथ एक्सेस नहीं कर पाता। वास्तव में, वह इस वेक्टर डेटाबेस के कुछ विशेष चौक्स या इन्फेक्ट रिलेवेंट डॉक्यूमेंट्स को ही एक टाइम पर एक्सेस कर पाता है, जिसकी वजह से डेटा प्राइवेसी का उच्च स्तर बना रहता है। अब नेक्स्ट लेकस बात करते हैं उस वेक्टर डेटाबेस की, जो कि इस रैक पाइपलाइन में इस्तेमाल होता है। यदि हम रैक पाइपलाइन का सारांश करें, तो हमारे पास एक एलएलएम है, जिसके पास कोई भी क्वेरी भेजी जाती है। लेकिन यह एलएलएम अब एक विशेष डेटाबेस, जिसे हमारा वेक्टर डेटाबेस कहा जाता है, एक्सेस करता है। कहते हैं, और ऑन द बेसिस ऑफ दैट यह जनरेट करता है स्म रिस्पांस। अब यह जो वेक्टर डेटाबेस होता है, वह डिफरेंट फ्रॉम नॉर्मल डेटाबेस क्योंकि इसमें है दी एबिलिटी टू परफॉर्म सिमेंटिक सर्च। सिमेंटिक सर्च का मतलब होता है मीनिंग-बेस्ड सर्च। मीनिंग-बेस्ड सर्च कहने का मतलब है, मान लीजिए मेरी क्वेरी है कि लेट्स सपोज़ माय क्वेरी यह है कि लेट्स सपोज़ हम एक ई-कॉमर्स वेबसाइट जैसे Flipkart और Amazon पर जाएं, जहां कोई यूजर आए और यूजर सर्च करे जॉगिंग शूज़। यूजर ने जॉगिंग शूज़ के लिए सर्च किया। अब नॉर्मल डेटाबेस के अंदर, अगर कोई भी एलएलएम या हम भी सर्च करें, तो नॉर्मल डेटाबेस में हम इन कीवर्ड्स को सर्च करेंगे कि 'जॉगिंग' का कीवर्ड मौजूद है या नहीं, 'शूज़' का कीवर्ड मौजूद है या नहीं। और मान लीजिए कि हमारे प्रोडक्ट सेक्शन में एक प्रोडक्ट है called NKI Lightweight Footwear। तो इस तरीके से..

57:06क्या हमारे पास कोई प्रोडक्ट है। अब इस प्रोडक्ट के अंदर न तो जॉगिंग वर्ड आता है और न ही शूज वर्ड। तो नैचुरल कोई भी डेटाबेस के अंदर सर्च होगा, इट्स गोइंग टू इग्नोर दिस प्रोडक्ट। वेयर ऐज वी ऐज़ ह्यूमंस, नो, दैट दिस माइट बी रेलेवेंट फॉर दिस पर्टिकुलर क्वेरी। तो, यह जो इंपॉर्टेंट मीनिंग है, जो ह्यूमन जजमेंट के अंदर एग्जिस्ट करता है, पर नैचुरल डेटाबेस के अंदर नहीं करता। इसको हम वेक्टर डेटाबेस के थ्रू इंप्लीमेंट कर सकते हैं। सिमेंटिक सर्च का मतलब है मीनिंग बेस्ड सर्च। मतलब, एक वेक्टर डेटाबेस डिटेक्ट कर सकता है कि जॉगिंग शूज के अंदर शूज हैं। और यहां पर फुटवियर का जो मीनिंग है, वह लगभग वही है। सो, इट्स गोइंग टू गिव दिस ऐज अ रेलेवेंट रिजल्ट। नैचुरल डेटाबेस इसे रेलेवेंट रिजल्ट की तरह नहीं दिखाता, जबकि वेक्टर डेटाबेस इसे एज अ रेलेवेंट। रिजल्ट की तरह सेंड करेगा बैक टू द एलएलएम। नाउ हाउ डज इट वर्क? जो भी हमारे डिफरेंट-डिफरेंट डॉक्यूमेंट्स होते हैं, जिन्हें हमें स्टोर करना होता है इन द डेटाबेस, इन द वेक्टर डेटाबेस। लेट्स हम सोचते हैं कि ये डॉक्यूमेंट्स हैं, तो ये डायरेक्टली वेक्टर डेटाबेस के अंदर जाकर स्टोर नहीं होते। सबसे पहले इन डॉक्यूमेंट्स को हम चंकिंग प्रोसेस के तहत छोटे-छोटे भागों में डिवाइड करते हैं। और ये प्रोसेस को कहते हैं 'चंकिंग'। और एक बार हमारे पास ये छोटे-छोटे चंक्स आ जाते हैं, तो इन चंक्स को भी हम कन्वर्ट करते हैं वेक्टर एंबेडिंग्स में। जैसे कि एलएलएम में इनपुट फीड होने से पहले हमारी क्वेरी की वेक्टर एंबेडिंग्स बनती हैं, वैसे ही एलएलएम इनपुट को प्रोसेस कर सकता है। तो ये जो डॉक्यूमेंट्स हैं, ये हमारे वेक्टर डेटाबेस में स्टोर होते हैं, और उससे फिर क्वेरी रिट्रीवल और उत्तर निर्माण होता है। डिबी के अंदर ऐड होते हैं। उसे पहले हम वेक्टर एंबेडिंग्स की फॉर्म में स्टोर करते हैं, और उस ओरीजिनल डॉक्यूमेंट चंक्स के साथ-साथ वेक्टर एंबेडिंग्स भी शामिल होते हैं। फिर ये सारे स्टोर किए जाते हैं इस वेक्टर डेटाबेस में। तभी इसे वेक्टर डेटाबेस कहा जाता है, क्योंकि यह भी वेक्टर एंबेडिंग्स को स्टोर करता है हर एक डॉक्यूमेंट चंक के लिए। और उसके बाद, क्वेरी के आधार पर जो भी सम्बन्धित चंक्स होते हैं, वह हमारा वेक्टर डेटाबेस एलएलएम को देते हैं ताकि वह बेहतर प्रतिक्रिया जनरेट कर सके। तो हमारे पास बहुत सारे लोकप्रिय वेक्टर डेटाबेस हैं जो पहले से ही मौजूद हैं हमारे लिए, जैसे Pinecone हो गया, और ChromA भी बहुत लोकप्रिय है। हमारे पास कई वेक्टर डेटाबेस हैं जिन्हें इस्तेमाल किया जा सकता है रिट्रीवल पाइपलाइन को इम्प्लीमेंट करने के लिए। और इसके साथ ही, हमारे पास अलग-अलग इंडेक्सिंग एल्गोरिदम्स भी हैं, जैसे हायेरार्किकल। नेविगेबल स्मॉल वर्ल्ड जिनको हम यूज़ कर सकते हैं। एंड दैट नेक्स्ट कॉन्सेप्ट है फ्यू शॉर्ट प्रॉम्प्टिंग। नाउ, दिस इज़ अ प्रॉम्प्टिंग प्रोसेस व्हिच कैन इंप्रूव द क्वालिटी ऑफ रिस्पॉन्सेस। फ्यू शॉर्ट प्रॉम्प्टिंग का क्या मतलब है? जब भी हम सेंड करते हैं एलएलएम को कोई क्वेरी या प्रॉम्प्ट, तो व्हाट हम कर सकते हैं, इस प्रॉम्प्ट के साथ हम इंसर्ट कर सकते हैं कुछ रेलेवेंट एक्सांपल्स, फ्यू रेलेवेंट एक्सांपल्स ऑफ द काइंड ऑफ रिस्पॉन्स दैट हम वांट हैं कि एलएलएम हमें दे। और उसके बेस पर, जो द एलएलएम का रिस्पांस होता है, वह और ज्यादा रेलेवेंट हो जाता है। जैसे कि, उदाहरण के लिए, हम चाहते हैं कि एलएलएम हमें सजेस्ट करें कुछ अच्छे टीवी शोज। तो हम दे सकते हैं उसे कुछ उदाहरण, जैसे कि हम कह सकते हैं, “मैं देख रहा हूं द थ्री बॉडी प्रॉब्लम। मैंने देखा है डार्क, मैंने देखा है ड्रैकन।” वो इसकी। तो मैं सुझाव देता हूँ कि मुझे भी कुछ इसी तरह के टीवी शो दिखाओ। तो अब एलएलएम क्या करेगा? उन उदाहरणों से भी कुछ पैटर्न्स निकालेगा, और इसके आधार पर वह मुझे शो के सुझाव देगा। अब जैसे फ्यू शॉर्ट प्रॉम्प्टिंग होता है, ठीक उसी तरह हमने एक चीज़ कॉल्ड जीरो शॉर्ट प्रॉम्प्टिंग। जिसका मतलब है कि हम कोई उदाहरण नहीं देते। वैसे ही फ्यू शॉर्ट प्रॉम्प्टिंग का मतलब है कि हम कुछ उदाहरण देते हैं। और वहाँ भी एक टर्म है जिसका नाम है मेनी शॉर्ट प्रॉम्प्टिंग, जिसमें हम बहुत सारे उदाहरण देते हैं। अब ये फ्यू शॉर्ट प्रॉम्प्टिंग हम अपनी रेगूलर प्रॉम्प्टिंग में भी इस्तेमाल कर सकते हैं, खासकर जब हम एआई चैट बॉट्स का उपयोग कर रहे हों। plus, यह तकनीक भी उन समय इस्तेमाल की जा सकती है, जब हम रैक पाइपलाइन बना रहे हों या अन्य एआई संबंधित सिस्टम्स बना रहे हों। जैसे कि रैक पाइपलाइन के अंदर हमारे सवाल का जो भी जवाब होगा। होती है वो तो हम LLM को फीड करते ही हैं। उसके साथ में LLM के पास क्या जाता है? रेलेवेंट चंक्स जाते हैं। मतलब जो भी हमारी क्वेरी से मैचिंग वेक्टर डेटाबेस के अंदर रेलेवेंट चंक्स ऑलरेडी स्टोर किए गए हैं, फॉर द इंटरनल डॉक्यूमेंट्स, वो जाते हैं। जिसे हम कहते हैं अपना कॉन्टेक्स्ट। यह जो चंक्स यहां से एक्सट्रैक्ट होते हैं, इसे कॉल्ड द एडिशनल कॉन्टेक्स्ट कहा जाता है, जो पास्ड होता है क्वेरी के साथ। इसके साथ में, वॉट वी कैन डू, वॉट वी कैन ऐड, फ्यू शॉर्ट प्रांप्टिंग। फ्यू शॉर्ट प्रांप्टिंग के अंदर, जो भी हमें रिस्पॉन्स चाहिए, हम उससे रिलेटेड कुछ रेलेवेंट उदाहरण शामिल कर सकते हैं। और, फिर यह पूरा इनपुट और यह पूरा प्रांप्ट, कुछ ऐसा होता है जो हम एलएलएम को दे सकते हैं, जिससे हमारे पास जो रिस्पॉन्स की क्वालिटी है, वह काफी बेहतर आएगी। सो, यह है कि कैसे हम फ्यू शॉर्ट प्रांप्टिंग का उपयोग करते हैं। prompting in the engineering process

59:01We can also call it in context prompting or example-based prompting

01:00:57Now, the next concept that we're going to understand is also a popular concept, which is MCCP

01:02:52That is, Model Context Protocol

01:04:47अभी तक हमने हमारे LLM और इस LLM को अगर हम गिविंग इट सम क्वेरी उसके basis पे इट जनरेटेड सम रिस्पांस फॉर अस। अब इस LLM को अगर हमें कुछ इंटरनल डॉक्यूमेंट्स की एक्सेस देनी है तो हम जानते हैं कि हम यूज़ कर सकते हैं एक रैक पाइपलाइन, जो इसे एक्सेस देगी उस वेक्टर डेटाबेस को, जिसमें होंगे रिलेटेड चंक्स और वेक्टर एम्बेडिंग्स। तो ये प्रोसेस हमारे लिए सॉर्ट आउट हो चुकी है। अब, और क्या हो सकता है? यदि इस LLM को एक्सेस चाहिए किसी_external_ रिसोर्स, किसी_external_ टूल और किसी_external_ वेबसाइट की, जैसे कि इस LLM को अगर गेट पर जाकर। किसी रेपोजिटरी पर कोड को एक्सेस करना हो, या फिर किसी ग्राहक की क्वेरी को रिजॉल्व करने के लिए, उसे सपोर्ट टिकट पर एक्सेस करने की जरूरत होती है, जैसे कि ZenDesk और Freshworks पर। तो किस तरह से हम वो पूरा सेटअप करेंगे? वहां हमारे पास एमसीपी का कॉन्सेप्ट आता है। एमसीपी एक प्रोटोकॉल है। प्रोटोकॉल एक तरीका है दूसरे के साथ कम्युनिकेट करने का। तो एमसीपी एक प्रोटोकॉल है जो डिफाइन करता है कि किसी भी मॉडल को अतिरिक्त एक्सटर्नल कॉन्टेक्स्ट कैसे मिलेगा। जैसे यदि मान लीजिए कि एलएलएम को कुछ डेटा चाहिए, तो उसे गटब रिपोजिटरी से देना पड़ेगा। तो इसके बजाय, हम क्या कर सकते हैं? हम एक एन एमसीपी क्लाइंट जोड़ सकते हैं। हम यहां पर एक एमसीपी क्लाइंट को इंटरफेस के रूप में जोड़ सकते हैं। और यह एमसीपी क्लाइंट क्या करेगा? इसका काम है सीधे तौर पर किसी भी क्वेरी को एलएलएम को भेजना। फॉरवर्ड करना। पर एलएलएम जज करेगा कि उसे कुछ डेटा Git से चाहिए। अब वोडेटा उसे GitHub से चाहिए। तो वह एमसीपी क्लाइंट को बोलेगा कि वह GitHub के एमसीपी सर्वर्स से कनेक्ट करे। और यह बेसिकली एमसीपी सर्वर है, जहां से यह रेलेवेंट इनफ़ॉर्मेशन फेच करेगा। फिर वह क्वेरी के साथ हमारे एलएलएम को पास करेगा, जिससे एलएलएम अब बेहतर रिस्पांस जनरेट कर पाएगा। तो यह है पूरा फ्लो, जिसमें हमारे पास एक एमसीपी क्लाइंट होता है, हमारे पास एक एमसीपी सर्वर है, और एमसीपी सिर्फ एक प्रोटोकॉल है जो यह निर्धारित करता है कि यह पूरा फ्लो कैसे तय किया जाएगा। चलिए, इसे एक उदाहरण से समझते हैं। मान लीजिए हमारे पास कोई यूजर है जो क्वेरी करता है, या यह एक कंपनी का इंटरनल AI चैटबॉट है, जिसके साथ कुछ मैनेजर बात कर रहे हैं और मैनेजर पूछते हैं कि ग्राहक का नाम रोहित है। रोहित के पैकेज का क्या स्टेटस है, पैकेज का क्या स्टेटस है? प्लस वॉज़ है कि टिकट रेलवे का नॉट कोई कस्टमर सपोर्ट टिकट होगी, जो रोहित कस्टमर ने क्रिएट की होगी, इज़ इट रिज़ॉल्वड या नॉट? तो ये जो पूरी की पूरी क्वेरी है, यह एमसीपी क्लाइंट के थ्रू हमारे एलएलएम को पास ऑन होगी। अब द एलएलएम，它 doesn't have direct access to the platform जहां पर पैकेज का स्टेटस है किसी भी कस्टमर का। और यह भी नहीं है कि उनके सपोर्ट टिकट्स कहां क्रिएट हो रहे हैं। सो, एलएलएम इन एन ओवरसिम्पलिफाइड वे, यह पूछता है कि एमसीपी क्लाइंट दोनों पीसेस ऑफ इनफॉर्मेशन कैसे ले? तो एमसीपी क्लाइंट क्या करेगा? सबसे पहले, मान लीजिए कि वेबसाइट सेटअप है Shopify पर। तो यह Shopify के एमसीपी सर्वर के पास जाएगा। यहRelevant information प्राप्त करेगा कि हमारे एमसीपी सर्वर्स पर क्या स्थिति है। वी कैन इमेजिन इन्हें लाइक रैपर्स अराउंड द कंपनीज़ डेटाबेस। तो यहां से हमारे पास इनिशिएशन आएगी एमसीपी क्लाइंट के पास कि रोहित का जो पैकेज है, वह ओरिजिनली गलत जगह डिलीवर हो गया था। बट नाउ वी हैव डिलीवरड इट बैक टू द राइट प्लेस। उसके साथ में टिकट के लिए यह क्या करेगा? लेट्स सपोज़ दिस कंपनी इज़ यूजिंग फ्रेशवर्क्स टू जॉलीवुड देयर कस्टमर सपोर्ट क्वेरीज़। तो यहां से फ्रेशवर्क्स पे पता चलेगा कि रोहित का टिकट ऑलरेडी रिज़ॉल्व हो चुका है। तो यहां से भी एमसीपी सर्वर, जो रेलेवेंट इनफार्मेशन है, वह क्लाइंट को पास ऑन कर देगा। एंड इट्स गोइंग टू पास ऑन दैट रेलेवेंट इनफ़ॉर्मेशन टू द एलएलएम हियर। अब एलएलएम बेस्ड ऑन्प दोनों ऑफ़ दीज़ पीसज़ ऑफ़ इनफ़ॉर्मेशन, एक बेटर रिस्पांस है, जिसे जेनरेट कर पाएगा फॉर द यूजर हू इज़ आस्किंग दिस क्वेरी। तो इस तरीके से एमसीपी मॉडल कंटेक्सट प्रोtocol क्या करता है? हमारे एलएलएम को बेहतर संदर्भ या और अधिक संदर्भ प्रदान करने में मदद करता है। नाउ यदि आप एक डेडिकेटेड ट्यूटरियल और एक सेशन चाहते हैं ताकि आप अवधारणाओं में गहराई से डाइव कर सकें, तो आप मुझे नीचे कमेंट्स में बता सकते हैं। और अभी तक जितने भी कॉनसेप्ट्स जो संदर्भ से संबंधित हैं, हमने चर्चा की है, इन्हें हम जब मिलाते हैं तो हमारे पास एक अवधारणा आती है, जिसे हम संदर्भ अभियांत्रिकी (कॉंटेक्स्ट इंजीनियरिंग) कहते हैं। वो क्या है? हमारा एलएलएम, हम नोटिस करते हैं कि चाहे हम रैक पाइपलाइन की बात करें या एमसीपी की, हम सदा उस एलएलएम को अतिरिक्त संदर्भ के साथ सप्लाई कर रहे हैं। अर्थात्, हम क्वेरी के साथ कई सारी संबंधित अतिरिक्त जानकारी दे रहे हैं ताकि एलएलएम का प्रतिक्रिया बेहतर हो सके। तो यह प्रक्रिया है। डिज़ाइन और मैनेजिंग इस एडिशनल कॉन्टेक्स्ट, इस एडिशनल इनैशन व्हिच इज़ पास्ड ऑन टु द एलएलएम along विथ द क्वेरी, इस कॉल्ड कॉन्टेक्स्ट इंजीनियरिंग। अब इस कॉन्टेक्स्ट के अंदर हम क्या-क्या एडिशनल चीजें पास ऑन करते हैं? जैसे सबसे पहले अगर हम रैक सिस्टम्स का एग्जांपल लें, तो रैक सिस्टम्स के अंदर जो हमारे एक्स्ट्रा रिलवेंट डॉक्यूमेंट्स होते हैं, जिनको हम वेक्टर डेटाबेस से रिट्रीव करते हैं, वह इस पार्ट ऑफ कॉन्टेक्स्ट इंजीनियरिंग। उसके साथ में जब हम यूज़ फ्यू शॉर्ट प्रॉम्प्टिंग करते हैं, तो फ्यू शॉर्ट प्रॉम्प्टिंग के अंदर जब हम उदाहरणों को शामिल करते हैं, तो वह भी पार्ट ऑफ कॉन्टेक्स्ट इंजीनियरिंग है। क्योंकि वो जो रिलवेंट उदाहरण हैं, वह एलएलएम के रिस्पॉन्स को बेहतर बनाएंगे, उसकी क्वालिटी को इंप्रूव करेंगे। साथ ही, अगर हम..

01:06:42अबाउट एमसीपी तो एमसीपी से जो हम एडिशनल रिसोर्सेज, एडिशनल इनफार्मेशन लेकर आते हैं, वही पूरे का पूरा कॉन्टेक्स्ट इंजीनियरिंग का हिस्सा है। इसके साथ साथ हमारी जो भी यूज़र की प्रेफरेंसेस होती हैं, जिन्हें हम स्टोर करवाते हैं। यूज़र प्रेफरेंसेस का मतलब है कि यदि कोई यूज़र एलएलएम, AI चैटबोट और अन्य AI टूल्स का उपयोग कर रहा है, तो वह हर बार कोड जावा में चाहिए या पाइथन में, यह उनकी प्राथमिकता हो सकती है। तो अब यदि किसी यूज़र का प्रेफरेंस है कि हर बार उनका आउटपुट जावा या पाइथन में ही चाहिए, तो यह इनेशन (इनफार्मेशन) जब एलएलएम (लार्ज लैंग्वेज मॉडल) के पास पहुंचेगी, तो यह हमारे आउटपुट को बेहतर बनाएगी, क्योंकि डिफ़ॉल्ट रूप से एलएलएम वही कोड जावा या पाइथन में ही प्रोड्यूस करेगा। और यदि कोई यूज़र चाहता है कि उसके आउटपुट हर बार फ्रेंच में ही चाहिए, तो ये इनफार्मेशन जब एलएलएम के पास जाएगी, तो उसके अनुसार ही आउटपुट प्राप्त होगा। ऑफ कॉन्टेक्स्ट देकर, एलएलएम हमेशा ही जवाब फ्रेंच में देगा, जो कि अधिक गुणवत्ता वाला रिस्पांस बनाने में मदद करेगा। प्लस, इसी के अंदर हमारी कॉनवर्सेशन हिस्ट्री भी आ जाती है, कि पहले क्या पास्ट कॉनवर्सेशंस रही हैं एलएलएम के साथ, जिससे एलएलएम काफी हद तक उस विशेष यूजर के बारे में अतिरिक्त जानकारी एक्स्ट्रैक्ट कर सकता है। प्लस, इसी में हमारे अलग-अलग इंस्ट्रक्शन्स भी आते हैं, जो विशेष रूप से डेवलपर इंस्ट्रक्शंस होते हैं। जैसे कि डेवलपर कोई खास इंस्ट्रक्शन दे सकता है कि हर बार जो रिस्पांस आए, वो कंपनी की पालिसीज के साथ मिलकर ही आए। नाउ, यह एक स्पेसिफिक इंस्ट्रक्शन है जो हमें बेहतर रिस्पांस बनाने में मदद करेगा, मतलब हमारे डिज़ायरेबल रिस्पांस को क्रिएट करने में। और इसी के साथ ही हमारे पास कॉन्टेक्स्ट समराइजेशन भी आता है। जाता है। कॉन्टेक्स्ट समराइजेशन का मतलब है कि अगर वहाँ एक लंबा कॉन्वर्सेशन हो रहा है, तो हर बार हम नहीं चाहते कि पुरानी कॉन्वर्सेशन की हर एक अलग मैसेज को हमारे एलएलएम के कॉन्टेक्स्ट में अलग से शामिल किया जाए। क्योंकि एलएलएम की फिक्स्ड कॉन्टेक्स्ट विंडो है और वो उसे भरने का कभी भी हमारा मकसद नहीं होता। हम चाहते हैं कि कॉन्टेक्स्ट विंडो ज्यादा से ज्यादा भर जाए, तो एक बेहतर तरीका यह है कि मैसेजों को प्रोसेस करने या उनके कॉन्टेक्स्ट के अंदर पास करने का कि हम पुरानी कॉन्वर्सेशन में जो काफी पुरानी बातें हो गई हैं, उन्हें उसी कॉन्वर्सेशन के अंदर समराइज कर दें। मतलब कि हम हाल की पांच से दस मैसेजेस को ही, जैसे कि यह भी कॉन्टेक्स्ट के अंदर है, भेजें। पर उससे पुराने जितने भी मैसेजेस हैं, उन्हें हम पांच से दस की सीमा में ही रखें। लाइनों के अंदर संक्षेप करके भेज दें। इस कॉन्टेक्स्ट का पार्ट। तो ये हैं कई चीज़ें जिनका उपयोग करके हम कॉन्टेक्स्ट इंजीनियरिंग को हमारे पूरे एलएलएम फ्लो में लागू कर सकते हैं। अब दूसरा कॉन्सेप्ट है मल्टीमोडल मॉडल। ये ऐसे मॉडल होते हैं जो डेटा प्रोसेस करने में सक्षम होते हैं, विभिन्न फॉर्म्स में। जैसे कि originally, अगर आप याद करें, जो original ChatGPT रिलीज़ हुआ था 2022 में, वह सिर्फ टेक्स्ट प्रोसेस कर सकता था। उसमें हम इमेज को अपलोड नहीं कर सकते थे, क्योंकि उसमें एक सिंगल modality थी, जो टेक्स्ट आधारित डेटा थी। जब हम मल्टीमोडल मॉडल्स की बात करते हैं, तो ये मॉडल्स विभिन्न फॉर्म्स का डेटा प्रोसेस कर सकते हैं। मतलब, ये टेक्स्ट डेटा को भी प्रोसेस कर सकते हैं या उससे इनफैक्ट जनरेट कर सकते हैं, साथ ही इमेज को भी। अंडरस्टैंड जेनरेट कर सकते हैं। ये वीडियोस पर भी वर्क कर सकते हैं या ऑडियोज़ पर वर्क कर सकते हैं। तो इस तरीके से हमारे पास डिफरेंट फॉर्म्स ऑफ डेटा होते हैं जिनके साथ मॉडल काम कर सकता है। अब आज की तारीख में ज्यादातर पॉपुलर LLMs (लार्ज लैंग्वेज मॉडल्स) जो हम इस्तेमाल करते हैं, वे वास्तव में मल्टीमोडल मॉडल्स हैं। तो शुरुआती जो चैटजीपीटी एप्लीकेशन थी, उससे हम केवल टेक्स्ट ही जेनरेट कर सकते थे। लेकिन आज की तारीख में, चैटजीपीटी हमारे लिए memes भी क्रिएट कर सकता है। असल में, वह meme जो मैंने पहले एडिट किया था, वह चैटजीपीटी की मदद से था। इसके साथ ही हमारे पास आज कई तरह के LLMs हैं, जो वीडियोस के साथ भी काम कर सकते हैं। वे हमारे लिए अलग-अलग इमेजें प्रोड्यूस कर सकते हैं, साथ ही ऑडियो भी बना सकते हैं, टेक्स्ट के साथ। तो आज हमारे पास बहुत सारे मल्टीमोडल मॉडल्स हैं। मॉडलों का विषय जो हमारे पास उपलब्ध हैं। जब भी हम मॉडल शब्द या मॉडलिटी शब्द का इस्तेमाल करते हैं, तो हम अलग-अलग प्रकार के डेटा के बारे में बात कर रहे होते हैं, जिनमें हमारा डेटा मौजूद हो सकता है। अब निश्चित रूप से, अगर हम इस तरह के काम कर रहे हैं जो लैंग्वेज लर्निंग मॉडल्स (एलएलएम) से पूरा कराना चाहते हैं, जो कि काफी गणना-संवेदनशील काम हैं या टेक्स्ट-भारी काम हैं, तो हमारे लिए बेहतर होगा कि हम एक ही मॉडल का प्रयोग करें। क्योंकि इससे लागत भी कम होगी और प्रक्रिया भी तेज़ होगी। लेकिन यदि हम ऐसे काम कराना चाहते हैं जहां हमें ग्राफिक्स, इमेजेस या अलग-अलग मोडैलिटीज़ की जरूरत हो, तो वहां पर इन विशिष्ट मॉडल्स का ही प्रयोग बेहतर होता है। अब बात करते हैं एक और महत्वपूर्ण कॉन्सेप्ट की, जो है एक AI एजेंट और उसमें प्रयुक्त एजेंट्स, जिनके बारे में हम इकॉनॉमिक्स में एजेंसी थ्योरी के संदर्भ में बात करते हैं। अभी हम एक पारंपरिक..

01:11:00एलएलएम। जनरली, एलएलएम्स डू नॉट परफॉर्म सम एक्शनस फॉर अस। ये सिंपली क्या करते हैं? कुछ क्वेरी लेते हैं और उसके बेसिस पर दे जनरेट सम रिस्पांस फॉर अस। बट सटलाइज़, वी नीड द एलएलएम टू परफॉर्म सम एक्शन। हम चाहते हैं कि वो कोई एक्शन परफॉर्म करें, जैसे किसी कोड को गेटब के ऊपर जाकर पुश करना, किसी कमिट को क्रिएट करना। तो इस तरह के जो एक्शनस हैं, वो सिंपल एलएलएम से परफॉर्म नहीं हो सकते। तभी वहाँ पर नीड आती है ऑफ़ एआई एजेंट्स। एआई एजेंट्स क्या होते हैं? एआई एजेंट्स को हम समझ सकते हैं एज अ प्रोसेस और एज अ सिस्टम। एंड इस सिस्टम को हम क्या देते हैं? हम इन सिस्टम्स को कुछ गोल्स या टास्क देते हैं, और ये सिस्टम्स भी एक्सेस करते हैं एक्स्ट्रा टूल्स और रिसोर्सेज। उनके बेसिस पर ये हमको एक्सीक्यूट करते हैं टास्क फॉर अस। नाउ, यह है एआई एजेंट्स की एक क्षमता। सिंपल LLMs के पास नहीं होती। मतलब, सिंपल LLMs एक्सटर्नल टूल्स को जाकर एक्सेस नहीं कर सकते, टास्क को एग्जीक्यूट नहीं कर सकते। लेकिन वह ऐसा करने में सक्षम हैं, क्योंकि AI एजेंट्स के पास यह क्षमता होती है। तो वे हमारे लिए टास्क को पूरा कर सकते हैं। वास्तव में, यह जो पूरा एजेंसी सिस्टम है, यानी सभी AI एजेंट्स का जिससे उनके पीछे का ब्रेन, यानी ऑपरेशन का ब्रेन, वह LLMs ही होती हैं। यह जरूरी नहीं कि LLMs उपयोगी न हों। LLMs ही ब्रेन का काम करते हैं, यानी पूरे सिस्टम का हैड, जो गोल्स को विभिन्न टास्क में ब्रेकडाउन करता है, टास्क को सबटास्क में विभाजित करता है, यह निर्भर करता है कि कार्य की जटिलता कितनी है—क्या एक अकेला एजेंट ही काम कर पाएगा, या हमें सब-एजेंट्स बनाने पड़ेंगे। ये सभी चीजें, यानी बैकेंड रीज़निंग, लॉजिक आदि, ये सब काम करते हैं। हमारे एलएलएम्स करते हैं। एंड एलएलएम के चारों ओर ये जो पूरा सिस्टम बनता है, इसे हम एक एआई एजेंट कह देते हैं। जैसे लेट्स टेक एन एग्जांपल ओफ़ एन एजेंटिक एआई सेटअप। यहाँ पर वHave क्रिएटेड एन एआई इंजीनियरिंग एजेंट, जिसको यूजर क्या कर सकता है? यूजर डायरेक्टली कुछ क्वेरियों दे सकता है, कुछ टास्क दे सकता है, कुछ गोल्स दे सकता है। नाउ, दिस एआई इंजीनियरिंग एजेंट इज़ यूजिंग द एमसीपी सेटअप, जिसमें इट इज़ एबल टू पुश कोड, टु क्रिएट कमिट्स, टु क्रिएट पीअर्स, एंड यह गिटहब के साथ इंटरैक्ट कर सकता है। साथ ही, इट कैन रिसोल्व टिकट्स ऑन जिरा, एंड इट कैन आल्सो अपडेट एंड कम्यूनिकेट विद द टीम मेंबर्स ऑन स्लैक। तो डिफरेंट कैपेबिलिटीज हैं जो इस सिंगल एआई इंजीनियरिंग एजेंट के पास उपलब्ध हैं। एंड द नेक्स्ट कॉन्सेप्ट इज़ चेन ऑफ थॉट। हमारे पास दो केस होते हैं। केस वन वो केस है। जिसमें अगर हमने किसी एलएलएम के साथ इंटरैक्ट किया, तो बेस्ड ऑन आवर क्वेरी, यह हमें एक डायरेक्ट आंसर देता है। जैसे हो सकता है, हम उसे कुछ भी बड़ा काम कैलकुलेट करने के लिए दें, और वह डायरेक्टली हमें अपना आंसर थ्रो कर दें। दूसरा केस है कि जब हम एलएलएम से कोई क्वेरी पूछते हैं, कुछ इनपुट देते हैं, तो सबसे पहले तो यह दिखाता है कि यह सोच रहा है, इसकी रीजनिंग प्रोसेस कैसी है, कि उसने हमारे इनपुट को मल्टीपल स्टेप्स में कैसे ब्रेकडाउन किया। किस तरीके से वह बिल्कुल सही फाइनल आंसर तक पहुंचा। तो वह फाइनल, जो पूरा प्रोसेस है, आज की डेट में जो मॉडर्न एलएलएम्स हैं, वह सामान्यत: हमें उस प्रक्रिया को एक्सप्लेन करते हैं और उसके बाद हमें एक फाइनल आंसर देते हैं। यह जो किसी भी क्वेरी को प्रोसेस करने का तरीका है, उसे 'चेन ऑफ थॉट' कहा जाता है। ड ल्लेएलएम नहीं प्रोड्यूस एक डायरेक्ट आंसर। वो पहले एक पर्टिकुलर क्वेरी को एक पर्टिकुलर टास्क को इनपुट को ब्रेक डाउन करता है, इन्टू रिजनिंग स्टेप्स। और उन स्टेप्स के बेसिस पर, जो भी फाइनल आंसर आता है, फिर उसे यूजर को रिटर्न करता है। तो चेन ऑफ थॉट का जो कांसेप्ट होता है, वो एक ल्लाम को एक बेहतर प्लानिंग के साथ, एक बेहतर कैलकुलेशन करते हुए, बेहतर रिजनिंग के साथ एक हाईयर क्वालिटी रिस्पॉन्स जनरेट करने में हेल्प करता है। प्लस, ये जो कांसेप्ट है, इट कैं ऑलसो हेल्प एन ल्लाम टू ट्रैक द डिफरेंट डिपेंडेंसी थ्रू आउट दिस प्रोसेस। एंड उसके साथ में, इट कैं ऑलसो हेल्प द ल्लाम टू ब्रेक डाउन कॉम्प्लेक्स प्रॉब्लम्स, जैसे डीपसी की या दूसरे भी कई सारे एआई मॉडल्स हैं, जिनके पास अगर कोई ज्यादा कॉम्प्लेक्स प्रॉब्लम्स आएगी, तो फिर वे होंगे मोर रीज़निंग स्टेप्स टु

01:14:45रीच द फाइनल आंसर। जबकि अगर कोई सिंपलर प्रॉब्लम आएगी, तो दे रहा हूँ मैं लेस रीजनिंग स्टेप्स टू रीच द फाइनल आंसर, जिसके लिए हम कंट्रोल कर सकते हैं कि एलएलएम किसी भी कॉम्प्लेक्स प्रॉब्लम को हल करने के लिए ज्यादा रीजनिंग का उपयोग कर रहा है, ज्यादा प्रयास कर रहा है, एक सिंपल प्रॉब्लम के मुकाबले। अब, चेन ऑफ थॉट से ही संबंधित एक और कांसेप्ट आता है, ऑफ़ रीजनिंग मॉडल्स। रीजनिंग मॉडल्स वो मॉडल्स होते हैं, जो अपने फाइनल आंसर को प्रोड्यूस करने से पहले अपनी समस्या को स्टेप बाय स्टेप वर्क थ्रू कर सकते हैं। मतलब, रीजनिंग के कुछ नsome स्टेप्स रख सकते हैं, इंटरमीडिएट स्टेप्स, जिससे फाइनल आंसर का रिस्पांस बेहतर आता है। तो, आज की तारीख में, अधिकांश रीजनिंग मॉडल्स असल में लोकप्रिय एलएलएम्स जैसे GPT, जेमिनाई, क्लॉड, डीपसीक जैसी आर्टिफिशियल इंटेलिजेंस तकनीकों की तरह हैं। सारे हमारे रीजनिंग मॉडल्स की कैटेगरीज में ही आते हैं। अब रीजनिंग मॉडल्स के अंदर रीजनिंग करने के कई तरीके होते हैं। जैसे, चेन ऑफ थॉट किसी मॉडल के अंदर होना ही वन ऑफ द वेज़ ऑफ़ हैविंग रीजनिंग और इंप्लीमेंटिंग रीजनिंग इन ए मॉडल। इसके साथ ही, हम भी हैं ट्री ऑफ थॉट। ट्री ऑफ थॉट का मतलब है कि हमारे मॉडल का रीजनिंग एक ट्री फॉर्मेट में होता है। जैसे, अगर उसे रीजनिंग करनी हो तो ये शुरू होता है एक ब्रांच से। और उस ब्रांच में वह आगे-आगे चलता रहता है। और जहां भी ये खत्म होने वाला हो, वहां वह बैक ट्रैक करता है और वापस जाकर दूसरे ब्रांच को एक्सप्लोर करता है। इस तरीके से ट्री फॉर्मेट के अंदर रीजनिंग होती है। इसी तरह, हमारे पास ग्राफ ऑफ थॉट भी है, जिसमें रीजनिंग एक ग्राफ फ्लो की तरह होती है। अब इससे पहले हमने मल्टीमॉडल मॉडल्स के बारे में चर्चा की थी। में बात की थी। अब इन मॉडर्न डे एलएलएम्स (बड़े भाषा मॉडल्स) भी हो सकते हैं। उनके साथ में मल्टीमोडल मॉडल्स भी हो सकते हैं, जैसे चार्ट GPT का उदाहरण लें, या अगर हम जेमिनाई का उदाहरण लें, तो ये दोनों रीजनिंग मॉडल्स भी हैं और मल्टीमोडल मॉडल्स भी हैं। तो एक एलएलएम (Large Language Model) होने के साथ-साथ में रीजनिंग मॉडल भी हो सकता है, मल्टीमोडल मॉडल भी हो सकता है। सो, ये हैं सिर्फ अलग-अलग टर्म्स जो हमने दीवग मॉडल्स की विभिन्न क्षमताओं को देने के लिए दिए हैं। रीजनिंग मॉडल्स के लिए हमारे पास कुछ और विकल्प नाम भी होते हैं। जैसे, इनको हम रीजनिंग लैंग्वेज मॉडल्स भी कह सकते हैं, या हम इन्हें बड़े रीजनिंग मॉडल्स भी कह सकते हैं। सो, इनके भी अलग-अलग टर्म्स हैं। अब, अगला कॉन्सेप्ट है एक छोटे लैंग्वेज मॉडल का। हम..

01:16:55ऑलरेडी स्लीन लार्ज लैंग्वेज मॉडल्स। लार्ज लैंग्वेज मॉडल्स क्या करते हैं? वो लार्ज डेटा के ऊपर ट्रेन होते हैं। जबकि स्मॉल लैंग्वेज मॉडल्स को जनरली हम स्मॉल लैंग्वेज मॉडल्स इसलिए कहते हैं क्योंकि उनके पास छोटे नंबर ऑफ पैरामीटर्स होते हैं, जिसकी वजह से इनमें कंप्यूटेशन कम लगता है इन द इनफेरेंस प्रोसेस। यही वजह है कि इन्हें स्मॉल लैंग्वेज मॉडल्स कहा जाता है। ये और अधिक एफिशिएंट हैं। जैसे कि हमने कई एआई रिलेटेड वर्कशॉप्स और ऑर्गेनाइजेशंस किए हैं। और सामान्यतः जो कंपनियाँ लीगल फील्ड में हैं, मेडिकल फील्ड में हैं या फिर फाइनेंस फील्ड में हैं, उनके लिए ये जरूरी होते हैं। इन मॉडल्स की आवश्यकता होती है जिनके अंदर डेटा प्राइवेसी बनी रह सके। संगठन अपने डेटा पर अधिक नियंत्रण रख सकते हैं, और साथ ही वे कुछ प्रकार के काम भी कर सकते हैं। स्पेशलाइज्ड मॉडल्स। तो वहाँ पर हम अपने स्मॉल लैंग्वेज मॉडल्स को यूज करते हैं। अब वाई आर वी कॉलिंग them स्मॉल इन द कॉन्टेक्स्ट ऑफ़ एलएलएम्स? जैसे अगर हम एक नॉर्मल एलएलएम की बात करें, तो जनरली आज की डेट में जो एलएलएम्स हमारे पास हैं, उनके अंदर इफ वी लुक एट द पैरामीटर्स, तो द नंबर इज बिटवीन थ्री टू 100 बिलियन पैरामीटर्स, दैट आर नॉर्मल एलएलएम पॉपुलर एलएलएम टुडे कैन हाव। बट अगर हम स्मॉल लैंग्वेज मॉडल्स की बात करें, तो इसके अंदर द नंबर ऑफ़ पैरामीटर्स इज़ जेनरली लेस देन 10 बिलियन। यह could be 1 मिलियन, यह could be 100 मिलियन, यह could be 400 मिलियन। कुछ भी हो सकता है, बट जेनरली वो जो नंबर है, लेस देन 10 बिलियन की रेंज का रहता है। इनफैक्ट, 7 टू 8 बिलियन इस द मोस्ट द गो। बट दे फ़्यूअर नंबर ऑफ़ पैरामीटर्स एंड लोअर कंपटीशन रिक्वायरमेंट। तो लॉर्ज़ लैंग्वेज मॉडल्स को हम एक..

01:18:23जनरलिस्ट की तरह समझ सकते हैं, जबकि स्मॉल लैंग्वेज मॉडल्स को हम एक स्पेशलिस्ट की तरह समझ सकते हैं, जिसे हम किसी विशेष यूज़ केस के लिए ट्रेन कर सकते हैं क्योंकि ये भी सस्ते होते हैं और प्रोवाइड करते हैं एक हाईयर लेवल ऑफ प्राइवेसी, जैसा कि कम्पेयर टू जनरल लैंग्वेज मॉडल्स। अब एक स्मॉल लैंग्वेज मॉडल के क्या यूज़ केसेस हो सकते हैं? में भी अगर हम बिल्डिंग अ कस्टमर सपोर्ट चैटबॉट फॉर अ हॉस्पिटल की बात करें, तो वो एक यूज़ केस हो सकता है। या फिर किसी लीगल फर्म के लिए हम चाहते हैं एक मॉडल जो कंपनी स्पेसिफिक पॉलिसी के बेस पर ही जवाब देगा। तो वहां पर हम यूज़ कर सकते हैं एक स्मॉल लैंग्वेज मॉडल। नेक्स्ट, चलिए बात करते हैं डिस्टिलेशन का कॉन्सेप्ट। एक स्मॉल लैंग्वेज मॉडल को ट्रेन करने के कई तरीके होते हैं। एक तरीका है कि हम ट्रेन करें मॉडल को फ्रॉम स्क्रैच, और दूसरा पॉपुलर तरीका है जिसे कॉल करते हैं डिस्टिलेशन। डिस्टिलेशन के अंदर हम क्या..

01:19:05क्या करते हैं? वी टेक अ लार्ज लैंग्वेज मॉडल। ये हमारा लार्ज लैंग्वेज मॉडल है, और यह लार्ज लैंग्वेज मॉडल बनता है शिक्षक के लिए छोटे लैंग्वेज मॉडल का। वी हैव अ लार्ज लैंग्वेज मॉडल, और वी हैव अ स्मॉल लैंग्वेज मॉडल, जो कि जाएगा एक्ट एज द स्टूडेंट। अब जो भी हमारे पास डेटा है, उसके लिए हम वो इनपुट x लेंगे, और लार्ज लैंग्वेज मॉडल प्रोड्यूस करेगा आउटपुट y। अब एसएलएम को भी हम क्या करेंगे? यही इनपुट फीड करेंगे। but एसएलएम को क्या करना है? इसे instead of trying to predict what is the correct output, it has to try and predict the output of the large language model। इसका मतलब है कि इसके लिए यह जो आउटपुट है, यह particular value, यह soft target होगा small language model के लिए। और इस तरीके से हमारा small language model क्या करता है। है? लार्ज लैंग्वेज मॉडल की जो reasoning है, उसको मिमिक करने की कोशिश करता है। और दैट इज़ हाउ वी क्रिएट an small लैंग्वेज मॉडल विद दिस टीचर स्टूडेंट मॉडल व्हिच इज़ कॉल्ड डिस्टिलेशन। एंड नाउ द लास्ट टर्म इज़ क्वांटाइजेशन। क्वांटाइजेशन इज़ ऑल्सो अनदर वे टू क्रिएट स्मॉल लैंग्वेज मॉडल्स। जैसे इफ वी कंसिडर an न्यूरल नेटवर्क लाइक दिस। दिस न्यूरल नेटवर्क इज़ गोन टू हैव an लॉट ऑफ वेट वैल्यूज़। यहां पर भी हमारे पास कोई वेट W1 वैल्यू होगी, W2 वैल्यू होगी, W3 वैल्यू होगी। इस तरीके से हमारे पास मल्टीपल वेट्स की वैल्यूज़ होंगी। अब इन वेट वैल्यूज़ को, दीज़ आर गोन टू बी नंबर्स। तो ये किसी न किसी न्यूमेरिकल फॉर्मेट के अंदर स्टोर होंगे। तो दिस नंबर कोई भी फॉर्मेट हो सकता है। इसका मतलब ये 32 बिट नंबर भी हो सकता है, 16 बिट नंबर भी हो सकता है, 8 बिट नंबर भी हो सकता है, फोर। बिट नंबर भी हो सकता है, और देयर आर मल्टीपल फॉर्मेट्स देट एक्सिस्ट। अब जितना ज्यादा हमारी वेट वैल्यूज़ का साइज़ होगा, मतलब जितनी बिट्स हमारी वेट वैल्यू को occupy करेंगी, उतना ज्यादा मेमोरी की जरूरत होगी, उतना ज्यादा computation खर्च होगा। क्योंकि ऐसा नहीं है कि हम एक ही कनेक्शन करते हैं। हम एक ही वेट वैल्यू का इस्तेमाल नहीं करते। हमारे पास बिलियन-पैरामीटर वाली मॉडल्स हैं, जैसे आधुनिक लार्ज लैंग्वेज मॉडल्स, जिनमें ट्रिलियन-परामीटर भी होते हैं। जब हमें इन सभी मॉडल्स को train करना पड़ता है, तो यह बहुत computationally expensive हो जाता है। यहां तक कि inference के दौरान भी, हर चीज़ थोड़ी महंगी हो जाती है। यह नोटेड है कि 32 बिट्स की जगह यदि हम वेट वैल्यूज़ को लोअरिंग कर दें, जैसे 8 बिट्स पर, तो लगभग 75% मेमोरी बचाई जा सकेगी। और यहीं पर 32 बिट्स की..

01:21:25जगह ही चुज़ टू सेव द वेइट वेल्यूज़ इन द फोर बिट्स फॉर्मेट। तो यहीं पर वी आर एक्सपेक्टेड टू सेव मोर देन 87% ऑफ द मेमोरी। तो इतना बड़ा इम्पैक्ट आता है ऑफ द क्वांटाइजेशन प्रोसेस। अब क्वांटाइजेशन को हम जनरली दो तरीकों से कर सकते हैं। सबसे पहला प्रोसेस है कॉल्ड पोस्ट ट्रेनिंग क्वांटाइजेशन। पोस्ट ट्रेनिंग क्वांटाइजेशन का मतलब है कि हम ट्रेन द मॉडल नॉर्मली, जैसे हमारी नॉर्मल ट्रेनिंग होती है, और उसके बाद आफ्टर द ट्रेनिंग प्रोसेस हम यह क्वांटाइजेशन करते हैं। इस केस में हमारी जो ट्रेनिंग कॉस्ट रहती है, वह वही रहती है, लेकिन हमारी इनफेंस कॉस्ट कम हो जाती है। मतलब जब हमारा स्मॉल लैंग्वेज मॉडल असली में प्रेडिक्शन करेगा, तो वहां पर हम लोअर कॉस्ट पाएंगे। और क्वांटाइजेशन का ही एक पैरेलल तरीका होता है। है। एक अल्टरनेट तरीका होता है, जिसे कॉल्ड क्वांटाइजेशन अवेयर ट्रेनिंग। क्वांटाइजेशन अवेयर ट्रेनिंग के अंदर, हम सिमुलेट करते हैं लो प्रीसिजन ट्रेनिंग बिहेवियर इन द एलएलएम के दौरान, खुद ही। जैसे हमारा जो एलएलएम या एसएलएम होता है, वह अधिक टॉलरेंट हो जाता है क्वांटाइजेशन प्रोसेस के प्रति। अब यह करना निश्चित ही आसान नहीं है, और यह ट्रेनिंग कॉस्ट को बढ़ाएगा। लेकिन इसका एक एडेड बेनिफिट होता है कि जब हमारा मॉडल फाइनली ट्रेंड हो जाएगा और इनफेरेंस करेगा, तब आउटपुट बेहतर उत्पन्न करेगा, और उसकी एक्यूरेसी भी बेहतर होगी। तो यदि हमें मुख्य रूप से एक्यूरेसी पर ध्यान केंद्रित करना हो, और हम ट्रेनिंग की लागत तो बढ़ा सकते हैं, तो हमें इस तरह के क्वांटाइजेशन का चयन करना चाहिए। जहाँ तक सवाल है, यदि हम एक सिम्पलर विकल्प चाहते हैं। क्वांटाइजेशन प्रोसेस, फिर पोस्ट ट्रेनिंग क्वांटाइजेशन भी आउट देयर। तो यहां तक हमने कवर किया है मोहसेंसेंट AI रिलेटेड टर्म्स इन द AI इंडस्ट्री टुडे, जो हर एक इंजीनियर को अच्छे तरीके से पता होनी चाहिए। कम से कम इनके मतलब तो हमें पता होने चाहिए। ताकि हम AI इकोसिस्टम के आसपास बेहतर तरीके से समझ सकें। तो निश्चित रूप से हर एक सिंगल चीज़ के अंदर डीप डाइव करना एक सिंगल सेशन में संभव नहीं है। इसलिए यदि आप चाहते हैं कि हम एक डेडिकेटेड सेशन या डेडिकेटेड ट्यूटोरियल बनाएं इन किसी भी इन इन अवधारणाओं के बारे में, तो आप मुझे कमेंट्स में बता सकते हैं। और आप मुझे बता सकते हैं इनमें से कौन सी ऐसी AI टर्म थी जो आपको सबसे अधिक उपयोगी और संबंधित लगी, और कुछ जिसे आप सिर्फ पूरे सेशन के दौरान ही जानने में दिलचस्पी रखते थे। तो आज के लिए बस इतना ही। मिलते हैं अगले सेशन में। तब तक के लिए सीखते रहिए और आगे बढ़ते रहिए। कीप एक्सप्लोरिंग।