1. कोर्स का अवलोकन और बड़े भाषा मॉडल का विकास [1]

यह खंड बड़े भाषा मॉडल (LLMs) के विकास और उनके प्रदर्शन को बेहतर बनाने वाले प्रमुख कारकों पर केंद्रित है।

1.1. कोर्स का परिचय और LLM के विकास के रुझान [1]

  1. CS 329A: सेल्फ-इम्प्रूविंग AI एजेंट्स कोर्स का परिचय दिया गया है, जिसे अकांक्षा और अज़ालिया द्वारा पढ़ाया जा रहा है, और यह दूसरी बार है जब वे इसे पढ़ा रहे हैं [1]
    1. कोर्स की वेबसाइट cs329a.stanford.edu है, जिसमें सभी लेक्चर सामग्री, पढ़ने के लिए पेपर और होमवर्क व प्रोजेक्ट का शेड्यूल शामिल है [22]
    2. आज के लेक्चर में बड़े भाषा मॉडल का अवलोकन, पिछले पांच वर्षों में स्केलिंग के रुझान और कोर्स की लॉजिस्टिक्स शामिल होगी [25]
  2. बड़े भाषा मॉडल के स्केलिंग रुझान बताते हैं कि मॉडल में पैरामीटर की संख्या बढ़ाने से उनका प्रदर्शन बेहतर होता है [28]
    1. इसे स्केलिंग लॉ कहा जाता है, जिसका उपयोग प्री-ट्रेनिंग के लिए बेस मॉडल बनाने में किया जाता है [30]
    2. कंप्यूट की मात्रा बढ़ाने से टेस्ट लॉस कम होता है, जिससे बेहतर मॉडल बनता है [31]
    3. डेटासेट का आकार बढ़ाने से भी टेस्ट लॉस कम होता है, जिससे बेहतर भाषा मॉडल बनते हैं [34]
    4. पैरामीटर की संख्या (ट्रांसफॉर्मर में लेयर्स या भाषा मॉडल में पैरामीटर) बढ़ाने से लॉस में सुधार होता है और बेहतर मॉडल बनता है [36]
  3. मॉडल के आकार में घातीय वृद्धि 2018 से 2024 तक लगातार हुई है [39]
    1. BERT में 340 मिलियन पैरामीटर थे, GPT-2 में 1.5 बिलियन, GPT-3 में 175 बिलियन, PaLM में 540 बिलियन, और GPT-4 में अनुमानित रूप से खरबों पैरामीटर हैं [40]
    2. मॉडल के आकार में यह वृद्धि LLM के बेहतर होने का एक प्रमुख क्षेत्र रहा है [42]

1.2. बड़े भाषा मॉडल की क्षमताएं [44]

  1. प्रदर्शन में निरंतर सुधार बड़े मॉडल के साथ प्राकृतिक भाषा कार्यों और विभिन्न बेंचमार्क पर होता है [44]
  2. फ्यू-शॉट लर्निंग की क्षमता बड़े मॉडल में विकसित होती है [45]
    1. पहले, मॉडल को एक विशिष्ट डोमेन के लिए फाइन-ट्यून करना पड़ता था, लेकिन अब कुछ उदाहरण देने से मॉडल उस टेम्पलेट का पालन कर सकता है और उसी तरह से तर्क कर सकता है, जिससे प्रोटोटाइप बनाना बेहद आसान हो जाता है [46]
  3. इमर्जेंट बिहेवियर बड़े मॉडल में दिखाई देता है, जैसे कि तर्क करने की क्षमता [47]
    1. जीरो-शॉट लर्निंग तब होती है जब मॉडल को किसी विशिष्ट कार्य पर प्रशिक्षित किए बिना ही उत्तर का अनुमान लगाने के लिए कहा जाता है (उदाहरण के लिए, "चीज़" का फ्रेंच में अनुवाद करना) [48]
    2. फ्यू-शॉट लर्निंग में, कार्य के विवरण के साथ-साथ कुछ उदाहरण भी दिए जाते हैं, जिससे मॉडल अनुवाद जैसे कार्यों को बेहतर ढंग से कर पाता है [52]
  4. तर्क करने की क्षमता बड़े मॉडल में एक इमर्जेंट बिहेवियर के रूप में उभरी है [55]

2. तर्क और मॉडल संरेखण में नवाचार [61]

यह खंड बड़े भाषा मॉडल में तर्क क्षमताओं के उद्भव और मानव प्राथमिकताओं के साथ मॉडल को संरेखित करने के लिए फाइन-ट्यूनिंग के महत्व की पड़ताल करता है।

2.1. चेन ऑफ थॉट और इमर्जेंट बिहेवियर [61]

  1. चेन ऑफ थॉट एक इमर्जेंट बिहेवियर है जो बड़े मॉडल में दिखाई देता है [61]
    1. यह मॉडल को केवल एक उत्तर देने के बजाय, उत्तर तक पहुंचने की तर्क प्रक्रिया (उदाहरण के लिए, गणित की समस्या को हल करने के चरण) प्रदान करके काम करता है [65]
    2. यह मॉडल को नई समस्याओं को हल करने के लिए प्रक्रिया का लाभ उठाने में मदद करता है [75]
    3. चेन ऑफ थॉट तर्क मॉडल के लिए एक बहुत ही महत्वपूर्ण गुण है, और यह बड़े मॉडल के साथ ही दिखाई देता है [79]
    4. छोटे मॉडल (जैसे LaMDA 8 बिलियन पैरामीटर पर) चेन ऑफ थॉट से लाभ नहीं उठा पाते हैं, लेकिन बड़े मॉडल (जैसे PaLM 8 बिलियन पैरामीटर पर) इसका लाभ उठा सकते हैं [82]
  2. अन्य इमर्जेंट क्षमताएं मॉडल के आकार बढ़ने पर दिखाई देती हैं [87]
    1. उदाहरण के लिए, छोटे मॉडल अचानक अंकगणित को बेहतर ढंग से हल कर सकते हैं या शब्द अनस्क्रैम्बल समस्याओं को हल कर सकते हैं [87]
    2. ये क्षमताएं एक निश्चित आकार पर अचानक दिखाई देती हैं [89]
  3. स्केलिंग लॉ को आगे बढ़ाना महत्वपूर्ण है क्योंकि इससे अधिक से अधिक इमर्जेंट बिहेवियर देखने को मिलेंगे [90]

2.2. ChatGPT का विकास: इंस्ट्रक्शन ट्यूनिंग और RLHF [93]

  1. ChatGPT का लॉन्च नवंबर 2022 में हुआ और यह सबसे सफल सॉफ्टवेयर में से एक था, जिसने 5 दिनों में 1 मिलियन उपयोगकर्ताओं तक पहुंच बनाई [93]
  2. ChatGPT की सफलता मॉडल के पैरामीटर आकार को बढ़ाने के अलावा नवाचारों के कारण थी [96]
    1. इसमें इंस्ट्रक्शन ट्यूनिंग और मानव प्रतिक्रिया से रीइन्फोर्समेंट लर्निंग (RLHF) शामिल थे [97]
  3. प्री-ट्रेनिंग किसी भी भाषा मॉडल प्रशिक्षण का प्रारंभिक चरण है, जहां मॉडल को अगले टोकन की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है [100]
  4. फाइन-ट्यूनिंग ChatGPT जैसे मॉडल के लिए एक प्रमुख अंतर कारक था [102]
    1. मानव प्राथमिकताओं के साथ संरेखण फाइन-ट्यूनिंग का पहला पहलू है [103]
      1. प्री-ट्रेन किए गए मॉडल में सही और गलत की समझ नहीं होती है; इसमें केवल दुनिया की सांख्यिकीय जानकारी होती है [105]
      2. फाइन-ट्यूनिंग का लक्ष्य AI मॉडल को मनुष्यों के लक्ष्यों, प्राथमिकताओं और मूल्यों का पालन करने के लिए निर्देशित करना है [108]
      3. मॉडल को समझदारी या सुरक्षा जैसी चीजों के लिए फाइन-ट्यून किया जा सकता है, जिसमें उच्च-गुणवत्ता वाले क्यूरेटेड डेटा का उपयोग किया जाता है [111]
    2. इंस्ट्रक्शन ट्यूनिंग अगला कदम है, जहां मॉडल को निर्देशों और प्रश्न-उत्तर जोड़े के माध्यम से प्रश्नों का पालन करना और उनका उत्तर देना सिखाया जाता है [120]
      1. इसमें मानव-जनित डेटा या टेम्पलेट और सिंथेटिक डेटा का संयोजन शामिल हो सकता है [121]
      2. चेन ऑफ थॉट फाइन-ट्यूनिंग भी शामिल हो सकती है, जहां मॉडल को उत्तर तक पहुंचने की प्रक्रिया दिखाई जाती है [125]
      3. इस डेटासेट की गुणवत्ता मॉडल की गुणवत्ता पर बहुत प्रभाव डालती है [128]
    3. RLHF (मानव प्रतिक्रिया से रीइन्फोर्समेंट लर्निंग) इंस्ट्रक्शन फाइन-ट्यूनिंग के बाद का कदम है [133]
      1. इसमें मानव प्राथमिकताओं से एक रिवॉर्ड मॉडल बनाना शामिल है [135]
      2. कंपनियां मनुष्यों से मॉडल द्वारा उत्पन्न उत्तरों को रेट करने के लिए बहुत पैसा खर्च करती हैं, यह देखने के लिए कि कौन से सही हैं [136]
      3. यह रिवॉर्ड मॉडल तब बड़े भाषा मॉडल के पैरामीटर को मानव प्राथमिकताओं के अनुरूप उत्तर उत्पन्न करने के लिए मार्गदर्शन करता है [139]
      4. विभिन्न रिवॉर्ड प्रकारों को परिभाषित किया जा सकता है, जैसे शुद्धता, सहायकता, विशिष्टता या हानिरहितता [142]
  5. प्री-ट्रेनिंग, उच्च-गुणवत्ता वाले डेटा पर फाइन-ट्यूनिंग, इंस्ट्रक्शन ट्यूनिंग और RLHF वे मुख्य घटक हैं जिन्होंने ChatGPT जैसे मॉडल को GPT-3 जैसे पिछले मॉडलों से बेहतर प्रदर्शन करने में सक्षम बनाया [145]

3. अनुमान स्केलिंग और एजेंटिक वर्कफ़्लो [148]

यह खंड अनुमान स्केलिंग के माध्यम से मॉडल क्षमताओं को बढ़ाने और एजेंटिक वर्कफ़्लो में LLM के संक्रमण पर चर्चा करता है।

3.1. अनुमान स्केलिंग और लार्ज लैंग्वेज मंकीज़ [148]

  1. अनुमान स्केलिंग मॉडल को अधिक सक्षम बनाने के लिए एक नया सीमांत बन गया है [149]
  2. लार्ज लैंग्वेज मंकीज़ एक परियोजना थी जो अनुमान स्केलिंग से प्रेरित थी [153]
    1. यह अनंत बंदर प्रमेय से प्रेरित है, जिसमें कहा गया है कि यदि एक बंदर हमेशा के लिए टाइप करता रहता है, तो वह अंततः विलियम शेक्सपियर के कार्यों को उत्पन्न करेगा [156]
    2. इस विचार में LLM को बंदर के रूप में उपयोग करना शामिल है, मॉडल को एक इनपुट समस्या को बार-बार हल करने के लिए कहा जाता है (समानांतर नमूनाकरण या पीढ़ी) [159]
    3. एक सत्यापनकर्ता या चयन तंत्र का उपयोग यह चुनने के लिए किया जाता है कि कौन सी उत्पन्न प्रतिक्रिया सही थी [162]
    4. मॉडल एक उत्तर के बजाय कई उत्तर उत्पन्न करता है, और सत्यापनकर्ता सही उत्तर का चयन करता है [165]
    5. सत्यापनकर्ता इकाई परीक्षण हो सकते हैं, खासकर कोड उत्पन्न करने वाली समस्याओं के लिए [167]
  3. मॉडल प्रतिक्रियाओं में भिन्नता अनुमान स्केलिंग को संभव बनाती है [169]
    1. मॉडल प्रतिक्रियाओं में भिन्नता को तापमान नामक एक चीज़ से नियंत्रित किया जा सकता है [171]
  4. दोहराए गए नमूनाकरण के परिणाम दिखाते हैं कि यह मॉडल की समस्या-समाधान क्षमता को बहुत बढ़ा सकता है [173]
    1. गणित और कोडिंग बेंचमार्क के लिए, प्रति समस्या नमूनों की संख्या एक से 10,000 तक बढ़ाई गई [175]
    2. LLaMA 8B और LLaMA 3 8B/7B जैसे छोटे मॉडल, जो एक नमूने के साथ GPT-4 से भी बदतर थे, नमूनों की संख्या बढ़ाने पर GPT-4 से बेहतर प्रदर्शन करते हैं [177]
    3. यह इंगित करता है कि मॉडल एक बार पूछने पर जितना मिलता है उससे कहीं अधिक जानते हैं [179]
    4. अनुमान स्केलिंग मॉडल के किसी भी पैरामीटर को नहीं बदलता है; यह केवल अनुमान समय पर आउटपुट उत्पन्न करने के विभिन्न तरीके बनाता है [181]
    5. कुछ समस्याओं के लिए, 10,000 समाधानों में से केवल तीन या चार ही सही थे, जो मॉडल की मुख्य क्षमता तक पहुंचने के लिए अनुमान स्केलिंग के महत्व को दर्शाता है [185]

3.2. अनुमान स्केलिंग की चुनौतियाँ और भविष्य की दिशाएँ [187]

  1. संभावित उत्तरों का स्थान बहुत बड़ा है, और दोहराया गया नमूनाकरण अभी भी अत्यधिक नमूना कुशल है [187]
    1. कुछ समस्याएं, जैसे IMO-स्तर की गणित की समस्याएं, बहुत कठिन होती हैं, लेकिन 7-बिलियन-पैरामीटर मॉडल उन्हें हल कर सकते हैं [188]
  2. विलंबता और लागत अनुमान स्केलिंग के साथ एक व्यापार-बंद है [190]
    1. समानांतर नमूने विलंबता के लिए कम समस्याग्रस्त होते हैं क्योंकि वे समानांतर में चल सकते हैं [192]
    2. कंप्यूट की मात्रा और लागत के बीच एक व्यापार-बंद है [193]
  3. सत्यापनकर्ताओं की भूमिका महत्वपूर्ण है [196]
    1. सत्यापनकर्ताओं के साथ, यह बहुत आसान हो जाता है; सत्यापनकर्ताओं के बिना, LLM को निर्णय लेने या रिवॉर्ड फ़ंक्शन के रूप में प्रशिक्षित करने पर बहुत शोध होता है [199]
    2. सत्यापनकर्ताओं को समर्पित एक पूरा लेक्चर होगा [202]
  4. तापमान ट्यूनिंग मॉडल की प्रतिक्रियाओं में विविधता को नियंत्रित करने के लिए महत्वपूर्ण है [203]
    1. बहुत अधिक तापमान से बेतरतीब परिणाम हो सकते हैं; आमतौर पर, 1.2 से अधिक तापमान अच्छा नहीं होता है [203]
    2. मॉडल को अधिक विविध प्रतिक्रियाएं देने के लिए अन्य तरकीबें भी हैं [207]

3.3. सेल्फ-इम्प्रूविंग AI एजेंट्स का उदय [210]

  1. DeepMind और Gemini जैसे मॉडल फाइन-ट्यूनिंग और टेस्ट-टाइम स्केलिंग को एक साथ लाते हैं [211]
    1. यह एक नया इंजन बनाता है जो बहुत सारे सिंथेटिक डेटा उत्पन्न कर सकता है [220]
    2. उदाहरण के लिए, गणित की समस्याओं के लिए जहां उत्तर ज्ञात है, मॉडल विभिन्न प्रकार के उत्तर उत्पन्न कर सकता है जो अंतिम उत्तर तक ले जाते हैं [221]
    3. कोडिंग समस्याओं के लिए, मॉडल टेस्ट-टाइम स्केलिंग के दौरान बहुत सारे उच्च-गुणवत्ता वाले डेटा उत्पन्न कर सकता है, जिसका उपयोग मॉडल को बेहतर बनाने के लिए फाइन-ट्यून करने के लिए किया जा सकता है [222]
  2. सेल्फ-इम्प्रूविंग पीस इस क्षेत्र में बहुत रोमांचक है, क्योंकि टेस्ट-टाइम स्केलिंग के साथ मॉडल कितने अच्छे हो सकते हैं इसकी कोई सीमा नहीं है [225]

4. तर्क मॉडल और एजेंटिक वर्कफ़्लो [230]

यह खंड तर्क मॉडल की क्षमताओं, जैसे समस्या विश्लेषण और आत्म-सुधार, और एजेंटिक वर्कफ़्लो में उनके अनुप्रयोगों पर प्रकाश डालता है।

4.1. तर्क मॉडल की कार्यप्रणाली [230]

  1. तर्क मॉडल कठिन समस्याओं के लिए अधिक सोचते हैं और अधिक संभावनाओं पर विचार करते हैं, जैसे मनुष्य करते हैं [238]
    1. वे चेन ऑफ थॉट या अन्य तकनीकों का उपयोग कर सकते हैं [239]
  2. तर्क के विभिन्न चरण शामिल हैं [240]
    1. समस्या विश्लेषण: मॉडल पहले समस्या को देखता है और उसका विश्लेषण करने का प्रयास करता है [240]
    2. कार्य अपघटन: एक कार्य को सरल, अधिक संबोधित करने योग्य कार्यों में तोड़ना [242]
    3. आत्म-विकास रणनीतियाँ: मॉडल कुछ प्रयास करता है, प्रतिक्रिया प्राप्त करता है (जैसे कोड पर परीक्षण चलाना), और उस प्रतिक्रिया का उपयोग खुद को अनुकूलित करने के लिए कर सकता है [243]
    4. आत्म-सुधार: यदि कुछ काम नहीं करता है, तो मॉडल वापस जा सकता है और एक अलग दृष्टिकोण का प्रयास कर सकता है [244]
  3. उदाहरण: Othello 1 (O1) का विश्लेषण [247]
    1. मॉडल को एक बैश स्क्रिप्ट लिखने के लिए कहा जाता है जो एक मैट्रिक्स लेती है और उस मैट्रिक्स का ट्रांसपोज़ आउटपुट करती है [247]
    2. मॉडल महत्वपूर्ण टुकड़ों के बारे में सोचकर शुरू होता है, जैसे इनपुट और आउटपुट प्रारूप को समझना [249]
    3. यह चेन ऑफ थॉट की प्रगति है, जहां मॉडल स्वयं चेन ऑफ थॉट उत्पन्न कर रहा है [252]
    4. कार्य अपघटन में इनपुट को पार्स करना और मैट्रिक्स को सरणियों की एक सरणी के रूप में बनाना शामिल है [254]
    5. आत्म-सुधार एक बहुत ही महत्वपूर्ण हिस्सा है, जहां मॉडल कुछ शुरू करता है और फिर बीच में कहता है, "रुको, कुछ गलत है, शायद," या "शायद मुझे उसे ठीक करने की आवश्यकता है" [256]
  4. PaLM 2 जैसे तर्क मॉडल GPT-4 की तुलना में तर्क कार्यों में बेहतर होते हैं [259]
    1. उदाहरण के लिए, गणित गणना, डेटा विश्लेषण और प्रोग्रामिंग में, वे GPT-4 से बेहतर प्रदर्शन करते हैं [260]
    2. हालांकि, वे व्यक्तिगत लेखन या टेक्स्ट संपादन में जरूरी नहीं हैं [260]
  5. तर्क प्रक्रिया का महत्व [262]
    1. मॉडल की सोच क्षमताओं में सुधार स्पष्ट तर्क प्रक्रिया, चरण-दर-चरण प्रकृति और डेटा सोच के कारण होता है [262]
    2. मॉडल ने समस्या को तोड़ने, वापस जाने और विश्लेषण करने जैसे कौशल सीखे हैं, जो अन्य कार्यों के लिए सामान्यीकृत होते हैं [264]
    3. दोहराया गया नमूनाकरण दिखाता है कि आधार मॉडल कुछ तर्क कर सकता है, लेकिन यह नहीं जानता कि कौन सी तर्क श्रृंखला सही है [266]
    4. प्रशिक्षण समय या परीक्षण समय स्केलिंग में बहुत कुछ यह सीखने पर निर्भर करता है कि कौन सा सही है [268]
    5. मॉडल द्वारा गहरी सोच उत्पन्न करना महंगा है, लेकिन यह बेहतर उत्तरों की ओर ले जाता है [272]

4.2. तर्क मॉडल का प्रशिक्षण और चुनौतियाँ [275]

  1. तर्क क्षमताओं में वृद्धि मॉडल के आकार के साथ बढ़ी है [275]
    1. बड़े मॉडल का उपयोग तर्क निशान के लिए किया जाएगा, और एक छोटा मॉडल उत्तर को सारांशित कर सकता है [276]
    2. मॉडल अपने स्वयं के उत्पन्न निशान को अधिक पसंद करते हैं, भले ही निशान एक बेहतर मॉडल से आए हों [278]
  2. तर्क मॉडल को कैसे सिखाया जाता है [283]
    1. यह डिजाइन द्वारा नहीं बनाया गया था; यह खोजा गया था कि तर्क श्रृंखला होने से मॉडल बेहतर प्रदर्शन करता है [455]
    2. GSM8K पहला पेपर था जिसने इसके संकेत दिखाए, और PaLM जैसे बड़े मॉडल के साथ, यह एक बड़ा सौदा बन गया [456]
    3. तर्क मॉडल को अधिक से अधिक तर्क करने के लिए प्रशिक्षित किया जाता है, और वे जानते हैं कि कब बहुत अधिक तर्क करने की आवश्यकता है और कब नहीं [460]
    4. चेन ऑफ थॉट तर्क मूल रूप से एक इमर्जेंट बिहेवियर था [462]
    5. इंस्ट्रक्शन ट्यूनिंग डेटासेट में चेन ऑफ थॉट का भारी उपयोग किया जाता है ताकि मॉडल को सोचने के कुछ तरीके दिखाए जा सकें [289]
    6. मॉडल ने डेटा या प्रशिक्षण के लिए उपयोग किए जाने वाले निर्देशों से कहीं अधिक सामान्यीकरण किया है [291]
  3. नमूनों की संख्या को समस्या की कठिनाई पर निर्भर बनाना एक दिलचस्प दिशा है [294]
    1. एक रिवॉर्ड मॉडल का उपयोग किया जा सकता है, जिसमें जटिलता की कुछ धारणा होती है, ताकि अधिक नमूनाकरण का मार्गदर्शन किया जा सके यदि समस्या हल नहीं हुई है [298]

5. AI एजेंट्स: चैटबॉट से कार्य-उन्मुख प्रणालियों तक [303]

यह खंड बताता है कि कैसे बड़े भाषा मॉडल चैटबॉट से AI एजेंट्स में विकसित हुए हैं जो वास्तविक दुनिया के कार्यों को पूरा कर सकते हैं।

5.1. AI एजेंट्स का उद्भव और कार्य-उन्मुख क्षमताएं [303]

  1. LLM से एजेंट्स में संक्रमण एक महत्वपूर्ण विकास है [303]
    1. चैटबॉट के रूप में LLM अभी भी एकल-मोड़ या चैट प्रारूप में हैं, और वे आपके लिए कोई कार्य पूरा नहीं करते हैं [307]
  2. एजेंटिक वर्कफ़्लो वास्तविक दुनिया के कार्यों को अंत-से-अंत तक पूरा करने में सक्षम बनाते हैं [310]
    1. उदाहरण के लिए, घर किराए पर लेने के लिए शोध करना, विभिन्न वेबसाइटों को देखना और परिणामों को सारांशित करना [313]
    2. Claude AI और Codex (OpenAI का कोडिंग एजेंट) जैसे एजेंट्स अंग्रेजी में निर्देश देकर फाइलों को संशोधित कर सकते हैं या परीक्षण मामलों का पता लगा सकते हैं [316]
    3. यह सॉफ्टवेयर इंजीनियरों के लिए एक कोडिंग उत्पादकता उपकरण बन गया है [319]
  3. एजेंटों की परिभाषा [320]
    1. मॉडल को एक लक्ष्य दिया जा सकता है, चरणों की योजना बनाई जा सकती है, पर्यावरण के साथ बातचीत की जा सकती है, और प्रतिक्रिया के आधार पर, यह लक्ष्य प्राप्त होने तक अपने चरणों को सही करेगा [320]
    2. इसमें लक्ष्य की धारणा होना, उस लक्ष्य की ओर कार्रवाई करना, प्रतिक्रिया प्राप्त करना और कब रुकना है यह तय करना शामिल है [321]
    3. एजेंट्स को बाहरी उपकरणों के साथ बातचीत करने और कार्य पर नज़र रखने के लिए कुछ प्रकार की मेमोरी की आवश्यकता हो सकती है [322]

5.2. एजेंटिक वर्कफ़्लो के प्रकार और घटक [324]

  1. एजेंटिक वर्कफ़्लो अभी भी ज्यादातर स्थिर हैं, लेकिन कुछ मामलों में अंत-से-अंत लक्ष्य प्राप्त किए जा सकते हैं [324]
    1. एक मॉडल समाधान प्रदान कर सकता है, और दूसरा मॉडल उसका न्याय कर सकता है [327]
    2. डीप रिसर्च जैसे दृष्टिकोण में, LLM का उपयोग करके कई संभावित समाधान उत्पन्न किए जाते हैं और फिर उन्हें आउटपुट के लिए एकत्रित किया जाता है [329]
    3. खुले-अंत वाली समस्याओं के लिए, इस ग्राफ को हाथ से बनाना आसान होता है, जो दर्शाता है कि एक इंसान इसे कैसे करेगा, और फिर LLM मूल्यांकनकर्ता से प्रतिक्रिया प्राप्त करें [331]
  2. एजेंटिक वर्कफ़्लो के विशिष्ट घटक [335]
    1. LLM कॉल: एक निर्देश या इनपुट के साथ एक LLM को कॉल करना और आउटपुट प्राप्त करना [336]
    2. सत्यापनकर्ता: आउटपुट को सत्यापित करने के लिए उपकरण (एक पूरे लेक्चर में कवर किया जाएगा) [337]
    3. आलोचक या न्यायाधीश: LLM को एक न्यायाधीश के रूप में उपयोग करना [338]
    4. उपकरण कॉल: वेब खोज या मौसम की जानकारी प्राप्त करने जैसे बाहरी उपकरणों के साथ बातचीत करना [339]
  3. एजेंटिक वर्कफ़्लो के प्रकार [344]
    1. प्रॉम्प्ट चेनिंग: कार्य को उपकार्यों में विभाजित करना और उन्हें अंत-से-अंत लक्ष्य प्राप्त करने के लिए श्रृंखला में जोड़ना [344]
    2. रूटिंग: जटिल कार्यों के लिए अधिक जटिल LLM कॉल का उपयोग करना, और कम जटिल कार्यों के लिए सरल वर्कफ़्लो का उपयोग करना [346]
    3. समानांतरकरण: एक साथ कई LLM कॉल चलाना (जैसे डीप रिसर्च में विभिन्न कीवर्ड पर शोध करना) [348]
    4. ऑर्केस्ट्रेटर: एक केंद्रीय LLM योजना बनाता है और बाद में LLM कॉल करता है (जैसे Claude Code में) [350]
    5. मूल्यांकनकर्ता या न्यायाधीश: वास्तविक दुनिया से प्रतिक्रिया प्राप्त करने के बजाय, एक LLM को एक न्यायाधीश के रूप में उपयोग करना [352]
    6. सत्यापनकर्ता: आउटपुट को सत्यापित करने के लिए उपकरण (जैसे कोड के लिए इकाई परीक्षण चलाना) [354]
  4. एजेंटिक वर्कफ़्लो के लिए आवश्यक क्षमताएं [359]
    1. LLM को योजना बनाने, बहु-चरणीय तर्क करने और आत्म-सुधार में बेहतर होने की आवश्यकता है [360]
    2. ये नए प्रतिमान हैं जिन्हें वर्तमान LLM केवल तर्क के साथ पूरा नहीं कर रहे थे [362]

6. AI एजेंट्स के अनुप्रयोग और भविष्य की दिशाएँ [364]

यह खंड कोडिंग, ग्राहक सहायता और अनुसंधान जैसे विभिन्न क्षेत्रों में AI एजेंट्स के व्यावहारिक अनुप्रयोगों और उनके भविष्य के विकास पर चर्चा करता है।

6.1. कोडिंग एजेंट्स और सेल्फ-इम्प्रूवमेंट [364]

  1. कोडिंग एजेंट्स कंप्यूटर के साथ टर्मिनल के माध्यम से बातचीत करते हैं [364]
    1. वे एक कार्य को लागू करने के लिए निर्देश प्राप्त करते हैं, रिपॉजिटरी को नेविगेट करते हैं, फाइलों को खोजते हैं, फाइलों को देखते हैं, लाइनों को संपादित करते हैं, और टर्मिनल में कमांड निष्पादित करते हैं [366]
    2. आउटपुट के आधार पर, वे अन्य फाइलों को संपादित करने या देखने का निर्णय ले सकते हैं [368]
    3. यह लूप पिछले साल विश्वसनीय नहीं था, लेकिन अब कोडिंग एजेंट्स के क्षेत्र में विश्वसनीय होने लगा है [369]
  2. सेल्फ-इम्प्रूवमेंट लूप तब शुरू होता है जब मॉडल बेहतर होने लगते हैं [371]
    1. यदि आप मॉडल द्वारा उत्पन्न कोड के लिए इकाई परीक्षण उत्पन्न कर सकते हैं और देख सकते हैं कि क्या उत्पन्न इकाई परीक्षण चीजों को बेहतर बना रहे हैं, तो यह चीजों को सत्यापित करने का एक बहुत अच्छा तरीका है [373]
  3. जनरेटर-सत्यापनकर्ता अंतर एक चुनौती है [382]
    1. मॉडल के लिए बहुत सारी बकवास या समझदार तर्क निशान उत्पन्न करना आसान है, लेकिन यह उपयोगी है या नहीं, इसके लिए एक प्रतिक्रिया लूप की आवश्यकता है [383]
    2. रचनात्मक लेखन जैसे डोमेन में, मानव प्रतिक्रिया एक बाधा बन जाती है [385]
    3. जिन डोमेन में अच्छी प्रतिक्रिया मिल सकती है, वहीं मॉडल में सुधार जारी रखना संभव है [386]
    4. मजबूत सत्यापन प्राप्त करना कठिन है, और यह इस क्षेत्र में बाधाओं में से एक बना हुआ है [388]

6.2. AI एजेंट्स के लिए उपयोगकर्ता इरादे और दोहराए जाने वाले कार्य [413]

  1. उपयोगकर्ता इरादे को स्पष्ट करना महत्वपूर्ण है [413]
    1. मॉडल के लिए यह हमेशा स्पष्ट नहीं होता है कि उपयोगकर्ता क्या चाहता है, इसलिए उसे प्रासंगिक फाइलों को खोजना पड़ सकता है [415]
    2. इसे यह जानने के लिए स्पष्ट प्रश्न पूछने की आवश्यकता है कि क्या देखना है और इसे कैसे सत्यापित करना है [418]
  2. GPT-3 जैसे मॉडल ने इन निशानों को अंत-से-अंत तक देखा है, इसलिए वे योजना, तर्क और बहु-चरणीय प्रक्रियाओं को करने में सक्षम हैं [420]
  3. दोहराए जाने वाले कार्य AI एजेंट्स के लिए बहुत उपयोगी होते हैं [423]
    1. कोड माइग्रेशन, संस्करण अपग्रेड, कोडबेस को पुनर्गठित करना, डेटा निष्कर्षण और सफाई, या डेटा वेयरहाउस माइग्रेशन जैसे कार्य [424]
    2. ये कार्य अत्यधिक दोहराए जाने वाले होते हैं और इन्हें कोडिंग एजेंट्स को सौंपना बहुत आसान होता है [426]

6.3. ग्राहक सहायता और अनुसंधान में AI एजेंट्स [428]

  1. ग्राहक सहायता में एजेंट्स बहुत प्रचलित हो गए हैं [428]
    1. लाइव ट्रांसक्रिप्शन: बैठकों के लिए एक अच्छा रिकॉर्ड प्रदान करता है [430]
    2. ज्ञान सहायता: ग्राहक सहायता एजेंट LLM से परामर्श करके जानकारी प्राप्त कर सकते हैं [432]
    3. स्मार्ट उत्तर: चैट में चैट प्रतिक्रियाएं देने के लिए एक एजेंट का उपयोग करना [435]
    4. कॉल सारांश: ग्राहक अनुभव को बेहतर बनाने के लिए कॉल सारांश का उपयोग करना [436]
    5. LLM का उपयोग करके समस्या के विभिन्न खंडों को संबोधित किया जा सकता है [438]
  2. व्यापक रिपोर्ट प्रदान करना [440]
    1. जटिल विषयों के लिए, LLM साहित्य समीक्षा, पेपर सारांश और संश्लेषण कर सकते हैं [440]
    2. उदाहरण के लिए, 2022 शीतकालीन ओलंपिक उद्घाटन समारोह पर एक रिपोर्ट के लिए, LLM संदर्भों की पहचान करेगा, एक रूपरेखा बनाएगा, प्रत्येक संदर्भ को सारांशित करेगा, और उन्हें एक पूर्ण-लंबाई वाले लेख में संयोजित करेगा [443]
  3. AI वैज्ञानिक के रूप में अनुसंधान एजेंट्स [445]
    1. वे वैज्ञानिकों को गणित और विज्ञान की समस्याओं को हल करने में सहायता करते हैं [446]
    2. विचार पीढ़ी: LLM का उपयोग विचारों के साथ आने के लिए एक विचार-मंथन उपकरण के रूप में किया जाता है [447]
    3. प्रयोग पुनरावृति: प्रयोगों पर पुनरावृति करने में मदद करता है [448]
    4. पेपर लेखन: पेपर को बेहतर बनाने में मदद करता है [449]
    5. मॉडल विचारों के कई अलग-अलग सेटों के साथ आ सकते हैं, जो बॉक्स से बाहर हो सकते हैं और एक बहुत अच्छा विचार-मंथन तरीका हो सकता है [450]

6.4. तर्क और इमर्जेंट बिहेवियर पर चर्चा [454]

  1. तर्क और चेन ऑफ थॉट डिजाइन द्वारा नहीं बनाए गए थे; उन्हें खोजा गया था [455]
    1. GSM8K पहला पेपर था जिसने इसके संकेत दिखाए, और PaLM जैसे बड़े मॉडल के साथ, यह एक बड़ा सौदा बन गया [456]
    2. तर्क मॉडल को अधिक से अधिक तर्क करने के लिए प्रशिक्षित किया जाता है, और वे जानते हैं कि कब बहुत अधिक तर्क करने की आवश्यकता है और कब नहीं [460]
    3. चेन ऑफ थॉट तर्क मूल रूप से एक इमर्जेंट बिहेवियर था [462]
  2. एजेंटिक वर्कफ़्लो में इमर्जेंट क्षमताएं [465]
    1. योजना, बहु-चरणीय तर्क और आत्म-सुधार/आत्म-सुधार जैसी क्षमताएं वांछनीय हैं [466]
    2. आत्म-सुधार और वापस जाने जैसी चीजें इमर्जेंट हो सकती हैं, लेकिन मॉडल ने इस तरह के व्यवहार को पहले देखा है और इसे फाइन-ट्यूनिंग में मजबूत किया गया है [471]
  3. मॉडल में सुधार एक सक्रिय शोध क्षेत्र है [401]
    1. इस बात पर अलग-अलग राय है कि वास्तव में मॉडल में क्या सुधार होता है: रीइन्फोर्समेंट लर्निंग या विविध डेटा पर प्री-ट्रेनिंग [402]
    2. यह पूरी लूप पूरी तरह से समझ में नहीं आई है, और इस क्षेत्र में बहुत अधिक शोध अभी भी खुला है [406]

7. कोर्स लॉजिस्टिक्स [475]

यह खंड CS329A कोर्स के प्रशासनिक विवरणों को रेखांकित करता है, जिसमें पाठ्यक्रम, असाइनमेंट और ग्रेडिंग शामिल हैं।

7.1. पाठ्यक्रम और असाइनमेंट [475]

  1. कोर्स के विषय में पोस्ट-ट्रेनिंग, मल्टीमॉडल एजेंट्स और रोबोटिक्स जैसे विषय शामिल होंगे [476]
    1. इसमें लेक्चर, अतिथि लेक्चर और प्रोजेक्ट प्रस्तुतियाँ शामिल होंगी [479]
  2. पूर्व-आवश्यकताएँ महत्वपूर्ण हैं, और छात्रों को यह सुनिश्चित करना चाहिए कि वे उनके साथ सहज हैं [481]
  3. संचार और सामग्री [483]
    1. नवीनतम अपडेट के लिए कैनवास की जांच करें [484]
    2. लेक्चर प्रत्येक कक्षा से पहले अपलोड किए जाएंगे [485]
    3. सभी असाइनमेंट और प्रोजेक्ट के लिए नियत तारीखें पहले से ही उपलब्ध हैं [486]
  4. होमवर्क असाइनमेंट [487]
    1. इस तिमाही में तीन होमवर्क असाइनमेंट होंगे, जो पिछली कक्षाओं से एक अंतर है [487]
    2. ये छात्रों को विषयों को बेहतर और अधिक गहराई से सीखने में मदद करने के लिए डिज़ाइन किए गए हैं [489]
  5. कोर्स प्रोजेक्ट [491]
    1. यह छात्रों को एजेंटिक सिस्टम बनाने या किसी प्रश्न में गहराई से जाने के लिए अपनी रचनात्मकता को उजागर करने की अनुमति देता है [491]
    2. उदाहरण या सुझाव प्रदान किए जाएंगे, लेकिन परियोजना को डिजाइन करना पूरी तरह से छात्रों पर निर्भर है [493]
    3. पिछले साल के सफल प्रोजेक्ट के उदाहरण वेबसाइट पर प्रदर्शित किए जाएंगे [495]

7.2. कोर्स प्रोजेक्ट विवरण और मूल्यांकन [500]

  1. API क्रेडिट प्रदान किए जाएंगे, और छात्र दो से चार लोगों की टीमों में काम कर सकते हैं [500]
    1. टीम वर्क को प्रोत्साहित किया जाता है ताकि सामूहिक रूप से अधिक क्रेडिट हों और अधिक प्रयोग चलाए जा सकें [508]
  2. स्वीकार्य प्रोजेक्ट उदाहरण [513]
    1. एक नया मूल्यांकन डेटा सेट या एक नया बेंचमार्क [514]
    2. एक मौजूदा एजेंटिक सिस्टम की विश्वसनीयता के आसपास एक परियोजना डिजाइन करना [515]
    3. एक मौजूदा बेंचमार्क लेना और किसी विचार के साथ उस पर चढ़ने की कोशिश करना [516]
    4. कोर्स में कवर किए गए पेपरों में सुधार करना या उनके निर्णयों पर सवाल उठाना [518]
  3. नकारात्मक उदाहरण में सर्वेक्षण पेपर या केवल एक ऐप शामिल हैं [523]
    1. परियोजना अनुसंधान-उन्मुख होनी चाहिए, जिसमें एक परिकल्पना, एक प्रश्न, सुधार का प्रकार या विश्लेषण की जाने वाली गुण शामिल हों [525]
  4. परियोजना मील के पत्थर [529]
    1. परियोजना प्रस्ताव अक्टूबर की शुरुआत में देय है [530]
    2. मिडटर्म प्रोजेक्ट प्रस्तुति परियोजना प्रस्ताव के दो सप्ताह बाद होती है, जिसमें कुछ प्रगति की उम्मीद की जाती है [533]
    3. अंतिम रिपोर्ट का बहुत अधिक वजन होता है [537]
    4. अंतिम पोस्टर प्रस्तुति तिमाही के अंत में होगी [538]
  5. प्रकाशन के अवसर [543]
    1. पिछले तिमाही में छात्रों ने अपने प्रोजेक्ट से पेपर प्रकाशित किए थे [543]
    2. छात्रों को अपने शोध परियोजना को एक प्रकाशन में बदलने और सम्मेलनों में जमा करने के लिए प्रोत्साहित किया जाता है [544]
  6. पोस्टर प्रस्तुति 12 दिसंबर को शाम 4:00 बजे से 6:00 बजे तक होगी [546]
    1. इसमें उद्योग के लोग शामिल होंगे, जिससे छात्रों को अपने काम का प्रदर्शन करने और नए लोगों से मिलने का अवसर मिलेगा [548]
  7. कोर्स ग्रेडिंग रूब्रिक [549]
    1. तीन होमवर्क आपके पूरे ग्रेड का 50% बनाते हैं [550]
    2. अन्य 50% परियोजना पर है [550]
    3. अवधि मोटे तौर पर प्रत्येक को आवंटित ग्रेडिंग के साथ संरेखित होती है [551]
  8. अकादमिक ईमानदारी [552]
    1. छात्रों से सम्मान संहिता का सम्मान करने की उम्मीद की जाती है [552]
  9. सहायता और संचार [553]
    1. कार्यालय के घंटे कैनवास पर पोस्ट किए जाएंगे [553]
    2. एडस्टेम पर सार्वजनिक रूप से प्रश्न पूछने के लिए प्रोत्साहित किया जाता है ताकि अन्य लोग उत्तरों से लाभ उठा सकें [554]
  10. जमा करना [556]
    1. ग्रेडस्कोप वह जगह है जहां परियोजना के मील के पत्थर, होमवर्क और अन्य सभी चीजें जमा की जाती हैं [556]
  11. देर से जमा करने की नीति उदार है, लेकिन कोई अपवाद नहीं बनाया जाएगा [558]
  12. ऑडिट सबमिशन की अनुमति नहीं है, लेकिन वीडियो अंततः YouTube पर उपलब्ध होंगे [559]