स्थानीय एआई जीपीयू, रैम, ओपन सोर्स एआई पर एजीआई भविष्यवाणियाँ

1. ओपन-सोर्स एआई और लोकल रनिंग के रुझान [0]

1. ओपन वेट और ओपन सोर्स एआई बड़े पैमाने पर बढ़ रहा है [0]।
2. यह रुझान लोकल एआई चलाने के लिए भविष्य की लहर को परिभाषित करेगा [1]।
3. फ्रंटियर एज मॉडल के करीब चलने की इच्छा से चुनौतियाँ बढ़ेंगी [4]।
4. सिस्टम रैम और जीपीयू रैम के लिए यह एक चुनौतीपूर्ण समय है [6]।
5. नए जीपीयू की कीमतें बढ़ने की बहुत अधिक संभावना है [8]।
6. इससे बदले में, इस्तेमाल किए गए जीपीयू पर दबाव पड़ेगा [9]।
7. हाल ही में कीमतों में गिरावट देखी गई थी, जिसमें 24 जीबी वाले 3090s लगभग $700 तक पहुँच गए थे [10]।
   1. यह उस कीमत सीमा में सबसे अच्छी सिफारिश है [11]।
8. मॉडल लगभग एक साल से बड़े होते जा रहे हैं; DeepSeek ने इसकी शुरुआत की [12]।
9. फ्रंटियर स्तर के करीब जाने पर यह रुझान जारी रहेगा [14]।
10. बड़े मॉडल से टोकन प्रति सेकंड (जनरेशन और प्रॉम्प्ट प्रोसेसिंग) पर नकारात्मक प्रभाव पड़ता है [15]।
11. लोकल रनिंग के लिए बहुत अधिक अतिरिक्त संसाधनों की आवश्यकता होती है [17]।
12. वक्ता GLM 4.6 Air का बेसब्री से इंतजार कर रहा है, जो जल्द ही आने की संभावना है [18]।
    1. 4.5 Air एक ऐसे सिस्टम के लिए उपयुक्त था जिसमें बहुत सारी रैम और जीपीयू थे [20]।

2. मॉडल आकार और एजीआई अति-प्रतिज्ञा की चुनौतियाँ [22]

1. कुछ कंपनियां जो बेहतरीन उत्पाद जारी कर रही हैं, वे मध्यवर्ती छोटे मॉडल जारी करने में रुचि नहीं रखती हैं [22]।
2. यह कभी-कभी मुश्किल हो जाता है, खासकर वीडियो जनरेशन के लिए [24]।
   1. अधिकांश वीडियो जनरेशन मॉडल को चलाना लगभग असंभव है [25]।
   2. ये कुछ बेहतरीन ओपन-सोर्स वीडियो/गेम/वर्ल्ड जनरेशन मॉडल हैं [26]।
3. इन मॉडलों को चलाने की क्षमता इस बात पर निर्भर करती है कि क्या आपके पास 80 जीबी H100 जैसा कुछ है [27]।
4. वीडियो और इमेज जनरेशन के लिए, सब कुछ एक जीपीयू पर चलाना आदर्श है [28]।
   1. इससे सर्वोत्तम सिस्टम बैंडविड्थ मिलती है [28]।
   2. PCIe बस के साथ संचार करने पर भारी प्रभाव पड़ेगा [28]।
5. OpenAI के GPT-4o को देखना बहुत शानदार था [30]।
   1. यह सैम ऑल्टमैन पर सार्वजनिक दबाव अभियान का परिणाम प्रतीत होता है [31]।
6. बंद मॉडलों के आसपास की अति-प्रतिज्ञा की गतिशीलता में बदलाव आया है [32]।
7. एंथ्रोपिक, ओपन एआई, और ग्रो ने ऐसी चीजों के बारे में बात की है जिन्हें डिलीवर करना मुश्किल होगा [33]।
8. एजीआई (आर्टिफिशियल जनरल इंटेलिजेंस) तुरंत होने वाला नहीं है [34]।
   1. यदि कोई एजीआई के बारे में बात करता है, तो संदेह करना चाहिए [35]।
9. वर्तमान टूलसेट अभी भी अविश्वसनीय रूप से सक्षम हैं [36]।
   1. वे वर्कफ़्लो को गति दे सकते हैं और जीवन को बेहतर बना सकते हैं [36]।
   2. एजीआई न होने पर भी उनका बहुत अधिक मूल्य है [37]।
10. एजीआई तक पहुँचने में कई कदम लगेंगे, और यह जल्द ही नहीं होगा [38]।
11. एजीआई तक पहुँचने में लगने वाले समय के बारे में अति-प्रतिज्ञा की गई है [39]।
    1. इससे कुछ कंपनियों के लिए समस्याएँ हो सकती हैं [39]।
    2. इसका मतलब यह हो सकता है कि वे ओपन वेटेड और ओपन-सोर्स मॉडल जारी करने से पीछे हट सकते हैं [40]।
12. अंतर्राष्ट्रीय स्तर पर बहुत प्रतिस्पर्धा है [42]।
    1. चीनी कंपनियों की एक-दूसरे के मॉडल को देखकर और जारी करके छलांग लगाने की क्षमता प्रभावशाली रही है [42]।
    2. ताइवान के भू-राजनीतिक निहितार्थों के साथ यह और अधिक महत्वपूर्ण होता जा रहा है [42]।

3. भविष्य की भविष्यवाणियाँ और हार्डवेयर की कमी [43]

1. अगले रुझान की सटीक भविष्यवाणी करना बहुत मुश्किल है [43]।
2. वक्ता की भविष्यवाणियाँ (इन पर भरोसा न करें): [44]
   1. हम बड़े और बड़े ओपन-सोर्स रिलीज़ देखेंगे [46]।
   2. एक ट्रिलियन पैरामीटर नया रुझान प्रतीत होता है [47]।
3. एक ट्रिलियन पैरामीटर मॉडल को लोकल सेटिंग में प्रभावी ढंग से चलाने के लिए आमतौर पर क्वांटिज़ेशन की आवश्यकता होती है [48]।
   1. इसमें कुछ व्यापार-बंद हो सकते हैं [48]।
   2. सबसे कम क्वांट साइज़ पर भी, उन्हें चलाने के लिए लगभग 200s की आवश्यकता होती है [49]।
4. ये मॉडल मांग और संसाधन-गहन हैं [51]।
5. सिस्टम रैम और वीआरएएम की बढ़ती लागत के साथ, यह कमी का एक आदर्श तूफान है [51]।
6. वक्ता को उम्मीद है कि यह कम से कम अगली कुछ तिमाहियों तक खराब होगा [52]।
   1. 2026 की दूसरी छमाही तक कुछ राहत मिल सकती है [53]।
7. यह एआई और एजीआई के पाठ्यक्रम की धारणा से संबंधित है [54]।
   1. यदि हम वास्तविकता पर लौटते हैं कि एजीआई कल नहीं हो रहा है, तो प्रतिस्पर्धा कम हो सकती है [55]।
8. डेटा सेंटरों के लिए मांग में बड़े विनाशकारी बदलाव की संभावना है [56]।
9. ओपन सोर्स के साथ कुछ हेडवाटर मोमेंट्स हो सकते हैं, खासकर क्लोज्ड सोर्स के कारण [58]।
10. वक्ता को उम्मीद है कि अगले कुछ महीनों में, शायद साल के अंत से पहले या ठीक बाद में, कम से कम कुछ प्रमुख घटनाएँ होंगी [59]।
    1. यह एजीआई का साकार होना नहीं होगा [60]।
    2. यह अर्थशास्त्र के कारण हो सकता है [61]।
11. अकेले स्केलिंग से हम एजीआई तक नहीं पहुँच पाएंगे [62]।
12. एजीआई सिस्टम के लिए हमें परिष्कृत, बेहतर तरीकों की आवश्यकता होगी [63]।
    1. इसके लिए अकेले अधिक डेटा की आवश्यकता नहीं होगी [64]।
13. तकनीकें निश्चित रूप से बेहतर होंगी [65]।
14. क्वांटिज़ेशन और स्पार्सिटी जैसी चीजें लोकल एआई चलाने वालों के लिए चीजों को आसान बनाती हैं [66]।
    1. ये DDR5 चलाने वाले सिस्टम पर चीजों को पहुँच योग्य बनाते हैं [67]।
15. कम बिजली खपत वाला इन्फरेंस अधिक लोगों के लिए सुलभ होगा [67]।
    1. यह LLMs के साथ वर्तमान मार्ग में रुझानों का एक दुष्प्रभाव होगा [68]।

4. लोकल एआई के लिए कार्रवाई योग्य हार्डवेयर सिफारिशें [69]

1. यदि आप लोकल एआई में आना चाहते हैं, तो जीपीयू प्राप्त करने पर विचार करें [69]।
2. किसी भी कीमत पर जीपीयू खरीदने की सलाह नहीं दी जाती है [70]।
3. बजट को ध्यान में रखना आवश्यक है, खासकर अनिश्चित आर्थिक समय में [73]।

4.1. एनवीडिया जीपीयू और वीआरएएम की कमी [74]

1. कुछ हालिया कार्डों पर एमआरपी हिट हो गया है [74]।
   1. 5070 Ti (16 GB कार्ड) एमआरपी से थोड़ा कम है [74]।
2. 5060 Ti (16 GB कार्ड, कम प्रदर्शन) एमआरपी से नीचे नहीं है [75]।
3. उच्च वीआरएएम वाले सबसे सस्ते कार्डों की मांग महत्वपूर्ण होगी [76]।
4. मिड-रेंज कार्डों की कीमत कम हो सकती है, लेकिन वे कम-एंड कार्डों की तुलना में कम आकर्षक हैं [77]।
5. सुपर सीरीज़ के बारे में अनिश्चितता है, जो चल रहे डीआरएएम संकट का परिणाम है [78]।
   1. 24 जीबी 5070 Ti सुपर सीरीज़ की उम्मीद थी [79]।
   2. ये शायद न हों, या विलंबित हो सकते हैं [82]।
6. वक्ता सुपर सीरीज़ पर दांव नहीं लगा रहा है [87]।
7. जैसे ही लोग इस बात को समझेंगे, वे 5060 Ti जैसी चीजों को उठा लेंगे [88]।
8. 70s और 80s जैसे मिड-रेंज कार्डों से बचना आमतौर पर बुरा विचार नहीं है [90]।

4.2. एएमडी और इंटेल विकल्प [91]

1. एएमडी के पास कुछ अच्छे विकल्प हैं [91]।
   1. 960 XT 16 GB एक अच्छा प्रदर्शन करने वाला है [92]।
   2. यह विशेष रूप से टेक्स्ट-आधारित LLMs के लिए अच्छा है [93]।
2. एनवीडिया के साथ, सब कुछ आसानी से काम करता है [95]।
3. एएमडी में कुछ अतिरिक्त कदम और छेड़छाड़ लग सकती है [96]।
   1. वीडियो जनरेशन जैसी कुछ चीजें उतनी अच्छी तरह से काम नहीं कर सकती हैं [97]।
4. इंटेल के पास B50 है [98]।
   1. इसकी कीमत उतनी आकर्षक नहीं है जितनी होनी चाहिए [98]।
   2. यदि आप एक सिंगल जीपीयू की तलाश में हैं, तो SROV इसे एक अच्छा विकल्प बना सकता है [98]।
5. B60 पर्याप्त मात्रा में उपलब्ध नहीं होगा, जो निराशाजनक है [99]।
   1. इंटेल हमेशा ऐसा करता है: वे प्रो लगाते हैं और पर्याप्त उत्पादन नहीं करते हैं [100]।
   2. यह एक बेहतरीन जीपीयू हो सकता है, लेकिन इसे प्राप्त करना मुश्किल है [103]।
6. जीपीयू के मोर्चे पर, 24 जीबी वाले 3090s अभी भी $700 से $750 की सीमा में एक अच्छा विचार लगते हैं [104]।
   1. यदि आप उन्हें इससे कम में प्राप्त कर सकते हैं, तो यह बहुत अच्छा विचार है [104]।

5. सिस्टम रैम और इन्फरेंस के तरीके [105]

1. सिस्टम रैम हाल ही में बहुत दबाव में है [106]।
2. आप वास्तव में सीपीयू इन्फरेंस कर सकते हैं [107]।
   1. आपको GPT4All 20B डाउनलोड करना चाहिए और इसे सीपीयू इन्फरेंस के साथ चलाना चाहिए [108]।
   2. आप Ollama इंस्टॉल करके 5 से 10 मिनट में इसे आज़मा सकते हैं [109]।
3. यदि आपके पास जीपीयू नहीं है, तो भी आप ठीक हो सकते हैं [111]।
   1. आप 20B पर काफी अच्छे टोकन प्रति सेकंड प्राप्त कर सकते हैं [112]।
4. बड़े मॉडलों पर, यदि आपके पास सिस्टम बैंडविड्थ नहीं है, तो सीपीयू इन्फरेंस काफी दर्दनाक हो जाता है [113]।
5. DDR4 अभी सस्ता नहीं है [114]।
6. DDR5 बहुत महंगा है [115]।
   1. जिन लोगों ने एक साल पहले वक्ता की सिफारिश पर इसे खरीदा था, उन्हें बधाई [116]।
7. यदि आप कुछ अधिक आधुनिक में स्केल करना चाहते हैं, तो B650 जैसे अच्छे विकल्प हैं [118]।
8. B550 वीडियो भी है, जिस पर आप और भी अधिक जीपीयू भर सकते हैं [119]।
   1. इसमें पाँच PCIe फुल विड्थ स्लॉट हैं [120]।
9. इन्फरेंस के लिए, PCI3 पर होना, भले ही X1 स्पीड पर हो, कोई मायने नहीं रखता [121]।
   1. यह इमेज और वीडियो जनरेशन के लिए मायने रखता है [122]।
   2. इन्फरेंस के लिए यह कोई बड़ी बात नहीं है [123]।
10. यदि आप इन्फरेंस और स्केलिंग के लिए कुछ बना रहे हैं, तो आप इस पर विचार कर सकते हैं [124]।
11. आपको कुछ पुराने जीपीयू देखने चाहिए [125]।
12. पिछले एक साल में एआई की उपयोगिता और गुणवत्ता नाटकीय रूप से बेहतर हुई है [127]।
13. अब बहुत अधिक टूलिंग है, और टूलिंग काफी परिष्कृत है [129]।
14. इस पूरे इकोसिस्टम में बहुत पैसा लगाया गया है [130]।
15. आप इस चैनल द्वारा निर्मित गाइडों का अनुसरण कर सकते हैं, जो Ollama, VLLM, और Llama C++ को चलाने के चरणों से गुजरते हैं [132]।
16. Llama C++ एक चमकता सितारा बन रहा है, और इसका नया इंटरफ़ेस बहुत अच्छा है [133]।