Apple Silicon पर DeepSeek का गहराई से विश्लेषण | 4 MacBooks का परीक्षण

1. DeepSeek R1 को Apple Silicon MacBooks पर स्थानीय रूप से चलाना [0]

1. DeepSeek R1 नवीनतम, अत्याधुनिक बड़ा भाषा मॉडल (LLM) है, और यह मुफ्त में उपलब्ध है [0]।
2. LLMs को स्थानीय रूप से चलाने के लिए हार्डवेयर सबसे महत्वपूर्ण है [4]।
3. कोई भी अत्याधुनिक मॉडल डाउनलोड कर सकता है क्योंकि यह ओपन सोर्स है [5]।
4. DeepSeek R1 के कुछ संस्करणों को विभिन्न हार्डवेयर पर चलाया जा सकता है:
   1. इसे Raspberry Pi पर चलाया गया है [9]।
   2. इसे Jetson Nano पर भी चलाया गया है [10]।
   3. इसे कई मिनी PCs पर भी चलाया जा सकता है [12]।
5. M1, M2, M3, और M4 Max MacBooks पर DeepSeek R1 को स्थापित और चलाया जाएगा, हालांकि परिणाम अलग-अलग होंगे [14]।
6. उपयोग किए जाने वाले दृष्टिकोण क्रॉस-प्लेटफ़ॉर्म हैं, इसलिए ये Mac, Windows, और Linux पर काम करेंगे [15]।
7. LLMs को चलाने के लिए दो मुख्य सरल उपकरण हैं: Ollama और LM Studio [17]।
8. एक अन्य उपकरण Llama CPP है, जो कमांड लाइन-आधारित, विन्यास योग्य और अनुकूलन योग्य है [19]।
9. आज, हम सरल और आसानी से स्थापित होने वाले उपकरणों का उपयोग कर रहे हैं क्योंकि यह उपयोग में आसानी के बारे में है [26]।
10. ये उपकरण एक सर्वर भी प्रदान करते हैं जिसका उपयोग डेवलपर्स मॉडल को स्थानीय रूप से कोड करने के लिए कर सकते हैं [28]।

2. Ollama का उपयोग करके DeepSeek R1 को स्थापित करना और चलाना [31]

2.1. Ollama स्थापना और मॉडल चयन [31]

1. Ollama का उपयोग करने के लिए, पहले olama.com पर जाकर डाउनलोड बटन दबाएं [31]।
2. प्लेटफ़ॉर्म चुनें और Mac OS के लिए डाउनलोड करें [32]।
3. डाउनलोड की गई फ़ाइल को Applications में खींचें और चलाएँ [35]।
4. Ollama मेनू बार में चलता हुआ दिखाई देगा [37]।
5. Ollama को टर्मिनल के माध्यम से एक्सेस किया जाता है; llama टाइप करने पर प्रतिक्रिया मिलनी चाहिए [38]।
6. मॉडल चलाने के लिए, llama run और फिर मॉडल का नाम टाइप करें [40]।
7. Ollama की वेबसाइट पर, DeepSeek सबसे लोकप्रिय होने के कारण पहले सूचीबद्ध है [41]।
8. DeepSeek के विभिन्न संस्करण उपलब्ध हैं, जैसे 1.5B (1.5 बिलियन पैरामीटर) से लेकर 671 बिलियन पैरामीटर तक [42]।
9. मॉडल जितना बड़ा होगा, मशीन को उतनी ही अधिक RAM (या एकीकृत मेमोरी/VRAM) की आवश्यकता होगी [46]।
10. LLMs को संसाधित करने में GPU बहुत अच्छे होते हैं, इसलिए किसी भी प्रकार का GPU काम करेगा [48]।
11. मॉडल के आकार सूचीबद्ध हैं; उदाहरण के लिए, 1.5B मॉडल वास्तव में 1.1 GB का है [51]।
12. क्वांटिज़ेशन भी सूचीबद्ध है; डिफ़ॉल्ट रूप से, Ollama Q4_K_M का चयन करता है [54]।
13. क्वांटिज़ेशन का मतलब है कि कुछ डेटा को हटा दिया जाता है, लेकिन केवल आवश्यक डेटा को रखा जाता है [63]।
14. क्वांटिज़ेशन मॉडल को छोटा बनाता है ताकि वे छोटे हार्डवेयर में फिट हो सकें [64]।
15. क्वांटिज़ेशन करने पर गुणवत्ता का थोड़ा बलिदान करना पड़ता है [65]।
16. HuggingFace पर, Barttowski जैसे योगदानकर्ता विभिन्न क्वांट प्रकारों को सूचीबद्ध करते हैं [57]।
17. उदाहरण के लिए, Q3KS क्वांट स्तर को कम गुणवत्ता वाला बताया गया है, लेकिन यह 4 GB RAM वाली मशीन पर चल सकता है [66]।
18. 8 GB RAM वाली मशीन के लिए, 3.56 GB फ़ाइल आकार वाला F-16 (फ़्लोटिंग 16) संस्करण चल सकता है [67]।
19. Q80 (8 बिट तक क्वांटाइज़्ड) केवल 1.89 GB है और अत्यधिक उच्च गुणवत्ता प्रदान करता है [69]।
20. 8 GB RAM वाले M3 MacBook Air पर, एक बड़ा मॉडल चलाया जा सकता है [72]।

2.2. बड़े मॉडल और क्वांटिज़ेशन की सीमाएँ [74]

1. 14B (14 बिलियन पैरामीटर) मॉडल के लिए, Q8 संस्करण 15 GB का है, जो 16 GB MacBook Air/Pro पर मुश्किल से फिट होगा [74]।
2. Q6_KL क्वांट, जो Q8 का उपयोग एम्बेड और आउटपुट वज़न के लिए करता है, बहुत उच्च गुणवत्ता और लगभग सही है [83]।
3. यह Q6_KL 16 GB मशीन पर अच्छा चलेगा, लेकिन 8 GB मशीन पर नहीं [85]।
4. 8 GB से कम के लिए, 6.92 GB वाला संस्करण मध्यम कम गुणवत्ता वाला है [87]।
5. हालांकि, 14 बिलियन पैरामीटर मॉडल होने के कारण, यह 1.5 बिलियन पैरामीटर मॉडल की तुलना में उच्च गुणवत्ता देगा [89]।
6. Bartowski एकमात्र मॉडल निर्माता नहीं है; Unsloth, Cyber Agent, और Mobius Labs जैसे अन्य समूह भी हैं [92]।
7. प्रत्येक समूह के पास क्वांटिज़ेशन करने का थोड़ा अलग तरीका होता है [96]।

2.3. Ollama के साथ प्रदर्शन परीक्षण (1.5B मॉडल) [97]

1. परीक्षण के लिए 1.5B मॉडल चलाया जाएगा क्योंकि यह छोटा है और जल्दी डाउनलोड हो जाएगा [97]।
2. प्रदर्शन का दूसरा पहलू गति है, जिसके लिए अधिक शक्तिशाली हार्डवेयर की आवश्यकता होती है [100]।
3. M2 MacBook Air में 8 GB RAM है, जबकि M4 Max MacBook Pro में 128 GB RAM है [102]।
4. M4 Max में बड़े मॉडल, तेज़ गति और बेहतर समग्र परिणाम मिलेंगे [104]।
5. 1.5 बिलियन पैरामीटर DeepSeek R1 मॉडल के लिए कमांड को कॉपी करके कमांड लाइन पर पेस्ट किया जाता है [105]।
6. Ollama स्वचालित रूप से मॉडल को इंटरनेट से डाउनलोड करता है, स्थानीय रूप से संग्रहीत करता है, और फिर निष्पादित करता है [107]।
7. डाउनलोड पूरा होने पर, एक प्रॉम्प्ट दिखाई देता है, और उपयोगकर्ता उससे बात करना शुरू कर सकता है [110]।
8. 1.5 बिलियन पैरामीटर मॉडल की गुणवत्ता बहुत अच्छी नहीं है; यह कहानी लिखने के बजाय विवरण मांगता है [115]।
9. यह मॉडल तेज़ है; मॉडल का आकार जितना छोटा होगा और वह जितना अधिक क्वांटाइज़्ड होगा, वह उतना ही तेज़ होगा [120]।
10. Ollama से मेट्रिक्स प्राप्त करने के लिए, run [model] --verbose कमांड का उपयोग करें [124]।
11. टोकन प्रति सेकंड (Tokens per second - t/s) में गति परिणाम:
    1. M3: 45 t/s [129]
    2. M2: 50 t/s (त्रुटि के मार्जिन के भीतर) [131]
    3. M1: 33 t/s (अभी भी काफी सभ्य और उपयोग योग्य) [137]
    4. M4 Max: 162 t/s (बहुत बड़ा अंतर) [146]
12. एक Twitter पोल के अनुसार, LLMs के लिए 40+ t/s की दर स्वीकार्य है, और 20-29 t/s दूसरे स्थान पर था [136]।

3. LM Studio का उपयोग करके DeepSeek R1 का परीक्षण [149]

3.1. LM Studio की स्थापना और Mac पर मॉडल विकल्प [149]

1. LM Studio एक और उपकरण है जो Ollama की तुलना में अधिक बहुमुखी है [149]।
2. इसे lmstudio.ai से Mac, Linux, या Windows के लिए डाउनलोड किया जा सकता है [150]।
3. LM Studio अभी संस्करण 1 पर भी नहीं है, जो इस क्षेत्र की तेज़ी को दर्शाता है [155]।
4. स्थापना के बाद, इसमें 'my models' और 'discover' फ़ोल्डर होते हैं [163]।
5. Mac उपयोगकर्ता Linux या Windows उपयोगकर्ताओं की तुलना में अधिक विकल्प रखते हैं:
   1. वे GGUF प्रकार के मॉडल चला सकते हैं (मॉडल पैकेजिंग का एक प्रारूप) [168]।
   2. वे MLX मॉडल भी चला सकते हैं, जो केवल Apple Silicon के लिए उपलब्ध हैं [170]।
   3. MLX मॉडल गति में कुछ सुधार प्रदान करते हैं [171]।
6. LM Studio विभिन्न रचनाकारों से मॉडल के विभिन्न संस्करणों को चुनने की अनुमति देता है [174]।
7. LM Studio Community संस्करण में, Q4_K_M डिफ़ॉल्ट रूप से चुना जाता है [176]।
8. LM Studio मशीन की RAM सीमा को जानता है; 8 GB RAM वाली मशीन के लिए, 7.11 GB का F-32 संस्करण बहुत बड़ा होने की संभावना है [187]।
9. LM Studio Community संस्करण का Q4KM क्वांट डाउनलोड किया जाता है [189]।

3.2. LM Studio के साथ 1.5B मॉडल का प्रदर्शन परीक्षण [193]

1. मॉडल डाउनलोड होने के बाद, इसे लोड करने के लिए ड्रॉप-डाउन मेनू से चुना जाता है [194]।
2. GPU ऑफलोड को अधिकतम तक बढ़ाना सुनिश्चित करें ताकि GPU का यथासंभव उपयोग हो सके [197]।
3. मॉडल लोड होने के बाद, एक नई चैट शुरू की जा सकती है [206]।
4. LM Studio के साथ, 1.5B मॉडल 58 t/s की गति देता है, जो Ollama से तेज़ है [208]।
5. जब कहानी लिखने के लिए कहा जाता है, तो मॉडल सोचता है, जो DeepSeek R1 को अन्य मॉडलों से अलग करता है [212]।
6. LM Studio सोचने में लगने वाले समय की रिपोर्ट नहीं करता है; यह केवल पहले टोकन तक का समय बताता है [215]।
7. उत्पादन गति 54.9 t/s है, जो Ollama के करीब है, शायद थोड़ी तेज़ [218]।
8. 1.5B मॉडल बहुत गतिशील नहीं है; यह हर बार एक ही प्रतिक्रिया देता है ("Hello, how can I assist you today?" with a smiley face) [221]।
9. LM Studio के साथ 1.5B मॉडल की गति (10,000-शब्द की कहानी):
   1. M4 Max: 182 t/s (बहुत तेज़) [227]
   2. M3: 54 t/s [229]
   3. M2: 47 t/s [234]
   4. M1: 40 t/s [231]
10. परिणाम काफी पूर्वानुमेय हैं [237]।

3.3. GPU उपयोग और MLX बनाम GGUF की तुलना [238]

1. गतिविधि मॉनिटर (Activity Monitor) में, 8 GB RAM वाली मशीन पर 6.86 GB RAM का उपयोग हो रहा है, जो इसकी सीमा के करीब है [239]।
2. GPU का भी काफी उपयोग हो रहा है, लगभग 100% के करीब [241]।
3. यदि MLX संस्करण का उपयोग किया जाता, तो GPU का उपयोग 100% के और करीब होता क्योंकि यह अत्यधिक अनुकूलित है [243]।
4. MLX मॉडल GGUF मॉडल की तुलना में थोड़े अधिक टोकन प्रति सेकंड प्रदान कर सकते हैं [244]।
5. GGUF संस्करण के लिए DeepSeek R1 Distilled Llama 8B (Q3K क्वांटाइज़्ड) का उपयोग किया जाता है [245]।
6. MLX संस्करण की तुलना के लिए MLX बॉक्स को चेक किया जाता है [246]।
7. 8 बिलियन पैरामीटर मॉडल में अधिक परतें होती हैं, इसलिए GPU ऑफलोड के लिए 32 परतें तक बढ़ाई जाती हैं [254]।
8. GGUF संस्करण चलाने पर, मेमोरी दबाव अधिक होता है क्योंकि मॉडल का आकार लगभग 4 GB है (1.5B मॉडल 1 GB का था) [263]।
9. मेमोरी दबाव लाल और नारंगी क्षेत्र में है, जो मशीन की उच्चतम सीमा है [267]।
10. GGUF संस्करण की आउटपुट गति 7.5 t/s है [273]।
11. MLX संस्करण पर स्विच करने पर, GPU उपयोग अधिक होता है क्योंकि MLX Apple Silicon पर चलने के लिए अधिक अनुकूलित है [275]।
12. MLX छोटे मॉडल के लिए 1-2 t/s अधिक दे सकता है, लेकिन 70 बिलियन जैसे बड़े मॉडल के लिए बहुत अधिक t/s देगा [280]।
13. MLX मॉडल पर मेमोरी दबाव GGUF मॉडल की तुलना में अधिक स्थिर दिखता है [284]।
14. MLX संस्करण की गति 19.38 t/s है, जबकि GGUF की 7.5 t/s थी, जो काफी तेज़ है [288]।
15. यह बड़ा अंतर मॉडल पर निर्भर हो सकता है, लेकिन सामान्य तौर पर, MLX बेहतर परिणाम देगा क्योंकि यह बेहतर अनुकूलित है [291]।
16. 8B मॉडल (GGUF/MLX) की गति:
    1. M4 Max (MLX): 68.76 t/s [301]
    2. M1 (MLX): 11.28 t/s (32 सेकंड सोचने के बाद) [294]
    3. M2 (MLX): 9.59 t/s [298]
    4. M3 (MLX): 7.5 t/s (यह सही दिशा में नहीं जा रहा है, लेकिन त्रुटि के मार्जिन में है) [299]

4. 8 GB और 16 GB मशीनों पर बड़े मॉडल की सीमाएँ [308]

4.1. 8 GB मशीनों पर 14B मॉडल की सीमाएँ [308]

1. 8 GB M2 और M3 MacBook Airs पर 14 बिलियन पैरामीटर मॉडल चलाने का प्रयास किया जाता है [308]।
2. 14 बिलियन 3-बिट संस्करण (6.47 GB) फिट नहीं होगा [309]।
3. Bartowski का IQ2XS क्वांट (2-बिट संस्करण) 4.7 GB का है, जिसे LM Studio बहुत बड़ा बताता है [311]।
4. यह 2-बिट संस्करण भारी रूप से क्वांटाइज़्ड होगा और Bartowski द्वारा कम गुणवत्ता वाला चिह्नित किया गया है [318]।
5. Bartowski I Matrix नामक तकनीक का उपयोग कर रहा है ताकि मॉडल को बहुत अधिक क्वांटाइज़ करने के बावजूद उपयोग योग्य रखा जा सके [321]।
6. मॉडल लोड किया जाता है, जिसमें GPU ऑफलोड के लिए 48 परतें होती हैं [325]।
7. मॉडल लोड होने के बाद, "Hi" कहने पर AI कोई सामग्री नहीं देता है [335]।
8. यह अत्यधिक क्वांटिज़ेशन स्तर के कारण हो सकता है, जिससे AI कुछ भी नहीं कहता है [343]।
9. कहानी लिखने के लिए कहने पर भी कोई प्रतिक्रिया नहीं मिलती है [346]।
10. यह दिखाता है कि जब आप किसी चीज़ को बहुत अधिक क्वांटाइज़ करते हैं तो क्या होता है [351]।
11. बड़े मॉडलों को घर पर उपलब्ध हार्डवेयर पर चलाने के लिए उन्हें बहुत अधिक क्वांटाइज़ करना पड़ता है, लेकिन इस मामले में, यह विफल रहा [352]।

4.2. 16 GB M1 MacBook Air पर 14B मॉडल [365]

1. Unsloth ने 671 बिलियन पैरामीटर DeepSeek R1 मॉडल को 1.58 बिट तक क्वांटाइज़ किया [354]।
2. उन्होंने महत्वपूर्ण परतों को गतिशील 2-बिट क्वांटिज़ेशन के लिए रखकर इसे चतुराई से स्तरित किया [356]।
3. परिणामस्वरूप मॉडल 131 GB का था, जो 128 GB RAM वाले M4 Mac पर ठीक से काम नहीं कर सका [357]।
4. Unsloth ने दावा किया कि उनका 1.5-बिट संस्करण Flabby Bird लिख सकता था, जो दिखाता है कि बड़े मॉडल का भारी क्वांटिज़ेशन भी काफी सभ्य परिणाम दे सकता है [362]।
5. सामान्य तौर पर, मॉडल जितना बड़ा होगा, उतना बेहतर होगा, जो 8 GB MacBooks के लिए अच्छा नहीं है [364]।
6. 16 GB RAM वाला M1 MacBook Air (पुरानी पीढ़ी, धीमी) क्या कर सकता है, यह देखा जाता है [365]।
7. 14 बिलियन पैरामीटर GGUF मॉडल (4 बिट तक क्वांटाइज़्ड) केवल 8.99 GB का है [367]।
8. LM Studio इसे बहुत बड़ा होने की शिकायत नहीं करता है [369]।
9. यह मॉडल 16 GB मेमोरी वाली मशीन के लिए उपयुक्त है [388]।
10. मॉडल लोड किया जाता है (48 परतें) [374]।
11. RAM उपयोग 16 GB में से 14.58 GB है, जो सीमा के ठीक नीचे है [384]।
12. मॉडल कहानी लिख रहा है, लेकिन गति 6.2 t/s है, जो बहुत अच्छी नहीं है, लेकिन यह M1 MacBook Air पर चल रहा है [394]।

4.3. M4 Max पर 70B मॉडल का परीक्षण [400]

1. M4 Max Pro पर सबसे बड़े मॉडल का परीक्षण किया जाता है [400]।
2. 70 बिलियन पैरामीटर मॉडल उत्कृष्ट है और गति और सटीकता के बीच अच्छा संतुलन प्रदान करता है [403]।
3. 70 बिलियन मॉडल चैट या कोडिंग के लिए पर्याप्त सभ्य गति देगा [408]।
4. Bartowski का Q4KM संस्करण लोड किया जाता है [409]।
5. GPU ऑफलोड 80 परतें है [414]।
6. M4 Max में 128 GB RAM है, इसलिए Q8 (74 GB) जैसे बहुत उच्च गुणवत्ता वाले 8-बिट संस्करण भी फिट हो सकते हैं [416]।
7. 4-बिट क्वांट मॉडल का परीक्षण किया जाता है [422]।
8. मॉडल 20 सेकंड तक सोचता है और फिर लिखना शुरू करता है [427]।
9. गति लगभग 9.7 t/s है, जिसे सुपर उपयोग योग्य से थोड़ा कम माना जाता है, लेकिन यह अभी भी आउटपुट दे रहा है [435]।
10. यह प्रदर्शन एक व्यक्तिगत MacBook पर है, जो हार्डवेयर की महत्ता को दर्शाता है [438]।

5. DeepSeek R1 को चलाने का सही और गलत तरीका [441]

1. DeepSeek R1 को स्थानीय रूप से चलाने का यही सही तरीका है [441]।
2. DeepSeek R1 को चलाने का गलत तरीका DeepSeek की आधिकारिक वेबसाइट पर करना है [442]।
3. वेबसाइट का उपयोग करने पर डेटा चीन में किसी सर्वर पर भेजा जाता है [443]।
4. यदि मॉडल स्थानीय रूप से उपलब्ध है, तो डेटा साझा न करें [444]।