एक पिछड़ने वाले से एक शक्तिशाली योद्धा तक, गूगल टीपीयू ने एनवीडिया के जीपीयू एकाधिकार को कैसे तोड़ा?

1. AI प्रतिस्पर्धा में Google की शुरुआती चुनौतियाँ और बाद में शानदार वापसी [0]

1. 2023-2024 के दौरान, OpenAI, Meta, और Anthropic के उदय से LLMs की वैश्विक प्रतिस्पर्धा चरम पर पहुँच गई [0]।
2. इस स्थिति में, Google को सबसे कम भरोसेमंद माना गया था [1]।
3. Google के मुख्य खोज व्यवसाय पर गंभीर प्रभाव पड़ा [2]।
   1. Bard के लॉन्च के समय, गलत जानकारी देने पर Google की कड़ी आलोचना हुई [2]।
   2. इससे Google के बाजार पूंजीकरण में हजारों अरब डॉलर का नुकसान हुआ [2]।
4. Google के पूर्व CEO श्मिट ने भी Google कर्मचारियों की आलोचना की [3]।
   1. उन्होंने कहा कि Google OpenAI और Anthropic के खिलाफ AI युद्ध हार रहा है [3]।
5. Menlo Ventures की रिपोर्ट के अनुसार, 2023 में Gemini का बाजार हिस्सा केवल 7% था [4]।
   1. यह ChatGPT (50%) और Claude (12%) से काफी पीछे था [4]।
6. 2024 की शुरुआत में, Gemini का हिस्सा बढ़कर 12% हो गया [5]।
   1. फिर भी, यह OpenAI, Anthropic, और यहाँ तक कि Meta से भी काफी पीछे था [5]।
7. निवेशक और डेवलपर भी AI क्षेत्र में Google की संभावनाओं को लेकर आशंकित थे [6]।
8. हालाँकि, इस वर्ष स्थिति में बदलाव आया [7]।
9. Google ने पिछले छह महीनों में ओपन-सोर्स और क्लोज्ड-सोर्स दोनों बड़े मॉडलों पर काम करना शुरू किया [8]।

1.1. Gemini 2.5 Pro और Flash के साथ Google की वापसी [9]

1. क्लोज्ड-सोर्स इकोसिस्टम में, Gemini 2.5 Pro मार्च में जारी किया गया [9]।
   1. इसमें 32 ट्रिलियन टोकन का प्रशिक्षण डेटा और मल्टीमॉडल क्षमताएँ थीं [9]।
   2. इसने गणितीय प्रमाण, कोड जनरेशन, और वीडियो विश्लेषण जैसे जटिल कार्यों में प्रतिद्वंद्वियों को पीछे छोड़ दिया [9]।
   3. अनुमान (Inference) क्षेत्र में, Gemini Flash $0.4 प्रति मिलियन टोकन की अल्ट्रा-लो कीमत पर उपलब्ध हुआ [9]।
   4. यह छोटे और मध्यम व्यवसायों तथा डेवलपर्स के लिए पहली पसंद बन गया [9]।
2. ओपन-सोर्स मॉडल में भी Google ने सफलता हासिल की [10]।
   1. Google के Gemma ओपन-सोर्स मॉडल का उपयोग किया जा रहा है [10]।
   2. Gemma 3-27B, Llama और Qwen की तुलना में, बड़े कोडबेस या तकनीकी दस्तावेज़ों को संभालने में सबसे उत्कृष्ट है [11]।
   3. Gemma 3N भी उपयोगी है और 2GB मेमोरी में चल सकता है [12]।
3. नवीनतम डेटा से पता चलता है कि Gemini श्रृंखला का बाजार हिस्सा तेजी से बढ़ रहा है [13]।
   1. 2025 की दूसरी तिमाही में, इसने 43.1% API बाजार हिस्सेदारी के साथ OpenAI (38.7%) और Anthropic (12.4%) को पीछे छोड़ दिया [14]।
   2. यह एक अविश्वसनीय उलटफेर था [14]।
4. Google के इस शानदार बदलाव का कारण Gemini 2.5 और TPU का संयोजन है [15]।
   1. यह AI क्षेत्र में Google का एक महत्वपूर्ण आधार बन गया है [15]।
   2. यह प्रशिक्षण और अनुमान में पैमाने पर तैनाती और लागत लाभ के लिए मुख्य प्रतिस्पर्धात्मकता है [15]।
   3. यह Nvidia के गढ़ को भेदने की प्रवृत्ति रखता है [15]।
5. आगे TPU, Google द्वारा TPU का उपयोग, और इसके निहितार्थों पर चर्चा की जाएगी [16]।

2. TPU का परिचय और शुरुआती विकास: ASIC चिप्स का उदय [17]

1. TPU (Tensor Processing Unit) चिप्स को टेंसर प्रोसेसिंग यूनिट भी कहा जाता है [17]।
2. यह Google द्वारा न्यूरल नेटवर्क मशीन लर्निंग के लिए विकसित एक ASIC (Application-Specific Integrated Circuit) चिप है [17]।
3. इसका मुख्य सिद्धांत और डिजाइन दर्शन कुशल मैट्रिक्स संचालन के इर्द-गिर्द घूमता है [17]।
4. TPU पारंपरिक प्रोसेसर से अलग है क्योंकि यह सिस्टोलिक ऐरे आर्किटेक्चर का उपयोग करता है [18]।
   1. इसमें हजारों गुणा-संचयकर्ता (multiply-accumulators) एकीकृत होते हैं [18]।
   2. ये गणना इकाइयाँ सीधे जुड़ी होती हैं, जिससे एक भौतिक मैट्रिक्स बनता है [18]।
   3. यह एक ही क्लॉक साइकिल में लाखों जोड़ और गुणा ऑपरेशन पूरा कर सकता है [18]।
5. यह विशिष्ट कार्यभार के तहत पारंपरिक CPU और GPU की तुलना में दक्षता और गति में कहीं बेहतर है [19]।
6. TPU के मुख्य डिजाइनरों में से एक Jonathan Ross (Groq के संस्थापक) हैं [20]।
   1. उन्होंने बताया कि शुरुआत में Google के भीतर तीन टीमें AI एक्सेलेरेटर विकसित कर रही थीं [20]।
7. लगभग 2015 में, TPU को Google की मुख्य तकनीकी लाइन के रूप में चुना गया [21]।
8. इसका मूल विचार Google के अपने डेटा केंद्रों की लागत और ऊर्जा खपत को कम करना था [22]।
   1. यह Google Translate, AlphaGo, और Photos जैसे AI कार्यों के लिए एक समर्पित "हाईवे" बनाने जैसा था [22]।
9. शुरुआत में, TPU की विशेषता और तकनीकी लाभ समर्पण (Specialization) और ऊर्जा दक्षता में थे [23]।
10. TPU मशीन लर्निंग कार्यों पर हार्डवेयर संसाधनों को केंद्रित करता है [24]।
    1. यह उच्च बैंडविड्थ मेमोरी और अनुकूलित कंपाइलर का उपयोग करता है [24]।
    2. यह डेटा प्रवाह को अनुकूलित करके अनावश्यक गणना को कम करता है [24]।
    3. इससे यह कम बिजली की खपत पर CPU और GPU से कहीं अधिक प्रशिक्षण और अनुमान क्षमता प्राप्त करता है [24]।

3. TPU के विकास में शुरुआती बाधाएँ और Nvidia का CUDA एकाधिकार [25]

1. Google का TPU विकास आसान नहीं था; यह शुरुआती दौर में सामान्य GPU प्रतिस्पर्धा में काफी पीछे था [25]।
2. पहली पीढ़ी के TPU में 28nm प्रक्रिया का उपयोग किया गया था [26]।
   1. इसकी एकल-चिप प्रदर्शन क्षमता केवल 23 TFLOPS थी [26]।
   2. इसने 34GB/s की बैंडविड्थ प्रदान की [26]।
3. शुरुआत में, TPU को केवल अनुमान (Inference) कार्य करने के लिए डिज़ाइन किया गया था [27]।
   1. इसमें क्लस्टर क्षमता नहीं थी [27]।
4. मई 2017 में, Google ने दूसरी पीढ़ी का TPU लॉन्च किया [28]।
   1. इसमें TPU Pod की अवधारणा पेश की गई, जो इंटरकनेक्टेड TPU चिप्स का एक क्लस्टर था [28]।
   2. इसने मॉडल प्रशिक्षण की गणना क्षमता पर ध्यान देना शुरू किया [28]।
   3. बैंडविड्थ सीमाओं के कारण, यह अधिकतम 256 चिप्स के पॉड का ही समर्थन कर सकता था [28]।
   4. यह अल्ट्रा-लार्ज मॉडल प्रशिक्षण की आवश्यकताओं को पूरा नहीं कर सका [28]।
5. इसके विपरीत, उसी समय के Nvidia V100 और A100 चिप्स [29]:
   1. बड़े पैमाने पर क्लस्टर तैनाती का समर्थन करते थे [29]।
   2. CUDA प्लेटफॉर्म के साथ, उन्होंने डेवलपर्स को एक परिपक्व प्रोग्रामिंग वातावरण प्रदान किया [29]।
   3. उन्होंने TensorFlow, PyTorch, Caffe सहित कई फ्रेमवर्क का समर्थन किया [29]।
6. Google ने TPU V3 और V4 में लिक्विड कूलिंग और टॉरस टोपोलॉजी जैसी तकनीकें पेश कीं [30]।
   1. इससे एक पॉड में चार हजार से अधिक चिप्स समाहित हो सके [30]।
7. हालाँकि, TPU अभी भी XLA कंपाइलर और JAX फ्रेमवर्क पर निर्भर था [30]।
   1. TPU सॉफ्टवेयर स्टैक जटिल और इकोसिस्टम बंद था [30]।
   2. PyTorch के तहत TPU का डिबगिंग प्रदर्शन JAX से काफी खराब था [30]।
8. इसकी तुलना में, CUDA का विकास अनुभव अधिक सहज और पूर्ण था [31]।
9. डेवलपर्स नए प्रोग्रामिंग मॉडल सीखने के इच्छुक नहीं थे [32]।
   1. इसने Google इकोसिस्टम के बाहर TPU के विकास और प्रचार को सीमित कर दिया [32]।
10. इस अवधि में, Nvidia CUDA के परिपक्व इकोसिस्टम के कारण अजेय था [33]।
11. ChatGPT-4o और Claude-3.5 के लॉन्च के साथ, बड़े Transformer मॉडल में Nvidia का लाभ स्पष्ट हो गया [34]।
    1. Nvidia GPU लगभग सभी प्रमुख वैश्विक तकनीकी कंपनियों के लिए वास्तविक उद्योग मानक बन गया [34]।

4. TPU V5p के साथ निर्णायक मोड़ और AI इंफ्रास्ट्रक्चर का पुनर्निर्माण [35]

1. TPU की वापसी का निर्णायक मोड़ Google द्वारा 2023 में जारी पाँचवीं पीढ़ी के TPU, विशेष रूप से V5p संस्करण में आया [35]।
2. Google ने ऑप्टिकल इंटरकनेक्शन तकनीक पर ध्यान केंद्रित करना शुरू किया [36]।
   1. इससे प्रत्येक पॉड को 9,000 चिप्स तक बढ़ाया गया [36]।
   2. इसमें HBM3 जोड़ा गया, जिससे बैंडविड्थ 4.8TB/s तक पहुँच गई [36]।
   3. चिप-टू-चिप इंटरकनेक्शन बैंडविड्थ 4800Gbps तक बढ़ गई [36]।
   4. कुल प्रदर्शन 460 पेटाफ्लॉप्स तक पहुँच गया [36]।
3. Gemini 2.5 मॉडल को पहली बार V5p पर प्रशिक्षित किया गया [37]।
4. हालांकि Google ने खुलासा नहीं किया, V5p पर प्रशिक्षण लागत Nvidia H100 क्लस्टर से 50% से अधिक कम होने की अफवाह है [38]।
5. Gemini 2.5 मॉडल की सफलता चौंकाने वाली थी [39]।
   1. Gemini 2.5 Pro ने LMArena में 1470 अंकों के साथ शीर्ष स्थान हासिल किया [39]।
   2. इसने प्रोग्रामिंग और गणित जैसे क्षेत्रों में OpenAI और Claude पर पूरी तरह से हावी होकर पलटवार किया [39]।
6. इस बीच, Apple ने भी खुलासा किया कि वह अपने नवीनतम Apple Intelligence के विकास के लिए पारंपरिक GPU के बजाय Google TPU का उपयोग करने की कोशिश कर रहा है [40]।
7. यहाँ तक कि OpenAI और Meta भी Nvidia पर तकनीकी निर्भरता कम करने के लिए Google TPU किराए पर ले रहे हैं [41]।
8. Google के CEO पिचाई ने Google I/O सम्मेलन में कहा कि Google अगली पीढ़ी के AI इंटेलिजेंट इंफ्रास्ट्रक्चर का निर्माण कर रहा है [42]।
   1. यह Android, Chrome, और अन्य Google उत्पादों में व्याप्त होगा [42]।
   2. इसका उद्देश्य "चिप-मॉडल-एप्लिकेशन" की पूर्ण-श्रृंखला बंद लूप बनाना है [42]।
9. पूर्ण-श्रृंखला बंद लूप AI युग के अंतर्निहित नियमों को फिर से आकार देगा [43]।
10. Google वर्तमान में एक बड़ी योजना पर काम कर रहा है [44]।
11. Google, जो कभी बड़े भाषा मॉडल क्षेत्र में "पिछड़ गया" था, अब Gemini श्रृंखला के पूर्ण विस्फोट के साथ पूर्ण-श्रृंखला नियम "निर्माता" बन गया है [45]।

5. Google TPU की सफलता से प्राप्त तीन महत्वपूर्ण शिक्षाएँ [46]

5.1. शिक्षा 1: डेवलपर्स का महत्व और सक्रिय समुदाय [47]

1. डेवलपर्स महत्वपूर्ण हैं (इस बात को तीन बार दोहराया गया) [47]।
2. Google TPU की वापसी का सार TPU + TensorFlow-JAX तकनीकी मार्ग की सफलता है [48]।
3. JAX/XLA के विकास की शुरुआत में, Google ने TPU समर्थन को सर्वोच्च प्राथमिकता दी [49]।
   1. डेवलपर्स को पूरी प्रक्रिया में गहराई से शामिल किया गया [49]।
   2. डेवलपर्स की प्रतिक्रिया को सुनकर TPU की अनुकूलता को धीरे-धीरे अनुकूलित किया गया [49]।
   3. इससे विकास की समग्र बाधा कम हुई [49]।
4. डेटा के अनुसार, 2025 में Gemini श्रृंखला के डेवलपर समुदाय का बाजार हिस्सा 5% से बढ़कर 50% हो गया है [50]।
   1. यह वर्तमान में दुनिया का सबसे सक्रिय बड़ा मॉडल इकोसिस्टम बन गया है [51]।
5. यह साबित करता है कि तकनीक महत्वपूर्ण है, लेकिन डेवलपर्स का सम्मान करना, उन्हें समझना, उनकी बात सुनना, और उनसे जुड़ना भी उतना ही महत्वपूर्ण है [52]।
6. इकोसिस्टम और डेवलपर्स एक-दूसरे को सफल बनाते हैं और आपस में सशक्त करते हैं [53]।
7. समुदाय जितना अधिक सक्रिय होगा, डेवलपर्स की भागीदारी उतनी ही अधिक होगी [54]।
   1. यह बदले में हार्डवेयर के निरंतर पुनरावृत्ति और अनुकूलन को बढ़ावा देता है [54]।
8. इसलिए, डेवलपर्स से कैसे जुड़ना है और उन्हें कैसे सशक्त बनाना है, यह स्वदेशी हार्डवेयर के विकास और तैनाती के लिए एक महत्वपूर्ण विषय है [55]।

5.2. शिक्षा 2: दीर्घकालिक सोच और मूल AI विकास पर जोर [56]

1. Google TPU की "वापसी की राह" से पता चलता है कि Gemini का विकास आसान नहीं था, इसमें कई भटकाव और छिपे हुए गड्ढे थे [56]।
2. CUDA भी कभी एक छोटा खिलाड़ी था [57]।
3. Google ने हार नहीं मानी और "खुद से अनुसंधान" जारी रखा [58]।
4. Google ने शॉर्टकट नहीं अपनाया, बल्कि एक अधिक कठिन लेकिन अधिक मूल्यवान मार्ग चुना [59]।
   1. यह मूल AI विकास पर कायम रहा [59]।
   2. बार-बार परीक्षण और त्रुटि की गई, और निरंतर अनुकूलन किया गया [59]।
   3. सॉफ्टवेयर स्टैक टूल को लगातार बेहतर बनाया गया [59]।
   4. डेटा चैनल की दक्षता को लगातार अनुकूलित किया गया [59]।
   5. नई तकनीकों और आर्किटेक्चर को नया करने का प्रयास किया गया [59]।
   6. इन प्रयासों से ही पाँचवें संस्करण में आंशिक सफलता मिली [59]।
5. यह सब दीर्घकालिक सोच (Long-termism) का परिणाम है [60]।
6. भविष्य में AI क्षेत्र में प्रतिस्पर्धा तकनीकी गहराई, पारिस्थितिकी तंत्र लचीलापन, और रणनीतिक दृढ़ता की समग्र प्रतिस्पर्धा होगी [61]।
   1. यह एक मैराथन है, न कि स्प्रिंट [61]।
7. शॉर्टकट नहीं अपनाना चाहिए, और KPI के लिए KPI नहीं करना चाहिए [62]।
   1. दीर्घकालिक सोच पर टिके रहने से ही वास्तविक नेतृत्व प्राप्त किया जा सकता है [62]।

5.3. शिक्षा 3: सॉफ्टवेयर और हार्डवेयर इकोसिस्टम का एकीकरण [63]

1. Google TPU के मामले से पता चलता है कि सॉफ्टवेयर और हार्डवेयर इकोसिस्टम का एकीकरण वर्तमान AI क्षेत्र में अभी भी लागू है [63]।
2. सॉफ्टवेयर और हार्डवेयर इकोसिस्टम मानव के दो पैरों की तरह हैं [64]।
   1. वे अकेले नहीं चल सकते, उन्हें एक साथ आगे बढ़ना होगा [64]।
3. TPU हार्डवेयर का शक्तिशाली होना महत्वपूर्ण है, लेकिन Google सॉफ्टवेयर स्टैक की समकालिक वृद्धि के बिना सफल नहीं हो सकता था [65]।
4. Google ने चिप डिजाइन स्तर से ही सॉफ्टवेयर सहयोग पर विचार किया [66]।
   1. इससे मैट्रिक्स ऑपरेशन के लिए TPU का सिस्टोलिक ऐरे आर्किटेक्चर JAX/XLA के साथ अत्यधिक अनुकूलित और संयुक्त हो सका [66]।
   2. इसके परिणामस्वरूप प्रशिक्षण लागत और स्केलेबल तैनाती क्षमता दोनों में सफलता मिली [66]।
5. Google TPU की सफलता का मामला बहुआयामी है और महत्वपूर्ण संदर्भ मूल्य प्रदान करता है [67]।
6. मुख्य निष्कर्ष हैं: [68]
   1. डेवलपर्स को गले लगाओ [68]।
   2. दीर्घकालिक सोच और मूल AI पर कायम रहो [69]।
   3. सॉफ्टवेयर और हार्डवेयर इकोसिस्टम का सहयोगात्मक विकास करो [70]।
7. ASIC की रणनीतिक रणनीति के लिए, यह "समर्पित हार्डवेयर + ऊर्ध्वाधर इकोसिस्टम" की व्यवहार्यता की पुष्टि करता है [71]।
   1. यह चिप डिजाइन और इकोसिस्टम निर्माण के लिए नए विचार प्रदान करता है [71]।
   2. इसमें CUDA को दरकिनार करने और नए ट्रैक को फिर से परिभाषित करने के तरीके शामिल हैं [71]।