दे स्टूडेंट आज की इस वीडियो में एक्सप्लेन करने जा रहा हूं इकोसिस्टम तो हलूप इकोसिस्टम के अंदर बहुत सारे डिफरेंट कॉम्पोनेंट्स आते हैं कुछ कॉम्पोनेंट्स हैं विच आर मैंडेटरी जिनका होना बहुत जरूरी है उनके बिना कम ही नहीं चलेगा लेकिन कुछ एक्स्ट्रा फंक्शनैलिटीज के लिए हम लोग जो है वो डिफरेंट डिफरेंट कॉम्पोनेंट्स को उसे करते हैं कॉम्पोनेंट्स जो है वो क्या है कैसे क्यों उसे करते हैं वो सारे मैं एक-एक करके आपको एक्सप्लेन करूंगा विथ एग्जांपल सो बेसिकली एक्चुअल में हमें चाहिए क्या की जो में कम है हद होप का वो तो चल ही रहा
है लेकिन साथ में एक्स्ट्रा फंक्शनैलिटीज क्या चाहिए होती है जैसे प्रॉपर मॉनिटरिंग हो प्रॉपर मैनेजमेंट हो हमें सिक्योरिटी के फीचर चाहिए हमें इस calibert के फीचर चाहिए तो ये जो डिफरेंट डिफरेंट फीचर्स चाहिए उनके लिए हम लोग डिफरेंट डिफरेंट जो है वो कॉम्पोनेंट्स को उसे करते हैं तो चलिए स्टार्ट करते हैं फर्स्ट ऑफ ऑल हमारा पास ए जाता है जो की मैंडेटरी कॉम्पोनेंट है डेट इसे डी एचडी फस रूप डिसटीब्युटेड फाइल सिस्टम जिसका में पर्पस ये क्या है की डाटा को किस तरीके से मैनेज करके स्टोर करना है इन अन डिसटीब्युटेड मैनर ताकि उसको इजीली
एक्सेस कर सके तो यह स्टोरेज का सारा कम जो है वो एचडीएफसी संभालते हैं ये फाइल सिस्टम है जैसे हमारे नॉर्मल लैपटॉप में हमारी कंप्यूटर में जैसे विंडोज उसे कर रहे हैं तो विंडोज के अंदर एक फाइल सिस्टम होता है एंटीफेज लीडर्स उसे कर रहे हैं तो एनएफसी डिफरेंट डिफरेंट फाइल सिस्टम्स है ऐसी ये रूप का फल सिस्टम है तो ये मैंडेटरी पार्ट है वैसे मैं अलग से मैंने इसके ऊपर पुरी वीडियो बनाई हुई है कौन से कॉम्पोनेंट्स से कैसे वर्क करता है तो आप वो वीडियो जरूर चेक कर लें दें ए जाता है हमारे
पास दूसरा यान यान क्या है ये एंड आदर रिसोर्स नेगोशिएटर तो यहां पे यान का पर्पस क्या है एक्चुअल में ज्ञान को समझने से पहले मैं थोड़ा सा मैप रिड्यूस के बारे में बता डन मैं प्रोड्यूस एक्चुअल में क्या है डाटा प्रोसेसिंग के लिए उसे किया जाता है क्योंकि डाटा हमने डिसटीब्युटेड वेव में रख दिया तो हमें एक ऐसा कॉम्पोनेंट चाहिए जो डाटा को pabnali एक्सेस कर सके और उसको प्रक्रिया करके आउटपुट में कन्वर्ट करें तो maproduce उसे पर्पस के लिए उसे किया जाता है लेकिन जब हलुक का पहला वर्जन आया 1.01 तो ये मैप
रे का फीचर था जिसमें क्या था डाटा प्रोसेसिंग की डाटा को कैसे प्रक्रिया करना और साथ ही साथ रिसोर्सेस को कैसे मैनेज करना है रिसोर्सेस को कैसे मैनेज करना है तो वो सारे पर्पस जो द वो मैनेजमेंट का और डाटा प्रोसेसिंग का वो इसी का था मैं अपने उसे का लेकिन बाद के वर्जन में उन्होंने क्या किया की मैं प्रोड्यूस के ऊपर बहुत सारे जो है वो हमने कम ला दिए तो उसकी वजह से हुआ क्या ये स्लो होता गया डाटा बढ़ता गया ये स्लो होता गया तो इसलिए इसको निकल दिया यहां से और इसको
निकल के अलग से कॉम्पोनेंट बना दिया डेट इस इयर तो यह का पर्पस क्या है की कैसे रिसोर्सेस को मैनेज करना है कैसे जॉब्स को शेड्यूल करना वो सारा कम जो है वो अब यहां देखता है आप सिंपल से एग्जांपल से समझ सकते हो जैसे अपना लैपटॉप है तो हमारे लैपटॉप में जो सीपीयू है वो एक तरह से आप का सकते हो मैं आप रिड्यूस है हमारे लैपटॉप में जो ऑपरेटिंग सिस्टम है जैसे विंडोज हम उसे करते हैं वो क्या है एक तरह से ये आना है हमारे लैपटॉप में जो फाइल सिस्टम हम लोग उसे
कर रहे हैं विंडोज के अंदर जो आती है जैसे ऑपरेटिंग सिस्टम उसे कर रहे हो एनएफसी उसे कर रहे हो तो वो आपकी एक तरह से जो फाइल सिस्टम है वो इसका कम हो गया तो ये आप इस एग्जांपल से इसको समझ सकते हो तो ये तीनों पर्पस आपको पता लगे की मैंडेटरी पोर्शन है उसके बाद ए जाती है कहानी आपकी फिल्म एंड स्कूप की अब ये दोनों क्या है डाटा कलेक्शन के लिए उसे किए जाते हैं डाटा इंजेक्शन के लिए उसे किए जाते हैं जैसे एग्जांपल के तौर पे वही लैपटॉप वाला एग्जांपल ले लो
आप लैपटॉप उसे कर रहे हो आप अपना कंप्यूटर उसे कर रहे हो उसे लैपटॉप में कंप्यूटर में डाटा कहां से आता है डाटा कहां से इनपुट होता है आप डाउनलोड कर रहे हो पेन ड्राइव से दल रहे हो कोई एक्सटर्नल हार्ड ड्राइव से दल रहे हो ऐसे ही आता है ना डाटा तो वो बोलते हैं डाटा का आना आपके सिस्टम में आना तो यहां पे आपके सिस्टम में रूप के सिस्टम में डाटा कहां से ए रहा है इन दो कॉम्पोनेंट से ए रहा है एक फ्लू में जी और एक स्कूप है स्कूप जो है वो
है स्ट्रक्चर डाटा के लिए और फ्ल्यूम जो है वो है unstructed ये सेमी स्ट्रक्चर डाटा के लिए मतलब आप माय सीक्वल की कोई एप्लीकेशन उसे कर रहे हो सीक्वल सर्वर को उसे कर रहे हो और एप्पल को उसे कर रहे हो तो वो स्ट्रक्चर डाटा को जेनरेट करता है अब उसे स्ट्रक्चर डाटा को मुझे हलुक के अंदर लेके आना है एसडीएफए के अंदर लेके आना है तो मैं किसको उसे करूंगा स्कूप को ऐसे ही एचडीएफसी से मुझे लेके जाना है सीक्वल सर्वर के अंदर माय सीक्वल के अंदर किसको उसे करूंगा स्कूप को लेकिन मैं फोटोस
वीडियो लाइव स्ट्रीमिंग हम लोग कर रहे हैं तो जहां पे लाइव स्ट्रीमिंग आएगी स्ट्रीमिंग डाटा ए गया जहां से कंटीन्यूअसली डाटा ए रहा है लोग फाइल्स ए रही है तो वहां पे फ्ल्यूम जो है वो हेल्प करता है तो फ्लो मंथ स्ट्रक्चर डाटा स्ट्रीमिंग कलेक्टिवली जो डाटा रियल टाइम डाटा ए रहा है उसके लिए जो है वो फिल्म को उसे करते हैं और ये स्ट्रक्चर डाटा के लिए उसे किया जाता है तो ये में है यहां पे फंडा ए गया दें ह बेस क्या है कॉलम जो है कॉलम जैसे हम डाटा को यहां पे स्टोर
करते हो होता क्या है जल्दी जो हमने रिलेशन डेटाबेस डीबीएमएस में हम लोग पढ़ते हैं की अगर मुझे डाटा को स्टोर करना है तो पहले स्ट्रक्चर बनानी पड़ती है पता है ना टेबल बनाते हैं क्रिएटिव टेबल नहीं है वो सारी रोज एंड कॉलम्स बनाते हैं फिर डाटा को स्टोर करते हैं यहां पे ऐसा फंडा नहीं है यहां पे कोई रिस्ट्रिक्शन नहीं है की पहले स्ट्रक्चर बनाओ फिर डाटा ये कहता है डाटा लाओ और बिना किसी स्ट्रक्चर के स्टोर करो इसलिए यहां पर उसे करते हैं नो सीक्वल का कॉन्सेप्ट और यहां पे ये जो बस है
ना ये एक्चुअल में कॉलम और एंट्रीट है ये था रो रोज में डाटा को स्टोर करते द आरडीबीएमएस में यहां पे कॉलम्स की फॉर्म में ये लिया हुआ है गूगल का जो बिग टेबल प्रोजेक्ट था उसी को ये आगे मॉडल करके इसको स्पेशली डिजाइन किया हुआ है ताकि बड़ी अमाउंट ऑफ डाटा को स्टोर कर सके दें क्लाउड ही रहा अब यहां पे देखो हमारे पास ये सारे फीचर्स ए गए की ये डाटा को प्रक्रिया करता है मैनेजमेंट करता है डाटा को स्टोर करता है किस वे में डाटा को स्टोर करना कॉलम्स की फॉर्म में वो
भी पता लग गया डाटा ए कहां से रहा है वो भी पता लग गया अब यहां पे जो मेरा डाटा फाइनल में प्रक्रिया करने के बाद आउटपुट आई उसे आउटपुट को एनालाइज कैसे करना है उसे आउटपुट को देखना कैसी है या डाटा एनालिसिस भी बोल सकते हो या अलग अलग पर्पस के लिए जैसे हाई हाई के उसे किया जाता है स्कल क्वेरी के लिए मतलब नॉर्मली तो हम यहां पे जावा की कोडिंग ज्यादा करते हैं तो ज्यादा की रिकॉर्डिंग मैपर का प्रोड्यूसर का ड्राइवर का बहुत बड़े-बड़े कोड लिखने पड़ते हैं अगर मुझे सीक्वल के फॉर्म
में कोई कमांड लिखनी है मतलब मुझे सीक्वल आती है और मैं उसको उसे करना चाहता हूं रूप के अंदर तो मैं हाई को उसे कर सकता हूं तो स्ट्रक्चर डाटा के लिए आप हाइप को उसे कर सकते हो अगर आपका डाटा जो है वो स्ट्रक्चर है तभी 5 को उसे किया जा सकता है क्योंकि सीक्वल की कमांड्स के ऊपर बेस्ड है दें पिग क्या है पिग भी ये कॉम्पोनेंट है जो की स्क्रिप्टिंग के लिए उसे किया जाता है स्क्रिप्टिंग का पर्पस क्या है वही जो मैंने बताया की मैपर रिड्यूसर ड्राइवर क्लास जब हम लिखते हैं
ना तो बहुत बड़े-बड़े कोड लिखने पड़ते हैं तो पिग आपको क्या कहते हैं की जो आप 200 लाइनों में 300 लाइनों में कोड लिख रहे हो उसको 10 तू 20 लाइंस में खत्म कर दो तो कहीं ना कहीं जो आपकी प्रोग्रामिंग की जो आप का सकते हो लाइन ऑफ कोड बहुत बड़ा है उसको रिड्यूस करने की कोशिश कर रहा है डेट इसे डी पिक दें ऐसी impallah भी उसे किया जाता है ऐसी एक ए जाता है हमारे पास माहौल ये क्या है माउंट क्या है मशीन लर्निंग के एक डिफरेंट डिफरेंट लाइब्रेरीज है जिनके अंदर ऑल
डी मशीन लर्निंग एल्गोरिथम अरे देयर तो अगर मैं कुछ ऐसी एप्लीकेशन बनाना चाहता हूं बेस्ड ऑन hudup की वहां पे मशीन लर्निंग को मुझे उसे करना है तो मैं अपाचे वहां पे उसे करूंगा मैं आउट क्या होता है देखो ये जो हम उसे कर रहे हैं ना ऊपर अगर इनमें जो इसका आपने अगर सिंबल देखा हो तो सिंबल क्या है इसका एलिफेंट माउंट क्या है ये हिंदी का वर्ड है जो एलिफेंट को चलते हैं ऊपर बैठ के एलिफेंट को चलते हैं तो ये एक्चुअल में माउंट जो है वो वही कम कर रहा है की आपने
अपने सिस्टम को स्केलेबल करना है मशीन लर्निंग की फीचर्स में डालने हैं तो माउंट को वहां पे उसे किया जाता है दें क्लाउड ही रहा अब यहां पे मैंने आपको क्या बताया की मेरे यहां पे चार फेस है सबसे पहला फेज क्या है डाटा को इनपुट करवाना डाटा को इंजेक्शन करवाना तो डाटा को इंजेक्शन करवाना डाटा को इनपुट करवाने के लिए मैंने फिल्म का उसे कर लिया मैंने स्कूप का उसे कर लिया तो डाटा अंदर ए गया अब डाटा अंदर ए गया तो उसको कौन मैनेज कर रहा है उसको मैनेज कर रहा है आपका ह
बेस व्हाट इसे डी मॉडल ऑफ डेट डाटा तो वह आपने बस में डिफाइन कर दिया और एक्चुअल में मैनेज कौन कर रहा है वो आपका मैनेज कर रहा है एचडीएफएस तो उसने सारे डाटा को डिसटीब्युटेड फॉर्म में रख दिया अब उसे डाटा को करना क्या है उसे डाटा को करना है प्रक्रिया तो वो प्रक्रिया कौन कर रहा है मैप रिड्यूस कर रहा है वैसे ही अब तो और भी ए गया अब तो आपका स्टॉर्म ए गया एवं स्पार्क ए गया जो की मैप रिड्यूस से भी 100 टाइम्स फास्टर है तो वो मैं आपको फरदार पढ़ाऊंगा
तो ये डाटा प्रोसेसिंग के लिए अब इसमें कुछ आउटपुट जेनरेट की इसने कुछ आउटपुट जेनरेट की उसे आउटपुट को प्रॉपर वे से एनालाइज करना है प्रॉपर वे से देखना है डाटा को विजुलाइजर करना है टेबल्स की फॉर्म में जो डाटा आया या कोई भी रोड डाटा मेरे पास आया उसको मेरे को प्रॉपर्ली दिखाना है तो एनालिसिस के लिए मैं डिफरेंट डिफरेंट जैसे पिग हो गया इंपाला हो गया महौत हो गया ये सारे हम लोग यहां पर उसे कर रहे हैं और फाइनली यूजर जो है यूजर यहां पे जो बैठा है यूजर अपने डाटा को कैसे
डालेगा और उन्होंने डाटा को कैसे देखेगा सर्च कैसे करेगा इतने बड़े सिस्टम में क्योंकि hudup का जो क्लस्टर है बहुत बड़े हैं तो वो सर्च कैसे करेगा तो अपने डाटा को सर्च करने के लिए एक्सप्लोर करने के लिए क्लाउड इराक का उसे किया जाता है तो ये बड़ा प्लेटफार्म प्रोवाइड करता है जहां पे आप प्रॉपर्ली डाटा को मैनेज कर सकते हो मॉनिटर कर सकते हो चीजों को ऐसी अपाचे अंबानी भी आता है व्यू भी आता है वो सारे डिफरेंट डिफरेंट आपके जो है वो कॉम्पोनेंट्स और भी ए जाती है दें हमारे पास ए जाता है
उसी का पर्पस क्या है बेसिकली वर्क फ्लो का कम करता है जॉब्स को शेड्यूल कर रहा है जैसे आपके पूरे सिस्टम में अगर मुझे अलार्म डालना है क्लॉक दल की कौन सी जॉब किस टाइम पे हो कितने टाइम में कंप्लीट होनी चाहिए ऑटोमेशन करनी है की यार शाम को 5:00 बजे ही जॉब एग्जीक्यूट होनी चाहिए तो उसे चीजों को मैं उसी के थ्रू एग्जीक्यूट कर सकता हूं दैन ए जाता है जूम कीपर जू कीपर मतलब नाम से पता लग रहा है ना की आपके पास एलिफेंट है एपिग है ये सारे हैं इन सारों को मैनेज
कौन कर रहा है जू की पर तो ये जू कीपर है एक बहुत बड़े लेवल पे अगर मुझे चीजों को मैनेज करनी है तो पेपर यहां पे आपको थोड़ी सी कन्फ्यूजन हो सकती है की सर यान भी तो वही कर रहा था वो भी तो वही रिसोर्सेस को मैनेज कर रहा था और जुकीपर भी वही कम कर रहा है प्रॉपर मॉनिटरिंग कर रहा है प्रॉपर जो है वो मैनेजिंग कर रहा है आप इसको इससे समझ सकते हो की अगर मुझे एक लैपटॉप को मैनेज करना है तो एक तरह से आप यान को उसे कर सकते
हो अगर आपको बहुत बड़े रूप के डिफरेंट डिफरेंट इकोसिस्टम को कंबाइन करके रखा हुआ है बहुत बड़े क्लस्टर हैं तो बहुत बड़े क्लस्टर में आप जूम कीपर को उसे कर सकते हो मतलब जैसे नॉर्मल लैपटॉप में तो हम लोग विंडोज को उसे करते हैं तो वहां पर प्रॉपर लेवल पे बात करूं जहां पे डिफरेंट डिफरेंट यूजर्स हजारों लाखों यूजर एक्सेस कर रहे हैं तो वहां पे वो पर्पस फैल हो जाता है फिर मुझे एक्स्ट्रा जो है वो फीचर लगाने पड़ते हैं तो ये जू की पर उसे केस में आप का सकते हो की कम आएगा
कम इसका वही है मैनेजमेंट वाला ही तो ये डिफरेंट डिफरेंट कॉम्पोनेंट्स जो है वो आपके रूप इकोसिस्टम में उसे किए जाते हैं थैंक यू
