हे गैस माय नाम इसे नीतीश एंड यू आर वेलकम तू माय यूट्यूब चैनल इस वीडियो में भी हम लोग अपना दीप लर्निंग प्लेलिस्ट कंटिन्यू करेंगे हम लोग ऑप्शन टेक्निक्स पढ़ रहे हैं और हमने तीन-चार ऑप्टिमाइजेशन टेक्निक्स पढ़े आज हम लोग अपना सबसे आखिरी ऑप्शन तकनीक पढ़ेंगे जिसका नाम है एडम ऑनेस्टली एडम ही वो ऑप्शन टेक्निक है जो सबसे ज्यादा फेमस है और शायद सबसे ज्यादा उसे होता है तो मुझे लगता है की इसके बारे में आपको आइडिया होना बहुत जरूरी है तो वही हमने इस वीडियो में कवर किया है मैंने एडम के पीछे जो मैथमेटिक्स
डिटेल्स हैं वो समझने की कोशिश की है और साथ ही साथ हर वीडियो की तरह एनिमेशन के थ्रू आ चीज क्लियर करने की कोशिश की है सो लेट्स स्टार्ट डी वीडियो सो गैस लेट्स स्टार्ट आर डिस्कशन अराउंड सबसे पहले एडम का फुल फॉर्म देख लेते हैं एडम का फुल फॉर्म होता है एडाप्टिव मोमेंट ऐस्टीमेशन ठीक है ऑनेस्टली स्पीकिंग एडम इस करेंटली डी मोस्ट पावरफुल ऑप्शन तकनीक और ज्यादातर टाइम्स आप देखोगे की आप अगर किसी ऐन या फिर सीएनएन या फिर किसी आर्यन के साथ कम कर रहे हो तो मोस्ट ऑफ डी टाइम्स आप उसको ऑप्टिमाइज़
करते हो यूजिंग एडम ठीक समझने के लिए आपको थोड़ा आइडिया होना चाहिए जो हमने बाकी ऑप्शन टेक्निक्स अभी तक पड़ी उनका ठीक है सो हमने अभी तक इस कोर्स में आ एसटीडी बैच ग्रेडिएंट मिनी बैच ग्रेडिएंट पड़ा जो की सबसे बेसिक टेक्निक्स है उसके बाद हमने चार और टेक्निक्स पढ़ी थी हमने पढ़ा था मोमेंटम हमने मोमेंटम के साथ देखा था नाग नेस्ट्रो explorated ग्रेडिएंट्स उसके बाद हमने पढ़ा था और अभी लास्ट वीडियो में हमने देखा था आरएमएस क्रॉप सो अगर आपको एडम को अच्छे ढंग से समझना है तो आपको इन सारी टेक्निक्स का आइडिया होना
चाहिए उसका रीजन ये है की एडम इन पुरानी टेक्निक्स से कॉन्सेप्ट्स उधर लेता है ठीक है तो ऑनेस्टली अगर आपने नहीं देखा है तो आप इस प्लेलिस्ट में पिछले चार-पांच वीडियो देखो आपको चीज क्लियर हो जाएंगे अगर आपके पास टाइम नहीं है तो मैं आपको एक क्विक समरी देता हूं की ये पांचो टेक्निक्स की क्या खासियत है और ये कैसे कम करते हैं तो सारी स्टोरी सो अगर आपके पास एक एक इस तरह का वैल्यू है जहां पे आपको मिनीमा तक पहुंचना है तो बैच credian डीसेंट क्या करता है बहुत चुपचाप से इस रैली में
उतर जाता है डी ओनली प्रॉब्लम इस स्पीड उतना फास्ट कम नहीं करता तो यहीं पे फिर कॉन्सेप्ट आया मोमेंटम का सो मोमेंटम का कॉन्सेप्ट क्या है की आप पस्त ग्रेडिएंट को उसे करते हो फॉर योर करंट अपडेट ठीक है डेट इस बार आप नोटिस करना इस रैली में आपको उतरने में जहां 10-12 एबॉक्स लग रहे हैं वही मोमेंटम को सिर्फ दो से तीन ही बॉक्स लगे होंगे सी अराउंड में एकदम नीचे पहुंचकर बिकॉज ऑफ मोमेंटम का कॉन्सेप्ट उसे कर रहे हो वेलोसिटी का कॉन्सेप्ट उसे कर रहे हो फिर मोमेंटम में क्या प्रॉब्लम आया यह ओस्किल्लेशन्स
हम क्रॉस कर जा रहे हैं फिर वापस ए रहे हैं फिर क्रॉस कर जा रहे हैं और धीरे-धीरे हम सैटलाइन हो रहे हैं अपने मिनिमम पर तो यहीं पर कौन से आया फिर नायक का नेस्ट्रो एक्सीलरेटेड अन ग्रेडिएंट का जो इन ओस्किल्लेशन्स को डैंपिंग कर देता है यू कैन सी यहां पे ओस्किल्लेशन्स थोड़े ज्यादा है यू वुड सी osilations थोड़े ज्यादा हैं ये देखो ये बड़ा साइज सर्कल बना के आप ए रहे हो वेयर में आप एक छोटा सर्कल बना रहे हो बिकॉज आपने ओस्किल्लेशन्स को डैंपिंग कर दिया सी ये मैं बोल रहा हूं तो
यहां तक सब ठीक था बट फिर एक नई प्रॉब्लम आई की अगर आपके पास एक पार्ट्स डाटा है या फिर एक पार्ट्स कॉलम है तो क्या प्रॉब्लम होने लगता है की अगर आप अपने बैच को उसे कर रहे हो पहले आप नॉन पास वाले कॉलम की साइड से उतरते हो और फिर आप धीरे-धीरे स्पार्क्स की साइड पर जाते हो तो ओबवियसली दिस इसे नॉट वेरी फास्ट से मोमेंटम में भी यही प्रॉब्लम होता है की आप पहले तेजी से एक डायरेक्शन में उतरते हो फिर तेजी से दूसरे डायरेक्शन में जाते हो तो इसी प्रॉब्लम को सॉल्व
करने के लिए हमने अदाकारा जो इस तरह के डाटा पे सीधे उतर रहा है ये देखो नोटिस करना ठीक है बट फिर अड्डा ग्रेड में क्या प्रॉब्लम था की वह मिनिमम को थोड़ा सा मिस कर जाता है क्योंकि आप अदाकारा में क्या करते हो आप लर्निंग रेट को डीके करते हो रिड्यूस करते हो बट दी के करते-करते इतना ज्यादा डीके हो जाता है की एक पॉइंट के बाद अपडेट लेना ही बंद कर देता है तो फिर इसका सॉल्यूशन का आरएमएस फ्रॉक जो एकदम परफेक्टली कम करता है और एकदम नीचे तक पहुंचता है आपके मैंने माता
ठीक है तो यहां तक की थ्योरी हमने कवर की अब ऑनेस्टली अगर आप सोचो तो हमने दो में इंटरेस्टिंग इतिहास के ऊपर कम किया फर्स्ट था आइडिया ऑफ मोमेंटम और सेकंड था लर्निंग रेट दी यहां पर आप देख सकते हो की मोमेंटम और नायक इस आइडिया के ऊपर बेस्ड है और आरएमएस प्राप्त इन दोनों को मिला दे तो शायद हम और अच्छा आइडिया जेनरेट कर सकते हैं एंड डेट इस डी में प्रिंसिपल बिहाइंड एडम ठीक है तो नेक्स्ट मैं आपको एक मैथमेटिक्स इंशन दूंगा की एडम कैसे कम करता है मैथमेटिकल फॉर्मूलेशन ऑफ एडम ठीक है
एडम का मैथमेटिक्स फॉर्मूलेशन ये होता है यह दिखाता हूं ट प्लस वैन माइंस लर्निंग रेट डिवाइडेड बाय विटी प्लस ऐप्सिलन मल्टीप्लाई मत ठीक बिता वैन टाइम ग्रेडिएंट ऑफ वेट वेक्टर एंड वीटी इसे इक्वल तू बिता तू टाइम ग्रेडिएंट का स्क्वायर ठीक है अब अगर आपने पिछले दोनों वीडियो देखें मोमेंटम का भी और अद्रद का भी तो आप शायद रिकॉग्नाइज कर पाओगे की यहां पर क्या यह जो इक्वेशन है यह हमारा जहां पर हम इस वीटी टॉम को डिवाइड कर देते द लर्निंग रेट के साथ ठीक करनी है आफ्टर कैलकुलेटिंग और वीटी कैलकुलेटर जिसका फॉर्मूला यह
होता है यहां पर टी है आपका नंबर कैलकुलेट कर रहे हो तो तक ऊपर वाले के बारे में बात नहीं कर रहा ठीक है अलसो बिता वैन एंड बिता तू का वैल्यू क्या रहता है वो मैं आपको बता देता हूं बिता वैन का वैल्यू रहता है जनरली पॉइंट 9 और बिता तू का वैल्यू रहता है 99 और यह कंफीग्रेबल है आपके पैरामीटर चेंज कर सकते हो ठीक है तो सबसे पहले आप क्या करोगे आप यह कैलकुलेट करोगे फिर आप यह कैलकुलेट करोगे फिर आप यह कैलकुलेट करोगे और उसको इस फॉर्मूले में दल दोगे ठीक है
एडम में बहुत ज्यादा लर्निंग रेट को चेंज करने की जरूरत नहीं पड़ती वो ऑटोमेटिक के लिए हैंडल हो जाता है ठीक है जो में चीज आपको यहां से समझनी है वह यह है की आपने क्या किया आपने दो कोर इतिहास पड़े द इसके पहले एक था मोमेंटम और एक था लर्निंग रेट दी के आपने उन दोनों को अप्लाई कर दिया इमेज सिंगल फॉर्मूला ठीक है अलसो मैंने ये नहीं बताया की बायर्स करेक्शन क्यों करना होता है बीएस करेक्शन इसलिए करना होता है बिकॉज शुरू में मत और वीटी दोनों का जीरो वैल्यूज जीरो होता है मतलब
एम ऑफ जीरो इस जीरो सी ऑफ जीरो इस अलसो जीरो तो शुरू में एक बायस ए जाता है एकदम जीरो के पास से स्टार्ट होता है उसको ऑफसेट करने के लिए उसको चेंज करने के लिए आप ये बायर्स करेक्शन करते हो दिस इस जस्ट डी मैथमेटिक्स डिटेल इसमें घुसने की ज्यादा जरूरत नहीं है आपको बस जो कोर आइडिया है वो समझना है बाकी कोड तो आप सीधे के रास्ते चला ही सकते हो ठीक समझ में आई नौ आई विल शो यू डी एनीमेशन की एडम कैसा परफॉर्म करता है जहां पर एक कॉलम्स पार है एंड
यू कैन सी एनीमेशन आपको दोनों बिहेवियर शो कर रहा है फर्स्ट मोमेंटम का बिहेवियर आपको दिखा रहा है और दूसरा लर्निंग रेट डीके का भी आपको बिहेवियर दिखा रहा है ठीक है मोमेंटम जो ओरिजिनल था वो कुछ ऐसे कम कर रहा था सी इधर से ए रहा था बट हमारा जो एडम है वो सेंटर से ए रहा है मतलब ऑप्टिमाइज्ड है और इधर आकर के घूम रहा है कॉम्पोनेंट है हमारे इस एल्गोरिथम में और ये सबसे पहले कन्वर्स भी कर रहा है कुछ इनबॉक्स पहले का कन्वर्ट कर रहा है हालांकि यहां पर कन्वैक्स ऑप्शन प्रॉब्लम
मैं आपको उतना समझ में नहीं आएगा बट व्हेन यू आर वर्किंग विद अन प्रॉपर परिसर न्यूरल नेटवर्क जहां पर नॉन कन्वैक्स ऑप्शन हो रहा है वहां पर यह एल्गोरिथम बहुत अच्छा परफॉर्म करता है बड़े इंसान कुछ और भी ऑप्शन टेक्निक्स होते हैं जैसे की अदा डेल्टा एन एडम ये सब हमने नहीं पढ़ा बट कौन सा हमें उसे करना चाहिए सो इन मोस्ट केसेस अगर आप दीप लर्निंग में कम कर रहे हो तो एडम इसे अन गुड स्टार्टिंग पॉइंट आप एडम चला कर देखो सीधा रिजल्ट्स अगर उससे अच्छा नहीं मिल रहा है तो यू कैन ट्राई
आरएमएस प्रोप अगर आपके पास कभी-कभी इस तरह से भी होता है की मोमेंटम अच्छा परफॉर्म कर जाता है सो इन शॉर्ट कोई क्लियर आंसर नहीं है बट पिछले 3-4 सालों में जनरली एडम ज्यादा अच्छे रिजल्ट्स दे रहा है ओवर डिफरेंट किड्स ऑफ प्रॉब्लम तो एडम्स अन गुड स्टार्टिंग पॉइंट बट यू कैन अलसो हाइपरपैरामीटर ट्यूनिंग और आप चला कर देख सकते हो की आपको कौन सा चीज आपके डाटा पे सबसे अच्छा रिजल्ट दे रहा है ठीक है तो व्हाट डिड मेरे हिसाब से इतना ही रहेगा की स्टार्ट विद एडम एंड इफ यू नॉट सेटिस्फाइड विद डी
रिजल्ट
