मोठा डेटा आणि हडूप विकसक आणि प्रशासक यांच्यात काय फरक आहे?


उत्तर 1:

आपण बिग डेटा आणि हडूपची तुलना करू शकत नाही कारण बिग डेटा एक समस्या आहे आणि त्यास हॅडूपने समाधान प्रदान केले आहे. हडूप विकसक आणि हडूप प्रशासक हडूपच्या दाखल आहेत.

बिग डेटा हा डेटाचा एक मोठा संग्रह आहे कारण नावाचा अर्थ "बिग डेटा" आहे. पारंपारिक पद्धतीने यावर प्रक्रिया केली जाऊ शकत नाही कारण बहुतेक डेटा जनरेशन हे अप्रचलित स्वरूप आहे. तर, हडूप या समस्येवर तोडगा म्हणून उदयास आला.

तर, चला बिग डेटा आणि हॅडूपबद्दल तपशीलवार अभ्यास करूया जेणेकरून आपल्याला मोठा डेटा आणि हॅडूपबद्दल संपूर्ण कल्पना येऊ शकेल.

गार्टनरच्या मते: मोठा डेटा म्हणजे प्रचंड प्रमाणात, वेगवान आणि भिन्न भिन्न माहिती मालमत्ता ज्या वर्धित अंतर्दृष्टी आणि निर्णय घेण्याकरिता अभिनव व्यासपीठाची मागणी करतात.

व्हॉल्यूम डेटा स्केल म्हणून संदर्भित

वेग स्ट्रीमिंग डेटाचे विश्लेषण म्हणून संदर्भित करते

विविधता डेटाचे फॉर्म म्हणून संदर्भित करतात

  • दुसरा प्रश्न उद्भवतो की आपण बिग डेटा का शिकला पाहिजे

बिग डेटा हा डेटा व्यवस्थापन आणि हाताळणीशी संबंधित सर्व निराकरण न झालेल्या समस्यांचे निराकरण करण्याचा एक मार्ग आहे, पूर्वीच्या उद्योगात अशा समस्यांसह जगण्यासाठी वापरले जात असे. बिग डेटा ticsनालिटिक्ससह आपण लपलेले नमुने अनलॉक करू शकता आणि ग्राहकांचे 360-डिग्री दृश्य जाणून घेऊ शकता आणि त्यांच्या गरजा चांगल्या प्रकारे समजू शकता.

बिग डेटाच्या परिचयासाठी खाली व्हिडिओ पहा.

आपण मोठ्या डेटाचा इतिहास जाणून घेण्यास इच्छुक असल्यास मोठ्या डेटाच्या इतिहासासाठी खालील दुवा पहा

बिग डेटा चा इतिहास

आता हडूप बरोबर पुढे जा,

हडूप हे एएसएफचे मुक्त स्रोत साधन आहे. एचडीएफएस डेटाची प्रचंड मात्रा विश्वासार्हतेने संग्रहित करते.

आता पाहूया एचडीएफएसने समाधान कसे प्रदान केले

हडूपमध्ये, एचडीएफएस मोठ्या फायली ब्लॉक म्हणून ओळखल्या जाणा small्या छोट्या भागांमध्ये विभाजित करते. फाईलसिस्टममधील डेटाचे हे सर्वात लहान एकक आहेत. आमच्या (क्लायंट आणि प्रशासक) ब्लॉक स्थानाप्रमाणे ब्लॉकवर कोणतेही नियंत्रण नाही. नेम्नोड अशा सर्व गोष्टी ठरवते.

एचडीएफएस प्रत्येक फाईल ब्लॉक म्हणून साठवते. तथापि, एचडीएफएस मधील ब्लॉक आकार खूप मोठा आहे. एचडीएफएस ब्लॉकचे डीफॉल्ट आकार 128MB आहे जे आपण आपल्या आवश्यकतेनुसार कॉन्फिगर करू शकता. फाईलचे सर्व ब्लॉक शेवटचे ब्लॉक वगळता समान आकाराचे आहेत, जे एकतर समान आकाराचे किंवा त्यापेक्षा लहान असू शकतात. फायली 128 एमबी ब्लॉक्समध्ये विभागल्या जातात आणि नंतर हडूप फाइल सिस्टममध्ये साठवल्या जातात. हाडूप multipleप्लिकेशन एकाधिक नोड्समध्ये डेटा ब्लॉक वितरित करण्यासाठी जबाबदार आहे.

आता वरील उदाहरणावरून जिथे फाईल आकार 51१8 एमबी आहे समजा आपण ब्लॉक आकार १२ 12 एमबी चे डीफॉल्ट कॉन्फिगरेशन वापरत आहोत. नंतर 5 ब्लॉक तयार केले जातील, पहिले चार ब्लॉक्स 128MB चे असतील, परंतु शेवटचा ब्लॉक फक्त 6 MB आकाराचा असेल. वरील उदाहरणावरून हे स्पष्ट झाले की एचडीएफएसमध्ये संग्रहित केलेली प्रत्येक फाइल कॉन्फिगर केलेल्या ब्लॉक आकार 128mb, 256mb इत्यादींच्या अचूक एकापेक्षा जास्त असणे आवश्यक आहे, म्हणून फाईलसाठी अंतिम ब्लॉक आवश्यक तितकी जागा वापरते.

एचडीएफएसच्या अधिक तपशीलासाठी खालील दुव्याचा संदर्भ घ्या:

एचडीएफएस - एक संपूर्ण मार्गदर्शक

आता हडूप विकसक आणि हडूप प्रशासकाकडे जाऊया.

हडूप विकसक

हडूप विकसकांच्या जबाबदा responsibilities्या सिस्टम सिस्टीमच्या डिझाइननुसार प्रोग्राम लिहिणे असतात आणि त्यास कोडिंग आणि प्रोग्रामिंगबद्दल योग्य ज्ञान असणे आवश्यक आहे. हॅडॉप विकसकाचे कार्य सॉफ्टवेअर विकसकासारखे आहे परंतु बिग डेटा डोमेनमध्ये आहे. हॅडॉप विकसकाच्या नोकरीमध्ये मजबूत दस्तऐवजीकरण कौशल्यांबरोबरच समस्यांचे निराकरण, डिझाइन आणि आर्किटेक्चरिंग समजून घेणे आणि कार्य करणे देखील समाविष्ट आहे.

हडूप प्रशासक

हडूप jobsडमिनिस्ट्रेशनच्या जबाबदा job्या सिस्टम प्रशासकाच्या नोकर्‍यासारखेच आहेत. हडोप अ‍ॅडमिन भूमिका आणि जबाबदा्यांमध्ये हडूप क्लस्टर स्थापित करणे, बॅकअप घेणे, पुनर्प्राप्ती करणे आणि त्याची देखभाल करणे समाविष्ट आहे. हॅडॉप administratorडमिनिस्ट्रेटरकडून हार्डवेअर सिस्टम आणि हॅडॉप आर्किटेक्चरचे चांगले ज्ञान आवश्यक आहे.

तर, हडूपची अधिक माहिती जाणून घेण्यासाठी खालील दुव्याचा संदर्भ घ्या.

हडूपमधील विविध फील्ड आणि त्यातील नोकरीच्या भूमिकांमध्ये

आशा आहे की मी तुमच्या क्वेरीला उत्तर दिले.


उत्तर 2:

हडूप डेव्हलपर आणि प्रशासकाची भूमिका समजून घेण्यासाठी खालील वर्णनाचा संदर्भ घ्या.

बिग डेटा हडूप विकसक:

हडूप विकसक हडूप अनुप्रयोगांच्या वास्तविक कोडिंग / प्रोग्रामिंगसाठी जबाबदार आहे. ही भूमिका सॉफ्टवेअर विकसक किंवा अनुप्रयोग विकसकाचे समानार्थी आहे; समान भूमिकेचा संदर्भ देतो परंतु बिग डेटा डोमेनमध्ये. हॅडोपचा एक घटक मॅपरेड्यूस आहे जेथे आपल्याला जावा प्रोग्राम लिहिणे आवश्यक आहे. तर, आपल्याकडे जावाचे मूलभूत ज्ञान असल्यास ते पुरेसे आहे. परंतु, आपल्याकडे जावाचे ज्ञान नसल्यास, परंतु इतर कोणत्याही प्रोग्रामिंग भाषेचे ज्ञान असल्यास आपण त्वरेने पकडू शकता.

आवश्यक कौशल्ये:

  •  ओपनबीग डेटा हॅडॉप ratorडमिनिस्ट्रेटर सारख्या फ्ल्युम आणि स्क्वूप वर्कफ्लो / शेड्यूलर्सचे ज्ञान यासारख्या डेटा लोडिंग साधनांसह एचआयव्हीक्यूएल परिचिततेमध्ये मॅपरेड्यूस जॉब लिहिण्याची क्षमता:

हडोप infrastructureडमिनिस्ट्रेटर्सच्या अंमलबजावणीसाठी आणि चालू असलेल्या प्रशासनासाठी हडूप प्रशासक जबाबदार आहे. हडोपसाठी आवश्यक नवीन हार्डवेअर आणि सॉफ्टवेअर वातावरण प्रस्तावित करण्यासाठी आणि विद्यमान वातावरण विस्तृत करण्यासाठी सिस्टम अभियांत्रिकी कार्यसंघाशी समन्वय साधण्याची आवश्यकता आहे.

नवीन हॅडॉप वापरकर्त्यांची स्थापना करण्यासाठी डेटा वितरण संघांसह कार्य करणे आवश्यक आहे. या जॉबमध्ये लिनक्सची स्थापना करणे, केर्बेरोस प्रिन्सिपल्सची स्थापना करणे आणि नवीन वापरकर्त्यांसाठी एचडीएफएस, पोळे, डुक्कर आणि मॅपड्यूड्यूस प्रवेशाची चाचणी समाविष्ट आहे. क्लस्टर देखभाल तसेच गँगलिया, नागीओस, क्लोडेरा मॅनेजर एंटरप्राइझ, डेल ओपन मॅनेज आणि इतर साधने वापरुन नोड्स तयार करणे आणि काढणे.

आवश्यक कौशल्ये:

  •  हडूप इन्फ्रास्ट्रक्चरची अंमलबजावणी आणि चालू प्रशासन गँगलिया, नागीओस, क्लोडेरा मॅनेजर एंटरप्राइझ, डेल ओपन मॅनेज आणि इतर साधने वापरुन क्लस्टर देखभाल, नोड्स तयार करणे आणि काढणे. हॅडॉप लॉग फायली व्यवस्थापित करा आणि त्यांचे पुनरावलोकन करा. फाइल सिस्टम व्यवस्थापन आणि देखरेख. एचडीएफएस समर्थन आणि देखभाल पिग, हाइव्ह, एचबेस, ओझी इत्यादी हडूप इकोसिस्टम कॉन्फिगर करणे हॅडॉप क्लस्टर आणि हॅडॉप मॅपरेड्यूस रूटीनची परफॉरमन्स ट्युनिंग

उत्तर 3:

हाय शेखर,

हडूप विकसकासाठी आपल्याला मॅप्रेड्यूसमध्ये कोड लिहिणे आवश्यक आहे किंवा अनुक्रमे पोळे आणि डुक्कर मध्ये क्वेरी आणि लॅटिन स्क्रिप्ट बनविणे आवश्यक आहे.

प्रशासकासाठी आपण लिनक्स सर्व्हरमधील भिन्न नोड्स आणि मॅपरेड्यूस कार्य देखरेख ठेवता. तसेच तुम्हाला हॅडॉप नोड्स यशस्वीरित्या चालविण्यासाठी कमोडिटी हार्डवेअर टिकवावे लागेल.


उत्तर 4:

हे समजून घेणे महत्वाचे आहे की बिग डेटा आणि हॅडूप एकसारखे नसतात.

बिग डेटा ही एक संकल्पना आहे, ज्यात मोठ्या प्रमाणात व्हॉल्यूम आणि विविध डेटासेट उपलब्ध आहेत.

हाडूप ही प्रचंड प्रमाणात डेटा संचयित करण्यासाठी, व्यवस्थापित करण्यासाठी आणि विश्लेषणासाठी तंत्रज्ञानाची पायाभूत सुविधा आहे.

क्लाउड डेव्हलपर आणि क्लाऊड अ‍ॅडमिन म्हणून हदोप (किंवा हडूपचे इतर कोणतेही व्यावसायिक भिन्नता) विकसक आणि प्रशासक यांच्यात फरक आहे. विकसक संस्थेत बिग डेटा इन्फ्रास्ट्रक्चर आणि व्यवस्थापन पैलूंसाठी आवश्यक अनुप्रयोग आणि घटना तयार करेल. यात कोडिंग आणि मॅप्रिड्यूस, पोळे, स्कूप, ओझी, स्पार्क इ. सह काम करणे समाविष्ट आहे. दुसरीकडे प्रशासक सध्या चालू असलेल्या पायाभूत सुविधांची अंमलबजावणी, देखरेख व देखरेख ठेवेल, विविध साधने व खाती, देखरेख, क्लस्टर सेट करेल आणि तैनात करेल व्यवस्थापन, कार्यप्रदर्शन ट्यूनिंग आणि बरेच काही.

अधिक माहितीसाठी प्रमाणपत्रे@wiley.com वर आमच्याशी संपर्क साधा.