۴.۵ شناخت توزیع های MapR و Hortonworks

دوره آموزش هادوپ سید محمدامین ساجدی

در این ویدئو به توضیح اجمالی درباره توزیع های Hortonworks و MapR می پردازیم. این ویدئو قسمتی از ویدئوهای دوره اموزشی Hadoop Fundamentals از لیندا هست که توسط خودم ترجمه و دوبله شده.

 

همینطور توی این دوره جلو می ریم 2 تا از توزیع های تجاری دیگه هادوپ رو می خوام به شما نشون بدم. یکی از اونها hortonworks هست و دیگری هم MapR . توی وب سایت hortoneorks هستیم. اگر به مخصولاتش نگاه کنید می بینید که پلتفرم hortonworks data رو بفروش میرسونه که روی HDP 2.2 هست. نکته جالب درباره hortonworks اینه که توزیعی مخصوص لینوکس هم دارن. 0:29

توزیعی مخصوص ویندوز هم دارن. درواقع با تیم مایکروسافت هم همکاری کردن تا نسخه Azure از hortonworks رو هم پیاده سازی کنن. اما می تونید به قسمت دانلود برید و نسخه های محلی و سروری اون رو دانلود کنید. یک راه ساده تر هم وجود داره و اینه که بطور مستقیم و سریع کارتون رو با Sandbox اغاز کنید. 0:54

یا هم از نسخه ی تحت وب هادوپ استفاده کنید. حالا بریم و به یه توزیع دیگه که MapR هست نگاه کنیم. MapR یه کار دیگه توی توزیع های خودش انجام داده. اون ها سیستم فایلی که استفاده می کنن رو تغییر دادن. اگر به محصولاتش نگاه کنید می بینید که یک سیستم فایل NoSQL داره. 1:20

چون که مشتریانشون کسانی بودن که نیاز به NoSQL داشتن بعلاوه اینکه یکسری افزونه ها دارن که به سیستم های شما قابلیت های جدیدی اضافه می کنه. Drill, Spark و Search. 1:36

نسخه sandbox و cloud هم موجوده. یه چیز دیگه ای که هنگام کار با هادوپ باید دنبال اون باشید، پیدا کردن منابع مخصوص توسعه دهندگان هست. تقریبا همه توزیع های تجاری قسمت هایی به نام های developer samples, developer resources دارن. اگر به developer resources برم 1:52

می بینید که اطلاعاتی دراختیار شما قرار داده. دلیل اینکه باید به این قسمت ها سر بزنید اینه که هر توزیعی برای خودش شرایط و قوانینی داره که با دیگری متفاوت هست و باید با اون ها اشنا باشید تا بعدا به مشکل برخورد نکنید. بخصوص باید قبل از انتخاب توزیع کتابخونه های مورد نیازتون رو پیدا کنید و بعدش سراغ انتخاب توزیع برید. اینجا می بینید که MapR از پروژه Apache Tez پشتیبانی می کنه. 2:18

البته خیلی زمان میبره تا با همه اینها اشنا بشید. می بینید که نوشته Apache Tez بالای YARN قرار می گیره. توی ویدئوی قبلی درباره YARN صحبت کردیم و گفتیم که MapReduce 2 به همراه عملکرد بالای پردازش دسته ایه که بر روی هادوپ قرار می گیره. پس یکی از جنبه های مهم و قابل توجه در هادوپ همین کتابخونه هایی هست که با اضافه شدنشون به سیستم شما قابلیت های بخصوص تعاملی جدیدی اضافه می کنن.

 

 


دیگر سرفصل های دوره آموزشی هادوپ

1 مقدمه
2 چرا از پایگاه داده های رابطه ای دور شویم؟
3 هادوپ چیست؟
4 درک اجزای اساسی هادوپ
5 راه اندازی محیط توسعه هادوپ
6 درک MapReduce
7 پیکربندی MapReduce
8 درک MapReduce 2.0 YARN
9 درک Hive
10 درک Pig
11 شناخت روند کار و متصل کننده ها
12 دیگر کتابخانه های هادوپ
13 شناخت Spark
14 بصری سازی خروجی هادوپ به همراه ابزارها
15 نتیجه گیری