دوره اصول هادپ

دوره آموزش هادوپ سید محمدامین ساجدی

سلام بر همه علاقه مندان به مبحث بزرگ داده

در این قسمت بدنبال ترجمه و دوبله دوره آموزشی لیندا با نام “اصول و اساس هادوپ” برای شما دوستان هستم. هر چند روز یکبار ویدئوی جدیدی به لیست ویدئوهای دوبله شده موجود در سایت اضافه خواهد شد.


 

آخرین بروزرسانی:

تا قسمت ۷ از فصل ۴ ترجمه، دوبله و آپلود شد(۸ بهمن ۱۳۹۵).


 

در زیر لیست سرفصل ها به همراه لینک هر ویدئو را مشاهده می کنید.

 

1 مقدمه

1.1  خوش آمد گویی

1.2 آنچه باید قبل از تماشای ویدئوها بدانید

1.3 استفاده از فایل های تمرین


 

2 چرا از پایگاه داده های رابطه ای دور شویم؟

2.1 شناخت محدودیت های سیستم های مدیریت پایگاه داده های رابطه ای

2.2 مقدمه ای بر نظریه CAP

2.3 مفهوم بزرگ داده


 

3 هادوپ چیست؟

3.1 آشنایی با هادوپ

3.2 تفاوت هادوپ و HBase

3.3 آینده هادوپ


 

4 درک اجزای اساسی هادوپ

4.1 درک ماشین مجازی جاوا

4.2 شناخت سیستم فایل توزیع شده هادوپ و دیگر سیستم فایل ها

4.3 معرفی اجزای کلاستر هادوپ

4.4 شناخت توزیع های هادوپ و Cloudera

4.5 شناخت توزیع های MapR و Hortonworks

4.6 بررسی هادوپ Coudera در نسخه Cloudera Live

4.7 شناخت نسخه های هادوپ

4.8 کار با سرویس های AWS و Windows Azure


 

5 راه اندازی محیط توسعه هادوپ

5.1 شناخت اجزا و قسمت ها

5.2 میزبانی هادوپ بصورت محلی با نسخه توسعه دهنده توزیع Cloudera

5.3 راه اندازی ماشین مجازی نسخه توسعه دهنده توزیع cloudera بر روی نرم افزار مجازی ساز

5.4 اضافه کردن کتابخانه های هادوپ به محیط توسعه خود

5.5 انتخاب زبان برنامه نویسی و محیط توسعه

5.6 کار با ماشین مجازی Cloudera و IDE موجود


 

6 درک MapReduce

6.1 شناخت MapReduce

6.2 آشنایی با اجزای مختلف MapReduce

6.3 کار با سیستم فایل هادوپ

6.4 استفاده از کنسول برای اجرای یک کار MapReduce

6.5 بازبینی کد برای یک کار شمارش کلمات در MapReduce

6.6 اجرا و پیگیری کارهای هادوپ


 

7 پیکربندی MapReduce

7.1 پیکربندی با روش های فیزیکی

7.2 پیکربندی mapper

7.3 پیکربندی reducer

7.4 استفاده از کش برای جستجوها


 

8 درک MapReduce 2.0 YARN

8.1 شناخت MapReduce

8.2 کدنویسی اولیه شمارش کلمات در جاوا با MapReduce 2.0

8.3 بررسی شمارش کلمات پیشرفته با جاوا در MapReduce 2.0


 

9 درک Hive

9.1 معرفی Hive

9.2 درک Hive

9.3 بررسی دوباره شمارش کلمات اینبار با Hive

9.4 شناخت بیشتر بهینه سازی پرس و جوهای HQL

9.5 آشنایی با ابزارهای Hive در توزیع Cloudera و کنسول وب Hue


 

10 درک Pig

10.1 معرفی Pig

10.2 درک Pig

10.3 بررسی موارد کاربرد برای Pig

10.4 بررسی ابزارهای Pig در توزیع Cloudera


 

11 شناخت روند کار و متصل کننده ها

11.1 معرفی Oozie

11.2 ساخت workflow با Oozie

11.3 معرفی Sqoop

11.4 ورود داده با Sqoop

11.5 معرفی Flume

11.6 معرفی ZooKeeper

11.7 استفاده از ZooKeeper برای هماهنگ سازی workflow


 

12 دیگر کتابخانه های هادوپ

12.1 معرفی Impala

12.2 استفاده از Impala

12.3 معرفی Mahout

12.4 معرفی Storm


 

13 شناخت Spark

13.1 معرفی Apache Spark

13.2 شناخت محدوده کاری Hive


 

14 بصری سازی خروجی هادوپ به همراه ابزارها

14.1 استفاده از Tableau, Excel و ابزارهای سنتی

14.2 استفاده از D3, BigML و ابزارهای جدید


 

15 نتیجه گیری

15.1 گام های بعدی