۴.۷ شناخت نسخه های هادوپ

دوره آموزش هادوپ سید محمدامین ساجدی

در این ویدئو به توضیح اجمالی درباره نسخه های مختلف هادوپ می پردازیم. این ویدئو قسمتی از ویدئوهای دوره اموزشی Hadoop Fundamentals از لیندا هست که توسط خودم ترجمه و دوبله شده.

وقتی که درباره یک تکنولوژی جدید صحبت می کنیم بد نیست که تاریخچه ای از نسخه های اون رو هم بدونیم. انتشار اولیه هادوپ در سال 2007 اتفاق افتاد ولی نسخه پایدار اون سال 2011 منتشر شد. پس یعنی فقط چند ساله که منتشر شده. این رو هم باید بگم که جامعه متن باز روز به روز درحال توسعه هادوپ و کتابخونه های اون هستن. نسخه عمده و پایدار نسخه 2.2 بود که در سال 2013 به همراه MapReduce2 بنام YARN منتشر شد. نسخه 2.4 هم یک سال بعد در اواسط 2014 منتشر شد که قابلیت های خاصی برای نسخه های تجاری اون داشت. ویژگی هایی مثل row update, Access Control List ، پشتیبانی کامل از https و … . این ها همه توی نسخه پایدار از هادوپ منتشر شدن که نقطه اغاز نسخه های تجاری بحساب اومدن. 0:54

یه نکته مهم دیگه ای که باید در نظر داشته باشید این هست که ایا می خواین در فضای ابری کار کنید یا نه؟ من اینجا فقط اون هایی رو که خیلی شناخته شده هستن و خودم هم با اونها کار می کنم رو به شما معرفی می کنم. این فضاها کلاستری هایی از ماشین های مجازی هستن. یا سیستم هایی که بصورت نسبی توزیع شدن. پس بعنوان مثال اگر بخواین از یه فضای ابری مثل ابر امازون استفاده کنید، می تونید فقط یکسری ماشین مجازی EC2 به نام Elastic MapReduce نصب کنید و شروع به نصب هادوپ روی اون ها بکنید و بعدش هم پیکربندی و راه اندازی کنید. اما اکثر مشتری ها مستقیم از ابر استفاده می کنن تا دیگه مجبور به انجام این چنین تنظیماتی نباشن. 1:42

هردوی امازون و مایکروسافت این نوع توزیع نسبی رو دارن. مایکرسافت هم HDInsight رو داره که مثل Elastic MapReduce هست. امازون به این سیستمش EMR می گه و مایکروسافت هم میگه HDInsight .


دیگر سرفصل های دوره آموزشی هادوپ

1 مقدمه
2 چرا از پایگاه داده های رابطه ای دور شویم؟
3 هادوپ چیست؟
4 درک اجزای اساسی هادوپ
5 راه اندازی محیط توسعه هادوپ
6 درک MapReduce
7 پیکربندی MapReduce
8 درک MapReduce 2.0 YARN
9 درک Hive
10 درک Pig
11 شناخت روند کار و متصل کننده ها
12 دیگر کتابخانه های هادوپ
13 شناخت Spark
14 بصری سازی خروجی هادوپ به همراه ابزارها
15 نتیجه گیری