لایه ذخیره سازی توزیع شده(هادوپ)

Facebooktwittergoogle_pluspinterestlinkedinmail
Print Friendly, PDF & Email

سیستم فایل HDFS

استفاده از منابع ذخیره سازی بسیار بزرگ و پردازش های توزیع شده یک تغییر اساسی مورد نیاز در هنگام ورود سازمان های بزرگ به بزرگ داده می باشد. یک سیستم ذخیره سازی توزیع شده به کاربران خود قول تحمل خطا را می دهد و عمل موازی سازی نیز امکان اجرای الگوریتم های پردازشی توزیع شده بسیار بزرگ با سرعت بالا روی داده های با حجم بالا را می دهد. سیستم فایل توزیع شده هادوپ اساس و بنیاد لایه ذخیره سازی بزرگ داده به حساب می آید.


هادوپ یک چارچوب متن باز است که به ما اجازه ذخیره سازی حجم عظیم داده بر روی ماشین های توزیع شده ارزان قیمت را می دهد. هادوپ به ما امکان جداسازی مهندسی نرم افزار های پردازشی توزیع شده و منطق واقعی برنامه هایی که قصد اجرای آن ها را داریم می دهد.


هادوپ شما را قادر به تعامل با خوشه های منطقی پردازش و گره های ذخیره سازی بجای تعامل مستقیم با پردازنده ها و سیستم عامل می کند.


 دو مولفه بزرگ هادوپ به این قرار است: یک سیستم فایل توزیع شده با قابلیت گسترش (HDFS)که بتواند داده های در اندازه پتابایت را پشتیبانی نماید و یک موتور با قابلیت مقیاس پذیری بسیار بالا(MapReduce) که نتایج را بصورت دسته ای محاسبه نماید.


HDFS یک سیستم فایل طراحی شده برای ذخیره سازی حجم عظیم از اطلاعات (پتابایت یا ترابایت) بر روی تعدادی ماشین موجود در یک خوشه می باشد. این سیستم داده ها را بصورت قابل اطمینان ذخیره سازی کرده، بر روی سخت افزار های رایج موجود قرار می دهد، از بلاک ها برای ذخیره سازی فایل یا قسمتی از یک فایل استفاده کرده و از روش یکبار نوشتن و چندین بار خواندن برای دستیابی به فایل های موجود استفاده می کند.


HDFS نیازمند برنامه های پیچیده خواندن/ نوشتن توسط برنامه نویسان حرفه ای  و با تجربه می باشد. این سیستم به راحتی قابل دستیابی به عنوان یک ساختمان داده منطقی برای پیاده سازی داده ها نمی باشد. برای تسهیل در استفاده و بکارگیری آن شما بایستی از سیستم های توزیع شده جدید و غیر رابطه ای مرسوم و شناخته شده در دنیای بزرگ داده مثل  موارد زیر استفاده کنید:

  • جفت کلید-مقدار
  • سندگرا
  • گرافی
  •  ستونی
  • پایگاه داده های  لیستی از پایگاه داده های موجود در سیستم – جغرافیایی 

 

درباره

توی چندسال گذشته در زمینه مدیریت محصول در شرکت ها و استارتاپ های مختلف مشغول به فعالیت بودم و روز به روز به اشتیاقم به این زمینه افزوده میشه. درحال حاضر مدیر محصول دیجی پی هستم و بعنوان مشاور محصول استارتاپ های مختلف نیز فعالیت دارم.

بدون دیدگاه

ارسال دیدگاه