روش ارسال یک فایل به HDFS

Facebooktwittergoogle_pluspinterestlinkedinmail
Print Friendly, PDF & Email

 

سیستم فایل هادوپ

سیستم فایل هادوپ

1- client  یک درخواست create به NameNode ارسال می کند.


2- NameNode چک می کند که این فایل وجود نداشته باشد و همچنین این client مجوز write داشته باشد.


3- حالا NameNode تعیین می کند که این فایل باید در کدام DataNode اولین بلوک داده ای خودش را بنویسد.


4- اگر client به آن DataNode متصل باشد عمل نوشتن را انجام می دهد در غیر اینصورت به آن DataNode متصل می شود.


5- بصورت پیش فرض این بلوک داده ای در 2 جای دیگر از کلاستر کپی (تکثیر) می شود.


6- یک pipeline بین 3 گره داده (DataNode) که محل قرارگیری بلوک داده ای و کپی ها می باشند ایجاد می شود.


7- DataNode  دوم بصورت تصادفی از میان DataNodeهای یک رک غیر از DataNode اول انتخاب می شود.


8- DataNode سوم روی همان رکی که DataNode دوم قرار دارد انتخاب می شود.


9- داده از DataNode دوم به سوم کپی می شود.


10- برای اطمینان از نوشته شدن فایل یک بسته acknowledge از DataNode سوم به دوم فرستاده می شود و به همین صورت هم از دوم به اول فرستاده می شود. در نهایت هم یک acknowledge به client ارسال می شود.

نکته:  

  • این فرایند برای تمامی بلوک های داده ای فایل ها انجام می شود.
  • پس برای هر بلوک داده ای، کپی های آن بلوک در 2 رک قرار داده می شوند.

11- وقتی که client بسته acknowledge را دریافت می کند، به NameNode اعلام می کند که عمل write کامل شده است و NameNode هم فاکتور تکثیر (replication factor) را برای آن بلوک داده ای بررسی می کند که حداقل تعداد کپی ها برای آن بلوک داده ای ایجاد شده باشد و سپس به client پاسخ می دهد.

شما احتمالا این مطالب را نیز دوست دارید...

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *