Hadoop дээр өгөгдөл дамжуулах гэж юу вэ?
Hadoop дээр өгөгдөл дамжуулах гэж юу вэ?

Видео: Hadoop дээр өгөгдөл дамжуулах гэж юу вэ?

Видео: Hadoop дээр өгөгдөл дамжуулах гэж юу вэ?
Видео: Hadoop 5 минутын дотор | Hadoop гэж юу вэ? | Hadoop-ийн танилцуулга | Hadoop тайлбарласан |Хялбар сургах 2024, Есдүгээр
Anonim

Hadoop урсгал . Hadoop дамжуулалт -тэй хамт ирдэг хэрэгсэл юм Hadoop хуваарилалт. Тус хэрэгсэл нь газрын зураг/багасгах ажлыг дурын гүйцэтгэгч болон скриптээр зураглагч ба/эсвэл бууруулагчаар үүсгэж ажиллуулах боломжийг олгодог.

Мөн Hadoop дээр стриминг гэж юу вэ?

Hadoop урсгал нь ямар ч хэл дээр Mappers болон Reduces бичих боломжийг олгодог ерөнхий API юм. Гэхдээ үндсэн ойлголт нь хэвээрээ байна. Mappers and Reducer нь stdin болон stdout дээр оролт, гаралтыг (түлхүүр, утга) хосоор хүлээн авдаг. Апачи Hadoop ашигладаг урсгалууд UNIX стандартын дагуу таны програм болон Hadoop систем.

Багц болон урсгал өгөгдөл гэж юу вэ? А багц -ийн цуглуулга юм өгөгдөл тодорхой хугацааны интервалд нэгтгэсэн цэгүүд. Үүнд ихэвчлэн хэрэглэгддэг өөр нэг нэр томъёо нь цонх юм өгөгдөл . Дамжуулж байна боловсруулалт нь тасралтгүй өгөгдөл том болж хувирах түлхүүр юм өгөгдөл хурдан руу өгөгдөл.

Үүний нэгэн адил, өгөгдөл дамжуулах гэж юу гэсэн үг вэ?

Дамжуулах өгөгдөл байна өгөгдөл өөр өөр эх сурвалжаас тасралтгүй бий болдог. Ийм өгөгдөл ашиглан үе шаттайгаар боловсруулах ёстой Дамжуулах Бүх зүйлд хандахгүйгээр боловсруулах техник өгөгдөл . Энэ нь ихэвчлэн том гэсэн утгаар хэрэглэгддэг өгөгдөл Энэ нь олон янзын эх сурвалжаас өндөр хурдтайгаар үүсгэгддэг.

Hadoop урсгалын сав хаана байдаг вэ?

The Hadoop урсгалтай сав EMR-ийн хамгийн сүүлийн хувилбар дээр байгаа хэвээр байна Hadoop . EMR хувилбар 4.0-аас эхэлнэ. 0-ийг /usr/lib/ дээрээс олж болно. hadoop - зураглал / hadoop - урсгал.

Зөвлөмж болгож буй: