Би Hadoop-ийг spark-д сурах хэрэгтэй юу?
Би Hadoop-ийг spark-д сурах хэрэгтэй юу?

Видео: Би Hadoop-ийг spark-д сурах хэрэгтэй юу?

Видео: Би Hadoop-ийг spark-д сурах хэрэгтэй юу?
Видео: Data Science with Python! Analyzing File Types from Avro to Stata 2024, Арваннэгдүгээр
Anonim

Үгүй ээ, чи тэгэхгүй Hadoop сурах хэрэгтэй руу Spark сур . Оч бие даасан төсөл байсан. Харин ЯРНандын дараа Hadoop 2.0, Оч учир нь алдартай болсон Оч бусадтай хамт HDFS дээр ажиллах боломжтой Hadoop бүрэлдэхүүн хэсгүүд. Hadoop нь Java ангиудыг өвлөн авах замаар MapReduce ажлыг бичих хүрээ юм.

Үүний нэгэн адил, Spark эсвэл Hadoop-ийн аль нь илүү дээр вэ?

Эхний ба гол ялгаа нь RAM-ийн багтаамж ба түүнийг ашиглах явдал юм. Оч ашигладаг илүү Санамсаргүй хандалтын санах ой Hadoop , гэхдээ энэ нь бага хэмжээний интернет эсвэл дискний санах ойг "иддэг" тул хэрэв та ашигладаг бол Hadoop , энэ нь илүү сайн том дотоод санах ойтой хүчирхэг машин олох.

Хоёрдугаарт, Hadoop сурахад хялбар уу? Hadoop програмчлал юм Илүү амархан SQL-ийн ур чадвартай хүмүүст зориулсан - Pig and Hive-ийн ачаар. Оюутнууд эсвэл ямар ч програмчлалын мэдлэггүй, зүгээр л SQL-ийн үндсэн мэдлэгтэй мэргэжлийн хүмүүс эзэмшиж чадна Hadoop иж бүрэн дадлагаар дамжуулан Hadoop хичээл зүтгэл, хүсэл эрмэлзэлтэй бол сургах сурах.

Мөн Hadoop сурахад хэр хугацаа шаардагдах вэ гэж асуусан.

ойролцоогоор 3-4 сар

Оч Hadoop-ыг орлож байна уу?

Оч хэзээ ч байж болохгүй солих төлөө Hadoop ! Оч нь дээд талд ажилладаг боловсруулах хөдөлгүүр юм Hadoop экосистем. Дээрх архитектурт үзүүлснээр, Оч -д MapReduce-ийн оронд ирдэг Hadoop экосистем. Үүнд бусад бүрэлдэхүүн хэсгүүд байдаг Hadoop Pig and Hive зэрэг өгөгдлийг боловсруулах архитектур.

Зөвлөмж болгож буй: