Өргөн нэвтрүүлгийн оч гэж юу вэ?
Өргөн нэвтрүүлгийн оч гэж юу вэ?

Видео: Өргөн нэвтрүүлгийн оч гэж юу вэ?

Видео: Өргөн нэвтрүүлгийн оч гэж юу вэ?
Видео: ӨТНИЙ НҮХ гэж юу вэ ? 2024, Арваннэгдүгээр
Anonim

Нэвтрүүлэг Apache дахь хувьсагч Оч нь зөвхөн уншихад зориулагдсан хувьсагчдыг гүйцэтгэгчид хуваалцах механизм юм. Үгүй нэвтрүүлэг хувьсагчдаас эдгээр хувьсагчийг хувиргах, үйлдэл болгонд гүйцэтгэгч бүрт хүргэх бөгөөд энэ нь сүлжээний ачаалал үүсгэж болзошгүй.

Мөн мэдэх зүйл бол би хэзээ оч цацах ёстой вэ?

Нэвтрүүлэг хувьсагчдыг ихэвчлэн олон үе шат дамжсан ажлуудад ижил өгөгдөл шаардлагатай үед эсвэл цуваагүй хэлбэрээр өгөгдлийг кэшлэх шаардлагатай үед ашигладаг. Нэвтрүүлэг V хувьсагчийг ашиглан SparkContext-ийг дуудаж хувьсагчдыг үүсгэнэ.

Аккумлятор нь очыг хэрхэн тодорхойлдог вэ? Аккумляторууд Эдгээр нь зөвхөн ассоциатив үйлдлээр "нэмэгддэг" хувьсагчууд бөгөөд иймээс зэрэгцэн үр дүнтэйгээр дэмжигдэх боломжтой. Тэдгээрийг тоолуур (MapReduce дээрх шиг) эсвэл нийлбэрийг хэрэгжүүлэхэд ашиглаж болно. Оч угаасаа дэмждэг аккумляторууд тоон төрлүүд болон програмистууд шинэ төрлүүдэд дэмжлэг нэмэх боломжтой.

Мөн spark-д хуваалцсан хувьсагч гэж юу вэ?

Хуваалцсан хувьсагч нь хувьсагч олон функц, аргуудыг зэрэгцүүлэн ашиглах шаардлагатай. Хуваалцсан хувьсагч зэрэгцээ үйл ажиллагаанд ашиглаж болно. Оч Ажлыг боломжит хамгийн бага үйлдлээр, хаах, өөр өөр зангилаанууд дээр ажиллуулж, тус бүр нь бүх үйлдлийн хуулбартай гэж хуваадаг. хувьсагч -ийн Оч ажил.

Бид DataFrame цацаж болох уу?

Оч чадна “ нэвтрүүлэг жижиг DataFrame тэр жижиг дотор бүх өгөгдлийг илгээх замаар DataFrame кластерын бүх зангилаа руу. Жижигийн дараа DataFrame байна цацсан , оч чадна том хэмжээтэй ямар ч өгөгдлийг холихгүйгээр холболтыг гүйцэтгэнэ DataFrame.

Зөвлөмж болгож буй: