Агуулгын хүснэгт:

Би Spark History серверээ хэрхэн эхлүүлэх вэ?
Би Spark History серверээ хэрхэн эхлүүлэх вэ?

Видео: Би Spark History серверээ хэрхэн эхлүүлэх вэ?

Видео: Би Spark History серверээ хэрхэн эхлүүлэх вэ?
Видео: Spark History Server-ийн танилцуулга, түүнийг хэрхэн ажиллуулах талаар 2024, May
Anonim

Spark түүхийн серверийг идэвхжүүлэхийн тулд:

  1. DSEFS файлын системд үйл явдлын бүртгэлийн лавлах үүсгэнэ үү: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Үйл явдлын бүртгэлийг идэвхжүүлсэн үед бүх бүртгэлийг хадгалах үндсэн горим байдаг бөгөөд энэ нь хадгалалтын хэмжээ цаг хугацааны явцад нэмэгдэхэд хүргэдэг.

Үүнээс гадна би Spark History серверийг хэрхэн тохируулах вэ?

Spark түүхийн серверийг идэвхжүүлэхийн тулд:

  1. DSEFS файлын системд үйл явдлын бүртгэлийн лавлах үүсгэнэ үү: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Үйл явдлын бүртгэлийг идэвхжүүлсэн үед бүх бүртгэлийг хадгалах үндсэн горим байдаг бөгөөд энэ нь хадгалалтын хэмжээ цаг хугацааны явцад нэмэгдэхэд хүргэдэг.

Үүнтэй адилаар би өөрийн Spark History серверийн URL хаягийг хэрхэн олох вэ? Жишээ нь, хувьд түүхийн сервер , тэдгээрт ихэвчлэн https://< хаягаар хандах боломжтой сервер - url >:18080/api/v1 болон ажиллаж байгаа програмын хувьд https://localhost:4040/api/v1 хаягаар орж үзнэ үү. API-д програмыг өөрийн програмын ID, [app-id]-ээр иш татдаг.

Үүний нэгэн адил Spark History сервер гэж юу вэ?

The Spark түүхийн сервер нь дууссан талаарх мэдээллийг харуулдаг хяналтын хэрэгсэл Оч програмууд. Энэ мэдээлэл байна программууд нь Hadoop Distributed File System (HDFS) дээрх лавлах руу анхдагчаар бичдэг өгөгдлөөс авсан.

Sparkui гэж юу вэ?

Spark Web UI нь танд төлөвлөгчийн үе шат, даалгаврын жагсаалт, хүрээлэн буй орчны мэдээлэл, ажиллаж байгаа гүйцэтгэгчдийн талаарх мэдээлэл болон бусад зүйлийг харах боломжийг олгоно. Энэхүү 30 минутын демо-г үзээрэй: Spark програмын бүрэлдэхүүн хэсэг ба амьдралын мөчлөг. Таны Spark програм Hadoop кластер дээр хэрхэн ажилладаг вэ.

Зөвлөмж болгож буй: