Би оч логыг хаанаас олох вэ?

2025 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2025-01-22 17:33

Бүртгэл лавлахууд

Анхдагч SPARK_WORKER_LOG_DIR байршил нь /var/ бүртгэл / оч /ажилчин. Өгөгдмөл бүртгэл эхлүүлэх лавлах Оч SQL Thrift сервер нь $HOME/ оч - хэмнэлттэй сервер. Оч Бүрхүүл ба програм бүртгэлүүд консол руу гарна. Бүртгэл тохиргооны файлууд нь ижил директорт байрладаг оч -env.sh.

Үүнтэй холбогдуулан би яаж оч лог авах вэ?

Оч Analyze хуудаснаас ажил эсвэл программ руу хандаж болно бүртгэлүүд Програмын UI болон Оч Хэрэглээний UI. хуудсанд хандаж болно бүртгэлүүд дамжуулан Оч Хэрэглээний UI. Та бас нэмж болно бүртгэлүүд алдаа, үл хамаарах зүйлийг тодорхойлох Оч ажил эсвэл програмын алдаа.

Үүнтэй адилаар утаснуудын гуалиныг хэрхэн шалгах вэ? Үзэж байгаа а бүртгэл файл The бүртгэлүүд Програмын мастерийг https://${ дээрх нөөцийн менежерийн UI дээрх хөтчөөс үзэх боломжтой. утас .resourcemanager.webapp.address}/cluster (https://localhost:8088 нэг зангилаа "кластер" дээр).

Үүнтэй адилаар би Spark дээр гүйцэтгэгч бүртгэлийг хэрхэн авах вэ?

Хариулт

1. Spark гүйцэтгэгч бүртгэлийг авах заавар:
2. Amabari-ийн хувьд -- 1) Spark үйлчилгээ болон тохиргооны таб руу очно уу: 2) "Advanced spark-log4j-properties" оруулгыг ол.
3. Cloudera-д зориулсан -- Тохируулах: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Би өөрийн Spark History серверийн URL хаягийг хэрхэн олох вэ?

Жишээ нь, хувьд түүхийн сервер , тэдгээрт ихэвчлэн https://< хаягаар хандах боломжтой сервер - url >:18080/api/v1 болон ажиллаж байгаа програмын хувьд https://localhost:4040/api/v1 хаягаар орж үзнэ үү. API-д програмыг өөрийн програмын ID, [app-id]-ээр иш татдаг.