Агуулгын хүснэгт:

Би орон нутагт spark ажиллуулж болох уу?
Би орон нутагт spark ажиллуулж болох уу?

Видео: Би орон нутагт spark ажиллуулж болох уу?

Видео: Би орон нутагт spark ажиллуулж болох уу?
Видео: 更换机油盖,并检查在阀门执行器日产Primera P12的差距 2024, May
Anonim

Оч лаа байх гүйх -д суурилуулсан бие даасан кластер төлөвлөгчийг ашиглан орон нутгийн горим. Энэ нь бүх Оч процессууд юм гүйх ижил JVM дотор үр дүнтэй, нэг, олон урсгалтай жишээ Оч.

Үүнтэй холбогдуулан би Apache spark-ийг хэрхэн орон нутагт ажиллуулах вэ?

Дараах алхмууд нь Apache Spark-ийг хэрхэн суулгахыг харуулж байна

  1. Алхам 1: Java суулгацыг баталгаажуулах.
  2. Алхам 2: Скала суулгацыг баталгаажуулах.
  3. Алхам 3: Scala татаж авах.
  4. Алхам 4: Scala суулгах.
  5. Алхам 5: Apache Spark татаж авах.
  6. Алхам 6: Spark суулгах.
  7. Алхам 7: Spark суурилуулалтыг баталгаажуулах.

Цаашилбал, бид Hadoopгүйгээр spark ажиллуулж чадах уу? Дагуу Оч баримт бичиг, Spark нь Hadoopгүйгээр ажиллах боломжтой . Та май ажиллуул Бие даасан горим болгон гүйгээр аливаа нөөцийн менежер. Гэхдээ хэрэв Та хүсч байна гүйх олон зангилааны тохиргоонд, Та YARN эсвэл Mesos гэх мэт нөөцийн менежер болон түгээсэн файлын систем хэрэгтэй HDFS , S3 гэх мэт. Тийм ээ, spark hadoopгүйгээр ажиллах боломжтой.

Дээрхээс гадна би spark-г бие даасан горимд хэрхэн ажиллуулах вэ?

Суулгахын тулд Spark бие даасан горим , та зүгээр л эмхэтгэсэн хувилбарыг байрлуулна Оч кластер дээрх зангилаа бүр дээр. Та урьдчилан бэлтгэсэн хувилбаруудыг авах боломжтой Оч хувилбар бүрээр эсвэл өөрөө бүтээх.

Windows дээр оч ажиллаж чадах уу?

А Оч програм чадна байх а Windows -бүрхүүл скрипт эсвэл энэ чадна бичгээр Java, Scala, Python, эсвэл R дээр захиалгат програм байх. Танд хэрэгтэй Windows таны системд суулгасан гүйцэтгэх файлуудыг гүйх эдгээр програмууд.

Зөвлөмж болгож буй: