Агуулгын хүснэгт:

Spark Linux суулгасан эсэхийг яаж мэдэх вэ?
Spark Linux суулгасан эсэхийг яаж мэдэх вэ?

Видео: Spark Linux суулгасан эсэхийг яаж мэдэх вэ?

Видео: Spark Linux суулгасан эсэхийг яаж мэдэх вэ?
Видео: Apache Spark - Ubuntu дээр Apache Spark суулгах |Spark заавар | 6-р хэсэг 2024, May
Anonim

2 хариулт

  1. Нээлттэй Оч бүрхүүлийн терминал болон командыг оруулна уу.
  2. sc.version Эсвэл оч -submit --version.
  3. Хамгийн хялбар арга бол зүгээр л эхлүүлэх " оч -shell" командын мөрөнд. Энэ нь харуулах болно.
  4. одоогийн идэвхтэй хувилбар Оч .

Мөн мэдэх зүйл бол Spark Ubuntu суулгасан эсэхийг яаж мэдэх вэ?

Ubuntu дээр Spark суулгах

  1. Spark-ийн хамгийн сүүлийн хувилбарыг эндээс татаж авна уу.
  2. Архивыг задлах.
  3. Үүссэн фолдерыг зөөж, симбол холбоос үүсгэснээр та Spark-ийн олон хувилбарыг суулгаж болно.
  4. Spark бүрхүүлийг туршиж үзээрэй.
  5. Магадгүй Скала бол таны аяга цай биш бөгөөд та Python ашиглахыг илүүд үздэг.

Хоёрдугаарт, EMR дээр оч хаана суурилуулсан бэ? байдлаар эмр -4.0. 0, бүх програмууд асаалттай EMR /usr/lib дотор байна. Оч /usr/lib/ дотор байна оч.

Үүний үр дүнд та хэрхэн оч үүсгэх вэ?

Spark суулгах алхамууд

  1. Алхам 1: Java суулгасан эсэхийг шалгана уу.
  2. Алхам 2: Scala суулгасан эсэхийг шалгана уу.
  3. Алхам 3: Scala татаж авах.
  4. Алхам 4: Scala суулгана уу.
  5. Алхам 5: Apache Spark татаж авах.
  6. Алхам 6: Spark суулгах.
  7. Алхам 7: Өөрийн систем дээр Spark програм суулгасан эсэхийг шалгана уу.

Би Scala for spark суулгах шаардлагатай юу?

Та болно хэрэгтэй нийцтэй ашиглах Скала хувилбар (2.10. x). Java бол заавал байх ёстой Оч + бусад олон шилжилтийн хамаарал ( скала хөрвүүлэгч нь зөвхөн JVM-д зориулсан номын сан юм). PySpark нь Py4J (Python-Java хамтын ажиллагаа) ашиглан JVM-тэй алсаас (сокетоор) холбогддог.

Зөвлөмж болгож буй: