Цавууны ажил гэж юу вэ?
Цавууны ажил гэж юу вэ?

Видео: Цавууны ажил гэж юу вэ?

Видео: Цавууны ажил гэж юу вэ?
Видео: CU-д цагийн ажил хийх ямар байдаг вэ ? 2024, May
Anonim

А ажил нь AWS дээр задлах, хувиргах, ачаалах (ETL) ажлыг гүйцэтгэдэг бизнесийн логик юм Цавуу . Та эхлэх үед a ажил , AWS Цавуу эх сурвалжаас өгөгдөл гаргаж авах, өгөгдлийг хувиргах, зорилтот болгон ачаалах скрипт ажиллуулдаг. Та үүсгэж болно ажлын байр AWS-ийн ETL хэсэгт Цавуу консол.

Мөн асуусан, AWS цавуугаар тохируулж болох уу?

AWS цавуу сервергүй тул дэд бүтэц байхгүй тогтоосон дээш эсвэл удирдах. Та чадна мөн ашиглана AWS цавуу Интерфэйс хийх API үйлдлүүд AWS цавуу үйлчилгээ. Өөрийн Python эсвэл Scala Apache Spark ETL кодыг танил хөгжүүлэлтийн орчныг ашиглан засварлаж, дибаг хийж, туршиж үзээрэй.

Мөн AWS цавуу гэж юу болохыг мэдэх үү? AWS цавуу автоматжуулсан задлах, хувиргах, ачаалах (ETL) процессоор дамжуулан дүн шинжилгээ хийхэд өгөгдлийг бэлтгэдэг үүлэн үйлчилгээ юм. Цавуу Мөн Amazon Virtual Private Cloud дахь Amazon Elastic Compute Cloud (EC2) инстанцууд дээр ажилладаг MySQL, Oracle, Microsoft SQL Server болон PostgreSQL мэдээллийн санг дэмждэг.

Үүнтэй холбогдуулан AWS цавуу хэрхэн ажилладаг вэ?

AWS цавуу -ээр дамжуулан таны өгөгдлийг автоматаар илрүүлж, профайл хийдэг Цавуу Өгөгдлийн каталог нь таны эх өгөгдлийг зорилтот схем болгон хувиргахын тулд ETL кодыг санал болгож, үүсгэдэг бөгөөд ETL ажлуудыг бүрэн удирддаг, өргөтгөсөн Apache Spark орчинд ажиллуулж, таны өгөгдлийг очих газар руу нь ачаалдаг.

AWS цавуу нь пандаг дэмждэг үү?

AWS Glue дэмждэг ажлын хоёр төрөл: Apache Spark болон Python бүрхүүл. Тайлбар: Spark ажлуудын номын сан болон өргөтгөлийн модулиудыг заавал бичсэн байх ёстой Python . зэрэг номын сангууд панда , аль байна C хэл дээр бичигдсэн, үгүй дэмжигдсэн.

Зөвлөмж болгож буй: