AWS нь Hadoop-ийг дэмждэг үү?
AWS нь Hadoop-ийг дэмждэг үү?

Видео: AWS нь Hadoop-ийг дэмждэг үү?

Видео: AWS нь Hadoop-ийг дэмждэг үү?
Видео: AWS - Роли доступа для EC2 - IAM Roles 2024, May
Anonim

Apache™ Hadoop ® нь том өгөгдлийн багцыг үр дүнтэй боловсруулахад ашиглаж болох нээлттэй эхийн програм хангамжийн төсөл юм. Амазон EMR нь бүрэн тохируулагдсан, уян харимхай кластеруудыг үүсгэх, удирдахад хялбар болгодог Amazon EC2 тохиолдлууд ажиллаж байна Hadoop болон бусад програмууд дахь Hadoop экосистем.

AWS нь Hadoop ашигладаг уу?

Амазон Вэб үйлчилгээ ашигладаг нээлттэй эхийн Apache Hadoop мэдээлэл их шаарддаг ажлуудыг гүйцэтгэхийн тулд их хэмжээний тооцоолох хүчин чадалд хандахад хялбар болгох үүднээс тархсан тооцоолох технологи. Hadoop , Google-ийн MapReduce-ийн нээлттэй эхийн хувилбарыг Yahoo, Facebook зэрэг компаниуд аль хэдийн ашиглаж байна.

Хоёрдугаарт, AWS EMR юу хийдэг вэ? Амазон Уян хатан газрын зураг бууруулах ( EMR ) байна а Амазон Вэб үйлчилгээ ( AWS ) том өгөгдөл боловсруулах, дүн шинжилгээ хийх хэрэгсэл. Amazon EMR виртуал серверүүдийн Hadoop кластер дээр том өгөгдлийг боловсруулдаг Амазон Уян тооцоолох үүлэн ( EC2 ) ба Амазон Энгийн хадгалах үйлчилгээ (S3).

Ийм байдлаар Hadoop болон AWS хоёрын ялгаа юу вэ?

Hadoop нь олон компьютер дээр том хэмжээний өгөгдлийн багц боловсруулахад тусалдаг хүрээ юм. Үүнд Map/Reduce (зэрэгцээ боловсруулалт) болон HDFS (тараагдсан файлын систем) багтдаг. AWS нь ParAccel-ийн анх боловсруулсан өмчийн технологи дээр баригдсан мэдээллийн агуулах юм. Apache-ийн нийтлэг хэрэглээ юу вэ? Hadoop ?

AWS s3 Hadoop мөн үү?

S3 үнэндээ үүлэн доторх хязгааргүй агуулах боловч HDFS биш. HDFS физик машинууд дээр байрладаг тул та тэнд ямар ч програмыг ажиллуулж болно. Та юу ч гүйцэтгэх боломжгүй S3 Энэ нь FS биш харин зүгээр л Object Store юм.

Зөвлөмж болгож буй: