Агуулгын хүснэгт:

Та Hadoop дээр бүтэцгүй өгөгдлийг хэрхэн ачаалах вэ?
Та Hadoop дээр бүтэцгүй өгөгдлийг хэрхэн ачаалах вэ?

Видео: Та Hadoop дээр бүтэцгүй өгөгдлийг хэрхэн ачаалах вэ?

Видео: Та Hadoop дээр бүтэцгүй өгөгдлийг хэрхэн ачаалах вэ?
Видео: Hadoop 5 минутын дотор | Hadoop гэж юу вэ? | Hadoop-ийн танилцуулга | Hadoop тайлбарласан |Хялбар сургах 2024, Арваннэгдүгээр
Anonim

Таны хэрэглээний тохиолдлуудаас хамааран Hadoop руу бүтэцгүй өгөгдлийг импортлох олон арга бий

  1. Ашиглаж байна HDFS put эсвэл copyFromLocal зэрэг бүрхүүлийн командууд нь хавтгай зөөвөрлөх файлууд руу HDFS .
  2. Аппликейшнийг нэгтгэхэд WebHDFS REST API ашиглаж байна.
  3. Apache Flume ашиглах.
  4. Үйл явдал боловсруулах ерөнхий зориулалттай Storm системийг ашиглах.

Үүнтэй холбогдуулан Hadoop-д бүтэцгүй өгөгдөл хэрхэн хадгалагддаг вэ?

Өгөгдөл in HDFS байна хадгалсан файл хэлбэрээр. Hadoop нь схем эсвэл бүтэцтэй байхыг шаарддаггүй өгөгдөл ийм байх ёстой хадгалсан . Энэ нь ашиглах боломжийг олгодог Hadoop ямар ч бүтцийг бий болгоход зориулагдсан бүтэцгүй өгөгдөл дараа нь хагас бүтэцтэй буюу бүтэцтэйг экспортлох өгөгдөл Уламжлалт мэдээллийн сан руу шилжүүлж, цаашид дүн шинжилгээ хийх.

Нэмж хэлэхэд, та бүтэцгүй өгөгдлийг хэрхэн зохицуулах вэ? Амжилттай бизнес эрхлэгчдэд зориулсан бүтэцгүй өгөгдөлд дүн шинжилгээ хийхэд туслах 10 алхамыг доор харуулав.

  1. Мэдээллийн эх сурвалжаа шийднэ үү.
  2. Бүтэцгүй өгөгдлийн хайлтаа удирдах.
  3. Хэрэггүй өгөгдлийг устгах.
  4. Өгөгдлийг хадгалахад бэлтгэх.
  5. Өгөгдлийн стек, хадгалах технологийг шийднэ үү.
  6. Бүх өгөгдлийг хадгалах хүртэл хадгал.

Ийм байдлаар бид бүтэцгүй өгөгдлийг Hive-д хадгалах боломжтой юу?

Бүтэцгүй боловсруулалт Өгөгдөл Ашиглаж байна Зөгий Тэгэхээр тэнд Та Энэ байна, Зөгийн үүр болно үр дүнтэй боловсруулахад ашиглах бүтэцгүй өгөгдөл . Илүү нарийн төвөгтэй боловсруулалтын хэрэгцээнд зориулагдсан Та оронд нь зарим захиалгат UDF бичих рүү буцаж болно. Доод түвшний Map Reduce код бичихээс илүү өндөр түвшний хийсвэрлэл ашиглах нь олон давуу талтай.

Бид бүтэцгүй өгөгдлийг бүтэцлэгдсэн өгөгдөл болгон хувиргаж чадах уу?

Энэ үе шатанд бүтэцгүй өгөгдөл болж хувирсан байна бүтэцлэгдсэн өгөгдөл ангилалд үндэслэн олсон үгсийн бүлгүүдэд үнэ цэнэ өгдөг. Эерэг үг нь 1, сөрөг нь -1, саармаг 0-тэй тэнцүү байж болно. Энэ бүтэцгүй өгөгдөл байж болно гэж хадгалж, шинжлэх болно Та хамт байх болно бүтэцлэгдсэн өгөгдөл.

Зөвлөмж болгож буй: