Агуулгын хүснэгт:
Видео: Sqoop нь өгөгдлийг импортлох, экспортлоход юу ашигладаг вэ?
2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:50
Скоп бол шилжүүлэхэд зориулагдсан хэрэгсэл өгөгдөл Hadoop болон харилцааны мэдээллийн сангийн хооронд. Скооп дээр тулгуурлан энэ үйл явцын ихэнхийг автоматжуулдаг мэдээллийн сан схемийг тайлбарлах өгөгдөл байх импортолсон . Sqoop ашигладаг MapReduce to өгөгдлийг импортлох, экспортлох , энэ нь зэрэгцээ ажиллагаа, түүнчлэн алдааг тэсвэрлэх чадварыг хангадаг.
Эндээс би sqoop-оос өгөгдлийг хэрхэн экспортлох вэ?
Эхлэх
- Алхам 1: MySQL жишээн дээр шинэ мэдээллийн сан үүсгэнэ үү. өгөгдлийн сан үүсгэх db1;
- acad нэртэй хүснэгт үүсгэ.
- Алхам 3: input.txt болон input2.txt файлыг HDFS-ээс MySQL руу экспортлох. sqoop export –connect jdbc:mysql://localhost/db1 –хэрэглэгчийн нэр sqoop –нууц үгийн үндэс –хүснэгт acad –export-dir /sqoop_msql/ -m 1.
Мөн sqoop экспорт хэрхэн ажилладаг вэ? Скооп - Sqoop экспортыг экспортлох команд нь оролтын өгөгдлийн багц бүхий INSERT мэдэгдлийг бэлтгэж, мэдээллийн санд очно. Энэ нь зориулагдсан экспортлох шинэ бичлэгүүд, Хэрэв хүснэгт нь үндсэн түлхүүртэй тогтмол тогтмол утгатай байвал, экспортлох оруулах мэдэгдэл амжилтгүй болсон тул ажил амжилтгүй болно. Хэрэв танд шинэчлэлт байгаа бол --update-key сонголтыг ашиглаж болно.
Үүний нэгэн адил хүмүүс би хэрхэн өгөгдлийг sqoop руу оруулах вэ гэж асуудаг.
Sqoop командын сонголт бүр юу гэсэн үг вэ:
- connect – jdbc стринг өгнө.
- хэрэглэгчийн нэр - Өгөгдлийн сангийн хэрэглэгчийн нэр.
- -P - Консол дээр нууц үг асуух болно.
- table – MySQL-ээс ямар хүснэгт импортлохыг хүсэж байгаагаа компьютерт хэлнэ.
- хуваах - Таны хуваах баганыг тодорхойлно.
- target-dir - HDFS очих газрын лавлах.
Sqoop импорт гэж юу вэ?
Скооп хэрэгсэл ' импорт '-д дассан импорт хүснэгтээс хүснэгтийн өгөгдлийг Hadoop файлын систем рүү текст файл эсвэл хоёртын файл хэлбэрээр оруулна. Дараах тушаалыг ашиглана импорт emp хүснэгтийг MySQL өгөгдлийн сангийн серверээс HDFS рүү.
Зөвлөмж болгож буй:
Би MySQL-д хүснэгтийг хэрхэн импортлох вэ?
Хүснэгтэд өгөгдөл импортлохыг хүсэж буй алхамууд: Өгөгдөл ачаалагдсан хүснэгтийг нээнэ үү. Өгөгдлийг шалгаад Apply товчийг дарна уу. MySQL ажлын ширээн дээр "Өгөгдлийн санд SQL скрипт хэрэглэх" харилцах цонх гарч ирэх бөгөөд Хүснэгтэнд өгөгдөл оруулахын тулд Apply товчийг дарна уу
Эмнэлгийн болон удирдлагын янз бүрийн мэдээллийн системүүдийн хооронд эмнэлзүйн болон захиргааны өгөгдлийг дамжуулахад ямар стандартыг ашигладаг вэ?
Эрүүл мэндийн долоон түвшин буюу HL7 гэдэг нь янз бүрийн эрүүл мэндийн үйлчилгээ үзүүлэгчдийн ашигладаг программ хангамжийн хооронд эмнэлзүйн болон захиргааны мэдээллийг дамжуулах олон улсын стандартыг хэлнэ. Эдгээр стандартууд нь OSI загварт "давхарга 7" болох хэрэглээний давхаргад төвлөрдөг
Эрүүл мэндийн салбарт том өгөгдлийг хэрхэн ашигладаг вэ?
Эрүүл мэндийн салбарт том өгөгдөл нь хүн ам эсвэл хувь хүний тодорхой статистик мэдээллийг ашиглан шинэ дэвшлийг судлах, зардлыг бууруулах, тэр байтугай өвчний эхэн үеийг эмчлэх, урьдчилан сэргийлэхэд ашигладаг. Үйлчилгээ үзүүлэгчид өөрсдийн туршлага, туршлагаасаа илүү том мэдээллийн судалгаанд үндэслэн шийдвэр гаргаж байна
Та ETL өгөгдлийг хэрхэн ашигладаг вэ?
Уламжлалт ETL нь ETL процессыг боловсруулдаг: задлах, хувиргах, ачаалах. Дараа нь дүн шинжилгээ хий. Танай бизнес эрхэлдэг эх сурвалжаас иш татна уу. Өгөгдлийг өнөөдөр "гүйлгээний мэдээллийн сан" гэж нэрлэдэг онлайн гүйлгээ боловсруулах (OLTP) мэдээллийн сан болон бусад мэдээллийн эх сурвалжаас гаргаж авдаг
Оптик диск дээрх өгөгдлийг уншихад ашигладаг уу?
Оптик дискний гадаргуу дээрх бит мэдээллийг унших, бичихийн тулд лазер туяаг ашигладаг дискний хөтөч. CD нь 700 МБ өгөгдөл, үндсэн DVD нь 4.7 ГБ өгөгдөл багтаах боломжтой бол нэг Blu-ray диск нь 25 ГБ хүртэл өгөгдөл хадгалах боломжтой