Видео: Hadoop дахь DistCp гэж юу вэ?
2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:50
DistCp (тархсан хуулбар) нь кластер хоорондын/доторх том хуулбарлахад хэрэглэгддэг хэрэгсэл юм. Үүнийг ашигладаг MapReduce түгээх, алдаа засах, сэргээх, тайлагнах зэрэг үйл ажиллагааг хэрэгжүүлэх. Энэ нь файл, сангуудын жагсаалтыг газрын зургийн даалгаврын оролт болгон өргөжүүлж, тус бүр нь эх жагсаалтад заасан файлуудын хуваалтыг хуулах болно.
Үүнтэй адил хүн асууж магадгүй, Distcp дарж бичдэг үү?
Би бас заримыг нь дэлгэрүүлж, тайлбарлах ёстой distcp - дарж бичих болно дарж бичих файлын хэмжээ таарч байгаа эсэхээс үл хамааран. Энэ нь hdfs-nn2-ийн хэмжээтэй hdfs-nn1-тэй таарахгүй байгаа бүх файлыг шинэчлэхээс гадна бусад файлуудыг устгах болно.
Үүний нэгэн адил Hadoop FS тушаал гэж юу вэ? Файлын систем ( ФС ) бүрхүүл нь янз бүрийн бүрхүүлтэй төстэй байдаг тушаалууд -тай шууд харьцдаг Hadoop Тархсан файлын систем ( HDFS ) түүнчлэн бусад файлын системүүд Hadoop Орон нутгийн гэх мэт дэмжлэг ФС , HFTP ФС , S3 ФС , мөн бусад.
Ийм байдлаар би нэг Hdf-ээс нөгөө Hdf-д өгөгдлийг хэрхэн шилжүүлэх вэ?
Hadoop fs cp - Хамгийн хялбар нэгээс өгөгдлийг хуулах арга эх лавлах руу өөр . Ашиглах hadoop fs -cp [эх сурвалж] [очих газар]. Hadoop fs copyFromLocal - Шаардлагатай өгөгдлийг хуулах локал файлын системээс HDFS ? Ашиглах hadoop fs -copyFromLocal [эх сурвалж] [очих газар].
Би кластерыг нэг кластераас нөгөөд хэрхэн хуулах вэ?
Файлуудыг хуулж байна хооронд кластерууд . Чи чадна файлуудыг хуулах эсвэл өөр өөр хоорондын лавлахууд кластерууд hadoop distcp командыг ашиглан. Та итгэмжлэлийг оруулах ёстой файл чиний дотор хуулбарлах эх сурвалжийн хүсэлт бөөгнөрөл таныг эх сурвалжаар баталгаажуулсан гэдгээ баталж чадна бөөгнөрөл болон зорилтот бөөгнөрөл.
Зөвлөмж болгож буй:
Apache Hadoop дахь хоёрдогч Namenode гэж юу вэ?
Hadoop дахь хоёрдогч NameNode нь HDFS кластерт тусгайлан зориулсан зангилаа бөгөөд үндсэн үүрэг нь namenode дээрх файлын системийн мета өгөгдлийн хяналтын цэгүүдийг авах явдал юм. Энэ нь нөөц нэрийн зангилаа биш юм. Энэ нь зөвхөн namenode-ийн файлын системийн нэрийн орон зайг шалгадаг
Hadoop дахь HDP гэж юу вэ?
Hortonworks Data Platform (HDP) нь төвлөрсөн архитектур (YARN) дээр суурилсан аюулгүй байдлын баялаг, аж ахуйн нэгжид бэлэн, нээлттэй эхийн Apache Hadoop түгээлт юм. HDP нь тайван байх үеийн өгөгдлийн хэрэгцээг хангаж, хэрэглэгчийн бодит цагийн хэрэглээний програмуудыг идэвхжүүлж, шийдвэр гаргах болон инновацийг хурдасгахад тусалдаг хүчирхэг аналитикийг хүргэдэг
Hadoop дахь хүчил гэж юу вэ?
ACID гэдэг нь Atomicity, Consistency, Consistency, Insolation, Durability гэсэн үгийн товчлол юм. Тогтвортой байдал нь аливаа гүйлгээ нь мэдээллийн санг нэг хүчинтэй мужаас нөгөө муж руу авчрах болно. Тусгаарлах нь гүйлгээ бүр бие биенээсээ хараат бус байх ёстой, өөрөөр хэлбэл нэг гүйлгээ нөгөөд нөлөөлөх ёсгүй
Hadoop дахь өгөгдлийн шугам гэж юу вэ?
Өгөгдлийн удам угсаа. Өгөгдлийн удам угсаа нь өгөгдлийн амьдралын мөчлөг ба төгсгөл хүртэлх урсгал гэж тодорхойлж болно. Мэдээллийн удам угсаа нь компаниудад бизнесийн тодорхой мэдээллийн эх сурвалжийг хянах боломжийг олгодог бөгөөд энэ нь алдааг хянах, үйл явц дахь өөрчлөлтийг хэрэгжүүлэх, цаг хугацаа хэмнэхийн тулд системийн шилжилтийг хэрэгжүүлэх боломжийг олгодог
Hadoop дахь овоолгын хэмжээ гэж юу вэ?
HADOOP_HEAPSIZE нь HDFS, YARN, MapReduce зэрэг Hadoop төслийн бүх серверүүдэд JVM овоолгын хэмжээг тохируулдаг. HADOOP_HEAPSIZE нь JVM-д хамгийн их санах ой (Xmx) аргумент болгон дамжуулагдсан бүхэл тоо юм. Жишээ нь: HADOOP_HEAPSIZE=1024