Видео: Hadoop дахь HDP гэж юу вэ?
2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:51
Hortonworks мэдээллийн платформ ( HDP ) нь аюулгүй байдлын баялаг, аж ахуйн нэгжид бэлэн, нээлттэй эхийн Apache юм Hadoop төвлөрсөн архитектур (YARN) дээр суурилсан хуваарилалт. HDP амарч байх үеийн өгөгдлийн хэрэгцээг хангаж, хэрэглэгчийн бодит цагийн хэрэглээг идэвхжүүлж, шийдвэр гаргах болон инновацийг хурдасгахад тусалдаг хүчирхэг аналитикийг хүргэдэг.
Тэгэхээр HDP, HDF гэж юу вэ?
HDF - Хөдөлгөөн дэх өгөгдлийг боловсруулахад ашигладаг. HDP - Амрах үед өгөгдлийг боловсруулахад ашигладаг. Гэхдээ HDP шуурга (бодит цагийн мессеж боловсруулах) болон Кафка (тархсан мессежийн систем) агуулдаг.
Hortonworks HDP үнэгүй юу? Hortonworks дэмжлэг, сургалт, мэргэжлийн үйлчилгээ (зөвлөх) зарж мөнгө олдог. Түүнээс хойш HDP нь Apache лицензтэй программ хангамж бөгөөд эх кодыг нь Github дээрээс авах боломжтой үнэгүй (харна уу: Hortonworks Inc). Хортонворк Бүрэлдэхүүн хэсгүүд нь 100% нээлттэй эх сурвалжтай, лиценз шаарддаггүй үнэгүй хэрэглэх.
Дараа нь Hadoop дахь HDF гэж юу вэ?
Cloudera DataFlow (Ambari) Cloudera DataFlow (Ambari)-хуучин Hortonworks DataFlow ( HDF )-энэ нь үндсэн ойлголтууд болон нэн даруй хэрэгжих боломжтой тагнуулын мэдээллийг шингээж, хянаж, дүн шинжилгээ хийдэг бодит цагийн урсгалын аналитик платформ юм.
Hadoop болон Apache Hadoop хоёрын ялгаа нь юу вэ?
Apache Hadoop болон Apache Spark хоёрын ялгаа Mapreduce. Энэ нь мөн HDFS-д хадгалагдсан бүтэцлэгдсэн болон бүтэцгүй өгөгдлийг боловсруулдаг. Hadoop MapReduce загвар зохион бүтээгдсэн дотор Барааны техник хангамжийн кластер дээр их хэмжээний өгөгдлийг боловсруулах арга. MapReduce нь өгөгдлийг багц горимд боловсруулах боломжтой.
Зөвлөмж болгож буй:
Apache Hadoop дахь хоёрдогч Namenode гэж юу вэ?
Hadoop дахь хоёрдогч NameNode нь HDFS кластерт тусгайлан зориулсан зангилаа бөгөөд үндсэн үүрэг нь namenode дээрх файлын системийн мета өгөгдлийн хяналтын цэгүүдийг авах явдал юм. Энэ нь нөөц нэрийн зангилаа биш юм. Энэ нь зөвхөн namenode-ийн файлын системийн нэрийн орон зайг шалгадаг
Hadoop дахь хүчил гэж юу вэ?
ACID гэдэг нь Atomicity, Consistency, Consistency, Insolation, Durability гэсэн үгийн товчлол юм. Тогтвортой байдал нь аливаа гүйлгээ нь мэдээллийн санг нэг хүчинтэй мужаас нөгөө муж руу авчрах болно. Тусгаарлах нь гүйлгээ бүр бие биенээсээ хараат бус байх ёстой, өөрөөр хэлбэл нэг гүйлгээ нөгөөд нөлөөлөх ёсгүй
Hadoop дахь өгөгдлийн шугам гэж юу вэ?
Өгөгдлийн удам угсаа. Өгөгдлийн удам угсаа нь өгөгдлийн амьдралын мөчлөг ба төгсгөл хүртэлх урсгал гэж тодорхойлж болно. Мэдээллийн удам угсаа нь компаниудад бизнесийн тодорхой мэдээллийн эх сурвалжийг хянах боломжийг олгодог бөгөөд энэ нь алдааг хянах, үйл явц дахь өөрчлөлтийг хэрэгжүүлэх, цаг хугацаа хэмнэхийн тулд системийн шилжилтийг хэрэгжүүлэх боломжийг олгодог
Hadoop дахь овоолгын хэмжээ гэж юу вэ?
HADOOP_HEAPSIZE нь HDFS, YARN, MapReduce зэрэг Hadoop төслийн бүх серверүүдэд JVM овоолгын хэмжээг тохируулдаг. HADOOP_HEAPSIZE нь JVM-д хамгийн их санах ой (Xmx) аргумент болгон дамжуулагдсан бүхэл тоо юм. Жишээ нь: HADOOP_HEAPSIZE=1024
Hadoop дахь DistCp гэж юу вэ?
DistCp (тархсан хуулбар) нь кластер хоорондын/кластер доторх том хуулбарлахад хэрэглэгддэг хэрэгсэл юм. Энэ нь MapReduce-ийг түгээх, алдаа засах, сэргээх, тайлагнах зэрэгт ашигладаг. Энэ нь файл, сангуудын жагсаалтыг газрын зургийн даалгаврын оролт болгон өргөжүүлж, тус бүр нь эх жагсаалтад заасан файлуудын хуваалтыг хуулах болно