Hadoop дахь жижиг файлуудын асуудал юу вэ?

Видео: Hadoop дахь жижиг файлуудын асуудал юу вэ?

2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:50

1) Жижиг файлын асуудал in HDFS : Их хэмжээгээр хадгалдаг жижиг файлууд эдгээр нь туйлын жижиг блокийн хэмжээг үр ашигтай зохицуулах боломжгүй юм HDFS . Уншиж байна жижиг файлууд Өгөгдлийн зангилаа хооронд өгөгдлийн зангилаа хооронд маш олон хайлт, олон үсрэлт ордог бөгөөд энэ нь үр ашиггүй мэдээлэл боловсруулахад хүргэдэг.

Үүнээс гадна Hadoop-д ямар файлууд жижиг файлын асуудлыг шийдвэрлэх вэ?

1) HAR ( Hadoop Архив) Файлууд -д танилцуулсан жижиг файлын асуудлыг шийдвэрлэх . HAR дээр нь давхарга нэвтрүүлсэн HDFS интерфэйсийг хангадаг файл хандах. Ашиглаж байна Hadoop архивын тушаал, HAR файлууд үүсгэгддэг бөгөөд энэ нь a MapReduce савлах ажил файлууд руу архивлаж байна жижиг тоо HDFS файлууд.

Цаашилбал, би HDFS-д өөр өөр блокийн хэмжээтэй олон файлтай байж болох уу? Өгөгдмөл хэмжээ -ийн блок 64 MB байна. Та чадна өөрийн шаардлагаас хамааран өөрчилнө үү. Таны асуултанд ирэхэд тийм ээ олон файл үүсгэж болно янз бүрээр блокийн хэмжээ гэхдээ бодит цаг хугацаанд энэ болно үйлдвэрлэлийг дэмжихгүй.

Түүнээс гадна HDFS яагаад жижиг файлуудыг оновчтой зохицуулдаггүй вэ?

-тэй холбоотой асуудлууд жижиг файлууд болон HDFS Бүр файл , лавлах болон блоклох HDFS бол Дүрмээр бол нэрийн зангилааны санах ойд тус бүр нь 150 байт эзэлдэг объект хэлбэрээр дүрслэгддэг. Цаашлаад, HDFS тийм биш үр ашигтай нэвтрэхэд чиглэгдсэн жижиг файлууд : энэ байна үндсэндээ том хэмжээний урсгалын хандалт хийхэд зориулагдсан файлууд.

Hadoop яагаад удаан байдаг вэ?

Удаан Боловсруулах хурд Энэ дискний хайлт нь цаг хугацаа шаарддаг тул бүх процессыг маш их болгодог удаан . Хэрэв Hadoop өгөгдлийг бага хэмжээгээр боловсруулдаг, энэ нь маш их юм удаан харьцангуй. Энэ нь том өгөгдлийн багцад тохиромжтой. гэх мэт Hadoop Үндсэндээ багц боловсруулах хөдөлгүүртэй бөгөөд түүний бодит цагийн боловсруулалтын хурд бага байна.

Зөвлөмж болгож буй:

Холбогдох файлуудын том цуглуулгыг юу гэж нэрлэдэг вэ?

Файлуудын цуглуулгыг мэдээллийн сан гэж нэрлэдэг

Програмист хүн Java бол том жижиг жижиг жижиг хэл гэдгийг мэдэх нь яагаад чухал вэ?

Java нь C маягийн синтакс ашигладаг тул том жижиг үсгийг мэдэрдэг. Том үсгийн мэдрэмж нь тустай, учир нь тухайн нэр нь том жижиг үсгээр ямар утгатай болохыг та мэдэх боломжтой. Жишээлбэл, ангийн нэрийн Java стандарт нь үг бүрийн эхний үсгийг томоор бичдэг (Бүхэл тоо, PrintStream гэх мэт)

Аль хэл нь том жижиг жижиг үсгийн мэдрэмжгүй вэ?

Зарим програмчлалын хэлүүд нь танигч (C, C++, Java, C#, Verilog, Rubyand Python)-ийн хувьд том жижиг үсгээр харгалздаг. Бусад нь ABAP, Ada, ихэнх BASIC (BBC BASIC-аас үл хамаарах зүйл), Fortran, SQL болон Pascal зэрэг том жижиг үсгийн харгалзахгүй (жишээ нь, жижиг үсгийн мэдрэмжгүй) байдаг

SQL том жижиг жижиг үсгийн мэдрэмжгүй юу?

SQL том үсгийн мэдрэмж: SQL түлхүүр үгс нь жижиг үсгээр том үсгээр бичдэг (SELECT, FROM, WHERE, AS, ORDER BY, HAVING, GROUP BY гэх мэт) жижиг үсгээр бичдэг. Гэсэн хэдий ч, зарим тохиргоонд хүснэгт болон баганын нэр том жижиг үсгээр харгалздаг. MySQL нь үүнийг идэвхжүүлэх эсвэл идэвхгүй болгох тохиргооны сонголттой