Агуулгын хүснэгт:
Видео: Би Hadoop дээр Python ажиллуулж болох уу?
2024 Зохиолч: Lynn Donovan | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2023-12-15 23:50
Java, Scala болон програмчлалын хэлнүүдийн хооронд сонголт хийх боломжтой Python төлөө Hadoop ихэнх хөгжүүлэгчид ашигладаг экосистем Python Учир нь өгөгдлийн аналитик даалгаврын сангуудыг дэмждэг. Hadoop урсгал нь хэрэглэгч үүсгэх болон гүйцэтгэх Газрын зураг/багасгах ажлыг дурын скрипт эсвэл зураглагч болон/болон бууруулагчаар гүйцэтгэх боломжтой.
Үүнтэй адилаар, Python хэрхэн Hadoop-той холбогддог вэ?
Hadoop HDFS-ийг Python-той холбож байна
- Алхам 1: Hadoop HDFS зөв ажиллаж байгаа эсэхийг шалгаарай. Терминал/Тушаалын мөрийг нээгээд HDFS ажиллаж байгаа эсэхийг дараах тушаалуудыг ашиглан шалгана уу: start-dfs.sh.
- Алхам 2: libhdfs3 номын санг суулгана уу.
- Алхам 3: hdfs3 номын санг суулгана уу.
- Алхам 4: HDFS-тэй холболт амжилттай болсон эсэхийг шалгана уу.
Үүнтэй адилаар Python-д Hadoop гэж юу вэ? Python нь програмчлалын ертөнцөд бараг бүх зүйлийг хийхэд ашиглаж болох ерөнхий зориулалтын бүрэн програмчлалын хэл юм. Hadoop асар их хэмжээний өгөгдөлтэй ажиллахын тулд Java хэл дээр бичигдсэн том өгөгдлийн хүрээ юм. Олон тооны онлайн институтууд байдаг Hadoop хамт Python зэрэг курсууд: Analytixlabs. Эдурика.
Дараа нь асуулт бол би Python MapReduce програмыг Hadoop дээр хэрхэн ажиллуулах вэ?
Python дээр Hadoop MapReduce програм бичих
- Урам зориг.
- Бид юу хийхийг хүсч байна.
- Урьдчилсан нөхцөл.
- Python MapReduce код. Газрын зургийн алхам: mapper.py. Алхамыг багасгах: reductor.py.
- Hadoop дээр Python кодыг ажиллуулж байна. Жишээ оруулах өгөгдлийг татаж авах. Орон нутгийн жишээ өгөгдлийг HDFS рүү хуулах.
- Сайжруулсан Mapper болон Reducer код: Python давталт болон генераторыг ашиглах. mapper.py. бууруулагч.py.
Hadoop Streaming сав гэж юу вэ?
Hadoop түгээлт нь Java хэрэгслийг өгдөг Hadoop урсгал . Энэ нь савласан байна сав файл. -тай Hadoop урсгал , бид гүйцэтгэгдэх скриптээр Map Reduce ажлуудыг үүсгэж ажиллуулж болно. Hadoop урсгал -тэй хамт ирдэг хэрэгсэл юм Hadoop хуваарилалт. Үүнийг том өгөгдлийн шинжилгээнд зориулсан програмуудыг ажиллуулахад ашиглаж болно.
Зөвлөмж болгож буй:
Би Windows болон Mac-г нэг компьютер дээр ажиллуулж болох уу?
Хэрэв та Intel-д суурилсан Mac эзэмшдэг бол OS X болон Windows-ийг нэг компьютер дээр ажиллуулж болно. Ихэнх компьютерууд Intel-д суурилсан чип ашигладаг бөгөөд энэ нь та одоо Mac компьютер дээр Windows болон OS X үйлдлийн системийг ажиллуулах боломжтой гэсэн үг юм
Нэг iOS програм нөгөөг ажиллуулж болох уу?
Үгүй. iOS нь маш хязгаарлагдмал IPC механизмтай бөгөөд URL нээх цорын ганц арга зам нь нэг програмыг өөр програмаас эхлүүлэх явдал юм
Бид Visual Studio дээр C програмуудыг ажиллуулж болох уу?
Visual Studio код нь C IDE биш код засварлагч юм. Энэ нь танд код бичих боломжийг олгодог бөгөөд энэ нь синтаксийг онцолж, аливаа синтаксийн алдааг зааж өгөх болно. Си программыг ажиллуулахын тулд танд Visual Studio, Codeblocks гэх мэт IDE програмууд эсвэл GCC гэх мэт бие даасан хөрвүүлэгчид ашиглах боломжтой хөрвүүлэгч болон холбогч хэрэгтэй
Би Linux дээр MS Office ажиллуулж болох уу?
Линукс хэрэглэгчид LibreOffice, GoogleDocs, тэр ч байтугай Microsoft-ын оффисын вэб програмуудыг ашиглах боломжтой ч зарим хүмүүст Microsoft Office-ийн ширээний хувилбар хэрэгтэй эсвэл зүгээр л хүсэж байна. Аз болоход, Microsoft Office-ийг Линукс дээр ажиллуулах аргууд байдаг. Үүнийг Microsoft дэмждэггүй нь ойлгомжтой, гэхдээ энэ нь маш сайн ажилладаг
Би Docker-г Windows Server 2016 дээр ажиллуулж болох уу?
Windows серверүүд дээр Docker Engine - Enterprise суулгаарай. Docker Engine - Enterprise нь Windows Server дээр эх Docker контейнеруудыг идэвхжүүлдэг. Windows Server 2016 болон түүнээс хойшхи хувилбаруудыг дэмждэг. Docker Engine - Enterprise суулгацын багц нь Windows Server дээр Docker ажиллуулахад шаардлагатай бүх зүйлийг агуулдаг