Cara Menginstal Apache Spark di Mac (2022)

Cara Menginstal Apache Spark di Mac

Jika bidang pekerjaan Anda terdiri dari analitik atau pengembangan Python, dapat berlatih dan bekerja di PySpark menjadi bagian sehari-hari dalam hidup Anda. Jika menganalisis kumpulan data, menggunakan pembelajaran mesin, atau bahkan menggunakan Python di area pengembangan lainnya, memiliki prasyarat untuk hal yang sama sangat penting untuk Mac Anda. Namun, menginstal Apache Spark di Mac Anda bukanlah instalasi satu paket dan dapat memerlukan pemeriksaan dan instalasi sebelumnya dalam langkah yang berbeda. Ikuti langkah-langkah di bawah ini untuk melihat bagaimana Anda dapat menginstal Apache Spark di Mac Anda:

Sebelum menginstal Apache Spark, Anda harus memiliki Java, Homebrew, dan persyaratan lain untuk berfungsinya Apache Spark di Mac Anda. Untuk memulainya, mari kita instal Java:

1. • Instalasi Homebrew: Sebelum menginstal Java, Anda perlu menginstal Homebrew dan Anda dapat melakukannya dengan mengunjungi: brew.sh. Halaman terbuka untuk menunjukkan kepada Anda perintah untuk digunakan di terminal dan salin dan tempel di terminal:

     /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)”

   • Sekarang gunakan perintah berikut untuk memperbarui homebrew:

     brew upgrade && brew update

   • Sekarang kita baik untuk menginstal Java dan Anda dapat melakukannya dengan terlebih dahulu memeriksa versi java yang diinstal di Mac Anda. Ketik perintah berikut di terminal:
   • Gunakan perintah ini untuk memperbarui dan menginstal paket Java 8 terbaru: atau jika Anda mencari paket yang lebih baru:

XCode adalah repositori pengembangan Mac lengkap untuk membantu Anda menginstal paket lebih lanjut. Instal XCode menggunakan:

• Menginstal Scala dan paket prasyarat lainnya:

Ikuti langkah-langkah di bawah ini untuk mengetikkan perintah di terminal satu per satu:

• • Instalasi Scala:
  • Instalasi Apache Spark:

    brew install Apache-spark

  • Terminal percikan:
  • Untuk memeriksa apakah sudah aktif gunakan perintah:

    val s = “halo dunia”

  • Lari kembang api untuk memulai pyspark shell

• Menambahkan Spark ke bash:

Ketik setiap perintah di bawah titik yang berbeda di baris baru dan kemudian tambahkan jalur ke profil:

nano ~/.profile

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.4/libexec
export PYTHONPATH=/usr/local/Cellar/apache-spark/2.4.4/libexec/python/:$PYTHONP$
source ~/.bash_profile

Sekarang kami telah menginstal dan menjalankan semua skrip dan paket prasyarat yang diperlukan, Anda dapat memulai semua pesan PySpark dengan:

Sekarang Anda bisa menggunakan Spark di browser Anda dengan langkah-langkah berikut:

1. • UI Spark Master: http://localhost:8080/
   • UI Aplikasi Percikan: http://localhost:4040/

Kesimpulan

Setelah menjalankan semua perintah dan menginstal paket prasyarat, Anda harus memeriksa versi dan apakah paket yang diinstal juga berfungsi. Selain itu, jika masih ada paket yang hilang, kami menyarankan Anda untuk menginstal Apache Spark dengan mengatur repositori Anaconda Python. Harap perhatikan juga bahwa Anda harus menggunakan baris kode ke baris alih-alih menggunakannya di baris yang sama, karena Terminal Python dan Mac tidak dikompilasi setelah Anda menulis tetapi menjalankan perintah saat bepergian tergantung pada lingkungan kompilasi.