Menyiapkan Kafka: 4 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:09

Pengenalan:

Apache Kafka adalah sistem pesanan sumber terbuka dan berskala tinggi yang dikembangkan oleh Apache Software Foundation yang ditulis dalam Scala. Apache Kafka direka khas untuk membolehkan satu kelompok berfungsi sebagai tulang belakang data pusat untuk persekitaran yang besar. Ia mempunyai throughput yang jauh lebih tinggi berbanding sistem broker mesej lain seperti ActiveMQ dan RabbitMQ. Ia mampu menangani sejumlah besar data masa nyata dengan cekap. Anda boleh menggunakan Kafka pada pelayan Apache tunggal atau dalam lingkungan kelompok yang diedarkan.

Ciri-ciri:

Ciri umum Kafka adalah seperti berikut:

Mesej berterusan pada cakera yang memberikan prestasi masa yang berterusan.

Throughput tinggi dengan struktur cakera yang menyokong ratusan ribu mesej sesaat.

Skala sistem yang diedarkan dengan mudah tanpa waktu henti.

Menyokong berbilang pelanggan dan mengimbangi pengguna secara automatik semasa kegagalan.

Tutorial ini menunjukkan cara memasang dan mengkonfigurasi Apache Kafka pada pelayan Ubuntu 16.04.

Keperluan

Pelayan Ubuntu 16.04.

Akaun pengguna bukan root dengan hak istimewa pengguna super disediakan di pelayan anda.

Langkah 1: Memulakan dan Memasang Java

1) Mari kita mulai memastikan bahawa pelayan Ubuntu 16.04 anda terkini

Anda boleh mengemas kini pelayan anda dengan menjalankan perintah berikut: -

sudo apt-get kemas kini -y

sudo apt-get upgrade -y

2) Memasang Java

Periksa sama ada mesin anda mempunyai java yang sudah terpasang atau mempunyai versi lalai java dengan arahan berikut: -

java -versi

Walaupun anda mempunyai java tetapi versi yang lebih rendah, anda harus menaik tarafnya.

Anda boleh memasang Java dengan: -

sudo apt-get install default-jdk

ATAU

Anda boleh memasang Oracle JDK 8 menggunakan repositori PPA pasukan Webupd8.

Untuk menambahkan repositori, jalankan arahan berikut: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Langkah 2: Pasang Zookeeper

Apa itu Zookeeper?

Zookeeper adalah perkhidmatan terpusat untuk menjaga maklumat konfigurasi, menamakan, menyediakan penyegerakan diedarkan, dan menyediakan perkhidmatan kumpulan. Semua jenis perkhidmatan ini digunakan dalam beberapa bentuk atau yang lain oleh aplikasi yang diedarkan. Setiap kali mereka dilaksanakan, ada banyak usaha untuk memperbaiki keadaan bug dan perlumbaan yang tidak dapat dielakkan. Oleh kerana kesukaran untuk melaksanakan perkhidmatan seperti ini, aplikasi pada awalnya biasanya kurang pada mereka, yang menjadikannya rapuh di hadapan perubahan dan sukar dikendalikan. Walaupun dilakukan dengan betul, pelaksanaan perkhidmatan yang berbeza menyebabkan kerumitan pengurusan ketika aplikasi digunakan.

Sebelum memasang Apache Kafka, anda perlu menyediakan dan menjalankan zookeeper. ZooKeeper adalah perkhidmatan sumber terbuka untuk mengekalkan maklumat konfigurasi, menyediakan penyegerakan diedarkan, penamaan dan penyediaan perkhidmatan kumpulan.

1) Pakej Zookeeper secara lalai boleh didapati di repositori lalai Ubuntu

Anda boleh memasangnya dengan menjalankan perintah berikut: -

sudo apt-get install zookeeperd

Setelah pemasangan selesai, ia akan dimulakan sebagai daemon secara automatik. Secara lalai Zookeeper akan berjalan di port 2181.

Anda boleh mengujinya dengan menjalankan perintah berikut:

netstat -ant | grep: 2181

Keluar akan menunjukkan kepada anda bahawa port 2181 sedang didengarkan.

Langkah 3: Pasang dan Mulakan Pelayan Kafka

Sekarang Java dan ZooKeeper dipasang, sudah waktunya untuk memuat turun dan mengekstrak Kafka dari laman web Apache.

1) Anda boleh menggunakan curl atau wget untuk memuat turun Kafka: (Kafka versi 0.10.1.1)

Jalankan arahan berikut untuk memuat turun persediaan kafka: -

curl -O

ATAU

wget

2) Buat direktori untuk Kafka

Seterusnya, buat direktori untuk pemasangan Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Nyahzip folder yang dimuat turun

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Tukar nama pengguna mengikut nama pengguna anda

4) Mulakan pelayan kafka

Langkah seterusnya adalah memulakan pelayan Kafka, anda boleh memulakannya dengan menjalankan skrip kafka-server-start.sh yang terletak di direktori /opt/kafka/kafka_2.11-0.10.1.1/bin/ dengan menggunakan arahan berikut: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Periksa sama ada Pelayan Kafka berfungsi dengan baik

Anda kini mempunyai pelayan Kafka yang menjalankan dan mendengar di port 9092.

Sekarang, kita dapat memeriksa port mendengar:

- Penjaga Zoo: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Langkah 4: Uji Pelayan Kafka Anda

Sekarang, sudah tiba masanya untuk mengesahkan pelayan Kafka beroperasi dengan betul.

1) Buat topik baru

Untuk menguji Kafka, buat topik topik dengan nama "pengujian" di Apache Kafka menggunakan perintah berikut:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Periksa sama ada topik anda berjaya dibuat

Sekarang, minta Zookeeper menyenaraikan topik yang tersedia di Apache Kafka dengan menjalankan perintah berikut:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Terbitkan mesej menggunakan topik yang anda buat

gema "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh - senarai tempatan broker: 9092 - ujian topik

4) Terima mesej mengenai topik yang dibuat

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --boststrap-server localhost: 9092 - ujian topik - dari awal

5) Untuk menghantar fail menggunakan kafka melalui topik

kafka-console-producer.sh --bros-list localhost: 9092 –topic testing