KodelokaMateri tertulis · 13 modul
Materi Apache Kafka
Kelas Apache Kafka berbahasa Indonesia: 13 modul tentang log terdistribusi, partisi dan urutan, consumer group dan rebalance, KRaft, transaksi exactly-once, Schema Registry, Connect, Streams, dan pola outbox.
1 · Fondasi
- 1. Kafka Itu Log, Bukan Antrean PesanHampir semua kesalahpahaman tentang Kafka berakar dari satu asumsi keliru: menganggapnya antrean seperti RabbitMQ. Kafka adalah log yang bisa diputar ulang.
- 2. Partisi, Kunci Pesan & ReplikasiPartisi menentukan paralelisme, kunci pesan menentukan urutan, dan replikasi menentukan apakah data Anda selamat. Ketiganya saling tarik-menarik.
- 3. KRaft: Kafka Tanpa ZooKeeperZooKeeper sudah dihapus sepenuhnya di Kafka 4.0. Tutorial lama yang menyuruh Anda menjalankan ZooKeeper kini menyesatkan.
2 · Produksi & Konsumsi
- 4. Produser: acks, Idempotensi, Batching & KompresiSetelan default produser dulu mengutamakan kecepatan. Sejak Kafka 3.0 default sudah aman — tetapi banyak konfigurasi warisan yang masih beredar dan berbahaya.
- 5. Consumer Group, Rebalancing & Commit OffsetSebagian besar insiden Kafka di produksi berakar di sisi konsumen: rebalance yang tak berhenti, offset yang salah di-commit, dan pesan yang diproses dua kali.
- 6. Semantik Pengiriman & Transaksi Exactly-OnceExactly-once di Kafka itu nyata, tetapi cakupannya jauh lebih sempit daripada yang dibayangkan kebanyakan orang.
3 · Data & Skema
- 7. Serialisasi, Schema Registry & Evolusi SkemaTopik Kafka hidup bertahun-tahun dan dibaca banyak tim. Tanpa kontrak skema, satu perubahan kecil di produser bisa merusak konsumen yang bahkan tidak Anda ketahui…
- 8. Retensi, Log Compaction & Tiered StorageKafka menghapus data berdasarkan aturan yang Anda tetapkan. Salah memahami aturan ini berarti disk penuh di tengah malam, atau data penting yang lenyap tanpa peringatan.
4 · Ekosistem
- 9. Kafka Connect & Change Data CaptureSebagian besar integrasi Kafka yang ditulis tangan sebenarnya sudah ada sebagai konektor siap pakai — lengkap dengan penanganan offset, retry, dan skala yang biasanya…
- 10. Kafka Streams: Pemrosesan StatefulKafka Streams adalah pustaka, bukan klaster. Ia mengubah aplikasi biasa menjadi pemroses aliran yang stateful, toleran gagal, dan bisa diskalakan seperti layanan lain.
5 · Operasi
- 11. Pemantauan, Consumer Lag & KapasitasKafka mengeluarkan ratusan metrik. Hanya segelintir yang benar-benar menentukan apakah Anda tidur nyenyak.
- 12. Keamanan: TLS, SASL, ACL & KuotaKlaster Kafka default tidak punya autentikasi maupun enkripsi. Siapa pun yang bisa menjangkau port 9092 dapat membaca dan menghapus segalanya.