Kafka

C’est quoi ?

Apache Kafka est un système de diffusion de messages en temps réel conçu pour traiter de grandes quantités de données de manière distribuée. Il est utilisé comme un moyen de communication interne entre les microservices d’une application, pour mettre en cache les données en vue d’une analyse ultérieure, pour alimenter en temps réel des dashboards de suivi…

Kafka est développé en Java et est distribué sous licence Apache.

ça sert à quoi ?

Il est utilisé par de nombreuses entreprises pour gérer leur flux de données en temps réel.

Kafka est basé sur un modèle de publication-abonnement :

• les clients peuvent publier des messages (appelés “producteurs”) sur des sujets (appelés “topics”) et d’autres clients peuvent s’abonner à ces sujets pour recevoir les messages (appelés “consommateurs”).
• Kafka prend en charge la distribution de messages à plusieurs consommateurs et gère l’équilibrage de charge et la réplication des données pour assurer la tolérance aux pannes.

Il y a mélange de fonctionnalités de JMS & JIRA…

L’utiliser avec Spring Boot

• Incluez les dépendances Maven ou gradle suivantes dans votre projet pour ajouter le support Kafka à Spring Boot.

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

• Configurez votre application pour se connecter à votre cluster Kafka en définissant les propriétés suivantes dans votre fichier application.properties

spring.kafka.bootstrap-servers=kafka1:9092,kafka2:9092

Cette propriété définit les adresses et les ports de votre cluster Kafka.

• Créez un producteur de messages en annotant une méthode avec @KafkaListener.

@KafkaListener(topics = "myTopic")
public void processMessage(String message) {
    // process message
}

Cette méthode sera appelée chaque fois qu’un message est publié sur le sujet “myTopic” et prendra en paramètre le message reçu.

• Créez un consommateur de messages en utilisant l’interface KafkaTemplate.

@Autowired
private KafkaTemplate<String, String> kafkaTemplate;
public void sendMessage(String topic, String message) {

Conclusion

Un outil que vous allez certainement utiliser dans votre entreprise… ;)