| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
- VPN
- aws
- kubeflow
- aws cicd
- Python
- chartjs
- COALESCE
- Jenkins
- bootstrap
- SQL
- Flux
- AWS CI/CD 구축하기
- 도커
- codedeploy
- node
- Airflow
- codedeploy error
- codebuild
- openlens
- Spring
- codepipeline
- redis
- PostgreSQL
- chart.js
- Kafka
- Spring Error
- IntelliJ
- JavaScript
- docker
- java bigdecimal
- Today
- Total
목록Kafka (2)
Small Asteroid Blog
Kafka와 Flink를 사용하면 실시간 데이터 처리 파이프라인을 쉽게 구축할 수 있다.대표적인 구조는 다음과 같다.Producer → Kafka → Flink Stream Processing → Sink(DB, ElasticSearch, etc)하지만 스트림 처리 시스템은 Batch 시스템과 다른 특성 때문에 예상하지 못한 장애가 자주 발생한다.실제 운영하면서 자주 마주치는 Kafka + Flink 스트림 처리 장애 5가지를 정리해봤다. 1️⃣ Consumer Lag이 계속 증가하는 문제증상Kafka Topic에 메시지는 계속 쌓이는데 Consumer Lag이 줄어들지 않는다.Kafka CLI나 Kafbat/kafka UI 로 확인하면 다음처럼 Lag이 계속 증가한다.TOPIC PARTITIO..
Docker compose로 Kafka 설치하고 사용해보기
Docker 를 이용해 kafka를 구동할 수 있다. 나는 docker-compose를 이용해 kafka single broker 설치 방법에 대해 정리하고자 한다. 사전 준비 나는 Mac에서 Docker Desktop을 설치해서 수행했다. docker-compose 설치 후 버전을 확인한다. docker-compose 버전이 2 이상이여야 한다. docker-compose --version Docker compose 설정파일 작성하기 docker compose를 이용하기 위해선 docker-compose.yml 이 있어야 한다. 서비스를 구성하는 설정파일을 작성해야하며 docker-compose.yml 파일에는 다음과 같이 작성한다. version: '2' services: zookeeper: imag..