전체 글

키바나를 접속해서 데이터를 생성 수정 삭제를 하려면 계정을 추가 해주어야 한다. 1. 컨테이너에서 생성방법 2. 키바나에서 생성방법 엘라스틱 서치 설정파일에 들어가서 /etc/elasticsearch/elasticsearch.yml xpack.security.enabled: true xpack.security.enabled: true 로 바꾸어준다. 이미 설정 되어있으면 안바꿔줘도 됌. 컨테이너에서 생성방법 유저생성 #엘라스틱서치컨테이너에 접속 docker exec -it 엘라스틱서치컨테이너명 bash #유저추가 elasticsearch-users useradd 유저명 #유저삭제 elasticsearch-users userdel 유저명 비밀번호 설정 후 권한설정 #권한설정 elasticsearch-use..

문제 파악 로그를 카프카로 보내려면 logback 에 토픽정보와 bootstrap.servers = ip:port 등 민감한 정보가 있어 application.properties에 환경변수로 만들어 주어 사용하여야 했다. %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n ${kafkaLoggingTopic} bootstrap.servers=${nasIp}:${kafkaLoggingPort} true 해결 스프링 부트에서는 logback.xml 에 application.properties에서 정의한 환경변수를 사용하려면, logback.spring.xml을 사용해야 한다. logback-spring.xml은 logback.xml 대신 ..

프로듀서(Producer) 메세지 발행자 / 생성 , 추가 컨슈머Consumer 메세지 수신자 / 조회 브로커(Broker) 카프카 서버 단위 / 데이터를 저장하고 컨슈머에게 전달하는 역활 ex. 카프카 서버 3대있어 = 브로커 3대 클러스터 (Cluster) 카프카서버(브로커)의 그룹 브로커3대로 클러스터 1대 구성 토픽 (Topic) 카테고리 및 주제 데이터(레코즈)들이 보관 될 장소 하나 이상의 파티션으로 존재 파티션(Partition) - 속도 / 병렬처리 토픽의 조각 토픽을 세분화 저장 - 병렬처리 가능하게 함 레플리카(Replica) - 안정성 나눠진 파티션들의 복제본 ( 토픽의 복제본 ) 토픽이 문제가 생길시 복구 가능 파티션과 레플리카가 뭐임 ? 파티션은 토픽의 데이터를 세분화하고 병렬 ..

Check 사항 앞서 작성했던 docker-compose.yml KAFKA_ADVERTISED_LISTENERS( 외부 접속을 담당 ) 에 EXTERNAL IP를 넣어주어야 한다. KAFKA_LISTENERS 는 카프카 내부에서 연결해주는 옵션이니 모든 외부접속을 열어준다. 로컬에 띄었다면 저부분을 localhost로 설정. environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_BROKER_ID: 1 KAFKA_LISTENERS: INTERNAL://:19092,EXTERNAL://:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT KAFKA_ADVERTISE..

Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex 말 그대로 폴더가 없어서 생기는 오류이다 zookeeper 에 접속한 뒤 ./bin/zkCli.sh 로 주키퍼 클라이언트 실행 후 아래와 같이 /kafka-manager 경로에 3개 폴더 생성 # docker exec -it 주키퍼컨테이너명 ./bin/zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls /kafka-manager [configs, clusters, deleteClusters] [zk: localhost:2181(CONNECTED) 1]create /kafka-manager/mutex "" Created /kafka-manager/mutex [zk..

3개의 카프카 서버(브로커 서버)를 띄었다면, 이것을 한개의 클러스터로 묶어준다. 보통 주키퍼도 3대 이상 띄우지만 테스트를 위해 최소한의 주키퍼만 사용하였다. 주키퍼 설명은 이전글을 참고 https://soobysu.tistory.com/96 [Kafka] Zookeeper 란? Zookeeper 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트로 직접 어플리케이션 작업을 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 soobysu.tistory.com config/zoo.cfg #주키퍼 접속 docker exec -it zookeeper-1 /bin/bash #주키퍼 뒤 숫자는 버전마다 상이할 수 있음 cd /opt/zookeeper-3.4.13..

이전 글에서 kafka VM 생성, 접속 후 kafka Vm생성하기 [NCP] Ncp kafka VM 생성 Cloud Data Streaming Service kafka Producer VM, Consumer VM Sever를 둘다 생성 해주었다면 ssh접속하여 터미널을 실행해준다. Java 설치 다음 명령어를 입력하여 Java를 설치 apt-get install openjdk-17-jdk -y Kafka 설치 #홈 soobysu.tistory.com 위 VM생성 글에서 Broker노드 정보에서 PlainText 주소를 복사해서 위에 broker.list에 넣어준다. cd /home/kafka_2.12-2.4.0 # topic list 출력하기 # [broker.list]에 앞에서 확인했던 브로커 노드 ..

Cloud Data Streaming Service kafka Producer VM, Consumer VM Sever를 둘다 생성 해주었다면 ssh접속하여 터미널을 실행해준다. Java 설치 다음 명령어를 입력하여 Java를 설치 apt-get install openjdk-17-jdk -y Kafka 설치 #홈 디렉토리로 이동 cd /home #카프카 설치 wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz # 압축을 풀어준다 tar -zxvf kafka_2.12-2.4.0.tgz 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cl..