분류 전체보기

Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex 말 그대로 폴더가 없어서 생기는 오류이다 zookeeper 에 접속한 뒤 ./bin/zkCli.sh 로 주키퍼 클라이언트 실행 후 아래와 같이 /kafka-manager 경로에 3개 폴더 생성 # docker exec -it 주키퍼컨테이너명 ./bin/zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls /kafka-manager [configs, clusters, deleteClusters] [zk: localhost:2181(CONNECTED) 1]create /kafka-manager/mutex "" Created /kafka-manager/mutex [zk..

3개의 카프카 서버(브로커 서버)를 띄었다면, 이것을 한개의 클러스터로 묶어준다. 보통 주키퍼도 3대 이상 띄우지만 테스트를 위해 최소한의 주키퍼만 사용하였다. 주키퍼 설명은 이전글을 참고 https://soobysu.tistory.com/96 [Kafka] Zookeeper 란? Zookeeper 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트로 직접 어플리케이션 작업을 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 soobysu.tistory.com config/zoo.cfg #주키퍼 접속 docker exec -it zookeeper-1 /bin/bash #주키퍼 뒤 숫자는 버전마다 상이할 수 있음 cd /opt/zookeeper-3.4.13..

이전 글에서 kafka VM 생성, 접속 후 kafka Vm생성하기 [NCP] Ncp kafka VM 생성 Cloud Data Streaming Service kafka Producer VM, Consumer VM Sever를 둘다 생성 해주었다면 ssh접속하여 터미널을 실행해준다. Java 설치 다음 명령어를 입력하여 Java를 설치 apt-get install openjdk-17-jdk -y Kafka 설치 #홈 soobysu.tistory.com 위 VM생성 글에서 Broker노드 정보에서 PlainText 주소를 복사해서 위에 broker.list에 넣어준다. cd /home/kafka_2.12-2.4.0 # topic list 출력하기 # [broker.list]에 앞에서 확인했던 브로커 노드 ..

Cloud Data Streaming Service kafka Producer VM, Consumer VM Sever를 둘다 생성 해주었다면 ssh접속하여 터미널을 실행해준다. Java 설치 다음 명령어를 입력하여 Java를 설치 apt-get install openjdk-17-jdk -y Kafka 설치 #홈 디렉토리로 이동 cd /home #카프카 설치 wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz # 압축을 풀어준다 tar -zxvf kafka_2.12-2.4.0.tgz 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cl..

Unable to correct problems, you have held broken packages. 맨 아래줄에 해당 경로를 추가해 주자 vi /etc/apt/sources.list deb http://archive.ubuntu.com/ubuntu bionic main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu bionic-security main restricted universe multiverse deb http://archive.ubuntu.com/ubuntu bionic-updates main restricted universe multiverse 위의 오류가 뜬다면 아래 파일을 차례대로 설치해준다. apt in..

병렬 처리(Parallel Operation)란 멀티 코어 환경에서 하나의 작업을 분할해 각각의 코어가 병렬적으로 처리하는 것이다. 동시성(Concurrency) 멀티 작업을 위해 멀티 스레드가 번갈아가며 실행하는 성질이다. 싱글 코어 CPU를 이용한 멀티 작업은 병렬적으로 실행되는 것처럼 보이지만 실제로는 동시성 작업이다. 병렬성(Parallelism) 병렬성은 멀티 작업을 위해 멀티 코어를 이용해 동시에 실행하는 성질이다. 예제1) 해당 예제는 리스트에 10개의 요소를 더하고 , 1초의 대기시간을 주는 예제이다. 일반 반복문 public class SequentialProcessingExample { public static void main(String[] args) { List numbers = ..

1. 간결하고 가독성이 좋은 코드: 람다를 사용해서 가독성이 좋아진다. 2. 병렬 처리 가능: 병렬 스트림을 사용하면 멀티코어 프로세서의 장점을 활용하여 빠른 속도로 대량의 데이터를 처리할 수 있다. 3. 지연 연산(lazy evaluation): 필요한 데이터만 처리하고 나머지 데이터는 처리하지 않는다는 의미 - 성능을 향상 4. 강력한 기능: 맵(map), 필터(filter), 정렬(sort), 그룹화(grouping) 등 다양한 연산을 스트림을 통해 수행할 수 있습니다. 지연 연산(lazy evaluation) 불필요한 연산을 안한다. 아래의 코드는 1~10까지의 정수를 갖는 List에서 6보다 작고, 짝수인 요소를 찾아 10배 시킨 리스트를 출력하는 코드입니다. final List list = A..

연결이 안된다면 여기로 # Broker의 ID로 Cluster내에서 Broker를 구분하기위해 사용. broker.id=0 #카프카 내에서 토픽을 삭제 할 수 있는지 여부. 기본값 true delete.topic.enable=true # 생성되지 않은 토픽을 자동으로 생성할지 여부. 기본값은 true. auto.create.topics.enable=false # Broker가 받은 데이터를 관리위한 저장공간. log.dirs=~/kafka_2.12-2.1.0/data/kafka # Broker가 사용하는 호스트와 포트를 지정, 형식은 PLAINTEXT://your.host.name:port 을 사용 listeners=PLAINTEXT://:9092 # Producer와 Consumer가 접근할 호스트와 ..