개-발/Infra

Cloud Data Streaming Service kafka Producer VM, Consumer VM Sever를 둘다 생성 해주었다면 ssh접속하여 터미널을 실행해준다. Java 설치 다음 명령어를 입력하여 Java를 설치 apt-get install openjdk-17-jdk -y Kafka 설치 #홈 디렉토리로 이동 cd /home #카프카 설치 wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.12-2.4.0.tgz # 압축을 풀어준다 tar -zxvf kafka_2.12-2.4.0.tgz 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cl..

topic 생성하기docker exec -it 카프카컨테이너이름 kafka-topics --create --topic 토픽이름 --bootstrap-server kafka:9092 --replication-factor 1 --partitions 1해당 메세지를 입력했는데 Log4j canot read 오류가 뜬다면 참고 🛠️링크 kafka-topics:카프카 토픽에 대한 명령을 실행한다.--create:토픽을 생성하겠다는 의미이다.--topic :생성할 토픽 이름을 지정한다.--bootstrap-server service:portbootstrap-server는 kafak 브로커 서비스를 나타낸다. 이때 서비스:포트 로 지정하여 접근할 수 있다.--replication-factor 1:복제 계수를 지정한..

도커 환경에서 카프카와 주키퍼도커 환경에서 카프카와 주키퍼 구축시에 사용할 이미지를 먼저 선택해야한다. 도커 명령어를 통해 주키퍼와 카프카에 관련된 이미지를 검색한 결과, 주키퍼는 공식 이미지가 있지만, 카프카는 공식 이미지가 없음을 확인 할 수 있다.카프카 이미지 특징1. dockerkafka/kafkaDocker hub 바로가기kafka외에도 zookeeper, kafka-manager 솔루션 제공데이터 플랫폼 최강자 책 참고 가능. (2페이지정도 분량이긴 하지만..)4년전에 업데이트 되어, 최신 docker-compose version은 참고가 어려움.2. bitnami/kafkaDocker hub 바로가기bitnami 회사에서 지원kafka, zookeeper도 한꺼번에 사용가능. 최신 릴리즈 빠..

카프카를 이해하기 위해서는 메시지 큐와 MOM을 먼저 알아야한다. 메시지 큐는 분산화된 환경에서 발신자와 수신자 사이에서 메시지를 전송하고, 수신하는 기술을 의미한다. MOM(message oriented middleware)를 통해서 구현된다. 메시지큐 메시지 큐를 사용하면 발신자와 수신자가 서로를 직접 알 필요 없으므로 느슨한 결합(decoupling)을 만들어낼 수 있다. 발신자, 수신자 서로가 서로에게 의존하지 않으므로, 각자는 독립적으로 확장(scalable)될 수 있다. N:1:M 의 형태로 발신자, 수신자 사이에 메시지 큐가 메시지를 중개하기 때문이다. 또한 수신자 서비스가 당장 장애 상황이더라도 발행된 메시지는 모두 메시지 큐에 남아있으므로 결국 발신자가 발생한 모든 메시지는 소비자 서비스..

Zookeeper 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트로 직접 어플리케이션 작업을 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 작업을 쉽게 구현할 수 있게 해준다. 주키퍼는 분산 어플리케이션을 위한 코디네이션 시스템으로, 분산되어 있는 각 어플리케이션의 정보를 중앙에 집중하고 구성,관리,그룹 관리 네이밍,동기화 등의 서비스를 제공한다. 설정관리 클러스터의 설정 정보를 최신으로 유지하기 위한 시스템 클러스터 관리 클러스터의 서버가 추가되거나 제외될 때 그 정보를 클러스터 내 서버(브로커)들이 공유하기 위한 시스템 리더 채택 다중 어플리케이션 중 어떤 노드를 리더로 산출할 지 정하는 로직을 만드는 시스템 락,동기화 클러스터에서 쓰기 연산..

한글 형태소 분석기: Nori 확장 플러그인 엘라스틱서치에서 한글 형태소 분석기 중 가장 널리 사용되는 것은 “nori”이다. nori는 카카오에서 개발한 형태소 분석기로, 엘라스틱서치에서 공식적으로 지원된다. 아래와 같이 elasticsearch가 루트 디렉토리에 analysis-nori 를 설치해서 사용한다. docker exec -it 엘라스틱서치컨테이너이름 ./bin/elasticsearch-plugin install analysis-nori 엘라스틱서치 컨테이너의 엘라스틱 플러그인을통해 nori를 설치한다. 위 사진과 같이 nori 설치가 완료되면 엘라스틱서치를 restart해주어야 한다 docker-compose restart 필자는 도커 컴포즈 파일로 ELK Stack을 구성해놓앗기 때문에 ..

docker run -d --name redis -p 6379:6379 --network redis-net redis # 볼륨 설정하기 docker run --name redis -p 6379:6379 --network redis-net -v /Users/jiyeonpark/Desktop/redisvolume -d redis:latest redis-server --appendonly yes 도커 이미지를 올릴때 network를 설정해주는데 이 네트워크의 역활은 뭘까 ? docker network ls 브릿지(Bridge): 기본적으로 도커에서 사용하는 네트워크 모드입니다. 컨테이너는 호스트 시스템과 독립적인 IP 주소를 할당 받아 독립된 네트워크 인터페이스를 가집니다. 이 모드에서는 컨테이너 간에는 가상..

도커 비슷한것 끼리 묶을 순 없을까 ? - 2가지 방법 --label (레이블) --network (네트워크) --label / -l / 레이블 레이블은 컨테이너에 메타데이터를 추가하는 데 사용됩니다. 예를 들어, 컨테이너의 역할, 환경 설정, 버전 정보 등을 레이블로 지정할 수 있습니다. 레이블을 사용하여 컨테이너를 그룹화하거나 특정 속성을 식별하는 데 도움이 됩니다. 레이블은 컨테이너에 추가적인 정보를 부여하고 관리하기 쉽게 해줍니다. --network 네트워크는 컨테이너 간의 통신을 관리하는 데 사용됩니다. 도커 네트워크는 컨테이너가 서로 통신하고 외부와 통신하는 데 필요한 IP 주소및 포트 매핑을 관리합니다. 네트워크를 사용하..