#토픽 생성kafka-topics.sh --create --bootstrap-server --replication-factor 1 --partitions 30 --topic myTopic#토픽 리스트 조회kafka-topics.sh --list --bootstrap-server #토픽 정보 상세 조회kafka-topics.sh --describe --topic myTopic --bootstrap-server #토픽 프로듀서 ( 생성 )kafka-console-producer.sh --topic --bootstrap-server #토픽 컨슈머 ( 조회 )kafka-console-consumer.sh --bootstrap-server --topic myTopickafka-console-consumer...
개-발/Infra
problem윈도우 os 환경에서 WSL 안에 Docker 로 띄운 Kafka 에 메세지를 Publish 하려고 한다.그림으로 설명 하자면... 데이터가 넘어야 할 산이 매우 많았다.solution순서1. 공유기 포트 포워딩2. 윈도우 방화벽 설정3. WSL 포트 포워딩 ( 윈도우 -> WSL ) 4. Docker 포트 매핑5. KAFKA_ADVERTISED_LISTENERS 설정 1. 공유기 포트포워딩192.168.0.1 에 접속하여 포트포워딩 설정을 해준다.2. window 내부 포트 열기고급 보안이 포함된 Windows Defender 방화벽 -> 인바운드 규칙 -> 새 규칙을 추가 해준다.3.WSL 포트 포워딩 Widows 의 power Shell 을 관리자 권한으로 실행 시키고 windows ..
problem시놀로지는 편리하게 dns설정을 도와준다.DNS (Domain Name System) 란사용자에게 친숙한 도메인 이름을 컴퓨터가 네트워크에서 서로를 식별하는 데 사용하는 인터넷 프로토콜(IP) 주소로 변환하는 인터넷 표준 프로토콜의 구성 요소나스 ddns 설정을 안해준다면124.523.102.102:5000ip 와 port 가 적나라 하게 표시된다.위 같은 주소를example.synology.com으로 바꿔주는 서비스 라고 생각하면 좋다.여기서 ssl 이라는 개념이 나오는데 ssl 은 쉽게 설명하면 http -> https 로 바꿔 보안 접속을 가능케 해준다고 생각하면 된다.크롬은 http:// 접속은 되지만 간혹 접속을 막기도 한다. 그러므로 https 설정은 거의 필수라고 생각하면 된다...
1.컨테이너 중지docker stop [컨테이너id]2.도커 중지 sudo service docker stop3.도커 컨테이너 정보 조회 sudo docker ps -a --no-trunc | grep [컨테이너id]위 구문을 넣으면 컨테이너의 HASH 값을 가져 올 수 있다.4.컨테이너 설정 파일 접근sudo vi /var/lib/docker/containers/[컨테이너hash전체]/hostconfig.json시놀로지 : sudo vi /volume1/@docker/containers/[컨테이너hash전체]/hostconfig.json5. PortBindings의 HostPort를 원하는 포트로 변경기존) PortBindings":{"8080/tcp":[{"HostIp":"","HostPort":"8..
KafkaTransactionManager ( 카프카 트랜잭션 처리 )스프링 부트에서 트랜잭션을 사용하기 위해서는 단순히 spring.kafka.producer.transaction-id-prefix값을 설정하기만 하면 된다. (application.yml 혹은 KafkaProducerConfig에 설정)스프링 부트에서는 자동적으로 KafkaTransactionManager bean을 구성하고 listener 컨테이너를 연결한다.@Beanpublic ProducerFactory producerFactory() { ... DefaultKafkaProducerFactory factory = new DefaultKafkaProducerFactory(props); factory.setTransa..
problemec2에 올릴 수 있었지만 ec2 메모리가 부족해서 이렇게 된거 ElastiCache 를 사용해보려고 한다.solutionElastiCache 란Amazon ElastiCache는 인 메모리 데이터베이스 캐싱 시스템을 제공하여 애플리케이션이 데이터를 검색 할 수있는 성능, 속도 및 중복성을 향상시키는 클라우드 캐싱 서비스이다.https://ap-northeast-2.console.aws.amazon.com/elasticache/home https://ap-northeast-2.console.aws.amazon.com/elasticache/home?region=ap-northeast-2#/ ap-northeast-2.console.aws.amazon.com1. Start위 링크에 접속해서 오른..
problem프로필 , 로고 업로드 기능을 위해 서버에서 이미지 처리 기능으로 S3를 사용 했다.S3 의 버켓에 특정 확장자 업로드를 방지하는 정책을 적용 해보기로 했다.solution적용 할 버킷에 접속한다.권한 탭으로 이동 후 아래에 내려오면 버킷 정책이 있다{ "Version": "2012-10-17", "Id": "Policy1717078661759", "Statement": [ { "Sid": "Stmt1717078657627", "Effect": "Deny", "Principal": "*", "Action": [ "s3:GetObject", ..
problem"action_request_validation_exception""Validation Failed: 1: type is missing;"두 예외에 대한 설명도 아래에 담는다폐쇄망(내부망)에서 엘라스틱서치 인덱스의 데이터를 옮기려고 한다해당 인덱스의 데이터를 json 파일로 받아 다시 새로운 인덱스로 옮기는 작업을 했다.solution1. 데이터 -> JSON 파일 추출# 1. 첫 번째 요청으로 스크롤 ID 얻기curl -X GET "http://localhost:9200/index/_search?scroll=1m&size=1000" -H 'Content-Type: application/json' -d'{ "query": { "match_all": {} }}' > my_index.j..
