1. kakao repository 변경sudo vim /etc/apt/sources.list# 일반 ubuntu%s/kr.archive.com/mirror.kakao.com/g# aws ec2 ubuntu%s/ap-northeast-2.ec2.archive.ubuntu.com/mirror.kakao.com/gsudo apt update2. SSH KEY 등록--로컬 ssh-keygen -t rsa -b 4096ssh-copy-id -i ~/.ssh/id_rsa.pub @ssh-copy-id -i ~/.ssh/id_rsa.pub ubuntu@ec2-wndiwjqojdq--pem key 로 보내기ssh-copy-id -i ~/.ssh/id_rsa_new.pub -o "IdentitiesOnly=yes" -..
개-발/Infra
problem사이드프로젝트의 aws 프리티어 기간 만료로 다른 계정으로 이동하려는 과정에서 s3 버킷을 다른계정으로 데이터를 모두 이동 시키려고 한다.solution편하게 레거시 버킷을 a버킷 이전 할 버킷을 b버킷 이라고 하겠다.1. b 버킷을 생성한다2. b 계정의 iam 을 만든 후 access-key 와 secret-key 를 복사해 둔다.3. 정책 설정a 버킷 -> b 버킷 으로 쓰는것을 허용 해주어야 한다a 버킷 ( 데이터가 있는 버킷) 정책{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": " b 버킷 principal " }, "Action": [ "s3:GetOb..
#토픽 생성kafka-topics.sh --create --bootstrap-server --replication-factor 1 --partitions 30 --topic myTopic#토픽 리스트 조회kafka-topics.sh --list --bootstrap-server #토픽 정보 상세 조회kafka-topics.sh --describe --topic myTopic --bootstrap-server #토픽 프로듀서 ( 생성 )kafka-console-producer.sh --topic --bootstrap-server #토픽 컨슈머 ( 조회 )kafka-console-consumer.sh --bootstrap-server --topic myTopickafka-console-consumer...
problem윈도우 os 환경에서 WSL 안에 Docker 로 띄운 Kafka 에 메세지를 Publish 하려고 한다.그림으로 설명 하자면... 데이터가 넘어야 할 산이 매우 많았다.solution순서1. 공유기 포트 포워딩2. 윈도우 방화벽 설정3. WSL 포트 포워딩 ( 윈도우 -> WSL ) 4. Docker 포트 매핑5. KAFKA_ADVERTISED_LISTENERS 설정 1. 공유기 포트포워딩192.168.0.1 에 접속하여 포트포워딩 설정을 해준다.2. window 내부 포트 열기고급 보안이 포함된 Windows Defender 방화벽 -> 인바운드 규칙 -> 새 규칙을 추가 해준다.3.WSL 포트 포워딩 Widows 의 power Shell 을 관리자 권한으로 실행 시키고 windows ..
problem시놀로지는 편리하게 dns설정을 도와준다.DNS (Domain Name System) 란사용자에게 친숙한 도메인 이름을 컴퓨터가 네트워크에서 서로를 식별하는 데 사용하는 인터넷 프로토콜(IP) 주소로 변환하는 인터넷 표준 프로토콜의 구성 요소나스 ddns 설정을 안해준다면124.523.102.102:5000ip 와 port 가 적나라 하게 표시된다.위 같은 주소를example.synology.com으로 바꿔주는 서비스 라고 생각하면 좋다.여기서 ssl 이라는 개념이 나오는데 ssl 은 쉽게 설명하면 http -> https 로 바꿔 보안 접속을 가능케 해준다고 생각하면 된다.크롬은 http:// 접속은 되지만 간혹 접속을 막기도 한다. 그러므로 https 설정은 거의 필수라고 생각하면 된다...
1.컨테이너 중지docker stop [컨테이너id]2.도커 중지 sudo service docker stop3.도커 컨테이너 정보 조회 sudo docker ps -a --no-trunc | grep [컨테이너id]위 구문을 넣으면 컨테이너의 HASH 값을 가져 올 수 있다.4.컨테이너 설정 파일 접근sudo vi /var/lib/docker/containers/[컨테이너hash전체]/hostconfig.json시놀로지 : sudo vi /volume1/@docker/containers/[컨테이너hash전체]/hostconfig.json5. PortBindings의 HostPort를 원하는 포트로 변경기존) PortBindings":{"8080/tcp":[{"HostIp":"","HostPort":"8..
KafkaTransactionManager ( 카프카 트랜잭션 처리 )스프링 부트에서 트랜잭션을 사용하기 위해서는 단순히 spring.kafka.producer.transaction-id-prefix값을 설정하기만 하면 된다. (application.yml 혹은 KafkaProducerConfig에 설정)스프링 부트에서는 자동적으로 KafkaTransactionManager bean을 구성하고 listener 컨테이너를 연결한다.@Beanpublic ProducerFactory producerFactory() { ... DefaultKafkaProducerFactory factory = new DefaultKafkaProducerFactory(props); factory.setTransa..
problemec2에 올릴 수 있었지만 ec2 메모리가 부족해서 이렇게 된거 ElastiCache 를 사용해보려고 한다.solutionElastiCache 란Amazon ElastiCache는 인 메모리 데이터베이스 캐싱 시스템을 제공하여 애플리케이션이 데이터를 검색 할 수있는 성능, 속도 및 중복성을 향상시키는 클라우드 캐싱 서비스이다.https://ap-northeast-2.console.aws.amazon.com/elasticache/home https://ap-northeast-2.console.aws.amazon.com/elasticache/home?region=ap-northeast-2#/ ap-northeast-2.console.aws.amazon.com1. Start위 링크에 접속해서 오른..
