개-발

problem사이드프로젝트의 aws 프리티어 기간 만료로 다른 계정으로 이동하려는 과정에서 s3 버킷을 다른계정으로 데이터를 모두 이동 시키려고 한다.solution편하게 레거시 버킷을 a버킷 이전 할 버킷을 b버킷 이라고 하겠다.1. b 버킷을 생성한다2. b 계정의 iam 을 만든 후 access-key 와 secret-key 를 복사해 둔다.3. 정책 설정a 버킷 -> b 버킷 으로 쓰는것을 허용 해주어야 한다a 버킷 ( 데이터가 있는 버킷) 정책{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": " b 버킷 principal " }, "Action": [ "s3:GetOb..

#토픽 생성kafka-topics.sh --create --bootstrap-server --replication-factor 1 --partitions 30 --topic myTopic#토픽 리스트 조회kafka-topics.sh --list --bootstrap-server #토픽 정보 상세 조회kafka-topics.sh --describe --topic myTopic --bootstrap-server #토픽 프로듀서 ( 생성 )kafka-console-producer.sh --topic --bootstrap-server #토픽 컨슈머 ( 조회 )kafka-console-consumer.sh --bootstrap-server --topic myTopickafka-console-consumer...

problem윈도우 os 환경에서 WSL 안에 Docker 로 띄운  Kafka 에 메세지를 Publish 하려고 한다.그림으로 설명 하자면... 데이터가 넘어야 할 산이 매우 많았다.solution순서1. 공유기 포트 포워딩2. 윈도우 방화벽 설정3. WSL 포트 포워딩 ( 윈도우 -> WSL ) 4. Docker 포트 매핑5. KAFKA_ADVERTISED_LISTENERS 설정 1. 공유기 포트포워딩192.168.0.1 에 접속하여 포트포워딩 설정을 해준다.2. window 내부 포트 열기고급 보안이 포함된 Windows Defender 방화벽 -> 인바운드 규칙 -> 새 규칙을 추가 해준다.3.WSL 포트 포워딩 Widows 의 power Shell 을 관리자 권한으로 실행 시키고 windows ..

https://developer.mozilla.org/ko/docs/Web/HTTP/Basics_of_HTTP/MIME_types/Common_types 일반 MIME 타입 - HTTP | MDN다음은 일반적인 확장자로 정렬된, 문서 타입과 관련된 MIME 타입의 포괄적인 목록입니다.developer.mozilla.org확장자문서 종류MIME 타입.aacAAC 오디오audio/aac.abwAbiWord 문서application/x-abiword.arc아카이브 문서 (다중 파일 포함)application/x-freearc.avifAVIF 이미지image/avif.aviAVI: 오디오 비디오 인터리브(Audio Video Interleave)video/x-msvideo.azw아마존 킨들 전자책 포맷appli..

problem배치의 결과에 따라(특정조건) 배치를 반복 종료 할 때가 있다.  특정 조건에 따라 재시도(Retry) / 건너뛰기(Skip) 할 수 있다.solutionRepeat복잡한 청크 완료 조건:  기본적인 청크 크기 외에 다른 조건에 따라 반복을 제어할 수 있다.커스텀 반복 로직이 필요한 경우: 특정 작업을 여러 번 반복해야 할 때, 반복 횟수나 종료 조건을 직접 정의할 수 있다. 에러 처리 및 재시도 로직: 작업 중 오류가 발생했을 때(특정 조건에 충족하지 못했을 때), 일정 횟수만큼 재시도하거나 특정 조건이 충족될 때까지 반복하도록 설정할 수 있다. 스프링 배치는 RepeatTemplate 기본으로 제공하여 기능을 구현 시킬 수 있다.RepeatTemplate 인터셉터처럼 step 전 후에 적..

problem시놀로지는 편리하게 dns설정을 도와준다.DNS (Domain Name System) 란사용자에게 친숙한 도메인 이름을 컴퓨터가 네트워크에서 서로를 식별하는 데 사용하는 인터넷 프로토콜(IP) 주소로 변환하는 인터넷 표준 프로토콜의 구성 요소나스 ddns 설정을 안해준다면124.523.102.102:5000ip 와 port 가 적나라 하게 표시된다.위 같은 주소를example.synology.com으로 바꿔주는 서비스 라고 생각하면 좋다.여기서 ssl 이라는 개념이 나오는데 ssl 은 쉽게 설명하면 http -> https 로 바꿔 보안 접속을 가능케 해준다고 생각하면 된다.크롬은 http:// 접속은 되지만 간혹 접속을 막기도 한다. 그러므로 https 설정은 거의 필수라고 생각하면 된다...

1.컨테이너 중지docker stop [컨테이너id]2.도커 중지 sudo service docker stop3.도커 컨테이너 정보 조회 sudo docker ps -a --no-trunc | grep [컨테이너id]위 구문을 넣으면 컨테이너의 HASH 값을 가져 올 수 있다.4.컨테이너 설정 파일 접근sudo vi /var/lib/docker/containers/[컨테이너hash전체]/hostconfig.json시놀로지 : sudo vi /volume1/@docker/containers/[컨테이너hash전체]/hostconfig.json5. PortBindings의 HostPort를 원하는 포트로 변경기존) PortBindings":{"8080/tcp":[{"HostIp":"","HostPort":"8..

인덱스란https://soobysu.tistory.com/115 [DB] Index 테이블 인덱스 설정 feat.JPAIndex 인덱스란 뭘까 ?데이터베이스 인덱스는 추가 쓰기 및 저장 공간을 희생 하여 테이블에 대한 데이터 검색 작업의 속도를 향상시키는 데이터 구조입니다 .(DB에서 검색이 이루어 질땐 컴퓨soobysu.tistory.com인덱스 생성 고려사항 인덱스는 WHERE 절에 자주 사용되는 속성이어야 한다. 인덱스는 JOIN에 자주 사용되는 속성이어야 한다. 단일 테이블에 인덱스가 많으면 속도가 느려질 수 있다. 속성이 가공되는 경우 사용하지 않는다. 속성의 선택도가 낮을 때 유리하다. 즉, 검색 조건에 자주 사용되고 카디널리티가 높은 컬럼을 인덱스로 설정하면 좋다.*카디널리티란 특정 데이터 ..