when i installed aws-cli with default install script that aws provides, the symbolic link is created at /usr/bin/aws. when i command 'which aws', it shows /bin/aws and i got error when executing aws cli So i want to execute the aws from /usr/bin/aws as default which awsls -l /bin/awsls -l /usr/bin/aws#If /bin/aws exists and is causing a conflict, you can remove or rename it.sudo rm /bin/aws#If /..
간단한 개요Container 를 AWS 위에서 돌릴때 AWS 의 Inbound 및 Outbound 네트워크 이외에도 고려해야 할 레벨의 네트워크가 존재한다.컨테이너의 주요 장점이 한 호스트에 여러개의 컨테이너를 올릴 수 있다는 것이기 때문에, 이 컨테이너들이 특정 호스트에서 어떤식의 네트워크를 사용할지 선택을 해야하기 때문이다. 간단한 설명Netwrok Mode설명Host- 가장 기본적인 네트워크 모드Bridge- 가상 네트워크 브릿지를 제공하여 호스트 서버와 컨테이너간의 네트워크에 레이어를 생성함AWSVPC- ECS 가 각각의 task 마다 ENI 를 생성하고 관리하여, 각 task 는 VPC 내에 자신의 프라이핏 IP가 생긴다. 간단한 장단점 Netwrok Mode 장점단점Host- 간단한 설정- ..
kafka connector kafka 토픽으로부터 데이터를 읽고 씀 checkpointing mechanism exactly once를 보장하기 위해서 offset을 checkpointing 하고 추적함 position configuration - setStartFromGroupOffsets: Flink는 컨슈머 그룹의 파티션들을 읽기 시작하고, kafka broker에 있는 offset을 커밋하는데, offset을 찾을 수 으면, auto.offset.reset 속성이 사용된다 - setStartFromEarliest(Latest): 이 모드에선 커밋된 offset들은 무시되고 시작 포시션으로 사용되지 않음 - job 이 실패해서 자동으로 복구하거나 savepoint 를 사용해서 복구하는 경우 sta..
오늘 기억에 남는 것!! -> 플링크 스냅샷에 아직 반영되지 않은 상태 수정은 임시적인 것으로 간주해야 한다 ABS 배경 1. 분산 스트리밍 프로세스에서 잠재적인 장애를 처리하려고 찍는 snapshot의 성능상 문제로 Asynchronous Barier Snapshotting (ABS) 이 나옴 -> 데이터플로우에 minimal record log를 적용 -> ABS 를 Flink 에 적용 2. 기존에 exactly one 에는 동기(synchronous) 스냅샷을 이용해서 실행을 멈춰야 되는 단점이 있으며, 처리되기 전의 메세지도 스냅샷에 포함된다는 것도 단점이었음 3. 그 후에 나온 방법들 (checkpointing, 비동기로 스냅샷 찍기)에 대한 아이디어를 확장함 Apache Flink 1. Fli..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/y2luz/btrLVXJH3lQ/vKbzRoctznAAnxGyigP9B1/img.png)
Event Streaming 이란? 이벤트 소스로부터 이벤트 스트리밍의 형태로 실시간으로 데이터를 캡처하고, 이벤트 스트리밍을 나중에 사용할 수 있도록 영구적으로 저장한다. 이벤트 스트리밍을 처리하고 필요한 목적지로 라우팅한다. 이벤트 스트리밍은 옳은 정보가 적시에 옳바른 곳에 있도록 연속적 흐름과 데이터 해석을 보장한다. Kafka는 Event Streaming 플래폼이다 kafka는 이벤트 스트리밍을 Publish(wirte) 하고 Subscribe(Read)해서, 시스템들로부터 데이터를 계속적으로 가져오거나 내보낸다 kafka는 이벤트 스트리밍을 내구성있게 보관한다 kafka는 이벤트 스트리밍을 처리한다 Kafka는 어떻게 작동할까? kafka는 TCP로 소통하는 client 와 server로 구성..
![](http://i1.daumcdn.net/thumb/C148x148/?fname=https://blog.kakaocdn.net/dn/bO8OgQ/btrLOnbBh9g/655okFyY3Ksnp9xdQnY370/img.png)
play의 필수 구성요소 1. name 2. hosts 3. tasks 예시 --- - name: Update web servers hosts: webservers remote_user: root tasks: - name: Ensure apache is at the latest version ansible.builtin.yum: name: httpd state: latest - name: Write the apache config file ansible.builtin.template: src: /srv/httpd.j2 dest: /etc/httpd.conf - name: Update db servers hosts: databases remote_user: root tasks: - name: Ensure ..
EKS 와 연결되는 aws 서비스들 AWS 컨테이너 이미지 ECR 노드 EC2 로드밸런서 ELB 인증/인가 IAM Private 네트워크 VPC Volume EBS k8s secret KMS 감사/로그 CloudWatch Log EKS Clustster Cluster 구성요소 설명 Control Plane - etcd, kubernetes api 등을 가짐 - kubernetes api는 eks endpoint를 통해 노출됨 - ec2 instance 위에서 돌아감 - 여러 AZ에 provision되어 ELB(NLB)로 트래픽을 받음 Node - VPC의 network를 이용해 control plane -> node로 트래픽 전송 eks endpoint Public Access Private Access..
AWS IAM(Identity and Access Management) AWS 리소스에 대해 인증과 권환을 부여해, 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 기능 액세스 관리를 통해 계정에서 보안 주체 엔터티에 허용된 권한을 정의할 수 있음(define what a principal entity is allowed to do in an account) 여러 사람이 AWS 계정에 대한 Shared Access 를 할 수 있음 MFA (멀티 팩터 인증) 등 정의할 요소 보안 주체 엔터티 (principle entity) - person (user) 또는 group - application (role) 허용된 권한 관리 - policy (정책) AWS는 IAM 엔터티(사용자 또는 역할)가 요..
AWS Lambda AWS 서비스와 SaaS 어플리케이션에서 Lambda를 트리거 해서 서버를 프로비저닝 또는 관리하지 않고도 코드 실행 사용자는 코드(함수)에 대해서만 책임 Lamda가 사용자를 대신해 컴퓨팅 관리 활동 수행(사용자가 런타임에 운영체제 지정 불가) Lambda 함수가 실행될 때 Lambda가 필요시에만 구성된 함수를 실행 Lambda API를 사용하여 Lambda함수를 호출하거나, AWS 서비스의 이벤트에 응답하여 실행 Lambda 기능 프로덕션 앱의 크기 조정 및 응답성 제어 코드 서명으로 승인된 개발자의 코드만 실행 등
External DNS https://github.com/kubernetes-sigs/external-dns GitHub - kubernetes-sigs/external-dns: Configure external DNS servers (AWS Route53, Google CloudDNS and others) for Kubernetes I Configure external DNS servers (AWS Route53, Google CloudDNS and others) for Kubernetes Ingresses and Services - GitHub - kubernetes-sigs/external-dns: Configure external DNS servers (AWS Route53, ... github...