[2023 기능경기대회 클라우드컴퓨팅 2과제] Kinesis 구성

 

ㅋㅋㅋㅋㅋㅋ 웃긴놈

그냥 간단히 데이터를 처리 및 분석하는 친구라고 생각하면 된다.

그리고 비싸다, 내 친구가 이거 쓰다가 안꺼가지고 학교돈 600달러 날린걸로 기억한다.

결론적으로 안 즐겁다.

 

 

 

Kinesis는 사실 딱 딱 따닥 하면 되는거다. 하다 보면 무슨말인지 알게 될 것이다.

 

 

데이터 스트림 구성으로 들어간다.

이름은 API에서 구성한 "StreamName" : "class-stream" 을 입력해준다.

 

 

딱

→ S3페이지로 이동해준다.

• name : main-s3
• aws 리전 : ap-northeast-1
• ACL 비활성화
• 퍼블릭 엑세스 차단

 

 

딱 

→ Kinesis Firehose로 이동

 

 

딱

• 소스 : Amazone Kinesis Data Streams
• 대상 : Amazon S3

 

 

딱 

• 소스 설정 : Datastream에 ARN을 삽입해준다.
• 전송 스트림 이름 : LogData

 

 

딱

• S3 : 방금 생성한 S3버킷을 선택
• S3 접두사 : log/

 

 

완료

→ EC2로 이동해준다음에

정상 작동을 하는것인지? curl을 날려줄것이다.

curl -d "{\"value\":\"30\",\"type\":\"Tip 3\"}" -H "Content-Type: application/json" -X POST [API URL]/[end point]

아마 이런 메세지가 뜰 것이다

{"SequenceNumber":"49639521689988975797951661683708144248150816003333292034","ShardId":"shardId-000000000000"}

 

그럼 성공이다. 

 

그럼 S3에 로그가 잘 들어왔나 확인해보자

 

 

Datastream

 

 

 

Firehole

 

 

모두 잘 작동된다.

---

로그가 조금 늦게 보내질 수도 있으니 기다리면 정상 작동 한다.

보면 알겠지만 딱딱딱 하면 끝난다. 비교적 쉽다고 볼 수 있다.

다음은 AWS GLUE다.