AWS Lambda를 통한 실시간 빅데이터 처리하기


키네시스와 람다사이에 어떻게 데이터가 이동하는지.

실시간 서버리스 데이터 처리

데이터 분석

배치형 처리- 일반적 데이터분석 , 실시간 처리-람다를 이용한 실시간처리,

람다 - 푸시모델, 풀링모델-키네시스+동기

서버리스 기반의 실시간 스트리밍 데이터 차리

람다 + 키네시스

키네시스로 데이터 발송

람다 두개 호출

하나는 다이나모랑 에스쓰리

하나는 클라우드와치랑 엘라스틱서치

데이터 처리 3단계

데이터 폴링, 배칭, 람다실행

샤드별로는 비동기지만 샤드내에서는 동기이기때문에 예외처리가 중요.

데모: 트윗 크롤링

분산 컴퓨터환경을 바탕으로한 서버리스 데이터 처리

서버리스 분사 컴퓨팅 - 맵 리듀스 모델

요약

람다와 키네시스에 대한 이해 및 인터널 동작 원리

서버리스 분산컴퓨팅및 고객사레

2023년 새해에는 성장하고 함께하고 싶다면?

Pre A 단계 이상의 스타트업 C 레벨들이 모여서 커뮤니티를 만들었습니다. 같이 스터디하고 친해질 일잘러를 찾습니다.