Backend 44

Java + Kotlin 프로젝트 QueryDSL QFile을 찾지 못하는 이슈(소스 세트 구성 오류)

도입 최근 내가 스타트업에서 하고 있는 프로젝트는 기존에 Php 라라벨로 작성되었다가 Java Spring으로 넘어와 지금은 Kotlin+Spring으로 짜여져있다. 이미 자바로 중요한 비지니스 로직이 짜여져있다보니 한 번에 모든 코드를 Kotlin으로 마이그레이션 하는 것은 비용적인 면에서 좋지 않기 때문에, 도메인 단위로 쪼개어서 필요하다면 마이그레이션을 진행하고 있는 상황이었다. 다행이도 Java와 Kotlin은 같은 JVM언어로 서로 호환이 매우 잘 되는 편이지만(물론, 아직 경험이 그다지 많지 않아서 확실하진 않지만 대체로 그런 것 같다.) 외부 오픈소스 프로젝트를 사용하게 된다면 가끔 언어가 다르다는 이유로 Build할 때 예상하지 못한 문제를 겪기도 한다. 비교적 최근에 겪었던 문제인데, 만..

Kotlin+Spring Kinesis 비동기 처리 EFO(Coroutine)

요구사항 이번 게시물의 배경이 되는 Context를 설명하도록 하겠다. Kinesis로 모바일 유저들에 위치/속도 등 여러가지 데이터가 실시간으로 1명당 10초에 1번 꼴로 수집되는 상황이다. 약 10000명 이상의 유저가 있으며 스트림 데이터로서 관리하여야 한다. Kinesis + Lambda를 통해서 비동기적으로 데이터가 들어올 때마다 API Gateway를 거쳐서 websocket으로 전송되던 구조에서, Spring 백엔드 서버로 Kinesis에 수집되는 데이터를 비동기적으로 수집하고 이를 또다시 비동기적으로 구독한 Client에게 실시간으로 데이터를 전송하여야 하는 상황이다. 도입 이번 게시물은 Kotlin언어 + Spring 프레임워크에서 Amazon Kinesis에서 코틀린의 코루틴과 EFO(..

Backend 2024.03.20

동시성 문제를 RedisTemplate 활용하여 해결하기

Redis Template을 활용하여 동시성 문제를 해결한다.redistemplate에 있는 락을 활용해서 문제를 해결한다.락을 건다라는 표현이라기 보다, orderId로 활용중인 자원을 redis에 저장해서 관리한다.처음에는 Redis에서 별도로 Lock에 관련된 기능을 제공하는 줄 알았는데, 그건 아니었다. Redis는 key-value로 이루어진 딕셔너리 구조이기 때문에 이 딕셔너리에 일종의 접근/변경하면 안되는, 즉 lock이 걸린 것처럼 동작해야하는 공유자원(어떤 트랜잭션이 동작하고 있는 공유자원)의 값들(그 공유자원을 특정할 수 있는 값)을 lock이름 - 해당 공유자원의 키 로 저장해두고 동시성 문제를 유발할 수 있는 method에서 Redis 내에 현재 그 키값이 존재한다면(즉, 키 값의 ..

java.io.StreamCorruptedException: invalid stream header: 30313031 (공간 데이터 처리)

역직렬화 문제인가?? 얼마 전에 처음보는 에러가 발생했다!! 그리고 이번 에러는 구글에서 검색하면 사람들이 꽤나 많이 겪었음에도 불구하고 이에 대해서 정리해놓은 게시물 또는 답변을 찾아보지 못해서 다른사람들에게 도움이 되고자하는 마음으로 남겨본당 :D java.io.StreamCorruptedException: invalid stream header: 30313031 at java.base/java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:958) ~[na:na]근데 분명히 hibernat나 querydsl 설정도 잘못된게 없었던 것이닷... 그래서 가장 최근에 나랑 비슷한 문제를 겪었던 빅터한테 질문했는데 의존성 두개만 추가하면 해결됐..

AWS Kinesis - data stream

Kinesis란 실시간으로 데이터 스트림(data stream)을 수집,처리,분석해주는 서비스 📎스트리밍 데이터 데이터 스트림을 수집할 수 있고 저장할 수 있다. 데이터를 실시간 처리해 S3와 같은 스토리지에 저장해서 다양한 일괄 처리를 수행한다. Kinesis data stream은 set of shards다! 샤드의 수를 조절하여 스트림을 얼마나 받을지 조절할 수 있다. (DynamoDB) 리샤딩(Resharding) 모든 data record에는 sequence가 존재한다. Capacity Mode on-demand mode: 자동으로 샤드의 개수를 관리한다. provisioned mode: 필요햔 샤드의 개수를 사용자가 명시해야한다. Kinesis & Lambda Lambda Kinesis와 La..

Backend/Infra 2024.03.18

SQS(Amazon Simple Queue Service)에 대해서

Amazon Simple Queue Service(Amazon SQS)는 내구력 있고 가용성이 뛰어난 보안 호스팅 대기열을 제공하며 이를 통해 분산 소프트웨어 시스템과 구성 요소를 통합 및 분리할 수 있습니다. Amazon SQS는 배달 못한 편지 대기열 및 비용 할당 태그와 같은 공용 구성을 제공합니다. 또한 AWS SDK가 지원하는 모든 프로그래밍 언어로 액세스할 수 있는 일반 웹 서비스 API를 제공합니다. 보안 - Amazon SQS 대기열에 메시지를 보내고 받을 수 있는 사람을 제어합니다. 기본 Amazon SQS 관리형 서버 측 암호화(SSE)를 사용하거나 AWS Key Management Service(AWS KMS)에서 관리되는 사용자 지정 SSE 키를 사용하여 대기열에 있는 메시지의 콘텐..

Backend/Infra 2024.03.18

Aws Lambda에 대해서

Kinesis에서 Lambda를 함께 사용하는 이유 자동화된 데이터 처리: Kinesis에서 수집하는 대량의 실시간 데이터 스트림을 Lambda 함수를 통해 자동으로 처리할 수 있다. 이를 통해 복잡한 서버 관리나 데이터 처리 파이프라인 구축 없이도 데이터를 실시간으로 분석하고 반응할 수 있다. 유연성과 확장성: Lambda는 요청 수에 따라 자동으로 확장되므로, 데이터 스트림의 크기나 처리 요구가 변동되더라도 문제 없이 대응할 수 있다. 이는 데이터 볼륨이 예측 불가능하거나 급변하는 애플리케이션에 특히 유용하다. 비용 효율성: Lambda는 실행 시간에만 비용을 지불하는 모델을 따르므로, 사용하지 않는 시간에는 비용이 발생하지 않는다. 이는 대량의 데이터를 처리해야 하는 작업에서 경제적으로 매우 유리하..

Backend/Infra 2024.03.18

스트리밍 데이터(Data Stream)

전송된 정보를 수집하거나 정보를 전송할 때 사용되는 디지털 방식으로 암호화 된 일관된 신호의 흐름 짧은 대기 시간 처리를 목표로 계속해서 증분하는 방식으로 내보내지는 대용량 데이터 특징 시간순 중요성: 데이터 스트림의 각 요소에는 타임 스탬프가 포함된다. 지속적 흐름: 데이터 스트림에는 시작도 끝도 없다. 요구되는 만큼 데이터를 끊임없이 지속적으로 수집한다. 고유성: 정확한 실시간 데이터 처리가 중요하다. 비균질성: 데이터 변형을 처리할 수 있는 기능이 있어야 한다. 불완전성: 소스의 일시적인 오류는 스트리밍된 데이터 내의 요소에 손상 또는 누락을 유발할 수 있다. 사용되는 이유(중요한 이유) 무한한 데이터 볼륨: 스트림 소스로부터 생성된 데이터 볼륨은 굉장히 크기 마련이고, 이에 따라 스트리밍 데이터의..

Backend 2024.03.18

[섹션 7] 조회 빈이 2개 이상 - Autowired 필드명, @Qualifier, @Primary

본 게시물은 김영한 선생님의 강의를 학습하며 작성하였습니다. 두 개의 컴포넌트 annotation을 달 경우에 아래와 같은 에러 문구가 뜬다. 하나의 빈을 기대했는데 2개가 나왔다고 알려준다!! 하위 타입으로 짖어할 수도 있는데, 하위 타입으로 지정하는 것은 DIP를 위배하고 유연성이 떨어진다. 그리고 이름만 다르고, 완전히 똑같은 타입의 스프링 빈이 2개 있을 때 해결이 안된다. 스프링 빈을 수동 등록해서 문제를 해결해도 되지만, 의존 관계 주입에는 해결하는데 다양한 방법이 있다. 조회 대상 빈이 2개 이상일 때 해결 방법 @Autowired 필드 명 매칭 @Qualifier → @Qualifier 끼리 매칭 → 빈 이름 매칭 @Primary 사용 @Autowired 필드 명 매칭 autowired는 ..

Backend/Spring 2024.03.18

[섹션 7] 롬북과 최신 트랜드

본 게시물은 김영한 선생님의 강의를 학습하며 작성하였습니다. 막상 개발을 해보면, 대부분이 다 불변이고, 그래서 생성자에 final 키워드를 사용하게 된다. 🤔 그러나 생성자도 만들어야 하고, 주입 받은 값을 대입하는 코드도 만들어야 하고… 필드 주입처럼 간편하게 사용하는 방법은 없을까?! 아래 코드를 최적화하도록 해보겠다. 롬북 라이브러리 셋팅 repositories { mavenCentral() } dependencies { implementation 'org.springframework.boot:spring-boot-starter' //lombok 라이브러리 추가 시작 compileOnly 'org.projectlombok:lombok' annotationProcesso..

Backend/Spring 2024.03.18