기억하긴 버거워

블로그 이사했습니다.

Alxndr — Mon, 26 Dec 2022 22:55:39 +0900

새로운 깃헙 블로그

Alexander Choi

Dev Blog by Junior Backend Developer.

dev-alxndr.github.io

Markdown 형식으로 작성 바로 커밋 푸시하여 관리할 수 있는 깃헙 블로그로 이사를 하였습니다.

기존 티스토리도 좋은 블로그지만 꾸준한 작성을 위해선 절차를 간소화하는 것이 좋다고 생각하여 옮기게 되었습니다.

감사합니다.

Why Kafka is fast?

Alxndr — Sat, 8 Oct 2022 23:22:10 +0900

유튜브를 보던 중 추천 영상으로 떠서 보게 되어 간단하게 정리해봤습니다.

카프카가 빠르다는 의미는 무엇일까?

낮은 레이턴시? 많은 데이터 전송 처리?

카프카는 높은 데이터 전송 처리를 위해 최적화 되었습니다.

카프카는 많은 수의 레코드(데이터)를 짧은 시간에 처리하도록 디자인되었습니다.

직경이 큰 파이프에 액체가 많이 이동한다고 생각해보세요.

그래서 누군가 카프카가 빠르다고 말하면

주로, 많은 데이터를 보내는 카프카의 성능을 말하는 것이다.

어떠한 디자인 결정이 많은 데이터를 카프카가 효과적으로 처리할 수 있게 하였을까요?

카프카의 성능을 위해 많은 컨트리뷰터가 디자인 결정을 했지만 두 가지를 집중해보겠습니다.

1. 카프카는 Sequential I/O입니다.

기본적으로 디스크 접근은 메모리 접근보다 느립니다.

그러나, 데이터 접근 패턴에 따라 차이가 큽니다.

디스크 접근 패턴에는 두 가지가 있습니다.

1. Random Access Pattern

메모리에 랜덤 하게 접근하는 방법
물리적으로 다른 위치로 이동합니다

2. Sequential Access Pattern

메모리에 순차적으로 접근하는 방법
바로 다음 위치로 이동하여 Random Access Pattern 보다 빠릅니다.

개발자를 위한 SSD (Coding for SSD) - Part 5 : 접근 방법과 시스템 최적화

카프카는 Append-only log를 사용하여 Sequential Access Pattern의 이점을 가졌습니다.

초당 속도 차이

카프카는 저렴한 디스크로 성능 저하 없이 쓸 수 있으며, 이것은 카프카는 금액적으로도 효율적으로 메시지들을 오랜 기간 동안 유지할 수 있습니다.

2. Zero Copy Principle (복사하지 않는다!)

카프카는 네트워크와 디스크 사이에 많은 데이터 이동을 합니다.

이때 많은 많은 데이터 복사가 일어납니다.

현대의 시스템은 디스크로부터 네트워크로 데이터를 보낼 때 과잉 데이터 복사가 없도록 최적화되었습니다.

1. without Zero Copy

PrincipleOS 레벨에서 4번의 복사와 2번의 시스템 호출이 일어납니다.

1. with Zero Copy

Principle 첫 번째 Disk로부터 OS Buffer로 데이터를 로드하는 과정은 같습니다. 이런 방법은 OS Cache에서 네트워크 카드 Buffer로 단 한 번의 복사만 이러납니다. DMA : Direct Memory access

현대의 네트워크 카드는 DMA로 데이터를 복사합니다.

Zero Copy는 카프카 애플리케이션은 sendfile()이라는 시스템 호출을 사용하여 OS에게 곧바로 NIC Buffer로 데이터를 복사할 수 있습니다

위 두 가지 Sequential I/O 와 Zero Copy Principle가 카프카의 높은 성능에 기초가 됩니다.

카프카는 높은 성능을 위해 많은 다양한 기술을 쓰지만,

다른 것들보다 위 두 가지가 제일 중요해 보입니다.

References

https://www.youtube.com/watch?v=UNUz1-msbOM

스루풋 - 위키백과, 우리 모두의 백과사전

직접 메모리 접근 - 위키백과, 우리 모두의 백과사전

Zero-copy - Wikipedia

동시성 이슈를 해결하는 여러가지 방법

Alxndr — Sat, 8 Oct 2022 23:10:11 +0900

재고시스템으로 알아보는 동시성 이슈 해결방법

해당 글은 인프런 | 재고시스템으로 알아보는 동시성 이슈 해결방법 강의를 보고 정리한 자료입니다.

모든 코드는 Github에 공개되어 있으며 각 해결 단계를 커밋으로 분리해두었으니 확인해주세요.

상품이 판매될 때마다 재고를 하나씩 줄여주는 기능을 만들어본다.
이 때 발생할 수 있는 동시성 문제를 하나씩 해결해보자.

문제발생 케이스

하나의 상품이 100개의 재고를 가지고 있을 때 단순하게 생각하면 판매될 때 재고를 -1 한 후 저장해주면 될거라고 생각할 수 있지만, 실무에서는 다양한 케이스가 발생할 수 있다.

대표적으로,
하나의 상품에 주문이 동시에 (ms 차이 수준) 들어온다고 가정을 한다.
이럴 때, Race Condition이 발생하여 최종 재고 값이 이상하게 나올 수 있다.

문제의 상황 테스트 코드
위 예시에서 100갸의 쓰레드가 같은 상품의 재고를 감소시켰을 때 최종 재고는 0을 기대하지만 실제 테스트는 실패하는 것을 확인 할 수 있다.

각 단계별로 해결을 하며 문제점을 살펴봅니다.

1. Syncronized (level 1)

자바-synchronized에-대하여
Java의 기본 Syncronized 키워드를 사용해서 여러 쓰레드가 동시에 해당 접근할 수 없도록 한다.
Syncronized를 활용한 개선 커밋

결과

예시처럼 코드를 작성하면 쓰레드 동기화를 통해 해결했다고 생각할 수 있지만, 결과는 실패한다.
이유는 @Transactiional Proxy 방식 때문에 Proxy가 (Commit)종료되기 전에
다른 쓰레드가 해당 자원에 접근할 수 있기 때문이다.
@Transactional 동작원리

해결법

서비스에 붙어있는 @Transactional 을 없앤다..
@Transactional을 제거하면 Proxy로 동작하지 않기 떄문에 해결 할 수는 있다.

문제점

Syncronized는 하나의 프로세스에서만 동기화를 보장한다.
현대의 어플리케이션은 2대 이상의 서버를 사용하기 때문에 Syncronized 로는 보장할 수 없다.

2. Mysql 을 활용한 다양한 방법 (level 2)

Pessimistic Lock을 활용

Pessimistic Lock Commit

실제 데이터에 Lock을 걸어서 정합성을 맞추는 방법
Exclusive Lock을 걸게되면 다른 트랜잭션에서는 Lock이 해제되기 전에는 데이터를 가져갈 수 없음
Dead Lock 가능성이 있기 때문에 주의필요

select stock0_.id as id1_0_, stock0_.product_id as product_2_0_, stock0_.quantity as quantity3_0_ from stock stock0_ where stock0_.id=? for update

select..for update 를 사용하여 해당 row를 다른 세션에서 건들 수 없도록 Lock을 건다.

장점

충돌이 빈번하게 일어나면 Optimistic Lock보다 성능이 좋을 수 있음
Lock을 잡기 때문에 데이터 정합성을 지킬 수 있음
단점
성능감소

Optimistic Lock

Optimistic Lock Commit

실제 Lock을 이용하지 않고 버전을 이용함으로써 정합성을 맞추는 방법
먼저 데이터를 읽은 후 update를 수행할 때 현재 내가 읽은 버전이 맞는지 확인하여 업데이트
내가 읽은 버전에서 수정사항이 생겼을 경우 application 단에서 다시 읽은 후 작업을 수행해야 함

장점

별도의 Lock이 없기 때문에 성능상 이점
단점
실패했을 시 로직을 개발자가 직접 만들어야함
충돌이 빈번히 일어나면 성능상 손해

Pessimistic Lock vs Optimistic Lock

Named Lock

Named Lock Commit

이름을 가진 Metadata Locking (Table/Row Lock 이 아님)
이름을 가진 Lock을 획득한 후 해제할 때 까지 다른 세션은 이 Lock 을 획득할 수 없도록 합니다.
Transaction이 종료될 때 자동으로 해제되지 않음. 별도의 명령어로 해제/선점 시간이 끝나야 해제됨

JPA Native Query를 이용
Connction Pool 이 부족해질 수 있기 때문에 별도의 Datasource를 이용하기를 추천

참고 자료

exclusive_lock
innodb-locking
locking-functions

Redis 활용 (level 3)

1. Lettuce

Redis Lettuce Commit

setnx 명령어 사용
spin lock 방식
- retry 로직 필요

장점

구현이 간단하다
spring data redis 를 이용하면 lettuce 가 기본이기때문에 별도의 라이브러리를 사용하지 않아도 된다.
단점
spin lock 방식이기때문에 동시에 많은 스레드가 lock 획득 대기 상태라면 redis 에 부하가 갈 수 있다.
- Thread.sleep으로 부하를 줄여줬음

2. Redisson

Pub-Sub 기반의 Lock 구현 제공
채널을 만들고 Lock을 획득한 Thread가 Lock획득을 시도하는 Thread에게 해제되었음을 알려주는 방식

장점
락 획득 재시도를 기본으로 제공한다.
pub-sub 방식으로 구현이 되어있기 때문에 lettuce 와 비교했을 때 redis 에 부하가 덜 간다.
단점
별도의 라이브러리를 사용해야한다.
lock 을 라이브러리 차원에서 제공해주기 떄문에 사용법을 공부해야 한다.

실무에서는 ?

실패 시 재시도가 필요하지 않은 lock 은 lettuce 활용
실패 시 재시도가 필요한 경우에는 redisson 를 활용

Mysql vs Redis

Mysql

이미 Mysql 을 사용하고 있다면 별도의 비용없이 사용가능하다.
어느정도의 트래픽까지는 문제없이 활용이 가능하다
Redis 보다는 성능이 좋지않다.

Redis

Mysql 보다 성능이 좋다.
활용중인 Redis 가 없다면 별도의 구축비용과 인프라 관리비용이 발생한다.

https://velog.io/@hgs-study/redisson-distributed-lock
https://techblog.woowahan.com/2631/
https://kwonnam.pe.kr/wiki/database/mysql/user_lock

[Fast Api] 3. Query Parameter

Alxndr — Sat, 12 Jun 2021 18:37:10 +0900

Query Parameters

Path Variable이 아닌 다른 함수 매개변수를 선언하면, 쿼리 매개변수로 자동 해석됩니다.

Query Parameter란 URL에서 ? 후에 나오는 값을 말합니다.
&로 구분되는 키-값 쌍의 집합

www.exmaple.com?size=10&page=1
size : 10/ page : 1 값입니다.

# 임시 데이터
mock_items_db = [
    {"item_name": "Foo"},
    {"item_name": "Bar"},
    {"item_name": "Baz"}
]

@app.get("/items")
async def read_items(skip: int = 0, limit: int = 10):
    return mock_items_db[skip : skip + limit]

Path Variable과 마찬가지로 타입 지정이 가능하며, 기본값을 지정할 수 있습니다.

(skip: int = 0, limit: int = 10)

Null 허용

QueryParameter 중 선택적으로 선언할 수 있습니다.

from typing import Optional

@app.get("/items/{item_id}")
async def get_item(item_id : str, q: Optional[str] = None):
    if q:
        return {"item_id": item_id, "q": q}
    return {"item_id": item_id}

Fast Api는 q = None이라는걸 선택적이라 인지합니다.
Optional은 Fast Api가 사용하는건 아니지만, 코드에서 오류를 찾아낼 수 있게 도와줍니다.

q를 보내지 않은 경우

q를 보낸 경우

Boolean Type

@app.get("/items/{item_id}")
async def get_item(item_id: str, q: Optional[str] = None, short: bool = False):
    item = {"item_id": item_id}
    if q:
        item.update({"q": q})
    if not short:
        item.update(
            {"description": "LOOOOOOONG Description."}
        )
    return item

Result

예시로 아래 사진처럼 소개하는데 True 뜻을 가진 값은 True로 인식한다?

여러 경로 & 쿼리 매개변수

여러경로와 쿼리 매개변수를 동시에 선언해도 순서를 신경쓸 필요가 없습니다. Fast Api는 변수의 이름으로 감지합니다.

@app.get("/users/{user_id}/items/{item_id}")
async def read_user_item(
    user_id: int, item_id: str, q: Optional[str] = None, short: bool = False
):
    item = {"item_id": item_id, "owner_id": user_id}
    if q:
        item.update({"q": q})
    if not short:
        item.update(
            {"description": "This is an amazing item"}
        )
    return item

정리

Query Parameter 조건별

조건	방법
require	item_id: str
nullable	item_id: str = None
default value	size: int = 10

이번 포스팅은 여기서 마무리하겠습니다.

모든 코드는 Github 에서 보실 수 있습니다.

틀린점과 개선할 점은 댓글로 알려주시면 감사하겠습니다.

[Fast Api] 2. Path Variable 사용해서 핸들러 매핑하기

Alxndr — Wed, 9 Jun 2021 22:25:24 +0900

기본 사용법

main.py

from fastapi import FastAPI
app = FastAPI()


@app.get("/items/{item_id}")
async def read_item(item_id):
    return {"item_id": item_id}

{item_id}에 매핑되어 read_item(item_id) 매개변수로 받을 수 있습니다.
서버를 실행 한 후 PostMan으로 위에서 만든 핸들러를 호출해봅니다.

{item_id}로 받은 값이 출력되는 것을 확인할 수 있습니다.

매개변수 타입지정

@app.get("/items/{item_id}")
async def read_item(item_id: int):
    return {"item_id": item_id}

: int로 지정해주면 됩니다.
만약 /items/3을 호출하면 "3"이 아닌 int형 3으로 받게됩니다.

만약 str 값을 넘길 경우 에러가 발생합니다.

파이썬 타입을 선언하면 데이터 검증을 진행하며, 오류는 검증을 통과하지 못한 지점까지 정확하게 명시한다고 합니다.

Enum 타입 매개변수

지정된 Enum 타입으로 매개변수를 받고 싶다면

main.py

from enum import Enum
from fastapi import FastAPI

app = FastAPI()

class Brand(str, Enum):
    nike = "nike"
    adidas = "adidas"

@app.get("/brands/{brand_name}")
async def get_brand(brand_name: Brand):
    if brand_name == Brand.nike:
        return {"brand_name": brand_name, "message": "JUST DO IT."}

    if brand_name == Brand.adidas:
        return {"brand_name": brand_name, "message": "IMPOSSIBLE IS NOTHING."}

실행 결과

위 예제에서 매개변수 타입을 Brand 타입으로 지정을 했기 때문에

등록되지 않은 Enum일 경우에러와 함께 등록된 Enum 목록을 알려줍니다.

이번 포스팅은 여기서 마무리하겠습니다.

모든 코드는 Github 에서 보실 수 있습니다.

틀린점과 개선할 점은 댓글로 알려주시면 감사하겠습니다.

[Fast Api] 1. 처음 시작하기

Alxndr — Wed, 9 Jun 2021 22:12:40 +0900

Facebook 을 보다FastAPI 톺아보기 - 부제: python 백엔드 봄은 온다 이러한 글을 보게되었는데,

굉장히 간결하고 좋아보여서 한번 공부해보려합니다.

Fast Api 공식 사이트 문서가 아주 잘되어 있습니다.

공식 사이트에선 Fast Api 특징을 아래처럼 소개하고 있습니다.

간단한 예제로 살펴보겠습니다.

python version : 3.6+

1. Fast Api 패키지 설치

bash

$pip install fastapi[all]

# 만약 zsh: no matches found: fastapi[all] 오류가 난다면
# 아래로 설치해주세요.
$pip install 'fastapi[all]'

no matches found: error

2. Python Project & main.py 생성

main.py

from fastapi import FastAPI # 1

app = FastAPI() # 2

@app.get("/") # 3
async def root(): # 4
    return {"message" : "Hello Fast Api"} # 5

FastApi 임포트
Instance 생성
루트 핸들러 생성
1. Request Methods
- @app.post()
- @app.put()
- @app.delete()
- @app.options()
- @app.head()
- @app.patch()
- @app.trace()
핸들러가 실행할 함수
컨텐츠 반환
- dict,liststr,int등 json으로 자동 변환되는 객체들과 모델들이 있습니다.

3. Start Server

bash
$uvicorn main:app --reload
1. --reload: 코드 변경시 자동 재시작 (개발에서만 사용)

참고
About Uvicorn
About ASGI

4. 만든 API 호출해보기

5. API Docs 확인

Fast API는 API 문서를 자동으로 만들어 줍니다.http://localhost:8000/docs로 접속해서 확인해봅니다.

여기에서 API 목록과 결과 예시를 볼 수 있습니다.

http://localhost:8000/redoc 다른 버전의 문서경로입니다.

아주 간단하고 빠르게 API 서버를 만들어봤습니다.

생각보다 재밌어서 좀 더 공부해서 앞으로도 공유하도록 하겠습니다.

모든 코드는 Github 에서 보실 수 있습니다.

틀린점과 개선할 점은 댓글로 알려주시면 감사하겠습니다.

Reference

Fast Api Tutorial

MapStruct 를 사용하여 Entity Dto 쉽게 변환하기

Alxndr — Tue, 18 May 2021 10:50:13 +0900

MapStruct

소개

DTO<->Entity간 객체 Mapping을 편하게 도와주는 라이브러리
비슷한 라이브러리로ModelMapper가 있습니다.

ModelMapper는 변환과정에서 리플렉션이 발생합니다.
MapStruct는 컴파일 시점에 구현체를 만들어내기 떄문에 리플렉션이 발생하지 않아 보다 빠릅니다.

간단하게 Gradle 프로젝트로 구성

1. add dependency

build.gradle

plugins {
    id 'java'
}

ext {
    mapstructVersion = '1.4.2.Final'
    lombokVersion = "1.18.12"
}

group 'io.alxndr'
version '1.0-SNAPSHOT'

repositories {
    mavenCentral()
}

dependencies {
    // 순서 주의!
    // Lombok 사용시 MapStruct가 먼저오게 작성해야함
    implementation "org.mapstruct:mapstruct:${mapstructVersion}"
    compileOnly 'org.projectlombok:lombok-mapstruct-binding:0.2.0'
    compileOnly group: 'org.projectlombok', name: 'lombok', version: "${lombokVersion}"
    annotationProcessor "org.projectlombok:lombok:${lombokVersion}"
    annotationProcessor "org.mapstruct:mapstruct-processor:${mapstructVersion}"

    // If you are using mapstruct in test code
    // testAnnotationProcessor "org.mapstruct:mapstruct-processor:1.4.2"

    testCompile group: 'junit', name: 'junit', version: '4.12'
}

2. Create Test Dto and Model

Person.java

//@Entity
@Builder
@Getter
@AllArgsConstructor
@NoArgsConstructor
public class Person {

    private Long id;

    private String name;

    private String email;

    private String birth;

    private String group;

    private LocalDateTime creationDate;
}

PersonDto.java

@Builder
@Getter
@AllArgsConstructor
@NoArgsConstructor
public class PersonDto {
    private Long id;

    private String name;

    private String email;

    private String birth;

    private String team;

}

Person은 Entity 역할을한다.

3. Mapper 정의

@Mapper
public interface PersonMapper {
    PersonMapper INSTANCE = Mappers.getMapper(PersonMapper.class);

    /**
     * @return {@link Person}
     */
    @Mapping(target = "id", ignore = true)  // 1 
    @Mapping(source = "team", target = "group") // 2
    @Mapping(target = "creationDate", expression = "java(java.time.LocalDateTime.now())")   // 3
    Person toEntity(PersonDto personDto);

    @Mapping(source = "group", target = "team") // 4
    PersonDto toDto(Person person);
}

toEntity(): Dto => Entity로 변환
toDto(): Entity => Dto변환

DTO에서Entity로 변환시 ID는 제외
DTO.team을Entity.group으로 매핑
Entity.creationDate는LocalDateTime.now()로 초기화
Entity.group은DTO.team매핑

Mapper를 만든 후 Project Build를 한번 해준다.

이미지 처럼 MapperImpl이 생긴것을 확인할 수 있다.

5. TEST

PersonTest.java

public class PersonTest {

    @Test
    public void dtoToEntity() {
        PersonDto personDto = PersonDto.builder()
                .id(1L)
                .name("Alexander Choi")
                .email("dev.alxndr@gmail.com")
                .birth("1995-01-01")
                .build();

        Person person = PersonMapper.INSTANCE.toEntity(personDto);

        assertEquals(personDto.getEmail(), person.getEmail());
        assertEquals(personDto.getTeam(), person.getGroup());
    }

    @Test
    public void entityToDto() {
        Person person = Person.builder()
                .id(1L)
                .name("Alexander Choi")
                .email("dev.alxndr@gmail.com")
                .birth("1995-01-01")
                .build();

        PersonDto personDto = PersonMapper.INSTANCE.toDto(person);

        assertEquals(personDto.getEmail(), person.getEmail());
        assertEquals(personDto.getTeam(), person.getGroup());
    }
}

전체코드는 아래 깃헙에서 확인하실 수 있습니다.
깃헙!

References

[security] 4. PasswordEncoder 설정하기

Alxndr — Tue, 11 May 2021 13:24:14 +0900

PasswordEncoder 설정하기

기존의 {noop} 문자열을 더해줘서 Password encoding 하던 것을 Spring Security가 지원해주는 PasswordEncoder를 사용해보겠습니다.

Bean 등록

Application.java

@SpringBootApplication
public class Application {

    @Bean
    public PasswordEncoder passwordEncoder() {
        return NoOpPasswordEncoder.getInstance();
    } // 1

    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }

}

PasswordEncoder를 Bean를 등록해줍니다.
우리가 선택한 NoOpPasswordEncoder는 Spring Framework 5이전에 사용되던 방식입니다.
현재는 Deprecated된 상태입니다.

등록한 Bean 주입받아서 유저 등록 시 encoding하기

AccountService.java

@Service
@RequiredArgsConstructor
public class AccountService implements UserDetailsService {
    ... 생략
    private final PasswordEncoder passwordEncoder;  // 1

    public Account createAccount(Account account) {
        account.setPassword(passwordEncoder.encode(account.getPassword())); // 2
        return accountRepository.save(account);
    }
}

Bean으로 등록한 PasswordEncoder를 AccountService에서를 생성자주입방식으로 주입받습니다.
{noop}문자열을 더해주던 부분에 주입받은 PasswordEncoder를 사용하여 encode해줍니다.

확인

서버를 구동하여 지난 번글과 같이 http://localhost:8080/account/USER/alxndr/1234 유저를 등록해보면

그림과 같이 {noop}은 붙어있지않은 패스워드가 저장되게 됩니다.

그리고 /dashboard로 접속하여 로그인해보면 정상적으로 로그인되는 것을 확인 할 수 있습니다.

왜 Spring 5에서는 특이한 포멧이 생겼는가?

패스워드인코더의역사..참고

기본 전략이 Bcrypt로 변경되었습니다.
- 만약 이전 Spring 4에서 패스워드를 평문으로 저장하고 있었다면, 버전을 5로 올리게되면 인증이 꺠지게 됩니다.
- 여러 프로젝트들은 여러가지 암호화 알고리즘을 사용하고 있습니다.

-> 이러한 이유로 {ID}~~라는 포멧이 생겨나게 됐습니다.

PasswordEncoder 변경

등록한 Bean을 수정해주겠습니다.

Application.java

@SpringBootApplication
public class Application {

    @Bean
    public PasswordEncoder passwordEncoder() {
        return PasswordEncoderFactories.createDelegatingPasswordEncoder();  // 1
    }
    ... 생략
}@SpringBootApplication public class Application { @Bean public PasswordEncoder passwordEncoder() { return PasswordEncoderFactories.createDelegatingPasswordEncoder(); // 1 } ... 생략 }

PasswordEncoderFactories에서 createDelegatingPasswordEncoder()를 반환합니다.

createDelegatingPasswordEncoder
같이 다양한 Encoder를 가지고 있습니다.

확인

다시한번 서버를 재구동 후 유저를 만들어보면

그림과 같이 bcrypt로 암호화되어 저장된것을 확인할 수 있습니다.

강의 번외

패스워드를 저장하는 것까지는 봤습니다.

사진과 같이 저장한 비밀번호와 1234가 같은 패스워드인지 확인하는 과정을 보겠습니다.

우선 PasswordEncoderFactories는 Map으로 된 Encoder 묶음?을 리턴해줍니다.
PasswordEncoder의 실제 구현체는 DelegatingPasswordEncoder를 사용하게 되고 그 안에 matches()를 확인해보겠습니다.
1. rawPassword와 DB에 저장된 암호화된 패스워드를 인자로 받는다.
2. extractId(prefixEncodedPassword)를 통해 암호화된 패스워드가 어떤 알고리즘인지 확인한다.
3. this.idToPasswordEncoder Map에서 id로 해당 PasswordEncoder를 찾아온다.
4. extractEcodedPassword()로 {ID}외의 패스워드를 추출한다.
5. 3번에서 찾아온 PasswordEncoder가 만약 BcryptPasswordEncoder라고 한다면 해당 클래스에 matches()를 이용하여 패스워드가 일치하는지 확인한다.

정리

Spring Security 에서 PasswordEncoder를 사용하는 방법과 비밀번호 일치여부를 확인하는 과정을 알아봤습니다.

틀린점과 개선할 상항이 있다면 알려주세요. 감사합니다.

[security] 3. JPA와 Security 연동

Alxndr — Tue, 11 May 2021 13:22:46 +0900

JPA와 Security 연동

이전의 문제점

매번 유저를 추가하는 일이 생길 경우 코드를 수정해야 한다.
수정, 삭제도 마찬가지로 코드를 수정해야 한다.

-> 위와 같은 문제를 DB를 연동하여 유저 정보를 관리할 수 있도록 수정해보겠습니다. (JPA를 사용하겠습니다.)

개선

JPA 설정

dependency 추가

build.gradle

dependencies {
...
    // JPA
    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
    // H2
    runtimeOnly 'com.h2database:h2'
...
}

class 생성

Account

@Entity
@Getter
@Setter
public class Account {

    @Id @GeneratedValue
    private Long id;
    @Column(unique = true)
    private String username;
    private String password;
    private String role;

}

AccountRepository

@Repository
public interface AccountRepository extends JpaRepository<Account, Long> {
    Account findByUsername(String username);
}

AccountService

@Service
@RequiredArgsConstructor
public class AccountService implements UserDetailsService {

    private final AccountRepository accountRepository;

    @Override
    public UserDetails loadUserByUsername(String username) throws UsernameNotFoundException {
        Account account = accountRepository.findByUsername(username);
        if (account == null) {
            throw new UsernameNotFoundException(username);  // 1
        }

        return User.builder()   // 2
                .username(account.getUsername())
                .password(account.getPassword())
                .roles(account.getRole())
                .build();
    }

    public Account createAccount(Account account) {
        return accountRepository.save(account);
    }

}

해당 Username 으로 찾는 유저 정보가 없는 경우 UsernameNotFoundException을 터트리도록 합니다.
loadUserByUsername()은 UserDeatils를 리턴하는데 우리가 가진 유저객체는 Account이므로 UserDetails를 구현해둔 User를 빌드하여 리턴한다

테스트를 위한 회원등록 Controller

AccountController

@RestController
@RequiredArgsConstructor
public class AccountController {
    private final AccountService accountService;

    @GetMapping("/account/{role}/{username}/{password}")
    public Account createAccount(@ModelAttribute Account account) {
        return accountService.createAccount(account);
    }
}

실제로 회원가입기능을 이런식으로 만들면 안됩니다 간단한 테스트용입니다.

프로젝트 재시동 후

http://localhost:8080/account/USER/alxndr/1234
http://localhost:8080/account/ADMIN/admin/1234 호출하여 유저 정보를 등록해줍니다.

그 후 /dashboard 에 접근하여 방금 등록한 정보로 로그인해봅니다.

그러면 에러가 발생하게 되는데

스프링 시큐리티는 특정한 패스워드 패턴을 요구하는데 ({noop}1234) 현재 저장된 password는 123으로 저장되어 있기 때문에 발생하는 에러입니다.

에러 개선

우선은 패스워드를 스프링 시큐리티가 원하는 규격으로 만들어주겠습니다.

AccountService

public class AccountService implements UserDetailsService {
    ... 생략    
    public Account createAccount(Account account) {
        account.setPassword("{noop}" + account.getPassword());  // 1
        return accountRepository.save(account);
    }
}

Inmemory user를 저장할 떄 처럼 패스워드 앞에 {noop}을 붙여서 저장을 해주도록 하겠습니다.

프로젝트를 재시동 후 다시 한번

http://localhost:8080/account/USER/alxndr/1234
http://localhost:8080/account/ADMIN/admin/1234
회원을 등록해주면 아래와 같이 {noop}YOUR-PASSWORD로 저장되고
/dashboard에 접근하여 로그인해보면 정상적으로 동작하는 것을 확인할 수 있습니다.

명시적으로 UserDetailsService 지정하기

SecurityConfig

@Configuration
@EnableWebSecurity
@RequiredArgsConstructor
public class SecurityConfig extends WebSecurityConfigurerAdapter {
    
    private final AccountService accountService;
    ....생략
    @Override
    protected void configure(AuthenticationManagerBuilder auth) throws Exception {
        auth.userDetailsService(accountService);
    }
}

위 처럼 AuthenticationManagerBuilder로 명시적으로 지정해줄 수 있지만, 하지 않아도 UserDeatilsService를 구현한 구현체가 Bean으로 등록만 되어있다면 사용에 문제는 없습니다.

마무리

Inmemory User의 불편한 점들을 JPA와의 연동으로 해결해봤습니다. 다음으로는 임시로 적어준 {noop}을 스프링 시큐리티가 제공해주는 PasswordEncoder 를 활용하여 개선해보겠습니다.

[security] 2. Inmemory User

Alxndr — Tue, 11 May 2021 13:12:17 +0900

Inmemory User

현재 기본으로 생성되는 유저와 패스워드

log를 확인해보면 UserDeatilsServiceAutoConfiguration에서 찍히는걸 확인할 수 있습니다.

UserDetailsServiceAutoConfiguration.java

User 정보는 SecurityProperties에서 가져오며 name, password, role을 설정 할 수 있습니다.

yml 수정하여 기본 생성되는 유저 정보 변경하기
application.yml

http://localhost:8080/login 에 접속하여 properties에 작성한 ID, Password를 입력해주면 기존처럼 접속이 가능합니다..

문제점

유저 정보가 1개밖에 없다.
소스를 보면 어떤 유저정보가 있는지 확인할 수 있다.

-> 그러므로 유저정보를 properties로 설정하지 않겠습니다.

개선

Security Configration 파일에서 유저 정보를 추가해주겠습니다.

@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
    //...
    @Override
    protected void configure(AuthenticationManagerBuilder auth) throws Exception {
        auth.inMemoryAuthentication()
                .withUser("alxndr").password("{noop}1234").roles("USER").and()
                .withUser("admin").password("{noop}4321").roles("ADMIN");   // {PREFIX}password
    }
    //...
}

{noop}은 PasswordEncoder 에게 어떠한 형식으로 암호화되었는지 알려주는 Prefix입니다. {bcypt}, {sha256}등이 있습니다.

확인

프로젝트를 재시동 후 localhost:8080/login으로 접속하여 alxndr 계정으로 로그인 후 /info를 접속해보면 잘 되는 것을 확인 할 수 있으며,
/admin을 접속할 시 alxndr 계정은 USER 권한만 가지고 있으므로 접근이 안되는 것을 알 수 있습니다.

admin 계정으로 접속하면 모두 접근 할 수 있는 것도 확인 할 수 있습니다.

기억하긴 버거워

블로그 이사했습니다.

Why Kafka is fast?

1. 카프카는 Sequential I/O입니다.

2. Zero Copy Principle (복사하지 않는다!)

References

동시성 이슈를 해결하는 여러가지 방법

재고시스템으로 알아보는 동시성 이슈 해결방법

문제발생 케이스

1. Syncronized (level 1)

결과

해결법

문제점

2. Mysql 을 활용한 다양한 방법 (level 2)

Pessimistic Lock을 활용

장점

단점

Optimistic Lock

장점

단점

Named Lock

참고 자료

Redis 활용 (level 3)

1. Lettuce

장점

단점

2. Redisson

장점

단점

실무에서는 ?

Mysql vs Redis

[Fast Api] 3. Query Parameter

Null 허용

Boolean Type

여러 경로 & 쿼리 매개변수

정리

[Fast Api] 2. Path Variable 사용해서 핸들러 매핑하기

기본 사용법

매개변수 타입지정

Enum 타입 매개변수

[Fast Api] 1. 처음 시작하기

2. Python Project & main.py 생성

3. Start Server

4. 만든 API 호출해보기

5. API Docs 확인

MapStruct 를 사용하여 Entity Dto 쉽게 변환하기

MapStruct

소개

1. add dependency

2. Create Test Dto and Model

3. Mapper 정의

5. TEST

References

[security] 4. PasswordEncoder 설정하기

PasswordEncoder 설정하기

Bean 등록

등록한 Bean 주입받아서 유저 등록 시 encoding하기

확인

왜 Spring 5에서는 특이한 포멧이 생겼는가?

PasswordEncoder 변경

확인

강의 번외

정리

[security] 3. JPA와 Security 연동

JPA와 Security 연동

이전의 문제점

개선

JPA 설정

에러 개선

명시적으로 UserDetailsService 지정하기

마무리

[security] 2. Inmemory User

Inmemory User

문제점

개선

확인