Why Kafka is fast?

유튜브를 보던 중 추천 영상으로 떠서 보게 되어 간단하게 정리해봤습니다.

 

카프카가 빠르다는 의미는 무엇일까?

낮은 레이턴시? 많은 데이터 전송 처리?

카프카는 높은 데이터 전송 처리를 위해 최적화 되었습니다.

카프카는 많은 수의 레코드(데이터)를 짧은 시간에 처리하도록 디자인되었습니다.

 

직경이 큰 파이프에 액체가 많이 이동한다고 생각해보세요.

그래서 누군가 카프카가 빠르다고 말하면

주로, 많은 데이터를 보내는 카프카의 성능을 말하는 것이다.

어떠한 디자인 결정이 많은 데이터를 카프카가 효과적으로 처리할 수 있게 하였을까요?

카프카의 성능을 위해 많은 컨트리뷰터가 디자인 결정을 했지만 두 가지를 집중해보겠습니다.

1. 카프카는 Sequential I/O입니다.

기본적으로 디스크 접근은 메모리 접근보다 느립니다.

그러나, 데이터 접근 패턴에 따라 차이가 큽니다.

디스크 접근 패턴에는 두 가지가 있습니다.

 

1. Random Access Pattern

• 메모리에 랜덤 하게 접근하는 방법
• 물리적으로 다른 위치로 이동합니다

 

2. Sequential Access Pattern

• 메모리에 순차적으로 접근하는 방법
• 바로 다음 위치로 이동하여 Random Access Pattern 보다 빠릅니다.

개발자를 위한 SSD (Coding for SSD) - Part 5 : 접근 방법과 시스템 최적화

카프카는 Append-only log를 사용하여 Sequential Access Pattern의 이점을 가졌습니다.

초당 속도 차이

카프카는 저렴한 디스크로 성능 저하 없이 쓸 수 있으며, 이것은 카프카는 금액적으로도 효율적으로 메시지들을 오랜 기간 동안 유지할 수 있습니다.

2. Zero Copy Principle (복사하지 않는다!)

카프카는 네트워크와 디스크 사이에 많은 데이터 이동을 합니다.

이때 많은 많은 데이터 복사가 일어납니다.

현대의 시스템은 디스크로부터 네트워크로 데이터를 보낼 때 과잉 데이터 복사가 없도록 최적화되었습니다.

 

1. without Zero Copy

PrincipleOS 레벨에서 4번의 복사와 2번의 시스템 호출이 일어납니다.

 

 

1. with Zero Copy

Principle 첫 번째 Disk로부터 OS Buffer로 데이터를 로드하는 과정은 같습니다. 이런 방법은 OS Cache에서 네트워크 카드 Buffer로 단 한 번의 복사만 이러납니다. DMA : Direct Memory access

 

현대의 네트워크 카드는 DMA로 데이터를 복사합니다.

Zero Copy는 카프카 애플리케이션은 sendfile()이라는 시스템 호출을 사용하여 OS에게 곧바로 NIC Buffer로 데이터를 복사할 수 있습니다

 

위 두 가지 Sequential I/O 와 Zero Copy Principle가 카프카의 높은 성능에 기초가 됩니다.

카프카는 높은 성능을 위해 많은 다양한 기술을 쓰지만,

다른 것들보다 위 두 가지가 제일 중요해 보입니다.

References

https://www.youtube.com/watch?v=UNUz1-msbOM

스루풋 - 위키백과, 우리 모두의 백과사전

직접 메모리 접근 - 위키백과, 우리 모두의 백과사전

Zero-copy - Wikipedia