>

대부분의 기사에서는 ActiveMQ와 같은 다른 메시지 브로커 (MB)보다 Kafka의 읽기/쓰기 처리량이 더 우수합니다. 읽기/쓰기 이해하기 오프셋의 도움으로 더 빨라집니다. 그러나 오프셋이 어떻게 더 빨라지는지 확실하지 않습니까?

Kafka 아키텍처를 읽은 후, Kafka가 확장 가능하고 높은 처리량을 만드는 요소가 무엇인지 명확하지는 않습니다. <올>

  • 아마도 오프셋을 사용하여 클라이언트는 정확한 메시지를 읽어야 할 정확한 메시지를 알고 있으며, 이는 성능을 높이는 요소 중 하나 일 수 있습니다.

    다른 MB의 경우 브로커는 소비자들 사이에서 조정해야하므로 해당 메시지는 소비자에게만 전달됩니다. 그러나 이것은 주제가 아닌 대기열의 경우입니다. 그러면 Kafka 주제가 다른 MB의 주제보다 빠릅니다.

  • Kafka는 확장 성을 위해 파티셔닝을 제공하지만 ActiveMQ와 같은 다른 메시지 브로커 (MB)도 클러스터링을 제공합니다. 그래서 Kafka가 빅 데이터/고부하에 더 나은 방법은 무엇입니까?

  • 다른 MB에서는 리스너를 가질 수 있습니다. 따라서 메시지가 도착하자마자 브로커가 메시지를 전달하지만 Kafka의 경우 더 많은 것을 의미하는 폴링이 필요합니다. 브로커/클라이언트 측 모두에로드 하시겠습니까?

    • 답변 # 1

      Jay Kreps 블로그 게시물에 Kafka가 다른 메시징 시스템과 다른 점과 더 빠른 점에 대한 자세한 내용이 있습니다

      https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines

      실제로 Kafka의 성능을 향상시키는 많은 차이점이 있습니다 :

      순차 디스크 읽기 및 쓰기의 최대 사용

      메시지의 제로 복사 처리

      캐싱을 위해 Java 힙 대신 Linux OS 페이지 캐시 사용

      클러스터의 여러 브로커에서 주제 분할

      에서 특정 기능을 오프로드하는 스마트 클라이언트 라이브러리 중개인

      중개 된 여러 메시지를 일괄 처리하여 브로커로의 네트워크 왕복 횟수를 줄입니다

      여러 개의 기내 메시지 지원

      빠른 후속 요청을 위해 클라이언트 버퍼로 데이터를 프리 페치합니다.

    • 답변 # 2

      카프카가 메시지 브로커에게 빠르다는 것은 대부분 마케팅입니다. 예를 들어 IBM MessageSight 어플라이언스는 2013 년마이크로 초의 대기 시간으로 13M msgs/sec를 수행했습니다. 한 시스템에서. Kreps가 Github을 시작하기 1 년 전 : https://www.zdnet.com/article/ibm-launches-messagesight-appliance-aimed-at-m2m/

      카프카는 많은 것들에 좋습니다.진정한 대기 시간이 짧은 메시징은 그 중 하나가 아닙니다.순수한 대기 시간 중심 환경에서는 일괄 전송 (예 : 다양한 오프셋)을 플랫하게 사용할 수 없습니다. 이벤트가 도착하면 대기 시간을 최소화하려면배송을 즉시 시도해야합니다. 그렇다고 모든 메시지를 요청하는 오버 헤드가 지속되는 이벤트 블록을 일괄 읽기 위해또는몇 초 동안 기다리는 것은 아닙니다. 일반 푸시 기반 브로커와 비교하려면 오프셋 범위가 1 (따라서 1 개의 메시지) 인 Kafka를 사용해보십시오. 그러면 무슨 의미인지 알 수 있습니다.

      대신 풀 기반 스트림 버퍼링에 초점을 두는 것이 좋습니다.

      재생성 !!!

      개인적으로 이것은 다운 스트림 데이터 엔지니어링 시스템이 장애에 대비하여 구축하기가 더 쉽다고 생각합니다. 특히 내장 된 복제 모델 (있는 경우)에 의존 할 필요가 없기 때문입니다. 예를 들어, 메시지를 소비하고 디스크를 잃고 컴퓨터를 복원하고 손실 된 데이터를 재생하는 것이 매우 쉽습니다. 데이터 스트림은 다른 시스템이 동기화 할 수있는 단일 진실 소스가됩니다.이는 매우 유용합니다 !!!

      메시지에는 무료 점심이 없으며, 각각의 장점과 단점은 서로에 비해 장점과 단점이 있습니다. 사람들이 푸시 풀 메시징을 시도했지만 무료 점심도 제공하지 않는다는 사실에 놀라지 않을 것입니다. :)

  • 이전 브라우저 간 북마크/즐겨 찾기에 추가 JavaScript
  • 다음 reshape - r의 조건에 따라 재구성