>source

EventHub conf에서 다음과 같이 시작 위치를 지정하는 경우 :

EventHubsConf(ConnectionStringBuilder(eventHubConnectionString).build)
  .setStartingPosition(EventPosition.fromStartOfStream)
or
  .setStartingPosition(EventPosition.fromEndOfStream)

또한 StreamWriter에서 체크 포인트 위치를 구분합니다.

streamingInputDF
  .writeStream
  .option("checkpointLocation", checkpointLocation)
  ...

다시 시작한 후 검사 점이 항상 읽기 시작 지점으로 사용되기 때문에 setStartingPosition 이 관련이 없습니까?

감사합니다.


  • 답변 # 1

    체크 포인트 파일에 저장된 오프셋 정보는 streamimg 쿼리를 다시 시작할 때 사용됩니다.

    흥미롭게도 이것은에서 구체적으로 언급되지 않았지만 DStreams 가이드에서는 그렇습니다.

    에 대한 일반 지침을 따르십시오.

    감사합니다. pls라고 표시된 DStreams 가이드에 연결할 수 있습니다. 체크 포인트가 스트림 끝 이전의 이전 오프셋 위치를 가리킬 수있는 'fromEndOfStream'시나리오에 대해 궁금합니다. 이 경우 스트림의 끝보다 오래된 위치에서 읽는 것은 직관적이지 않은 것처럼 보입니다.

    Gadam2021-02-23 01:16:18

    내 질문을 편집하고 링크를 제공하고 체크 포인트에 대한 관련 부분을 인용했습니다.

    mike2021-02-23 01:16:18
  • 이전 fun onResult에서 kotlin의 fun onMapReady로 데이터를 가져 오는 방법
  • 다음 ios : iPad를 통한 PDF 열전 사 영수증 프린터