>

Spark를 사용하여 쪽모이 세공 파일을 만들었습니다.

파일 크기 및 파일 내의 줄 수와 같은 쪽모이 세공 메타 데이터가 필요합니다. Spark 라이브러리 또는 Java를 사용하여이 정보를 얻을 수있는 솔루션이 있습니까?


  • 답변 # 1

    스칼라에서 Java File API를 사용하여 크기를 다음과 같이 얻을 수 있습니다

    val file = new File("some.parquet")
    val fileSize = file.length
    
    

    원하는대로 변환 할 수있는 크기를 바이트 단위로 반환합니다.

    카운트를 원한다면 스파크하고 카운트를하기 위해로드해야하는 레코드가 있습니다. 줄 수를 얻으려면

    val lineCount = io.Source.fromFile("some.parquet").getLines.size
    
    

관련 자료

  • 이전 Linux C 데몬에서 신호 마스크 설정
  • 다음 java - sonarqube - 등록 범위 : 동일한 범위에서 'a'두 번