홈>2020-02-01 01:27

apache spark sql - Java를 사용하여 Parquet 파일 크기와 줄 수를 얻는 방법은 무엇입니까?

Spark를 사용하여 쪽모이 세공 파일을 만들었습니다.

파일 크기 및 파일 내의 줄 수와 같은 쪽모이 세공 메타 데이터가 필요합니다. Spark 라이브러리 또는 Java를 사용하여이 정보를 얻을 수있는 솔루션이 있습니까?

답변 # 1
스칼라에서 Java File API를 사용하여 크기를 다음과 같이 얻을 수 있습니다
```
val file = new File("some.parquet")
val fileSize = file.length
```
원하는대로 변환 할 수있는 크기를 바이트 단위로 반환합니다.

카운트를 원한다면 스파크하고 카운트를하기 위해로드해야하는 레코드가 있습니다. 줄 수를 얻으려면
```
val lineCount = io.Source.fromFile("some.parquet").getLines.size
```