scala : CSV에서 구분자로 이중 파이프를 사용하는 방법은 무엇입니까?

여기에서 발생하는 실제 오류는 다음과 같습니다.

java.lang.IllegalArgumentException: Delimiter cannot be more than one character: ¦¦

문서는이 제한을 확인하고 Spark 2.0 csv 리더를 확인했으며 동일한 요구 사항이 있습니다.

이 모든 것을 감안할 때 데이터가 ¦¦ 가 포함 된 항목이 없을 정도로 간단하다면 다음과 같이 데이터를로드합니다.

scala> :pa
//Entering paste mode (ctrl-D to finish)
val customSchema_1= StructType(Array(
    StructField("ID", StringType, true),
    StructField("FILLER", StringType, true),
    StructField("CODE", StringType, true)));
//Exiting paste mode, now interpreting.
customSchema_1: org.apache.spark.sql.types.StructType= StructType(StructField(ID,StringType,true), StructField(FILLER,StringType,true), StructField(CODE,StringType,true))
scala> val rawData= sc.textFile("example.txt")
rawData: org.apache.spark.rdd.RDD[String]= example.txt MapPartitionsRDD[1] at textFile at <console>:31
scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row
scala> val rowRDD= rawData.map(line=> Row.fromSeq(line.split("¦¦")))
rowRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]= MapPartitionsRDD[3] at map at <console>:34
scala> val df= sqlContext.createDataFrame(rowRDD, customSchema_1)
df: org.apache.spark.sql.DataFrame= [ID: string, FILLER: string, CODE: string]
scala> df.show
+-----+------+----+
|   ID|FILLER|CODE|
+-----+------+----+
|12345|      |  10|
+-----+------+----+

나는 이것에 부딪 쳤고 좋은 해결책을 찾았습니다. 저는 스파크 2.3을 사용하고 있습니다. 스파크 2.2 이상에서 모두 작동해야한다고 생각하지만 테스트하지는 않았습니다. 작동 방식은 || 를 tab 으로 바꾼 다음 내장 된 csv가. 데이터에 쉼표가 있기 때문에 탭을 사용했습니다.

var df= spark.sqlContext.read
  .option("header", "true")
  .option("inferSchema", "true")
  .option("delimiter", "\t")
  .csv(spark.sqlContext.read.textFile("filename")
      .map(line=> line.split("\\|\\|").mkString("\t")))

다른 사람에게 도움이되기를 바랍니다.

수정 :

Spark 3.0.1부터는 기본적으로 작동합니다.

예 :

val ds= List("name||id", "foo||12", "brian||34", """"cray||name"||123""", "cray||name||123").toDS
ds: org.apache.spark.sql.Dataset[String]= [value: string]
val csv= spark.read.option("header", "true").option("inferSchema", "true").option("delimiter", "||").csv(ds)
csv: org.apache.spark.sql.DataFrame= [name: string, id: string]
csv.show
+----------+----+
|      name|  id|
+----------+----+
|       foo|  12|
|     brian|  34|
|cray||name| 123|
|      cray|name|
+----------+----+

Spark2.8 이상부터는 다중 문자 구분 기호 지원이 추가되었습니다. https://issues.apache.org/jira/browse/SPARK-24540

@lockwobr이 제안한 위의 솔루션은 스칼라에서 작동합니다. Spark 2.8 이하에서 작업하고 PySpark에서 솔루션을 찾는 사람은 아래를 참조 할 수 있습니다.

ratings_schema= StructType([
                                  StructField("user_id", StringType(), False)
                                , StructField("movie_id", StringType(), False)
                                , StructField("rating", StringType(), False)
                                , StructField("rating_timestamp", StringType(), True)
                                ])
    #movies_df= spark.read.csv("ratings.dat", header=False, sep="::", schema=ratings_schema)
    movies_df= spark.createDataFrame(
            spark.read.text("ratings.dat").rdd.map(lambda line: line[0].split("::")),
            ratings_schema)

예제를 제공했지만 논리에 맞게 수정할 수 있습니다.

우리는 다음과 같은 방법으로 사용자 정의 구분 기호가있는 데이터를 읽고 데이터 프레임의 열 이름을 사용자 정의하려고했습니다.

# Hold new column names saparately
headers="JC_^!~_*>Year_^!~_*>Date_^!~_*>Service_Type^!~_*>KMs_Run^!~_*># '^!~_*>' This is field delimiter, so split string
head= headers.split("^!~_*>")
## Below command splits the S3 file with custom delimiter and converts into Dataframe
df= sc.textFile("s3://S3_Path/sample.txt").map(lambda x: x.split("^!~_*>")).toDF(head)

toDF ()의 매개 변수로 헤드를 전달하면 사용자 정의 구분 기호가있는 텍스트 파일에서 생성 된 데이터 프레임에 새 열 이름을 할당합니다.

도움이되기를 바랍니다.