>

나는 불꽃이 처음이다. 스파크 데이터 프레임이 있습니다 :

print(df)
[Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)),
     Row(feature=Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None))]

모든 기능 이름을 목록으로 가져 오려고합니다

experiments = [a, b, c, d, e]

내가 시도했다 :

a = df.rdd.map(lambda r: r.feature).collect()

이 나에게 모든 키 값 쌍을 제공한다.

즉.

[Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None), Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None)]

위 단계 이후에 목록으로 고유 한 기능을 얻는 방법 또는 다른 고급 솔루션이 있습니까?

final_list = [a, b, c, d, e, f]

  • 답변 # 1

    Rdd_name.keys()  당신은 RDD 작업하는 경우 당신이 필요로하는 것입니다.

    로는 문서 설명, df.columns  Spark 데이터 프레임에서 열 목록을 가져 오는 데 필요한 것입니다.

    다음과 같이 행을 사전으로 변환하여 키에 액세스 할 수도 있습니다.

    >>> df 
    [Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)), Row(feature=Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None))]
    >>> df[0]
    Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None))
    >>> df[0].asDict()
    {'feature': Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)}
    >>> df[0].asDict(True)
    {'feature': {'a': u'enabled', 'c': None, 'b': None, 'e': None, 'd': u'enabled', 'f': None}}
    >>> df[0].asDict(True).keys() 
    ['feature']
    >>> df[0].feature.asDict(True).keys() 
    ['a', 'c', 'b', 'e', 'd', 'f']
    >>>
    
    

  • 이전 Google SignIn - google 로그인 - 기계적 인조 인간:클릭하면 화면이 멈춤
  • 다음 php - 내 서버는 모서리에 '널'이있는 빈 페이지를 반환합니다