홈>2020-02-01 01:31

python - 데이터 프레임에서 고유 키 가져 오기

나는 불꽃이 처음이다. 스파크 데이터 프레임이 있습니다 :

print(df)
[Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)),
     Row(feature=Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None))]

모든 기능 이름을 목록으로 가져 오려고합니다

experiments = [a, b, c, d, e]

내가 시도했다 :

a = df.rdd.map(lambda r: r.feature).collect()

이 나에게 모든 키 값 쌍을 제공한다.

즉.

[Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None), Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None)]

위 단계 이후에 목록으로 고유 한 기능을 얻는 방법 또는 다른 고급 솔루션이 있습니까?

즉

final_list = [a, b, c, d, e, f]

pythonpysparkdatabricks

답변 # 1

Rdd_name.keys() 당신은 RDD 작업하는 경우 당신이 필요로하는 것입니다.

로는 문서 설명, df.columns Spark 데이터 프레임에서 열 목록을 가져 오는 데 필요한 것입니다.

다음과 같이 행을 사전으로 변환하여 키에 액세스 할 수도 있습니다.

>>> df 
[Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)), Row(feature=Row(a=None, b=None, c=None, d=u'enabled', e=None, f=None))]
>>> df[0]
Row(feature=Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None))
>>> df[0].asDict()
{'feature': Row(a=u'enabled', b=None, c=None, d=u'enabled', e=None, f=None)}
>>> df[0].asDict(True)
{'feature': {'a': u'enabled', 'c': None, 'b': None, 'e': None, 'd': u'enabled', 'f': None}}
>>> df[0].asDict(True).keys() 
['feature']
>>> df[0].feature.asDict(True).keys() 
['a', 'c', 'b', 'e', 'd', 'f']
>>>

Python2.net

python - 데이터 프레임에서 고유 키 가져 오기

관련 자료