홈>
Spark Dataframe
df
에 비트가있는 열이 있습니다.
. 열은 다음 형식의 문자열입니다.
10001010000000100000000000000000
10001010000000100000000100000000
새 열
"no_of_ones"
를 만드는 간단하고 효과적인 방법이 있습니까?
데이터 프레임을 사용하여 빈도를 계산합니까? RDD 사용
map(lambda x:x.count('1'))
(pyspark).
또한, 위치가있는 목록을 어떻게 검색 할 수 있습니까?
- 답변 # 1
- 답변 # 2
일반적으로 (py) spark SQL의 미리 정의 된 함수에서 필요한 것을 찾을 수없는 경우 원하는대로 수행하는 UDF (사용자 정의 함수)를 작성할 수 있습니다 (UDF 참조).
귀하의 경우 새 문자열을 인스턴스화하고 정규식을 컴파일 할 필요가 없기 때문에 잘 코딩 된 udf가 아마도 scala 또는 java의 정규식 솔루션보다 빠를 것입니다 (for 루프가 할 것입니다). 그러나 실행기에서 파이썬 코드를 실행하면 항상 성능이 심각하게 손상되므로 pyspark에서 속도가 훨씬 느려질 수 있습니다.
관련 자료
- python - TKINTER Treeview GUI에서 서로 다른 열의 여러 행을 계산하고 표시하는 방법은 무엇입니까?
- python - 열에 요소 목록이 포함 된 경우 그룹 내의 하위 집합
- r - 특정 열의 문자를 특정 길이로 자르기
- PysPark 데이터 프레임의 열에있는 항목의 빈도를 계산하고 저장하는 방법은 무엇입니까?
- vba - Excel 내의 각 열 (정보 포함)을 통해 코드를 실행하는 방법은 무엇입니까?
- sql - 정규식을 사용하여 열 이름 문자열에서 모든 특수 문자를 제거하는 방법
- CSS를 사용하여 열 내에서 이미지 선택
- excel - 두 열에 COUNTIF (S)를 입력하고 고유 한 개수를 가져옵니다
- python - 다른 데이터 프레임의 열 내의 내용을 사용하여 한 pandas 데이터 프레임의 열 내의 하위 문자열을 검색 한 다음 병합
- python - df 열에서 부분 문자열을 바꾸는 방법
- sql - 동일한 테이블 내에서 특정 열을 업데이트하고 제한을 추가합니다PostgreSQL
- python - B 열에서 A 열에서 찾은 문자열 수를 가져오고 새 열에 값을 반환합니다
- dataframe - 열 그룹 내에서 서로 다른 값의 수를 계산합니다
- python - Pandas Groupby 변환 내에서 열 이름에 액세스 할 수 있습니까?
- df 열 R의 특정 문자 바꾸기 (하위 문자열)
- dart - Flutter의 Column 위젯 내에서 Row 위젯을 숨기는 방법
- python - pandas - groupby는 열 값으로 계산됩니다
- python - 데이터 프레임 열의 고유 문자열 수
- r - 열 내 사전 단어의 빈도를 계산하고 새로운 "dictfreq"열을 생성합니다
- regex - php - 변수에 특정 문자가 있거나 없는지 확인
관련 질문
- pyspark에서 과학적 표기법을 끄는 방법은 무엇입니까?
- python : PySpark: 루프를 사용하지 않고 DataFrame을 여러 DataFrame으로 분할
- pandas : 각 그룹 B에서 A 열 A의 고유 값 값을 선택하고 이러한 고유 값에 대해 C 열의 값 합계를 가져 오는 방법
- Jupyter 노트북에서 Spark 세션을 시작할 수 없음
- json : 시간을 절약할 때 배열에 큰 따옴표를 추가하는 Pyspark
- SparkContext.wholeTextFiles 메서드를 사용할 때 pyspark에 Py4JJavaError 오류가 발생했습니다.
- python : s3 버킷의 데이터를 사용하여 AWS EMR에서 pyspark.ml을 사용하여 모델을 교육할 때 KeyError
- 문자열과 배열 값이 있는 필드가 있는 json의 Pyspark 문제
- Spark 구조적 스트리밍으로 최신 데이터만 유지
- 행 수를 제한하면서 Pyspark 데이터 프레임을 분할하는 방법은 무엇입니까?
내가 생각할 수있는 한 가지 방법은 모든 0을 제거한 다음 필드의 길이를 세는 것입니다.