홈>
AWS 글루 내에서 프로세스를 실행하는 동안 파일을 임시로 보관하기 위해 액세스 할 수있는 임시 폴더가 있습니까? 예를 들어 Lambda에서는 프로세스가 실행되는 동안/tmp 디렉토리에 액세스 할 수 있습니다. 작업이 실행되는 동안 파일을 저장할 수있는 AWS Glue와 비슷한 것이 있습니까?
- 답변 # 1
- 답변 # 2
예, s3와 파일을 이동하는 데 사용할 수있는 tmp 디렉토리가 있습니다.
s3 = boto3.resource('s3')-파일을 로컬 스파크 디렉토리 tmp로 다운로드합니다
s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)'tmp /'에서 s3으로 파일을 업로드 할 수도 있습니다.
관련 자료
- amazon web services - ec2의 AWS 인스턴스에 대한 임시 액세스 권한을 부여하는 쉬운 방법이 있습니까?
- ubuntu20.04 - 루트의 스냅 폴더는 매우 무겁고 홈의 스냅 폴더는 가볍습니다
- sql - 항목을 계산하는 동안 액세스에서 전체 외부 조인
- c# - readDir 함수가 있습니까? 다른 파일의 값에 액세스하는 방법은 무엇입니까?
- archlinux - Docker에서 사용자의 컨테이너 액세스를 제한하는 방법이 있습니까?
- tensorflow - tensorflow_hubKerasLayer 객체의 레이어에 액세스하는 방법이 있습니까?
- 가정과 상업용 건물의 액세스 포인트에 차이가 있습니까?
- clojure - 선물 세트를 가져와 병렬로 실행하는 동안 그룹으로 차단하는 방법이 있습니까?
- c++ - for 루프 내에서 벡터의 요소에만 액세스 할 수 있습니다
- SwiftUI에서 GeometryReader를 사용하지 않고 safeAreaInsets에 액세스하는 다른 방법이 있습니까?
- jenkins - src 디렉토리의 클래스 내에서 공유 라이브러리의 리소스 폴더에있는 정적 파일에 액세스하는 방법
- python - 이 "while"루프를 수정하는 방법이 있습니까? 그러면 파일 이름이 올바르게 변경됩니까?
- python - 로그 스케일을 사용하는 동안 pyplot의 y 축에 새 눈금을 추가하는 방법이 있습니까?
- swiftui : IOS 13을 타겟팅하는 동안 조건부로 @StateObject를 사용하는 방법이 있습니까?
- Google Sheets API에 스크립트 편집기에 액세스 할 수있는 방법이 있습니까?
- Electron 앱 패키지 루트 디렉터리에 폴더를 복사하거나 생성하는 방법이 있습니까?
- java - 페이징하고 order by를 사용하는 동안 Google Drive API v3의 모든 루트 폴더와 공유를 나열하는 방법은 무엇입니까?
- javascript - Express js에서 내 폴더의 현재 디렉토리 외부에있는 폴더에 액세스하려고합니다
- python - dict의 dict를 구문 분석 할 때 중첩 된 dict에 액세스하는 데 사용할 수있는 와일드 카드 옵션이 있습니까?
- c++ - 빈 벡터에 액세스하려는 중 분할 오류
관련 질문
- AWS Glue 작업을 사용하여 "양호한" 레code만 SQL Server 테이블에 쓰고 "불량" 레code를 반환하는 방법이 있습니까?
- Intellij 아이디어를 접착제 끝점에 어떻게 연결합니까?
- AWS Glue Pyspark 배열에서 구조체를 제거하지만 데이터를 보관하십시오.
- pyspark : 빈 데이터 프레임 테이블 리턴 오류 열로 실행을 시도하는 데 사용하지 않음
- Pyspark를 사용하여 AWS에 접착제에 설명을 추가하는 방법
- AWS에서 두 개의 접착제 테이블을 한 번만 만들 수 있습니까?
- 반복하고 ChoiceType을 접착제 동적 프레임에서 찾습니다
- S3 파일을 찾지 못하지 않아요
- AWS 접착제 -온 수요 용량을 가진 DynamoDB 슈퍼 천천히
- python : 거대한 DataFrames Pyspark를 피벗하는 가장 효율적인 방법
이것을 요구하고 있습니까? AWS Glue에서 인식하고 사용하는 여러 인수 이름이 있으며, Job 및 JobRuns에 대한 스크립트 환경을 설정하는 데 사용할 수 있습니다.
-TempDir— 작업의 임시 디렉토리로 사용할 수있는 버킷의 S3 경로를 지정합니다.
여기에 참조 할 수있는 링크가 있습니다.
이것이 도움이됩니다.