홈>
AWS 글루 내에서 프로세스를 실행하는 동안 파일을 임시로 보관하기 위해 액세스 할 수있는 임시 폴더가 있습니까? 예를 들어 Lambda에서는 프로세스가 실행되는 동안/tmp 디렉토리에 액세스 할 수 있습니다. 작업이 실행되는 동안 파일을 저장할 수있는 AWS Glue와 비슷한 것이 있습니까?
- 답변 # 1
- 답변 # 2
예, s3와 파일을 이동하는 데 사용할 수있는 tmp 디렉토리가 있습니다.
s3 = boto3.resource('s3')-파일을 로컬 스파크 디렉토리 tmp로 다운로드합니다
s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)'tmp /'에서 s3으로 파일을 업로드 할 수도 있습니다.
관련 자료
- amazon web services - ec2의 AWS 인스턴스에 대한 임시 액세스 권한을 부여하는 쉬운 방법이 있습니까?
- ubuntu20.04 - 루트의 스냅 폴더는 매우 무겁고 홈의 스냅 폴더는 가볍습니다
- sql - 항목을 계산하는 동안 액세스에서 전체 외부 조인
- c# - readDir 함수가 있습니까? 다른 파일의 값에 액세스하는 방법은 무엇입니까?
- archlinux - Docker에서 사용자의 컨테이너 액세스를 제한하는 방법이 있습니까?
- tensorflow - tensorflow_hubKerasLayer 객체의 레이어에 액세스하는 방법이 있습니까?
- 가정과 상업용 건물의 액세스 포인트에 차이가 있습니까?
- clojure - 선물 세트를 가져와 병렬로 실행하는 동안 그룹으로 차단하는 방법이 있습니까?
- c++ - for 루프 내에서 벡터의 요소에만 액세스 할 수 있습니다
- SwiftUI에서 GeometryReader를 사용하지 않고 safeAreaInsets에 액세스하는 다른 방법이 있습니까?
- jenkins - src 디렉토리의 클래스 내에서 공유 라이브러리의 리소스 폴더에있는 정적 파일에 액세스하는 방법
- python - 이 "while"루프를 수정하는 방법이 있습니까? 그러면 파일 이름이 올바르게 변경됩니까?
- python - 로그 스케일을 사용하는 동안 pyplot의 y 축에 새 눈금을 추가하는 방법이 있습니까?
- swiftui - iOS 13을 대상으로하는 동안 @StateObject를 조건부로 사용하는 방법이 있습니까?
- Google Sheets API에 스크립트 편집기에 액세스 할 수있는 방법이 있습니까?
- Electron 앱 패키지 루트 디렉터리에 폴더를 복사하거나 생성하는 방법이 있습니까?
- java - 페이징하고 order by를 사용하는 동안 Google Drive API v3의 모든 루트 폴더와 공유를 나열하는 방법은 무엇입니까?
- javascript - Express js에서 내 폴더의 현재 디렉토리 외부에있는 폴더에 액세스하려고합니다
- python - dict의 dict를 구문 분석 할 때 중첩 된 dict에 액세스하는 데 사용할 수있는 와일드 카드 옵션이 있습니까?
- c++ - 빈 벡터에 액세스하려는 중 분할 오류
관련 질문
- AWS Glue 용 Python 스크립트를 생산하는 방법은 무엇입니까?
- Glue JOB에서 Parquet 파일 이름 지정
- 열 값의 조합으로 S3 출력 파일을 분할하는 방법은 무엇입니까?
- python : AWS Glue를 사용하여 dynamo에서 문자열 세트를 작성하는 방법은 무엇입니까?
- AWS Glue 스트리밍 작업이 Kafka에 연결할 수 없음
- Spark jdbc writemode overwrite가 예상대로 작동하지 않습니다.
- 순차적 실행시 빈 파일을 출력하는 AWS Glue
- startjobrun과 getjobrun-StepFunction with Glue의 차이점은 무엇입니까?
- AWS Cross 계정 정책을 작성하는 방법
- pyspark는 user_agents를 새 열로 구문 분석합니다.
이것을 요구하고 있습니까? AWS Glue에서 인식하고 사용하는 여러 인수 이름이 있으며, Job 및 JobRuns에 대한 스크립트 환경을 설정하는 데 사용할 수 있습니다.
-TempDir— 작업의 임시 디렉토리로 사용할 수있는 버킷의 S3 경로를 지정합니다.
여기에 참조 할 수있는 링크가 있습니다.
이것이 도움이됩니다.