홈>
AWS 글루 내에서 프로세스를 실행하는 동안 파일을 임시로 보관하기 위해 액세스 할 수있는 임시 폴더가 있습니까? 예를 들어 Lambda에서는 프로세스가 실행되는 동안/tmp 디렉토리에 액세스 할 수 있습니다. 작업이 실행되는 동안 파일을 저장할 수있는 AWS Glue와 비슷한 것이 있습니까?
- 답변 # 1
- 답변 # 2
예, s3와 파일을 이동하는 데 사용할 수있는 tmp 디렉토리가 있습니다.
s3 = boto3.resource('s3')-파일을 로컬 스파크 디렉토리 tmp로 다운로드합니다
s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)'tmp /'에서 s3으로 파일을 업로드 할 수도 있습니다.
관련 자료
- amazon web services - ec2의 AWS 인스턴스에 대한 임시 액세스 권한을 부여하는 쉬운 방법이 있습니까?
- ubuntu20.04 - 루트의 스냅 폴더는 매우 무겁고 홈의 스냅 폴더는 가볍습니다
- sql - 항목을 계산하는 동안 액세스에서 전체 외부 조인
- c# - readDir 함수가 있습니까? 다른 파일의 값에 액세스하는 방법은 무엇입니까?
- archlinux - Docker에서 사용자의 컨테이너 액세스를 제한하는 방법이 있습니까?
- tensorflow - tensorflow_hubKerasLayer 객체의 레이어에 액세스하는 방법이 있습니까?
- 가정과 상업용 건물의 액세스 포인트에 차이가 있습니까?
- clojure - 선물 세트를 가져와 병렬로 실행하는 동안 그룹으로 차단하는 방법이 있습니까?
- c++ - for 루프 내에서 벡터의 요소에만 액세스 할 수 있습니다
- SwiftUI에서 GeometryReader를 사용하지 않고 safeAreaInsets에 액세스하는 다른 방법이 있습니까?
- jenkins - src 디렉토리의 클래스 내에서 공유 라이브러리의 리소스 폴더에있는 정적 파일에 액세스하는 방법
- python - 이 "while"루프를 수정하는 방법이 있습니까? 그러면 파일 이름이 올바르게 변경됩니까?
- python - 로그 스케일을 사용하는 동안 pyplot의 y 축에 새 눈금을 추가하는 방법이 있습니까?
- swiftui : IOS 13을 타겟팅하는 동안 조건부로 @StateObject를 사용하는 방법이 있습니까?
- Google Sheets API에 스크립트 편집기에 액세스 할 수있는 방법이 있습니까?
- Electron 앱 패키지 루트 디렉터리에 폴더를 복사하거나 생성하는 방법이 있습니까?
- java - 페이징하고 order by를 사용하는 동안 Google Drive API v3의 모든 루트 폴더와 공유를 나열하는 방법은 무엇입니까?
- javascript - Express js에서 내 폴더의 현재 디렉토리 외부에있는 폴더에 액세스하려고합니다
- python - dict의 dict를 구문 분석 할 때 중첩 된 dict에 액세스하는 데 사용할 수있는 와일드 카드 옵션이 있습니까?
- c++ - 빈 벡터에 액세스하려는 중 분할 오류
관련 질문
- AWS Glue 작업 스크립트의 두 테이블에 가입 및 쿼리를 넣을 수 없음
- AWS GLUE ETL 작업이 "키를 삭제하지 못했습니다 : 마루 -출력 /_Temporary"
- 접착제를 통해 redshift에 삽입하면서 열을 자르기 만하면됩니다.
- 내 AWS 접착제 사용자 정의 CSV 분류자가 작동하는지 확인하는 방법은 무엇입니까?
- AWS Glue Jobs에서 사용자 정의 메트릭을 게시하는 방법이 있습니까?
- S3에 지속적으로 도착하는 데이터의 AWS 접착제 증분 크롤링
- AWS S3 버킷에서 Pyspark로 CSV를 읽을 때 오류가 발생했습니다.
- 오랫동안 실행중인 Python 스크립트를위한 적절한 AWS 서비스
- AWS Glue Studio의 Evershadow 데이터
- Amazon S3 데이터에서 Amazon Redshift로 일일 증분 증분 복사
이것을 요구하고 있습니까? AWS Glue에서 인식하고 사용하는 여러 인수 이름이 있으며, Job 및 JobRuns에 대한 스크립트 환경을 설정하는 데 사용할 수 있습니다.
-TempDir— 작업의 임시 디렉토리로 사용할 수있는 버킷의 S3 경로를 지정합니다.
여기에 참조 할 수있는 링크가 있습니다.
이것이 도움이됩니다.