>

AWS 글루 내에서 프로세스를 실행하는 동안 파일을 임시로 보관하기 위해 액세스 할 수있는 임시 폴더가 있습니까? 예를 들어 Lambda에서는 프로세스가 실행되는 동안/tmp 디렉토리에 액세스 할 수 있습니다. 작업이 실행되는 동안 파일을 저장할 수있는 AWS Glue와 비슷한 것이 있습니까?

  • 답변 # 1

    이것을 요구하고 있습니까? AWS Glue에서 인식하고 사용하는 여러 인수 이름이 있으며, Job 및 JobRuns에 대한 스크립트 환경을 설정하는 데 사용할 수 있습니다.

    -TempDir— 작업의 임시 디렉토리로 사용할 수있는 버킷의 S3 경로를 지정합니다.

    여기에 참조 할 수있는 링크가 있습니다.

    이것이 도움이됩니다.

  • 답변 # 2

    예, s3와 파일을 이동하는 데 사용할 수있는 tmp 디렉토리가 있습니다.

    s3 = boto3.resource('s3')
    
    

    -파일을 로컬 스파크 디렉토리 tmp로 다운로드합니다

    s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)
    
    

    'tmp /'에서 s3으로 파일을 업로드 할 수도 있습니다.

관련 자료

  • 이전 ansible - 파이썬 요청에서 헤더 오류가 있지만 헤더가 정의되었습니다
  • 다음 apache - HTACCESS로 다시 작성