>source

여기에 설명 된 것과 유사한 고성능 클러스터를 AWS에 설정했습니다.블로그 게시물. 결과 클러스터에는 하나의 컴퓨팅 노드를 가동하는 하나의 마스터가 있습니다.

다음 파일 (test_slurm.sh로 저장 됨)을 고려하십시오.

#!/bin/bash
#
#SBATCH --job-name=test
#SBATCH --output=res.txt
#
#SBATCH --ntasks=1
#SBATCH --time=10:00
ip a > file.txt

내가 실행할 때 : sbatch test_slurm.sh 마스터 노드에서 새 file.txt가 컴퓨팅 노드와 일치하는 IP 정보와 함께 동일한 디렉토리에 팝업됩니다. 컴퓨팅 노드로 ssh하면 파일도 거기에서 사용할 수 있습니다.

컴퓨팅 노드가 test_slurm.sh의 내용을 실행하고 파일 시스템에 파일을 저장하며 어떻게 든 마스터 노드와 동기화하는 것 같습니다. 파일 동기화를 담당하는 메커니즘은 무엇입니까? 이러한 방식으로 동기화 된 파일은 전송 중에 암호화됩니까?


  • 답변 # 1

    Slurm은 모든 컴퓨팅 노드에서 사용 가능한 공통 공유 파일 시스템이 있다고 가정하고이를 전제 조건으로 삼습니다. 종종 클러스터는 NFS, GPFS, Lustre, GlusterFS, BeeGFS, AndrewFS 등과 같은 기술을 사용하는 "홈"파일 시스템과 성능/신뢰성 균형이 다른 다른 파일 시스템을 갖습니다.

    그러나 Slurm은 제출 스크립트를 제외하고 컴퓨팅 노드로 /에서 파일을 전송하려고 노력하지 않습니다.

    귀하의 경우 이것은 아마도 가상 클러스터를 스핀 업하는 데 사용한 절차에 의해 설정되었을 것입니다. 실제로 언급 한 블로그 게시물에서 구성 파일에는 fsx_settings = parallel-fs 병렬 파일 시스템 설정이 있음을 나타내는 것 같습니다. 추가로 구성된 경우 [fsx parallel-fs] 부분. AWS 설명서를 읽어 보면 Luster 파일 시스템이 될 수 있습니다.

    암호화의 경우 이러한 유형의 파일 시스템은 WAN의 보안이 아닌 사설 네트워크의 성능을 위해 설계 되었기 때문에 그렇지 않을 수 있습니다. Amazon 절차는 아마도 컴퓨팅 노드에 대한 사설 네트워크를 구성 할 것입니다.

  • 답변 # 2

    Amazon 포럼에서 비슷한 질문을했습니다. https://forums.aws.amazon.com/message.jspa?messageID=968147

    damienfrancois가 확인한 바와 같이 "Slurm은 제출 스크립트를 제외하고 컴퓨팅 노드와 파일을주고받는 데 어떠한 노력도하지 않습니다." AWS 병렬 클러스터는 동기화 메커니즘으로 NFS를 사용하여 기본 파일 공유를 설정합니다.

    NFS는 추가 구성없이 설정됩니다. 이는 전송 중 암호화가 현재 지원되지 않음을 의미합니다.

  • 이전 mysql - 일반적인 첫 단어를 기반으로 문자열 그룹화