>

HDInsight Cluster를 사용하여 외부 데이터 소스를 만들려고합니다. 그렇게하는 동안 위치를 하둡, 이름, 노드, IP 주소 및 포트 번호로 제공해야합니다.

HDInsight 클러스터에서 이름, 노드, IP 주소, 리소스 관리자 위치, IP 주소 및 포트 번호를 어디에서 찾을 수 있습니까?

나는 이미 Core-site.xml 를 통해 탐색  & yarn-site.xml  HDInsight에는 아무것도 발견되지 않았습니다.

--- 3 : 외부 데이터 소스 작성을위한 구문.

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH (  
    TYPE = HADOOP,   
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx',   
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx',   
    CREDENTIAL = HadoopUser1        
);

-위치 (필수) : 하둡 이름 노드 IP 주소 및 포트.
-리소스 관리자 위치 (선택 사항) : 푸시 다운 계산을 가능하게하는 Hadoop 리소스 관리자 위치.
-CREDENTIAL (선택 사항) : 위에서 만든 데이터베이스 범위 자격 증명.

감사합니다.

  • 답변 # 1

    귀하의 질문을 올바르게 이해하면 이미 HDInsight 클러스터가 있고 외부 테이블을 통해 Azure SQL DW와 대화하도록하려는 것입니다. "Azure SQL Data Warehouse"에 대한 CREATE EXTERNAL DATA SOURCE 문서의 구문 섹션을 검색하면 현재 Azure SQL DW의 Polybase가 작동하는 유일한 방법은 Azure Blob Storage 및 Azure Data Lake Store와 통신하는 것입니다. (Azure SQL DW의 Polybase가 계속 향상되면서 시간이 지남에 따라 더 유연 해 지므로 해당 설명서 페이지에 맞게 조정하십시오.)

    지금은 HDInsight가 Hive에 정의 된 외부 테이블에 기록한 다음 Blob 저장소의 동일한 폴더에서 Azure SQL DW를 가리키고 해당 Blob을 읽는 자체 외부 테이블을 선언해야합니다.

  • 이전 docker - dockerfile을 빌드하려고 할 때 잘못된 인수 오류가 발생합니다
  • 다음 python - dict comprehension을 사용하여 키 목록이 제공된 사전 키에 액세스