홈>
사용자 지정 oozie FTP 작업과 같은 smth를 작성했습니다 ( "Professional Hadoop Solutions By : Boris Lublinsky;Kevin T. Smith;Alexey Yakubovich"에 설명 된 간단한 예). node1에는 HDFS가 있고 node2에는 Oozie 서버가 있습니다. Node2에는 HDFS 클라이언트도 있습니다.
내 문제 :
<올>fileSystem.moveFromLocalFile(...)
를 호출하려고했습니다.
방법. 또한
/usr/bin/hadoop fs -moveFromLocal /tmp\import_folder/filename.csv /user/user_for_import/imported/filename.csv
와 같은 Shell 동작을 사용하려고했습니다.
그러나 나는 효과가 없었다. 모든 작업이 node1에서 파일을 찾으려고합니다. node2에서 oozie 작업을 시작하면 동일한 결과입니다.질문 : node1의 FTP에서 파일을로드하도록 FTP 동작에 대한 노드를 설정할 수 있습니까? 또는 설명 된 HDFS로 다운로드 한 파일을 전달하는 다른 방법이 있습니까?
- 답변 # 1
- 답변 # 2
Ozzie를 사용하면 oozie sssh 쉘 확장을 통해 특정 노드에서 쉘 스크립트를 실행할 수 있습니다. https://oozie.apache.org/docs/4.2.0/DG_SshActionExtension.html
관련 자료
- Jenkins 서버에서 셸 스크립트 실행 권한 없음
- action - oozie를 통해 쉘 스크립트를 실행할 수 없습니다
- Powershell을 사용하여 쉘 스크립트에서 계산할 때 "for 루프 요소"를 처리하는 방법
- python - networkx에서 랜덤 거리 노드 생성
- bash - ssh를 수행하고 쉘 스크립트 기능을 원격으로 실행하는 방법
- powershell - 간헐적 인 실패를 시뮬레이션하기 위해 스크립트의 종료 코드를 임의의 값으로 설정
- c - igraph로 생성 된 임의의 네트워크에서 마지막 색인의 노드가 과도하게 표시되지 않는 이유는 무엇입니까?
- bash - 쉘 스크립트에서 메모리 부족을 정상적으로 처리하는 방법
- arrays - 새 스크립트를 실행하기 전에 쉘 스크립트 체인을 반복하여 실행 중인지 확인하십시오
Oozie는 구성된 Map Reduce 클러스터에서 노드의 MR 작업으로 모든 작업을 실행합니다. Oozie가 특정 노드에서 일부 작업을 실행하게하는 방법은 없습니다.
기본적으로 Flume을 사용하여 파일을 HDFS로 수집해야합니다. FTP 노드에서 Flume 에이전트를 설정하십시오.