>source

저는 현재 분류기에 대한 모델 교육 및 평가를 예약하고 자동화하기 위해 DAG를 작성 중입니다. 나는 가지고있다N데이터 세트가 있고 각각에 대해 분류자를 생성해야 합니다(동일하며 다른 데이터에 대해 훈련된 것뿐입니다). 다음 중 가장 좋은 방법은 무엇입니까?

  • 단일 실행이 여러 모델을 생성하도록 각 데이터 세트에 대한 단일 DAG 실행 교육을 모든 모델에 적용합니다. (이 작업을 수행하는 방법을 알고 있습니다. 각 데이터 세트/모델에 대해 병렬 작업을 수행하고 교육을 실행한 다음 유효성 검사를 수행해야 한다고 생각합니다.)
  • 어쨌든 각 데이터 세트에 대해 동일한 DAG를 여러 번 실행하고 한 번의 실행으로 하나의 모델이 생성됩니다(매번 다른 구성으로 단일 DAG를 여러 번 예약하는 방법을 잘 모르겠습니다. 내가 가지고 있는 모든 데이터 세트에 대해 DAG를 생성하지만 결국 다른 DAG를 갖게 되어 지저분해질 수 있다고 생각합니다.)

학습할 데이터 세트/모델을 출력할 위치를 파악하는 DAG에 대한 초기 "구성" 단계가 없는 이유는 무엇입니까? 첫 번째 접근 방식은 Airflow에서 작업을 실행하는 방법이 매우 제한적인 것 같습니다.

user34832032021-10-13 15:22:31

나는 여전히 Airflow 및 모범 사례를 배우는 과정에 있습니다. 첫 번째 접근 방식은 어떤 방식으로 제한됩니까? 저는 이미 생성한 ETL DAG를 기반으로 하는 첫 번째 접근 방식을 기반으로 하고 있습니다. 이 접근 방식은 구성을 동적으로 업스트림으로 만든 다음 작업을 병렬 작업자 작업 다운스트림으로 배포합니다. 초기 구성 단계에서 유사한 것을 의미합니까, 아니면 각 독립 DAG에 대해 이와 같은 단계를 실행하고 어떤 모델이 여전히 생성되어야 하는지 추적하도록 합니까?

nass.hbs2021-10-13 15:33:22
  • 이전 weblogic 버전(weblogic 12.2.1.3)에 war를 배포할 때 Spring 통합 애플리케이션 배포가 실패합니다.
  • 다음 C++에서 클래스 정의 내부에 include 지시문을 추가할 수 있습니까?