홈>

amazon sagemaker - 내장 알고리즘 용 노트북을 사용하지 않고 S3에서 교육 데이터를 전처리하는 방법

내장 모델의 아래 첫 번째 링크에 표시된 것처럼 단순히 csv에서 protobuf 형식으로 변경하는 것과 같이 훈련하기 전에 sagemaker notebook 및 전처리 데이터를 사용하지 않으려 고합니다.

https://docs.aws .amazon.com/sagemaker/latest/dg/ex1-preprocess-data-transform.html

다음 예에서는 sagemaker python-sdk의 도움으로 sklearn 파이프 라인을 사용하여 전처리를 설명합니다

https://aws.amazon.com/blogs/machine-learning/preprocess-input-data-before-making-predictions-using-amazon-sagemaker-inference-pipelines-and- scikit-learn/

변경과 같은 형식을 수행하기 만하면 능률적 인 처리 방법을 사용할 필요가없는 경우 모범 사례는 무엇입니까?

amazon-sagemaker

  • 답변 # 1

    사전 처리 또는 교육을 수행하기 위해 SageMaker Notebook 인스턴스를 사용할 필요는 없습니다. 노트북은 실험을 탐색하고 수행하는 방법입니다. 프로덕션 사용 사례의 경우 사전 처리, 데이터 준비 (피처 엔지니어링, 형식 변환 등), AWS Step Functions를 사용한 모델 교육 및 평가와 같은 ML 파이프 라인의 작업을 조정할 수 있습니다. Julien은 최근 대화에서이를 다루었습니다.

    파이썬 스크립트 (Python Shell을 통해) 또는 Apache Spark (Glue 작업)를 사용하여 사전 처리를 위해 AWS Glue를 사용하여 탐색 할 수 있습니다. 이러한 사용 사례는이 블로그를 참조하십시오. https://aws.amazon.com/blogs/machine-learning/ensure-consistency-in-data-processing-code-between-training-and-inference-in-amazon-sagemaker/

관련 자료

  • 이전 php - 사용자 피드백을 제한하는 방법?
  • 다음 excel - vba - like 연산자를 값 목록에 사용하는 방법은 무엇입니까?