>source
질문

Google Cloud Storage에 저장된 텍스트 문서를 정리하는 방법이 있습니까?

배경

VM에 10,000 개가 넘는 문서 (txt 파일)를 저장하고 있으며 공간을 많이 사용하고 있습니다. 그리고 한계에 도달하기 전에 문서를 다른 위치로 옮기고 싶습니다. 현재 GCP에서 Google Cloud Storage로 전환하려고합니다.

문제

때로는 특정 키워드로 문서를 정리해야하는 경우가 있습니다. Google Cloud Storage에 업로드 된 문서를 정리할 수있는 방법이 있는지 궁금합니다. gsutil 문서를 확인했지만 ls, cp, mv, rm이 지원되는 것처럼 보이지만 grep을 볼 수 없습니다.

  • 답변 # 1

    불행히도 gsutil의 grep과 같은 명령은 없습니다.

    유사한 명령은gsutil cat입니다.

    작은 VM을 생성 할 수 있으며 클라우드에서 grep이 더 빠르고 저렴 해집니다.

    gsutil cat gs://bucket/ | grep "what you wnat to grep"
    
    

  • 답변 # 2

    @howie 답변이 좋습니다. Google Cloud Storage는 파일을 저장하기위한 제품이며 그 내용에 신경 쓰지 않습니다. 또한 확장 성이 뛰어나고 요청한 작업이 계산 비용이 많이 들기 때문에 향후 기본적으로 지원 될 가능성은 거의 없습니다.

    귀하의 경우 새 파일을 GCS에 업로드 할 때마다 텍스트 파일의 색인을 생성하고 업데이트를 시작하는 것이 좋습니다.

  • 답변 # 3

    다른 제안이 있습니다. Google Dataflow를 사용하여 문서를 처리하는 것이 좋습니다. 그냥 옮기면되지만 Dataflow를 사용하여 문서를 변환 할 수 있습니다.

  • 답변 # 4

    이 문제에 대한 답을 찾았습니다. gcpfuse가이 문제를 해결했습니다.

    구글 클라우드 스토리지를 특정 디렉토리에 마운트하십시오. 거기에서 잡을 수 있습니다.

    https://cloud.google.com/storage/docs/gcs-fuse https://github.com/GoogleCloudPlatform/gcsfuse

관련 자료

  • 이전 javascript - 2 개의 배열에서 요소별로 작업을 수행하는 더 좋은 방법이 있습니까?
  • 다음 excel - 비어있는 경우 열에 인접한 VBA 지우기 셀