>
<올>
  • 파일에 500 개의 URL이 있습니다.
  • 이 URL에 나타나는 모든 링크를 추출해야합니다.
  • Lynx로 파일을 읽고 파일 내에서 링크를 추출하는 방법?

    file.txt 의 샘플  아래, 행당 1 개의 링크 및 총 500 개의 행

    https://itunes.apple.com/
    https://play.google.com/
    
    

    ... 등등


    • 답변 # 1

      다음은 개선 된 스크립트입니다.

      #!/bin/sh
      cat file.txt |while read url
      do
          lynx -listonly -dump "$url"
      done |
      awk '/^[ ]*[1-9][0-9]*\./{sub("^ [^.]*.[ ]*","",$0); print;}'| \
      sort -u
      
      
      lynx가 인식하는 모든 유형의 URL (예 : ftp 포함)을 허용합니다. 스크립트는 결과를 정렬하고 중복을 제거합니다 (lynx는 자체적으로 수행하지 않음).

      추가 정보 :

      Lynx 사용자 안내서

    • 답변 # 2

      전화 목록 .txt :

      for i in $(cat list.txt) 
      do 
        lynx -accept_all_cookies -dump $i |grep "http" |sed -e "s/^.*http/http/"
      done
      
      

      일부 파일의 출력을 리디렉션하는 것이 좋습니다.

  • 이전 text processing - 여러 데이터 파일의 특정 줄을 선택하는 방법
  • 다음 sed - 여러 문자열이 포함 된 줄 끝에 텍스트를 추가하려면 어떻게합니까?