홈>2020-02-01 00:48

Lynx는 파일 및 다운로드 링크에서 URL을 읽습니다

<올>

파일에 500 개의 URL이 있습니다.

이 URL에 나타나는 모든 링크를 추출해야합니다.

Lynx로 파일을 읽고 파일 내에서 링크를 추출하는 방법?

file.txt 의 샘플 아래, 행당 1 개의 링크 및 총 500 개의 행

https://itunes.apple.com/
https://play.google.com/

... 등등

lynx

답변 # 1
다음은 개선 된 스크립트입니다.
```
#!/bin/sh
cat file.txt |while read url
do
    lynx -listonly -dump "$url"
done |
awk '/^[ ]*[1-9][0-9]*\./{sub("^ [^.]*.[ ]*","",$0); print;}'| \
sort -u
```
lynx가 인식하는 모든 유형의 URL (예 : ftp 포함)을 허용합니다. 스크립트는 결과를 정렬하고 중복을 제거합니다 (lynx는 자체적으로 수행하지 않음).

추가 정보 :

Lynx 사용자 안내서

답변 # 2

전화 목록 .txt :

for i in $(cat list.txt) 
do 
  lynx -accept_all_cookies -dump $i |grep "http" |sed -e "s/^.*http/http/"
done

일부 파일의 출력을 리디렉션하는 것이 좋습니다.