У меня есть коллекция загруженных сайтов на случай, если они исчезнут из сети вместе с полезными статьями.
Для их рекурсивной загрузки (обходятся все ссылки, все вложенные страницы) использую wget.
Это консольная утилита для загрузки файлов по протоколам HTTP, HTTPS, FTP и FTPS.
Особо полезна она на серверах, где нет графического интерфейса, а нужно что-то загрузить из сети.
Для загрузки файла достаточно ввести в терминале:
wget https://example.com/path_to_file.txt
Для рекурсивной загрузки сайта команда может выглядеть наподобие:
wget -m -l 10 -e robots=off -p -k -E --reject-regex "wp" --no-check-certificate -U="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" https://example.com/
С линуксовыми дистрибутивами wget идёт, как правило, в комплекте.
На макось легко ставится с помощью homebrew.
На винде я обычно не парюсь и пользуюсь оболочкой с линуксовыми утилитами, которые идут в комплекте с git.
@UtopiaForNobody | #tools #sysops
Для их рекурсивной загрузки (обходятся все ссылки, все вложенные страницы) использую wget.
Это консольная утилита для загрузки файлов по протоколам HTTP, HTTPS, FTP и FTPS.
Особо полезна она на серверах, где нет графического интерфейса, а нужно что-то загрузить из сети.
Для загрузки файла достаточно ввести в терминале:
wget https://example.com/path_to_file.txt
Для рекурсивной загрузки сайта команда может выглядеть наподобие:
wget -m -l 10 -e robots=off -p -k -E --reject-regex "wp" --no-check-certificate -U="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" https://example.com/
С линуксовыми дистрибутивами wget идёт, как правило, в комплекте.
На макось легко ставится с помощью homebrew.
На винде я обычно не парюсь и пользуюсь оболочкой с линуксовыми утилитами, которые идут в комплекте с git.
@UtopiaForNobody | #tools #sysops