Gadgetshowto
Wget to narzędzie wiersza poleceń, którego można użyć do pobrania prawie wszystkiego, co jest dostępne w Internecie. Problem polega na tym, że powinien być dostępny przez protokoły HTTP, HTTPS lub FTP; w przeciwnym razie Wget nie będzie mógł go pobrać. Istnieje wiele sposobów wykorzystania Wget, na przykład możesz użyć Wget do pobrania każdego obrazu ze strony internetowej lub możesz również pobrać pojedynczy plik. Wget może nawet wznowić pobieranie, jeśli to możliwe. Jeśli więc zastanawiasz się, jak działa Wget i co może dla Ciebie zrobić, oto jak używać Wget:
Instalowanie Wget
1. Instalowanie Wget na macOS Sierra
Zanim zaczniemy korzystać z Wget, będziemy musieli zainstalować go w naszym systemie. Na szczęście większość dystrybucji Linuksa ma preinstalowany Wget, więc nie będziesz musiał wykonywać żadnej dodatkowej pracy. Jeśli jednak korzystasz z komputera Mac, będziesz musiał zainstalować Wget. Można to łatwo zrobić za pomocą Homebrew (pobierz). Jeśli potrzebujesz pomocy, oto kroki, które musisz wykonać:
- Najpierw musisz zainstalować Homebrew na komputerze Mac, aby móc pobrać Wget. Aby to zrobić, po prostu uruchom Terminal, i wpisz następujące polecenie:
/ usr / bin / ruby -e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- Po zakończeniu polecenia, Homebrew zostanie zainstalowany w twoim systemie. Możesz teraz używać Homebrew do instalowania pakietów, takich jak Wget. W terminalu po prostu uruchom następujące polecenie:
napar zainstalować wget
- Homebrew uruchomi się automatycznie pobieranie, rozpakowywanie i instalowanie Wget w twoim systemie. Ten krok może zająć trochę czasu, w zależności od szybkości sieci, więc bądź cierpliwy. Po zakończeniu polecenia powinieneś być w stanie używać Wget na komputerze Mac. Aby sprawdzić, czy został zainstalowany, wystarczy użyć polecenia:
wget -V
2. Instalowanie Wget w systemie Windows
Instalacja Wget w systemie Windows wymaga trochę więcej wysiłku, ale można to łatwo zrobić. Jeśli chcesz zainstalować Wget na swoim komputerze z systemem Windows, wykonaj poniższe czynności:
- Najpierw pobierz Cygwin, a następnie uruchom pobrany plik instalacyjny.
- Gdy zapyta o domyślne źródło pobierania, wybierz opcję „Zainstaluj z Internetu„I kliknij "Kolejny".
- Wybierz katalog instalacyjny dla Cygwin, a także katalog, w którym będzie zapisywać pliki pakietów do instalacji narzędzi.
- Na następnym ekranie musisz wybrać połączenie internetowe. Jeśli używasz serwera proxy, wybierz jego typ i podaj szczegóły. Jednak dla większości użytkowników wybór brzmiałby: „Bezpośrednie połączenie„.
- Następnie zostanie wyświetlony plik lista luster, wybierz dowolną z nich, aby pobrać Cygwin. Jeśli pobieranie się nie powiedzie, możesz spróbować ponownie z innym serwerem lustrzanym.
- W następnym oknie wyszukaj „Wget”, i kliknij plus obok "sieć" na liście, która się pojawi. Tutaj pole wyboru obok „wget”Zostanie wybrany automatycznie. Po prostu kliknij "Kolejny".
- Na następnym ekranie zostaną wyświetlone pakiety, które należy pobrać. Po prostu kliknij "Kolejny".
- Po zakończeniu instalacji zostaniesz zapytany, czy chcesz Stwórz ikonę na pulpicie, i / lub dodaj plik wejście do menu startowego. Jest to całkowicie kwestia osobistych preferencji, ale sugerowałbym przynajmniej dodanie go do menu startowego, abyś mógł go łatwo znaleźć.
Otóż to. Wget jest teraz zainstalowany na Twoim komputerze z systemem Windows. Jednak nie będzie można go uruchomić z wiersza polecenia. Zamiast tego będziesz musiał uruchom terminal Cygwin i stamtąd użyj Wget.
Jak korzystać z Wget
Teraz, gdy Wget jest już uruchomiony w naszym systemie, zbadajmy wszystkie fajne sposoby, w jakie możemy używać Wget do pobierania plików, folderów, a nawet całych witryn internetowych z Internetu. Oto kilka interesujących rzeczy, które możesz zrobić z Wget w swoim systemie.
Uwaga: Używam Wget na MacBooku Air z systemem macOS Sierra 10.12.3 beta. Ponieważ jednak narzędzie, którego używamy, jest takie samo (Wget), polecenia będą takie same w każdym systemie operacyjnym, na którym możesz używać Wget.
1. Użyj Wget, aby pobrać pliki
Możesz używać Wget do łatwego pobierania plików z Internetu. Po prostu użyj następującego polecenia
wget
- Pobierz plik i zapisz go pod określoną nazwą
Pliki na serwerach mają czasami najdziwniejsze nazwy i możesz chcieć pobrać plik i poprosić Wget o automatyczną zmianę nazwy na bardziej sensowną dla Ciebie. Aby to zrobić, użyj następującego polecenia
wget -o
- Pobierz tylko określone typy plików
Serwer WWW może hostować wiele różnych plików. A co, jeśli chcesz pobrać tylko wszystkie pliki PDF na serwer, a może wszystkie pliki GIF? Po prostu użyj następującego polecenia:
wget -r -A pdf
To konkretne polecenie zostało użyte przez Marka Zuckerberga w jego pokoju w akademiku na Harvardzie, aby pobrać wszystkie obrazy za pomocą jednego polecenia i zbudować niesławną witrynę internetową „facesmash.com”.
wget -r -A jpg, jpeg, png, bmp
2. Pobierz pliki z wielu adresów URL za pomocą Wget
Załóżmy, że musisz pobrać pliki z wielu różnych miejsc w internecie. Może istnieć plik Plik PDF pod adresem url1, ważne Plik ZIP pod adresem url2, i coś innego w url3. Jeśli używałeś Wget w tradycyjny sposób, będziesz musiał uruchomić go trzy razy. Jest jednak o wiele łatwiejszy sposób, aby to zrobić.
- Najpierw utwórz plik ze wszystkimi adresami URL, z których chcesz pobrać dane. Upewnij się, że zachowaj każdy adres URL w osobnym wierszu. Zapisz plik i upewnij się, że pamiętasz nazwę.
- W Terminalu użyj następującego polecenia, aby pobrać pliki ze wszystkich adresów URL:
wget -i
gdzie "Nazwa pliku” to nazwa utworzonego pliku ze wszystkimi adresami URL trzeba było pobrać rzeczy z.
3. Pobierz całą witrynę internetową za pomocą Wget
Tak, dobrze to przeczytałeś. Możesz również użyć Wget do pobrania zawartości całej witryny internetowej. Oczywiście, jeśli witryna jest zbyt duża, wykonanie tego polecenia zajmie dużo czasu, nie wspominając o tym, że zajmie dużo miejsca w systemie. To powiedziawszy, jeśli chcesz użyć Wget do pobrania całej witryny, po prostu użyj następującego polecenia:
wget --mirror -p-P ./LOCAL-DIR WITRYNA-URL
Spowoduje to pobranie całej witryny internetowej do folderu „LOCAL-DIR”W katalogu roboczym. Pliki strony internetowej będą przechowywane w folderze o tej samej nazwie, co strona internetowa, dzięki „ADRES URL WITRYNY„.
4. Użyj Wgeta jako pająka internetowego
Możesz także sprawić, by Wget zachowywał się jak robot sieciowy (lub pająk sieciowy). Jest to pomocne, gdy chcesz potwierdź, że adres URL pliku, który chcesz pobrać, jest prawidłowy. Aby użyć Wget jako pająka internetowego i sprawdzić poprawność adresów URL, użyj następującego polecenia:
wget - pająk
Spowoduje to sprawdzenie, czy adres URL, o którym wspomniałeś, istnieje i otrzymasz odpowiedź informującą o wynikach sprawdzenia.
- Pozytywna odpowiedź:
- Odpowiedź negatywna:
5. Kontynuuj niekompletne pobieranie
To kolejna naprawdę fajna rzecz, którą może zrobić Wget. Powiedzmy, że pobierasz plik za pomocą Wget, ale z jakiegoś powodu musiałeś wyłączyć laptopa. Następnym razem, gdy będziesz chciał pobrać ten sam plik, Wget może to zrobić kontynuować pobieranie dla Ciebie. Ty po prostu musisz upewnij się, że jesteś w tym samym folderze, w którym ostatnio pobierałeś plik, a następnie użyj następującego polecenia:
wget -c
Kiedy Wget zobaczy, że część pliku jest już obecna w twoim systemie, automatycznie kontynuuje pobieranie.
Uwaga: Jeśli plik na serwerze został zmieniony od czasu ostatniej próby jego pobrania, nie powinieneś używać tego polecenia, ponieważ spowoduje to uszkodzenie pliku, którego nie będziesz w stanie odczytać.
Ponadto, jeśli serwer nie zezwala na dalsze pobieranie, Wget odmówi rozpoczęcia pobierania od zera. Jeśli chcesz rozpocząć pobieranie od zera, będziesz musiał usunąć częściowo pobrany plik ze swojego systemu, pierwszy.
Jest jeszcze kilka warunków używania tego argumentu i możesz przeczytać więcej na ten temat na stronie podręcznika Wget.
6. Ogranicz prędkość pobierania
Jeśli używasz Wget do pobierania plików i przeglądasz Internet obok niego, prawdopodobnie nie chciałbyś, aby Wget wykorzystywał całą przepustowość. Na szczęście Wget zawiera argument, którego możesz użyć ograniczyć przepustowość którego Wget może używać do pobierania plików w twoim systemie:
wget --limit-rate =
Uwaga: Pamiętaj, że prędkość jest podawana w bajtach, a nie w bitach. Tak więc, jeśli użyjesz Wget -limit-rate = 20k, ograniczy to wykorzystanie przepustowości do 20 kB, a nie do 20 kb.
7. Użyj Wget, aby pobrać pliki z serwerów FTP
Jeśli chcesz pobrać plik z serwera FTP, możesz to również zrobić za pomocą Wget. Po prostu użyj następującego polecenia, aby pobrać pliki z serwerów FTP:
wget
- Pobierz pliki z serwerów FTP za pomocą loginu
JEŚLI twój serwer FTP wymaga logowania, aby umożliwić pobieranie plików, możesz po prostu przekazać dane uwierzytelniające również za pomocą Wget. Po prostu użyj następującego polecenia:
wget --ftp-username = NAZWA UŻYTKOWNIKA --ftp-hasło = HASŁO
ZOBACZ TAKŻE: 30 poleceń terminala Mac, aby uzyskać dostęp do ukrytych funkcji
Z łatwością używaj Wget do pobierania plików z Internetu
Możesz użyć Wget do pobierania plików z dowolnego miejsca w Internecie. Jednakże, chociaż Wget prawie zawsze działa, istnieją serwery, które uniemożliwiają dostęp do Wget, w takim przypadku możesz spróbować zmienić -user-agent dla swojej komendy Wget. Nie jest to jednak zalecany sposób postępowania, chyba że absolutnie wiesz, co robisz. W większości przypadków Wget umożliwia pobranie dowolnego pliku z Internetu, o ile masz do niego dostęp i jego adres URL.
Czy kiedykolwiek używałeś Wget do pobierania plików z Internetu? Opowiedz nam o swoich doświadczeniach z używaniem Wget do pobierania plików za pośrednictwem protokołów HTTP, HTTPS i FTP. Ponadto, jeśli znasz inne zastosowania Wget, które Twoim zdaniem zasługują na umieszczenie na tej liście, poinformuj nas o nich w sekcji komentarzy poniżej.
