Co to jest web scraping? Jak osiągnąć to w Pythonie?

By / 27 sierpnia, 2023

Web scraping to technika ekstrakcji danych z witryn internetowych. W dzisiejszym świecie, gdzie dane są nową walutą, web scraping stał się niezbędnym narzędziem dla programistów, analityków danych, marketerów i wielu innych profesji do zbierania informacji z internetu w sposób zautomatyzowany. Python, dzięki swojej prostocie i potężnym bibliotekom, jest jednym z najpopularniejszych języków do web scrapingu.

Całkowity przykład kodu

W poniższym przykładzie użyjemy biblioteki requests do pobrania zawartości strony internetowej, a następnie BeautifulSoup z pakietu bs4 do analizy tej zawartości i ekstrakcji danych.

# Importowanie potrzebnych bibliotek
import requests
from bs4 import BeautifulSoup

# Pobranie zawartości strony
url = 'http://example.com/'
response = requests.get(url)

# Sprawdzenie, czy żądanie zostało pomyślnie wykonane
if response.status_code == 200:
    # Użycie BeautifulSoup do parsowania HTML
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # Wyszukiwanie wszystkich paragrafów na stronie
    paragraphs = soup.find_all('p')
    print("Znalezione paragrafy:")
    for p in paragraphs:
        # Wyświetlenie tekstu każdego paragrafu
        print(p.text)
else:
    print("Nie udało się pobrać strony")

Komentarze do kodu

  • Importowanie bibliotek: Na początku importujemy bibliotekę requests, która pozwala na wykonywanie żądań HTTP, oraz BeautifulSoup z bs4, służącą do analizowania i manipulowania kodem HTML strony.
  • Pobieranie zawartości strony: Używając requests.get, pobieramy zawartość strony internetowej podanej w zmiennej url.
  • Sprawdzenie statusu żądania: Przed przystąpieniem do analizy kodu HTML, sprawdzamy czy żądanie zakończyło się sukcesem (status 200).
  • Analiza kodu HTML: BeautifulSoup analizuje kod HTML pobranej strony, co umożliwia łatwe wyszukiwanie i ekstrakcję danych.
  • Wyszukiwanie danych: W przykładzie wyszukujemy wszystkie elementy <p> (paragrafy) i wyświetlamy ich zawartość tekstową.

Podsumowanie

Web scraping jest potężnym narzędziem umożliwiającym automatyczne zbieranie danych z internetu. Python, dzięki bibliotekom takim jak requests i BeautifulSoup, ułatwia realizację tych zadań, czyniąc proces bardziej dostępnym i efektywnym. Warto jednak pamiętać o przestrzeganiu zasad etycznych oraz prawnych podczas scrapowania stron internetowych, aby nie naruszać praw autorskich czy zasad korzystania z serwisów.

Jeżeli chcesz przyśpieszyć swoją naukę tworzenia stron chciałbym polecić mój kurs Python od podstaw w którym nauczysz się tego języka od podstaw do zaawansowanych jego aspektów.

Scroll to Top