Tutorial Mudah Menggunakan Beautiful Soup untuk Mengekstraksi Data HTML

Oleh Indrawati Maret 16, 2023 Posting Komentar

Beautiful Soup adalah sebuah library Python yang sangat berguna untuk melakukan pemrosesan data yang terkandung dalam dokumen HTML dan XML. Library ini memungkinkan kita untuk melakukan ekstraksi data dari elemen HTML, melakukan penjajaran data, menghapus tag HTML, mencari tautan dalam halaman web, dan mengambil data dari tabel HTML. Pada artikel ini, kita akan membahas penggunaan Beautiful Soup dalam melakukan pemrosesan data dengan lebih detail.

Ekstraksi Data dari Elemen HTML

Beautiful Soup memungkinkan kita untuk mengambil data dari elemen HTML dengan mudah. Pertama-tama, kita perlu melakukan parsing dokumen HTML menggunakan Beautiful Soup. Hal ini dapat dilakukan dengan kode sebagai berikut:

from bs4 import BeautifulSoup

html_doc = """
<html>
<head>
<title>Judul Dokumen</title>
</head>
<body>
<h1>Header 1</h1>
<p>Paragraf 1</p>
<h2>Header 2</h2>
<p>Paragraf 2</p>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

Dalam contoh di atas, kita memiliki dokumen HTML yang terdiri dari beberapa elemen seperti judul dokumen, header, dan paragraf. Selanjutnya, kita menggunakan BeautifulSoup untuk melakukan parsing dokumen HTML tersebut.

Setelah melakukan parsing, kita dapat melakukan ekstraksi data dari elemen HTML dengan menggunakan fungsi find() atau find_all(). Fungsi find() digunakan untuk mencari elemen HTML pertama yang sesuai dengan kriteria yang diberikan, sedangkan fungsi find_all() digunakan untuk mencari semua elemen HTML yang sesuai dengan kriteria tersebut.

# Mengambil elemen judul dokumen
title = soup.find('title')
print(title.text)

# Mengambil semua elemen header
headers = soup.find_all(['h1', 'h2'])
for header in headers:
    print(header.text)

# Mengambil semua elemen paragraf
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
    print(paragraph.text)

Pada contoh di atas, kita menggunakan fungsi find() untuk mencari elemen judul dokumen dan kemudian mengambil teks dari elemen tersebut menggunakan atribut text. Selanjutnya, kita menggunakan fungsi find_all() untuk mencari semua elemen header dan paragraf, dan kemudian melakukan iterasi pada setiap elemen tersebut untuk mengambil teks dari elemen tersebut menggunakan atribut text.

Penjajaran Data

Beautiful Soup juga memungkinkan kita untuk melakukan penjajaran data dalam dokumen HTML. Hal ini dapat berguna ketika kita ingin membuat data menjadi lebih mudah dibaca atau ingin melakukan pemrosesan data dengan lebih mudah.

# Menambahkan indentasi pada dokumen HTML
print(soup.prettify())

# Menambahkan tag <br> pada dokumen HTML
br = soup.new_tag('br')
title.append(br)

Pada contoh di atas, kita menggunakan fungsi prettify() untuk menambahkan indentasi pada dokumen HTML agar lebih mudah dibaca. Selanjutnya, kita menggunakan fungsi new_tag() untuk membuat tag HTML baru dengan nama br dan kemudian menambahkan tag tersebut ke elemen judul dokumen menggunakan atribut append().

PenghapusanTag HTML

Kita juga dapat menggunakan Beautiful Soup untuk menghapus tag HTML yang tidak diperlukan dalam dokumen HTML. Hal ini dapat berguna ketika kita ingin mengambil hanya teks dari dokumen HTML tanpa tag HTML.

# Menghapus tag <h2> dari dokumen HTML
for header in soup.find_all('h2'):
    header.decompose()

Pada contoh di atas, kita menggunakan fungsi find_all() untuk mencari semua elemen header dengan tag <h2> dan kemudian menggunakan atribut decompose() untuk menghapus elemen tersebut dari dokumen HTML.

Mencari Tautan (Link) dalam Halaman Web

Beautiful Soup juga dapat digunakan untuk mencari tautan dalam halaman web. Hal ini berguna ketika kita ingin mengambil semua tautan dalam sebuah halaman web atau ingin melakukan crawling halaman web.

import requests

url = 'https://www.google.com'
response = requests.get(url)

soup = BeautifulSoup(response.content, 'html.parser')

# Mengambil semua tautan dalam halaman web
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

Pada contoh di atas, kita menggunakan library requests untuk mengambil halaman web dari URL tertentu. Selanjutnya, kita menggunakan BeautifulSoup untuk melakukan parsing dokumen HTML tersebut. Kemudian, kita menggunakan fungsi find_all() untuk mencari semua elemen <a> yang merupakan tautan dalam halaman web. Terakhir, kita melakukan iterasi pada setiap elemen tersebut dan mengambil URL dari atribut href menggunakan fungsi get().

Mengambil Data dari Tabel HTML

Beautiful Soup juga memungkinkan kita untuk mengambil data dari tabel HTML. Hal ini berguna ketika kita ingin melakukan pemrosesan data dari tabel HTML atau ingin melakukan scraping data dari halaman web yang menggunakan tabel HTML.

html_doc = """
<html>
<body>
<table>
    <thead>
        <tr>
            <th>Header 1</th>
            <th>Header 2</th>
            <th>Header 3</th>
        </tr>
    </thead>
    <tbody>
        <tr>
            <td>Data 1</td>
            <td>Data 2</td>
            <td>Data 3</td>
        </tr>
        <tr>
            <td>Data 4</td>
            <td>Data 5</td>
            <td>Data 6</td>
        </tr>
    </tbody>
</table>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# Mengambil semua baris dalam tabel
rows = soup.find_all('tr')
for row in rows:
    # Mengambil semua sel dalam baris
    cells = row.find_all('td')
    for cell in cells:
        print(cell.text)

Pada contoh di atas, kita memiliki sebuah tabel HTML yang terdiri dari beberapa baris dan sel. Selanjutnya, kita menggunakan BeautifulSoup untuk melakukan parsing dokumen HTML tersebut. Kemudian, kita menggunakan fungsi find_all() untuk mencari semua elemen <tr> yang merupakan baris dalam tabel. Setelah itu, kita melakukan iterasi pada setiap baris tersebut dan mengambil semua sel dalam baris menggunakan fungsi find_all() dengan parameter <td>. Terakhir, kita melakukan iterasi pada setiap sel tersebut dan mengambil teks dari sel tersebut menggunakan atribut text.

Dengan Beautiful Soup, kita dapat melakukan pemrosesan data dari dokumenHTML dengan lebih mudah dan efisien. Kita dapat melakukan berbagai macam operasi seperti ekstraksi data dari elemen HTML, penjajaran data, penghapusan tag HTML, pencarian tautan, dan pengambilan data dari tabel HTML. Hal ini sangat berguna ketika kita ingin melakukan analisis data dari dokumen HTML atau melakukan scraping data dari halaman web.

Terdapat beberapa hal yang perlu diperhatikan ketika menggunakan Beautiful Soup:

Menggunakan versi library yang sesuai dengan versi Python yang digunakan. Pastikan untuk menginstall library Beautiful Soup yang sesuai dengan versi Python yang digunakan.
Memahami struktur dokumen HTML dengan baik. Hal ini sangat penting untuk mempermudah proses ekstraksi data dari dokumen HTML.
Melakukan error handling dengan baik. Kita perlu melakukan error handling untuk menghindari terjadinya error yang tidak diinginkan saat melakukan proses parsing dokumen HTML.
Selain Beautiful Soup, terdapat beberapa library Python lainnya yang dapat digunakan untuk melakukan scraping data dari halaman web seperti Scrapy, Selenium, dan Requests-HTML. Setiap library memiliki kelebihan dan kekurangan masing-masing tergantung kebutuhan penggunaannya.

Namun, Beautiful Soup tetap menjadi salah satu library terpopuler karena mudah digunakan dan memiliki dokumentasi yang lengkap. Hal ini membuat Beautiful Soup menjadi pilihan yang tepat bagi pemula yang ingin belajar tentang pemrosesan data dari dokumen HTML atau scraping data dari halaman web.

Dalam artikel ini, kita telah membahas tentang penggunaan Beautiful Soup untuk melakukan pemrosesan data dari dokumen HTML. Kita telah membahas tentang ekstraksi data dari elemen HTML, penjajaran data, penghapusan tag HTML, pencarian tautan, dan pengambilan data dari tabel HTML. Semua operasi tersebut dapat dilakukan dengan mudah dan efisien menggunakan Beautiful Soup.

Contoh Aplikasi