Mengenal BERT: Model NLP Canggih Buatan Google

BERT merupakan salah satu framework machine learning untuk Natural Language Processing (NLP) yang diusulkan oleh para peneliti di Google Research. Framework ini dapat menggantikan metode Recurrent Neural Network (RNN) dan Convolutional Neural Network (CNN) untuk menangani tugas-tugas terkait NLP.

Daftar Isi

Pengertian dan Definisi BERT

Sumber gambar: searchengineland.com

BERT merupakan kependekan dari Bidirectional Encoder Representations from Transformers, yakni model Deep Learning untuk NLP yang didasarkan pada Transformer di mana setiap elemen output terhubung ke setiap elemen input, dan bobot elemen dihitung secara dinamis berdasarkan hubungan antar elemen.

Model ini diusulkan dan diterbitkan oleh Jacob Devlin dan rekan-rekannya dari Google Research pada tahun 2018. Selanjutnya di tahun 2019, Google mengumumkan bahwa BERT mulai diimplementasikan di mesin pencarinya. Kemudian pada akhir tahun 2020, BERT digunakan di hampir semua kueri pencarian bahasa Inggris.

Sebuah survei literatur tahun 2020 menyimpulkan bahwa dalam kurun waktu kurang dari setahun, BERT telah menjadi dasar atau baseline untuk eksperimen dan penelitian tentang NLP. Terhitung lebih dari 150 publikasi penelitian melakukan analisis dan peningkatan untuk model ini.

BERT dirancang untuk membantu komputer memahami arti bahasa yang ambigu dalam sebuah teks dengan menggunakan teks sekitarnya untuk membangun konteks. Kerangka BERT telah dilatih sebelumnya menggunakan teks dari Wikipedia dan dapat disesuaikan dengan kumpulan data pertanyaan dan jawaban. 

BERT dapat digunakan pada berbagai macam tugas bahasa, seperti sentimen analysis (analisis sentimen), question answering (penjawab pertanyaan), text prediction (prediksi teks), text generation (pembangkitan teks), dan summarization (peringkasan teks).

Latar Belakang Hadirnya Model BERT

Adapun faktor yang menjadi latar belakang hadirnya BERT, yaitu disebabkan language model yang sudah ada kebanyakan hanya dapat membaca input teks secara berurutan, baik kiri-ke-kanan atau kanan-ke-kiri, tetapi tidak dapat melakukan keduanya secara bersamaan. 

BERT dirancang untuk dapat membaca dua arah sekaligus. Kemampuan ini hadir berkat fitur pengenalan Transformer yang dikenal sebagai bidirectionality.

Transformer adalah bagian dari model yang memberikan BERT peningkatan kapasitas untuk memahami konteks dan ambiguitas dalam bahasa. Transformer melakukan ini dengan memproses setiap kata masukan yang memiliki relasi dengan kata lain dalam sebuah kalimat, dibanding memprosesnya satu per satu. 

Dengan melihat semua kata di sekitarnya, Transformer memungkinkan model BERT untuk memahami konteks penuh dari kata tersebut, dan oleh karena itu lebih memahami maksud dari suatu kalimat.

Transformer pertama kali diperkenalkan oleh Google di tahun 2017. Kala itu, language model umumnya menggunakan Recurrent Neural Network (RNN) dan Convolutional Neural Network (CNN) untuk menangani tugas-tugas terkait NLP.

Meskipun kedua model tersebut cukup handal, kehadiran Transformer dianggap hal yang penting dan membawa peningkatan yang signifikan. Alasannya karena transformer tidak memerlukan urutan dari data yang akan diproses, dan ini yang tidak dimiliki oleh RNN dan CNN. 

Contoh Pemanfaatan Model BERT

BERT saat ini sedang digunakan di Google untuk mengoptimalkan maksud dari kata kunci pencarian oleh pengguna.

BERT unggul dan dapat dimanfaatkan untuk beberapa tugas berikut:

• Pembangkit bahasa berbasis Sequence-to-Sequence seperti:

1. Question answering
2. Abstract summarization
3. Sentence prediction
4. Conversational response generation

• Natural Language Understanding, seperti:

1. Polysemy and Coreference resolution
2. Word sense disambiguation
3. Natural language inference
4. Sentiment classification

Penutup

Demikianlah penjelasan singkat mengenai model BERT. Semoga bermanfaat.

Trivusi Ikatlah ilmu dengan menulis. Menebar manfaat dengan berbagi :)

Berbagi :