Lompat ke konten Lompat ke sidebar Lompat ke footer

Pengertian Analisis Regresi, Kegunaan, dan Jenis-jenisnya

Metode regresi telah lama digunakan di bidang statistik ekonomi atau ekonometrika. Analisis regresi adalah tools statistik untuk menyelidiki hubungan antar variabel.

Biasanya, seorang investigator atau analis berusaha menelusuri efek hubungan sebab-akibat dari satu variabel terhadap variabel lainnya—misalnya, efek kenaikan harga terhadap permintaan barang, atau efek perubahan jumlah uang beredar terhadap tingkat inflasi.

Selain digunakan di bidang statistik ekonomi, metode ini juga populer digunakan pada bidang machine learning. Sebenarnya apa itu analisis regresi?

Di artikel ini kita akan membahas tuntas mengenai pengertian analisis regresi, fungsi dan jenis-jenisnya. Simak sampai selesai, ya!

Daftar Isi

Pengertian Analisis Regresi

Menurut Wikipedia, analisis regresi dapat didefinisikan sebagai berikut:

Analisis regresi adalah serangkaian proses statistik untuk memperkirakan hubungan antara variabel dependen dengan satu atau lebih variabel independen

Dari definisi di atas, ada beberapa kata kunci yang berhubungan dengan analisis regresi, yaitu:

  • Variabel dependen atau variabel target: yaitu variabel yang digunakan untuk melakukan prediksi
  • Variabel independen atau variabel predictor: Variabel-variabel yang dipakai untuk memperkirakan/menebak variabel dependen
  • Outlier: Observasi yang memberikan hasil berbeda secara signifikan dengan observasi lainnya
  • Multicollinearity: Keadaan di mana dua atau lebih variabel independen yang berhubungan terlalu linier.
  • Homoscedasticity atau homogeneity of variance: Situasi di mana nilai kesalahannya sama di semua nilai variabel independen.

Fungsi Analisis Regresi

Analisis regresi umumnya digunakan untuk dua tujuan yang berbeda. Pertama, banyak digunakan untuk prediksi dan forecasting, yang beririsan dengan bidang machine learning. Kedua, digunakan untuk menyimpulkan hubungan kausalitas (sebab-akibat) antara variabel independen dan dependen.

Analisis regresi merupakan salah satu metode paling dasar di bidang machine learning yang digunakan untuk prediksi. Dengan menggunakan regresi, kita bisa menyesuaikan fungsi pada data yang tersedia dan mencoba memprediksi hasil untuk titik data yang akan datang atau yang tertunda. Penyesuaian fungsi ini memiliki dua tujuan, yakni interpolasi dan ekstrapolasi.

  • Interpolasi: Teknik untuk mencari nilai suatu variabel yang hilang pada rentang data yang diketahui
  • Ekstrapolasi: Teknik untuk memperkirakan data di luar rentang data yang diketahui

Perbedaan antara Regresi dan Klasifikasi

Baik regresi dan klasifikasi keduanya termasuk ke dalam metode supervised learning yang artinya dapat menggunakan data training yang berlabel untuk melatih model dan membuat sebuah prediksi. Oleh karena itu, keduanya sering dikategorikan dalam kelompok yang sama pada machine learning.

Perbedaan utama keduanya adalah variabel keluarannya. Untuk regresi, keluarannya berupa data numerik atau kontinu. Sedangkan pada klasifikasi keluarannya bersifat kategorikal atau diskrit.

Selain itu, ada perbedaan pada cara klasifikasi dan regresi mengevaluasi prediksi, yakni:

  • Hasil prediksi pada klasifikasi dapat dievaluasi menggunakan akurasi, sedangkan prediksi pada regresi tidak bisa.
  • Hasil prediksi pada regresi dapat dievaluasi menggunakan root mean squared error (MSE) sedangkan untuk prediksi klasifikasi tidak bisa.

Jenis-jenis Analisis Regresi

Ada banyak jenis teknik analisis regresi dan penggunaan masing-masing metode tergantung pada jumlah faktor. Faktor-faktor tersebut meliputi garis regresi dan jumlah variabel independen.

Di bawah ini jenis-jenis dari analisis regresi:

1. Linear Regression

Linear regression atau regresi linier adalah salah satu jenis regresi paling dasar dalam machine learning. Model linear regression terdiri dari hubungan linier antara variabel dependen (Y) dan variabel independen (X). Untuk data yang melibatkan lebih dari satu variabel independen, linear regression disebut multi linear regression atau regresi linier berganda.

Linear regression bertujuan untuk menyesuaikan hyperplane (garis untuk titik data 2D) dengan meminimalkan jumlah kesalahan rata-rata kuadrat untuk setiap titik data.

Sumber: https://editor.analyticsvidhya.com

Penting untuk dicatat bahwa model regresi linier sederhana rentan terhadap outlier. Oleh karena itu, tidak boleh digunakan dalam kasus data ukuran besar.

2. Polynomial Regression

Regresi Polinomial adalah salah satu jenis analisis regresi dalam machine learning, yang sama dengan regresi linier berganda namun dengan sedikit modifikasi. Dalam regresi polinomial, hubungan antara variabel independen dan variabel dependen, yaitu X dan Y, dilambangkan dengan derajat ke-n. Jenis regresi ini adalah varian dari model multi-linear regression dengan garis hyperplane berupa lengkungan.

Sumber: https://editor.analyticsvidhya.com

3. Ridge Regression

Ridge regression adalah salah satu jenis regresi dalam machine learning yang biasanya digunakan ketika ada korelasi yang tinggi antara variabel independen (X).

Untuk kasus data multikolinier, estimasi kuadrat terkecil memberikan nilai yang tidak bias. Tetapi, jika kolinearitasnya sangat tinggi, kemungkinan terdapat beberapa nilai bias. Oleh karena itu, matriks bias diperkenalkan dalam persamaan regresi ridge.

Analisis regresi jenis ini merupakan metode regresi yang cocok untuk kasus dimana model yang digunakan cenderung tidak sensitif terhadap overfitting. Variabel lambda (λ) dalam persamaan regresi ridge menyelesaikan masalah multikolinearitas.

Sumber: https://editor.analyticsvidhya.com

4. LASSO Regression

Regresi Lasso merupakan salah satu jenis regresi pada machine learning yang melakukan regularisasi bersamaan dengan seleksi fitur. Regresi ini melarang ukuran absolut dari koefisien regresi. Akibatnya, nilai koefisien semakin mendekati nol, yang tidak terjadi pada kasus Regresi Ridge.

Sumber: https://editor.analyticsvidhya.com

5. ElasticNet Regression

Regresi ElasticNet menggabungkan metode regresi ridge dan regresi lasso yang sangat berguna ketika berhadapan dengan data yang sangat berkorelasi.

Sumber: https://editor.analyticsvidhya.com

6. Bayesian Regression

Regresi Bayesian merupakan salah satu jenis regresi pada machine learning yang menggunakan teorema Bayes untuk mengetahui nilai koefisien regresi.

Dalam metode regresi ini, distribusi posterior fitur perlu ditentukan alih-alih menemukan kuadrat terkecil. Regresi linier bayesian seperti regresi linier dan regresi ridge tetapi lebih stabil daripada regresi linier sederhana.

Sumber: https://editor.analyticsvidhya.com

7. Logistic Regression

Analisis regresi logistik dapat diterapkan ketika variabel dependen berupa nilai diskrit. Dengan kata lain, teknik ini digunakan untuk menghitung probabilitas kejadian yang saling eksklusif seperti lulus/gagal, benar/salah, 0/1, dan sebagainya.

Dengan demikian, variabel target dapat mengambil hanya satu dari dua nilai, dan kurva sigmoid mewakili hubungannya dengan variabel independen, dan probabilitas memiliki nilai antara 0 dan 1.

Sumber: https://editor.analyticsvidhya.com

Penutup

Sebagai kesimpulan, analisis regresi adalah metode paling dasar di bidang machine learning yang digunakan untuk prediksi. Adapun jenis-jenis metode dari analisis regresi tergantung pada sejumlah faktor. Faktor-faktor tersebut meliputi garis regresi dan jumlah variabel independennya.

Demikianlah artikel mengenai pengertian dan jenis-jenis analisis regresi. Jika tertarik dengan artikel serupa, Anda bisa mengunjungi rubrik Machine Learning atau membaca artikel lainnya mengenai "Platform cloud computing yang populer untuk transformasi bisnis digital"

Salam!

Referensi:

Posting Komentar untuk "Pengertian Analisis Regresi, Kegunaan, dan Jenis-jenisnya"