Simple Linier Regression
CHAPTER 14
SIMPLE LINEAR REGRESSION
Analisis Varians Satu-Arah (One-Way Analysis of Variance—ANOVA)
Prosedur analisis varians (Analysis of Variance—ANOVA) menggunakan variabel numerik
tunggal (single numerical variable) yang diukur dari sejumlah sampel untuk menguji
hipotesis nol dari populasi yang (diperkirakan) memiliki rata-rata hitung (mean) sama.
Variabel dimaksud harus berupa variabel kuantitatif. Variabel ini terkadang dinamakan
sebagai variabel terikat (dependent variable).
Hipotesis nol (H 0 ) dalam uji ANOVA adalah bahwa semua (minimal 3) populasi yang
sedang dikaji memiliki rata-rata hitung (mean) sama. Ringkasnya, hipotesis nol (H 0 ) dan
hipotesis alternatif (H 1 ) dalam ANOVA adalah:
H 0 : 1 = 2 = 3 = … = n
H 1 : Tidak semua populasi memiliki rata-rata hitung (mean) sama.
Analisis varians (Analysis of Variance—ANOVA) adalah prosedur statistika untuk
mengkaji (mendeterminasi) apakah rata-rata hitung (mean) dari 3 (tiga) populasi atau
lebih, sama atau tidak.
Dalam uji ANOVA, bukti sampel diambil dari setiap populasi yang sedang dikaji.
Data-data yang diperoleh dari sampel tersebut digunakan untuk menghitung statistik
sampel. Distribusi sampling yang digunakan untuk mengambil keputusan statistik, yakni
menolak atau menerima hipotesis nol (H 0 ), adalah DISTRIBUSI F (F Distribution).
Dalam uji ini diasumsikan bahwa semua populasi yang sedang dikaji memiliki
keragaman atau varians (variance) sama tanpa mempertimbangkan apakah populasi-
populasi tersebut memiliki rata-rata hitung (mean) sama atau berbeda. Ada 2 (dua) cara
atau metode dalam mengestimasi nilai varians ini, yakni metode dalam kelompok (within
method) dan metode antar-kelompok (between method). Metode dalam kelompok
menghasilkan estimasi tentang varians yang sahih (valid) apakah hipotesis nol salah atau
benar. Sementara metode antar-kelompok menghasilkan estimasi tentang varians yang
sahih (valid) hanya jika hipotesis nol benar.
Metode dalam kelompok (within method) menghasilkan estimasi yang sahih (valid)
apakah hipotesis nol benar atau tidak. Metode antar-kelompok (between method)
menghasilkan estimate yang sahih (valid) jika hipotesis nol benar.
Langkah akhir dari uji ANOVA adalah menghitung rasio antara metode antar-
kelompok (between method) sebagai numerator (faktor yang dibagi) dan metode dalam
kelompok (within method) sebagai denominator (faktor pembagi). Jika hipotesis nol benar
(diterima), rasio di atas berisikan dua hasil estimasi yang terpisah dari populasi yang
memiliki varians sama dan, karenanya, berasal dari distribusi F. Namun demikian, jika
rata-rata hitung (mean) populasi yang dikaji tidak sama, hasil estimasi dalam numerator
akan mengembung sehingga rasionya akan menjadi sangat besar. Jelas bahwa rasio
demikian, dengan membandingkannya dengan distribusi F, tidak berasal dari distribusi F,
dan hipotesis nol akan ditolak. Uji hipotesis dalam ANOVA adalah uji hipotesis bersisi-
satu (one-tailed) di mana nilai statistik F yang besar akan mengarah ke ditolaknya hipotesis
nol, sementara nilai statistik F yang kecil akan mengarah ke penerimaan hipotesis nol.
Metode dalam Kelompok (Within Method)
Terlepas dari benar atau tidaknya hipotesis nol, metode dalam kelompok (within method)
akan menghasilkan estimasi yang sahih (valid). Hal ini disebabkan oleh variabilitas sampel
dideterminasi dengan jalan membandingkan setiap butir data dengan rata-rata hitung
masing-masing. Nilai sampel yang diambil dari populasi A dibandingkan dengan rata-rata
sampel A. Demikian pula dengan masing-masing populasi yang diobservasi. Persamaan
(1) berikut digunakan untuk mengestimasi keragaman atau varians (variance) dalam
metode dalam kelompok.
di mana:
S w 2 : varians yang diestimasi menggunakan metode dalam kelompok;
X ij : butir data ke-i dalam kelompok j;
X j : rata-rata (mean) kelompok j
c : jumlah kelompok
n : jumlah/ukuran sampel dalam setiap kelompok
c(n-1) : derajat bebas (degree of freedom).
Tanda penjumlahan ganda berarti bahwa ada 2 (dua) langkah penjumlahan. Pertama
menyelesaikan tanda jumlah sebelah kanan. Setelah itu, menyelesaikan tanda penjumlahan
sebelah kiri.
Metode Antar-kelompok (Between Method)
Metode penghitungan varians yang kedua adalah metode antar-kelompok (between
method). Metode menghasilkan estimasi varians yang sahih jika hipotesis nol benar.
Persamaan yang digunakan dalam meode ini adalah sebagai berikut:
Varians dalam metode ini bisa juga dihitung dengan menggunakan persamaan berikut:
Uji dan Tabel F Analisis Varians (Analysis of Variance—ANOVA F Test and Table)
Setelah menghitung nilai varians yang sebelumnya tidak diketahui dengan menggunakan
metode dalam kelompok (within method) dan metode antar-kelompok (between method),
selanjutnya kita membuat perbandingan atau rasio (ratio) antara kedua nilai varians
tersebut.
Jika hipotesis nol benar, numerator (pembilang) dan denumerator (penyebut) dalam
persamaan di atas akan merupakan estimasi yang sahih (valid) bagi varians dari populasi
yang sedang dikaji. Rasio tersebut, dengan demikian, akan sesuai (conform) dengan
distribusi F.
Hasil dari pengujian analisis varians biasanya disajikan dalam bentuk tabel yang
biasa dinamakan TABEL ANOVA (ANOVA TABLE). Tabel ini terdiri atas kolom-kolom
yang berisikan sumber keragaman atau sumber varians (source of variance), jumlah
kuadrat (sums of squares—SS), derajat bebas analisis (degree of freedom), nilai
keragaman atau varians yang diestimasi (estimates of the variance), dan nilai F untuk
prosedur analisis keragaman/varians (F value for the analysis of variance procedure),
sebagaimana tampak pada tabel berikut.
Analisis Varians Dua-Arah (Two-Way Analysis of Variance—ANOVA)
Dalam analisis varians satu-arah, hanya ada 1 (satu) sumber keragaman (source of
variability) dalam variabel terikat (dependent variable), yakni: kelompok dalam populasi
yang sedang dikaji. Terkadang kita juga perlu untuk mengetahui atau mengidentifikasi
adanya 2 (dua) faktor yang mungkin menyebabkan perbedaan dalam variabel terikat
(dependent variable). Untuk tujuan tersebut dilakukan analisis varians dua-arah (Two-way
ANOVA). Dalam analisis varians dua-arah, kita harus mengukur setiap kombinasi dua
faktor dari variabel terikat (dependent variable) yang sedang dikaji.
Anova Dua Faktor atau Dua Arah
Banyak variabel respons atau variabel terikat dipengaruhi oleh lebih dari satu
faktor atau variabel bebas. Oleh karena itu, kita sering dituntut untuk melakukan pelbagai
eksperimen di mana kita mempelajari efek atau pengaruh dari sejumlah variabel bebas
(faktor) terhadap sebuah variabel terikat. Pada kesempatan ini, kita akan mempelajari
pengaruh dari dua (2) faktor (variabel bebas) terhadap sebuah variabel terikat. Kita
asumsikan bahwa faktor pertama (kita sebut faktor 1) memiliki a tingkat atau level (level
1, 2, ……, a) dan faktor kedua (kita sebut faktor 2) memiliki b tingkat atau level (level 1,
2, ……, b). Yang merupakan perlakuan (treatment) di sini adalah kombinasi antara
sebuah level faktor 1 dan sebuah level dari faktor 2. Dengan demikian, kita bisa
mempelajari sebanyak ab perlakuan.
Tujuan dari analisis dua-faktor adalah untuk mengestimasi dan membandingkan
pengaruh dari pelbagai perlakuan yang berbeda-beda terhadap variabel bebas atau variabel
respon. Bergantung pada situasi tertentu, kita dapat melakukan pengujian untuk melihat
apakah terdapat perbedaan nyata atau signifikan (significant differences) pengaruh:
1. antar-level dari faktor 1;
2. antar-level dari faktor 2; dan
3. antar-kombinasi faktor 1 dan 2.
Apabila terdapat perbedaan nyata, kita akan mengestimasi seberapa tinggi tingkat
perbedaan tersebut dalam kerangka untuk mengetahui apakah ada keuntungan praktik dari
perbedaan tersebut. Selanjutnya, kita bisa mengestimasi pengaruh dari perlakuan tertentu
terhadap rata-rata (mean) respons (variabel bebas), dan kita bisa memprediksikan nilai
individu dari variabel respons atau variabel bebas.
Metode yang kita terapkan untuk tujuan tersebut adalah analisis keragaman dua-arah
atau analisis keragaman dua-faktor (two-way analysis of variance or two-factor analysis of
variance). Sebelum lebih lanjut membicarakan analisis tersebut, kita terlebih dahulu lihat
dua definisi berikut.
Eksperimen faktorial lengkap (complete factorial experiment) bisa dilakukan jika kita
memilih sebuah sampel yang berkaitan dengan masing-masing dan setiap perlakuan
(yakni kombinasi antar-level dari masing-masing faktor).
Apabila ukuran sampel yang diterapkan untuk semua perlakuan adalah sama, maka
eksperimen demikian dikategorikan sebagai eksperimen faktorial lengkap
seimbang (balanced complete factorial experiment).
Anova dua-arah atau dua-faktor harus memenuhi asumsi-asumsi berikut.
a. Kita melakukan suatu eksperimen faktorial lengkap seimbang (balanced complete
factorial experiment).
b. Kita menerapkan rancangan eksperimen acak lengkap (complete randomized
experimental design). Yakni, sampel acak bebas dari unit eksperimen dikaitkan
pada perlakuan (treatment).
c. Populasi dari semua nilai yang memungkinkan dari variabel respons berkaitan
dengan semua perlakuan terdistribusi secara normal.
d. Semua populasi tersebut memiliki varians yang sama.
SIMPLE LINEAR REGRESSION
Analisis Varians Satu-Arah (One-Way Analysis of Variance—ANOVA)
Prosedur analisis varians (Analysis of Variance—ANOVA) menggunakan variabel numerik
tunggal (single numerical variable) yang diukur dari sejumlah sampel untuk menguji
hipotesis nol dari populasi yang (diperkirakan) memiliki rata-rata hitung (mean) sama.
Variabel dimaksud harus berupa variabel kuantitatif. Variabel ini terkadang dinamakan
sebagai variabel terikat (dependent variable).
Hipotesis nol (H 0 ) dalam uji ANOVA adalah bahwa semua (minimal 3) populasi yang
sedang dikaji memiliki rata-rata hitung (mean) sama. Ringkasnya, hipotesis nol (H 0 ) dan
hipotesis alternatif (H 1 ) dalam ANOVA adalah:
H 0 : 1 = 2 = 3 = … = n
H 1 : Tidak semua populasi memiliki rata-rata hitung (mean) sama.
Analisis varians (Analysis of Variance—ANOVA) adalah prosedur statistika untuk
mengkaji (mendeterminasi) apakah rata-rata hitung (mean) dari 3 (tiga) populasi atau
lebih, sama atau tidak.
Dalam uji ANOVA, bukti sampel diambil dari setiap populasi yang sedang dikaji.
Data-data yang diperoleh dari sampel tersebut digunakan untuk menghitung statistik
sampel. Distribusi sampling yang digunakan untuk mengambil keputusan statistik, yakni
menolak atau menerima hipotesis nol (H 0 ), adalah DISTRIBUSI F (F Distribution).
Dalam uji ini diasumsikan bahwa semua populasi yang sedang dikaji memiliki
keragaman atau varians (variance) sama tanpa mempertimbangkan apakah populasi-
populasi tersebut memiliki rata-rata hitung (mean) sama atau berbeda. Ada 2 (dua) cara
atau metode dalam mengestimasi nilai varians ini, yakni metode dalam kelompok (within
method) dan metode antar-kelompok (between method). Metode dalam kelompok
menghasilkan estimasi tentang varians yang sahih (valid) apakah hipotesis nol salah atau
benar. Sementara metode antar-kelompok menghasilkan estimasi tentang varians yang
sahih (valid) hanya jika hipotesis nol benar.
Metode dalam kelompok (within method) menghasilkan estimasi yang sahih (valid)
apakah hipotesis nol benar atau tidak. Metode antar-kelompok (between method)
menghasilkan estimate yang sahih (valid) jika hipotesis nol benar.
Langkah akhir dari uji ANOVA adalah menghitung rasio antara metode antar-
kelompok (between method) sebagai numerator (faktor yang dibagi) dan metode dalam
kelompok (within method) sebagai denominator (faktor pembagi). Jika hipotesis nol benar
(diterima), rasio di atas berisikan dua hasil estimasi yang terpisah dari populasi yang
memiliki varians sama dan, karenanya, berasal dari distribusi F. Namun demikian, jika
rata-rata hitung (mean) populasi yang dikaji tidak sama, hasil estimasi dalam numerator
akan mengembung sehingga rasionya akan menjadi sangat besar. Jelas bahwa rasio
demikian, dengan membandingkannya dengan distribusi F, tidak berasal dari distribusi F,
dan hipotesis nol akan ditolak. Uji hipotesis dalam ANOVA adalah uji hipotesis bersisi-
satu (one-tailed) di mana nilai statistik F yang besar akan mengarah ke ditolaknya hipotesis
nol, sementara nilai statistik F yang kecil akan mengarah ke penerimaan hipotesis nol.
Metode dalam Kelompok (Within Method)
Terlepas dari benar atau tidaknya hipotesis nol, metode dalam kelompok (within method)
akan menghasilkan estimasi yang sahih (valid). Hal ini disebabkan oleh variabilitas sampel
dideterminasi dengan jalan membandingkan setiap butir data dengan rata-rata hitung
masing-masing. Nilai sampel yang diambil dari populasi A dibandingkan dengan rata-rata
sampel A. Demikian pula dengan masing-masing populasi yang diobservasi. Persamaan
(1) berikut digunakan untuk mengestimasi keragaman atau varians (variance) dalam
metode dalam kelompok.
di mana:
S w 2 : varians yang diestimasi menggunakan metode dalam kelompok;
X ij : butir data ke-i dalam kelompok j;
X j : rata-rata (mean) kelompok j
c : jumlah kelompok
n : jumlah/ukuran sampel dalam setiap kelompok
c(n-1) : derajat bebas (degree of freedom).
Tanda penjumlahan ganda berarti bahwa ada 2 (dua) langkah penjumlahan. Pertama
menyelesaikan tanda jumlah sebelah kanan. Setelah itu, menyelesaikan tanda penjumlahan
sebelah kiri.
Metode Antar-kelompok (Between Method)
Metode penghitungan varians yang kedua adalah metode antar-kelompok (between
method). Metode menghasilkan estimasi varians yang sahih jika hipotesis nol benar.
Persamaan yang digunakan dalam meode ini adalah sebagai berikut:
Varians dalam metode ini bisa juga dihitung dengan menggunakan persamaan berikut:
Uji dan Tabel F Analisis Varians (Analysis of Variance—ANOVA F Test and Table)
Setelah menghitung nilai varians yang sebelumnya tidak diketahui dengan menggunakan
metode dalam kelompok (within method) dan metode antar-kelompok (between method),
selanjutnya kita membuat perbandingan atau rasio (ratio) antara kedua nilai varians
tersebut.
Jika hipotesis nol benar, numerator (pembilang) dan denumerator (penyebut) dalam
persamaan di atas akan merupakan estimasi yang sahih (valid) bagi varians dari populasi
yang sedang dikaji. Rasio tersebut, dengan demikian, akan sesuai (conform) dengan
distribusi F.
Hasil dari pengujian analisis varians biasanya disajikan dalam bentuk tabel yang
biasa dinamakan TABEL ANOVA (ANOVA TABLE). Tabel ini terdiri atas kolom-kolom
yang berisikan sumber keragaman atau sumber varians (source of variance), jumlah
kuadrat (sums of squares—SS), derajat bebas analisis (degree of freedom), nilai
keragaman atau varians yang diestimasi (estimates of the variance), dan nilai F untuk
prosedur analisis keragaman/varians (F value for the analysis of variance procedure),
sebagaimana tampak pada tabel berikut.
Analisis Varians Dua-Arah (Two-Way Analysis of Variance—ANOVA)
Dalam analisis varians satu-arah, hanya ada 1 (satu) sumber keragaman (source of
variability) dalam variabel terikat (dependent variable), yakni: kelompok dalam populasi
yang sedang dikaji. Terkadang kita juga perlu untuk mengetahui atau mengidentifikasi
adanya 2 (dua) faktor yang mungkin menyebabkan perbedaan dalam variabel terikat
(dependent variable). Untuk tujuan tersebut dilakukan analisis varians dua-arah (Two-way
ANOVA). Dalam analisis varians dua-arah, kita harus mengukur setiap kombinasi dua
faktor dari variabel terikat (dependent variable) yang sedang dikaji.
Anova Dua Faktor atau Dua Arah
Banyak variabel respons atau variabel terikat dipengaruhi oleh lebih dari satu
faktor atau variabel bebas. Oleh karena itu, kita sering dituntut untuk melakukan pelbagai
eksperimen di mana kita mempelajari efek atau pengaruh dari sejumlah variabel bebas
(faktor) terhadap sebuah variabel terikat. Pada kesempatan ini, kita akan mempelajari
pengaruh dari dua (2) faktor (variabel bebas) terhadap sebuah variabel terikat. Kita
asumsikan bahwa faktor pertama (kita sebut faktor 1) memiliki a tingkat atau level (level
1, 2, ……, a) dan faktor kedua (kita sebut faktor 2) memiliki b tingkat atau level (level 1,
2, ……, b). Yang merupakan perlakuan (treatment) di sini adalah kombinasi antara
sebuah level faktor 1 dan sebuah level dari faktor 2. Dengan demikian, kita bisa
mempelajari sebanyak ab perlakuan.
Tujuan dari analisis dua-faktor adalah untuk mengestimasi dan membandingkan
pengaruh dari pelbagai perlakuan yang berbeda-beda terhadap variabel bebas atau variabel
respon. Bergantung pada situasi tertentu, kita dapat melakukan pengujian untuk melihat
apakah terdapat perbedaan nyata atau signifikan (significant differences) pengaruh:
1. antar-level dari faktor 1;
2. antar-level dari faktor 2; dan
3. antar-kombinasi faktor 1 dan 2.
Apabila terdapat perbedaan nyata, kita akan mengestimasi seberapa tinggi tingkat
perbedaan tersebut dalam kerangka untuk mengetahui apakah ada keuntungan praktik dari
perbedaan tersebut. Selanjutnya, kita bisa mengestimasi pengaruh dari perlakuan tertentu
terhadap rata-rata (mean) respons (variabel bebas), dan kita bisa memprediksikan nilai
individu dari variabel respons atau variabel bebas.
Metode yang kita terapkan untuk tujuan tersebut adalah analisis keragaman dua-arah
atau analisis keragaman dua-faktor (two-way analysis of variance or two-factor analysis of
variance). Sebelum lebih lanjut membicarakan analisis tersebut, kita terlebih dahulu lihat
dua definisi berikut.
Eksperimen faktorial lengkap (complete factorial experiment) bisa dilakukan jika kita
memilih sebuah sampel yang berkaitan dengan masing-masing dan setiap perlakuan
(yakni kombinasi antar-level dari masing-masing faktor).
Apabila ukuran sampel yang diterapkan untuk semua perlakuan adalah sama, maka
eksperimen demikian dikategorikan sebagai eksperimen faktorial lengkap
seimbang (balanced complete factorial experiment).
Anova dua-arah atau dua-faktor harus memenuhi asumsi-asumsi berikut.
a. Kita melakukan suatu eksperimen faktorial lengkap seimbang (balanced complete
factorial experiment).
b. Kita menerapkan rancangan eksperimen acak lengkap (complete randomized
experimental design). Yakni, sampel acak bebas dari unit eksperimen dikaitkan
pada perlakuan (treatment).
c. Populasi dari semua nilai yang memungkinkan dari variabel respons berkaitan
dengan semua perlakuan terdistribusi secara normal.
d. Semua populasi tersebut memiliki varians yang sama.
0 komentar:
Posting Komentar