CValidasi Empiris
5. Rencana Validasi Empiris
Bagian ini menguraikan rencana konkret untuk menguji dan memvalidasi kinerja CIVM secara kuantitatif menggunakan data pasar historis. Validasi empiris merupakan tahap krusial untuk mengevaluasi keunggulan praktis dari kerangka kerja yang telah dirancang secara teoretis.
Validasi empiris CIVM akan menerapkan standar pengujian yang ketat dengan metodologi yang transparan dan dapat direplikasi. Prinsip-prinsip pengujian yang akan diterapkan mencakup:
- Komprehensivitas - Menguji seluruh komponen CIVM secara terintegrasi
- Objektivitas - Pemisahan data in-sample dan out-of-sample yang jelas
- Realisme - Memperhitungkan biaya transaksi dan batasan implementasi praktis
- Komparabilitas - Benchmarking terhadap strategi investasi standar
- Robustness - Analisis sensitivitas dan pengujian pada berbagai kondisi pasar
5.1. Metodologi Pengujian
5.1.1. Periode dan Sampel Data
Rencana penggunaan data historis dari Bursa Efek Indonesia:
- Rentang waktu: Minimal 10 tahun (2015-2024)
- Universe saham: Saham-saham likuid yang termasuk dalam indeks IDX30 atau LQ45
- Data fundamental: Laporan keuangan kuartalan dalam format terstruktur
- Data harga: Data harian OHLC dan volume
- Data pendukung: Informasi dividen, jumlah saham beredar, data sektoral
Pemilihan saham-saham likuid penting untuk memastikan implementasi rebalancing yang realistis dan menghindari bias likuiditas serta efek bid-ask spread yang berlebihan.
5.1.2. Definisi Variabel Input dan Output
Variabel Input:
- Data laporan keuangan kuartalan
- Metrik valuasi Graham termodifikasi (CV dan DPR)
- Komponen Z-Score adaptif (sektor dan struktur modal)
- Parameter indikator analisis teknikal
- Parameter Sainte-Laguë dan alokasi
- Parameter filter rebalancing (HANYAJUALKETIKAPROFIT, dll)
Variabel Output Utama:
- Return absolut dan relatif portofolio
- Metrik risiko portofolio
- Rasio kinerja disesuaikan risiko
- Statistik biaya transaksi
- Efektivitas filter transaksi
- Kontribusi relatif dari masing-masing komponen CIVM
5.1.3. Pemilihan Benchmark
Kinerja CIVM akan dibandingkan dengan beberapa benchmark untuk menilai nilai tambahnya:
Perbandingan CIVM utuh dengan variasi tanpa komponen tertentu akan membantu mengukur kontribusi setiap pilar model.
5.2. Metrik Kinerja Kuantitatif
Evaluasi komprehensif menggunakan metrik standar dalam industri untuk mengukur aspek return, risiko, dan efisiensi:
5.2.1. Return
5.2.2. Risiko
5.2.3. Return Disesuaikan Risiko
5.2.4. Lainnya
5.3. Prosedur Backtesting Rinci
Prosedur backtesting dirancang dengan mengikuti praktik terbaik untuk menghindari bias dan memastikan validitas hasil:
5.3.1. Pengujian Dalam Sampel (In-Sample)
Penggunaan dataset awal untuk kalibrasi parameter optimal model:
- Periode: 2015-2020
- Parameter yang dikalibrasi:
- Bobot indikator teknikal dalam analisis TA
- Threshold signal TA (buyStrength, sellStrength)
- Parameter HANYAJUALKETIKAPROFIT (minimum profit)
- Threshold Z-Score untuk setiap sektor
- Frekuensi optimal rebalancing
- Metode optimasi: Grid search atau optimasi berbasis gradien berdasarkan Sharpe Ratio
Penting untuk menghindari overfitting dengan membatasi jumlah parameter yang dioptimalkan dan mengutamakan kesederhanaan model.
5.3.2. Pengujian Luar Sampel (Out-of-Sample)
Evaluasi pada dataset yang tidak digunakan dalam kalibrasi:
- Periode: 2021-2024
- Metode evaluasi: Menerapkan parameter optimal dari in-sample tanpa modifikasi lebih lanjut
- Fokus analisis:
- Degradasi kinerja dibandingkan dengan in-sample
- Konsistensi outperformance terhadap benchmark
- Stabilitas karakteristik portofolio (volatilitas, drawdown)
- Analisis komponen yang berkontribusi terhadap kinerja
Kinerja out-of-sample yang kuat merupakan indikator penting dari robustness model dan kemampuan generalisasi.
5.3.3. Analisis Walk-Forward
Prosedur pengujian yang lebih robust untuk mensimulasikan implementasi model dalam kondisi real-time:
Prosedur walk-forward meliputi:
- Kalibrasi parameter pada jendela training (5 tahun)
- Pengujian pada periode berikutnya (1 tahun)
- Geser jendela maju dan ulangi proses
- Gabungkan hasil dari semua periode testing
Analisis Walk-Forward merupakan standar emas dalam validasi strategi investasi, karena mensimulasikan bagaimana model akan berperforma dalam implementasi praktis.
5.4. Analisis Sensitivitas dan Skenario
Uji ketahanan model terhadap perubahan parameter dan berbagai kondisi pasar:
5.4.1. Analisis Sensitivitas
Evaluasi dampak perubahan parameter kunci terhadap kinerja model:
Parameter Valuasi Fundamental:
- Bond yield (risk-free rate) dalam formula Graham
- Rentang DPR optimal untuk penyesuaian
- Bobot relatif antara Graham Number vs Formula
Parameter Risk & Filter:
- Threshold Z-Score untuk klasifikasi risiko
- Threshold sinyal TA (BUY/SELL)
- Parameter HANYAJUALKETIKAPROFIT
Parameter Operasional:
- Frekuensi rebalancing (harian/mingguan/bulanan)
- Biaya transaksi (range 0.1% - 1.0%)
- Ukuran minimum transaksi (lot)
Pendekatan: Variasikan satu parameter pada satu waktu (one-factor-at-a-time, OFAT) sambil menjaga parameter lain konstan, untuk mengisolasi efek spesifik.
5.4.2. Analisis Skenario
Evaluasi kinerja model dalam berbagai kondisi pasar untuk menilai keunggulan dan kelemahan relatif:
Fokus Analisis:
- Perbandingan drawdown selama krisis vs benchmark
- Kemampuan menangkap upside dalam bull market
- Stabilitas return dalam sideways market
- Efektivitas rebalancing aktif dalam berbagai skenario
- Kontribusi filter transaksi dalam berbagai kondisi pasar
Kesimpulan Rencana Validasi
Validasi empiris akan menjadi penentu utama nilai tambah praktis dari kerangka kerja teoretis CIVM. Metodologi pengujian yang komprehensif dan teliti sebagaimana diuraikan di atas bertujuan untuk menghasilkan bukti objektif mengenai keunggulan dan keterbatasan model, serta mengidentifikasi area potensial untuk penyempurnaan lebih lanjut.
Hasil validasi empiris akan menjadi dasar untuk pengembangan lanjutan, penerapan praktis, dan publikasi akademis mengenai CIVM.