Principal Component Analysis (PCA) merotasi sistem koordinat agar sumbu baru mengikuti arah varian terbesar, sehingga data berdimensi tinggi bisa diringkas tanpa kehilangan terlalu banyak informasi.
1. Motivasi #
- Data berdimensi tinggi sulit divisualisasikan; PCA mencari kombinasi linear ortogonal yang paling informatif.
- Metode ini tidak butuh label—murni berdasarkan kovarians data.
- Komponen utama hasil proyeksi dapat dipakai untuk visualisasi, denoising, atau model lanjutan.
2. Rumus utama #
Dengan matriks data berpusat (X \in \mathbb{R}^{n \times d}):
- Kovarians (\Sigma = \frac{1}{n} X^\top X)
- Autovektor (\Sigma v_j = \lambda_j v_j)
- Proyeksi (Z = X V_k)
3. Dataset contoh #
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
from sklearn.datasets import make_blobs
X, y = make_blobs(n_samples=600, n_features=3, random_state=117117)
fig = plt.figure(figsize=(8, 8))
ax = fig.add_subplot(projection="3d")
ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=y)
ax.set_xlabel("$x_1$")
ax.set_ylabel("$x_2$")
ax.set_zlabel("$x_3$")
4. PCA di scikit-learn #
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
pca = PCA(n_components=2, whiten=True)
X_pca = pca.fit_transform(StandardScaler().fit_transform(X))
plt.figure(figsize=(8, 8))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y)
plt.xlabel("PC1")
plt.ylabel("PC2")
plt.title("Embedding 2D via PCA")
plt.show()
5. Pentingnya penskalaan #
from sklearn.preprocessing import StandardScaler
X, y = make_blobs(
n_samples=200,
n_features=3,
random_state=11711,
centers=3,
cluster_std=2.0,
)
X[:, 1] *= 1000
X[:, 2] *= 0.01
X_ss = StandardScaler().fit_transform(X)
pca = PCA(n_components=2).fit(X)
X_pca = pca.transform(X)
pca_ss = PCA(n_components=2).fit(X_ss)
X_pca_ss = pca_ss.transform(X_ss)
plt.figure(figsize=(10, 5))
plt.subplot(121)
plt.title("Tanpa skala")
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, marker="x", alpha=0.6)
plt.subplot(122)
plt.title("Setelah standardisasi")
plt.scatter(X_pca_ss[:, 0], X_pca_ss[:, 1], c=y, marker="x", alpha=0.6)
plt.show()
6. Catatan praktis #
- Gunakan rasio varian yang dijelaskan untuk memilih jumlah komponen (80–90% sering cukup).
- PCA dijalankan lewat SVD; gunakan solver teracak untuk dataset besar.
- Jika struktur data nonlinier, coba Kernel PCA, UMAP, atau t-SNE.
Ringkasan #
- PCA merotasi data untuk menangkap varian terbesar dengan sedikit sumbu.
- Selalu pusatkan dan, bila perlu, skalakan fitur.
- Analisis scree plot sebelum memutuskan (k).
- SVD dan Kernel PCA adalah ekstensi alami ketika membutuhkan fleksibilitas tambahan.