SVM: plot decision surface when working with more than 2 features
我正在使用 scikit-learn 的乳腺癌数据集,该数据集包含 30 个特征。
遵循本教程对于不那么令人沮丧的虹膜数据集,我想出了如何绘制区分"良性"和"恶性"类别的决策表面,当考虑数据集的前两个特征(平均半径和平均纹理).
这是我得到的:
但是当使用数据集中的所有特征时,如何表示计算出的超平面呢?
我知道我无法绘制 30 维的图形,但我想将运行
我读到了关于使用 PCA 来降低维度的信息,但我怀疑拟合"降维"数据集与将计算出的所有 30 个特征的超平面投影到 2D 图上是不同的。
到目前为止,这是我的代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 | from sklearn import datasets import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn import svm import numpy as np #Load dataset cancer = datasets.load_breast_cancer() # Split dataset into training set and test set X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, test_size=0.3,random_state=109) # 70% training and 30% test h = .02 # mesh step C = 1.0 # Regularisation clf = svm.SVC(kernel='linear', C=C).fit(X_train[:,:2], y_train) # Linear Kernel x_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1 y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1 xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.contourf(xx, yy, Z, cmap=plt.cm.coolwarm, alpha=0.8) scat=plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train) legend1 = plt.legend(*scat.legend_elements(), loc="upper right", title="diagnostic") plt.xlabel('mean_radius') plt.ylabel('mean_texture') plt.xlim(xx.min(), xx.max()) plt.ylim(yy.min(), yy.max()) plt.show() |
您无法将许多特征的决策面可视化。这是因为维度太多,无法可视化 N 维表面。
我在这里也写了一篇关于这个的文章:
https://towardsdatascience.com/support-vector-machines-svm-clearly-explained-a-python-tutorial-for-classification-problems-29c539f3ad8?source=friends_link
你不能在没有任何二维变换的情况下绘制 30 维数据。
https://github.com/tmadl/highdimensional-decision-boundary-plot
什么是 Voronoi Tesselation?
给定一组 P := {p1, ..., pn} 的站点,Voronoi Tessellation 是将空间细分为 n 个单元,P 中的每个站点一个单元,其属性是点 q 位于对应的单元中到一个站点 pi 当 i 不同于 j 时 d(pi, q) < d(pj, q)。 Voronoi Tessellation 中的段对应于平面中与两个最近站点等距的所有点。 Voronoi Tessellations 在计算机科学中有应用。 - https://philogb.github.io/blog/2010/02/12/voronoi-tessellation/
在几何学中,质心 Voronoi 细分 (CVT) 是一种特殊类型的 Voronoi 细分或 Voronoi 图。当每个 Voronoi 单元的生成点也是其质心(即算术平均值或质心)时,Voronoi Tesselation被称为质心。它可以看作是对应于生成器的最佳分布的最佳分区。许多算法可用于生成质心 Voronoi 细分,包括用于 K-means 聚类的 Lloyd 算法或 BFGS 等准牛顿方法。 - 维基
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 | import numpy as np, matplotlib.pyplot as plt from sklearn.neighbors.classification import KNeighborsClassifier from sklearn.datasets.base import load_breast_cancer from sklearn.manifold.t_sne import TSNE from sklearn import svm bcd = load_breast_cancer() X,y = bcd.data, bcd.target X_Train_embedded = TSNE(n_components=2).fit_transform(X) print(X_Train_embedded.shape) h = .02 # mesh step C = 1.0 # Regularisation clf = svm.SVC(kernel='linear', C=C) # Linear Kernel clf = clf.fit(X,y) y_predicted = clf.predict(X) resolution = 100 # 100x100 background pixels X2d_xmin, X2d_xmax = np.min(X_Train_embedded[:,0]), np.max(X_Train_embedded[:,0]) X2d_ymin, X2d_ymax = np.min(X_Train_embedded[:,1]), np.max(X_Train_embedded[:,1]) xx, yy = np.meshgrid(np.linspace(X2d_xmin, X2d_xmax, resolution), np.linspace(X2d_ymin, X2d_ymax, resolution)) # approximate Voronoi tesselation on resolution x resolution grid using 1-NN background_model = KNeighborsClassifier(n_neighbors=1).fit(X_Train_embedded, y_predicted) voronoiBackground = background_model.predict(np.c_[xx.ravel(), yy.ravel()]) voronoiBackground = voronoiBackground.reshape((resolution, resolution)) #plot plt.contourf(xx, yy, voronoiBackground) plt.scatter(X_Train_embedded[:,0], X_Train_embedded[:,1], c=y) plt.show() |