迷途知返

文字版来自: http://blog.sina.com.cn/s/blog_4e2c70250100blje.html

摸索着做了几个实验，试着把过程写下来，请大家指点。
<1> 下载Libsvm、Python和Gnuplot。我用的版本分别是：Libsvm（2.8.1），Python（2.4），Gnuplot（3.7.3）。注意：Gnuplot一定要用3.7.3版，3.7.1版的有bug.

<2> 修改训练和测试数据的格式（可以自己用perl编个小程序）：
目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …
…
例如：
2.3 1:5.6 2:3.2
表示训练用的特征有两维，第一维是5.6，第二维是3.2，目标值是2.3

注意：训练和测试数据的格式必须相同，都如上所示。测试数据中的目标值是为了计算误差用

<3> 分别使用Libsvm中的Windows版本的工具svmscale.exe进行训练和测试数据的归一化，svmtrain.exe进行模型训练，svmpredict.exe进行预测
（1）svmscale.exe的用法：svmscale.exe feature.txt feature.scaled
默认的归一化范围是[－1，1]，可以用参数-l和-u分别调整上界和下届,feature.txt是输入特征文件名
输出的归一化特征名为feature.scaled
（2）svmtrtrain.exe训练模型
我习惯写个批处理小程序，处理起来比较方便。例如svm_train.bat中训练语句为：
svmtrain.exe -s 3 -p 0.0001 -t 2 -g 32 -c 0.53125 -n 0.99 feature.scaled

训练得到的模型为feature.scaled.model

具体的参数含义可以参考帮助文档。这里-s是选择SVM的类型。对于回归来说，只能选3或者4，3表示epsilon-support vector regression, 4表示nu-support vector regression。-t是选择核函数，通常选用RBF核函数，原因在“A Practical Guide support vector classification”中已经简单介绍过了。-p尽量选个比较小的数字。需要仔细调整的重要参数是-c和-g。除非用gridregression.py来搜索最优参数，否则只能自己慢慢试了。

用gridregression.py搜索最优参数的方法如下：
python.exe gridregression.py -svmtrain H:\SVM\libsvm-2.81\windows\svmtrain.exe -gnuplot C:\gp373w32\pgnuplot.exe -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -v 10 -s 3 -t 2 H:\SVM\libsvm-2.81\windows\feature.scaled > gridregression_feature.parameter

注意：-svmtrain是给出svmtrain.exe所在路径，一定要是完整的全路径
-gnuplot是给出pgnuplot.exe所在路径。这里要用pgnuplot.exe这种命令行形式的，不要用wgnupl32.exe，这个是图形界面的。
-log2c是给出参数c的范围和步长
-log2g是给出参数g的范围和步长
-log2p是给出参数p的范围和步长
上面三个参数可以用默认范围和步长
-s选择SVM类型，也是只能选3或者4
-t是选择核函数
-v 10 将训练数据分成10份做交叉验证。默认为5
最后给出归一化后训练数据的全路径
搜索最优参数的过程写入文件gridregression_feature.parameter（注意别少了这个>符号啊）

根据搜索到的最优参数修改feature.scaled.model中的参数
（3）用svmpredict.exe进行预测
svmpredict.exe feature_test.scaled feature.scaled.model feature_test.predicted
其中feature_test.scaled是归一化后的测试特征文件名，feature.scaled.model是训练好的模型，SVM预测的值在feature_test.predicted中。

图文版来自: http://blog.sina.com.cn/s/blog_5980835e0100drwx.html

只要修改一个文件（gridregression.py）的路径就可以了，其他网上说的两个文件（grid.py和easy.py）的路径可以不做修改，因为回归根本没有用到。修改的地方是绿色的两行路径，写成实际路径就可以了。网上下载下来的一般都是r"…svm-…"所以要改。修改后如下图。

改完之后，首先把你的数据集包括data2和test2（这是原始的）放到C:\libsvm-2.88\windows下。

现在要做的就是真正意义上的第一步，归一化处理，这一步要做，希望不要为了简便不做，这样预测出来不准。具体在dos下调完路径后，执行下面两句，分别是归一化数据集和测试集后产生新的两个文件data和test。

现在C:\libsvm-2.88\windows中多了两个文件，其实还有一个scale，不用管他，不起作用！

把两个（其实一个就够了，data）新的数据集移动到C:\libsvm-2.88\python下（其实这一部大可不必，如果不移动两个文件的话，下面输入的语句应该为python C:\libsvm-2.88\python\gridregression.py -svmtrain C:\libsvm-2.88\windows\svm-train.exe -gnuplot C:\gnuplot\bin\pgnuplot.exe -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -v 10 -s 3 -t 2 C:\libsvm-2.88\windows\data.txt > gridregression_data.parameter其实就是data.txt的位置放的不一样而已；如果按照我下面的步骤来一定要做）。

现在是通过gridregression.py函数进行参数寻优，把路径调好，注意调到C:\libsvm-2.88\python下了。输入下面的语句，可能你要等很长时间，我的数据很多搞了一个晚上。

有天早上一个朋友说你昨晚这么晚回来，早上怎么7点就上线了啊qq，汗，电脑一夜跑这玩意儿。。。扯远了。

训练完后，在C:\libsvm-2.88\python中会有一个gridregression_data.parameter文件，里面就是自动寻优的结果，主要也是为了这个东西，搞了我老半天nnd。

打开它，下面最后一行分别为c,g,p,mse。其中mse没有用，其实这个值越小越好。

把刚才的3个参数用来进行训练svm模型。把路径重新调回C:\libsvm-2.88\windows，输入语句训练，会在C:\libsvm-2.88\windows里产生一个data.txt.model文件。训练好了紧接着对test文件预测，输入第二条语句，得出结果在out里面。

最后打开out和test文件比较一下结果差多少，自己去计算咯。

到此已经实现了libsvm软件做回归预测的全过程