文字版来自: http://blog.sina.com.cn/s/blog_4e2c70250100blje.html

摸索着做了几个实验，试着把过程写下来，请大家指点。
<1> 下载Libsvm、Python和Gnuplot。我用的版本分别是：Libsvm（2.8.1），Python（2.4），Gnuplot（3.7.3）。注意：Gnuplot一定要用3.7.3版，3.7.1版的有bug.

<2> 修改训练和测试数据的格式（可以自己用perl编个小程序）：
目标值 第一维特征编号：第一维特征值 第二维特征编号：第二维特征值 …
…
例如：
2.3 1:5.6 2:3.2
表示训练用的特征有两维，第一维是5.6，第二维是3.2，目标值是2.3

注意：训练和测试数据的格式必须相同，都如上所示。测试数据中的目标值是为了计算误差用

<3> 分别使用Libsvm中的Windows版本的工具svmscale.exe进行训练和测试数据的归一化，svmtrain.exe进行模型训练，svmpredict.exe进行预测
（1）svmscale.exe的用法：svmscale.exe feature.txt feature.scaled
默认的归一化范围是[－1，1]，可以用参数-l和-u分别调整上界和下届,feature.txt是输入特征文件名
输出的归一化特征名为feature.scaled
（2）svmtrtrain.exe训练模型
我习惯写个批处理小程序，处理起来比较方便。例如svm_train.bat中训练语句为：
svmtrain.exe -s 3 -p 0.0001 -t 2 -g 32 -c 0.53125 -n 0.99 feature.scaled

训练得到的模型为feature.scaled.model

具体的参数含义可以参考帮助文档。这里-s是选择SVM的类型。对于回归来说，只能选3或者4，3表示epsilon-support vector regression, 4表示nu-support vector regression。-t是选择核函数，通常选用RBF核函数，原因在“A Practical Guide support vector classification”中已经简单介绍过了。-p尽量选个比较小的数字。需要仔细调整的重要参数是-c和-g。除非用gridregression.py来搜索最优参数，否则只能自己慢慢试了。

用gridregression.py搜索最优参数的方法如下：
python.exe gridregression.py -svmtrain H:\SVM\libsvm-2.81\windows\svmtrain.exe -gnuplot C:\gp373w32\pgnuplot.exe -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -v 10 -s 3 -t 2 H:\SVM\libsvm-2.81\windows\feature.scaled > gridregression_feature.parameter

注意：-svmtrain是给出svmtrain.exe所在路径，一定要是完整的全路径
-gnuplot是给出pgnuplot.exe所在路径。这里要用pgnuplot.exe这种命令行形式的，不要用wgnupl32.exe，这个是图形界面的。
-log2c是给出参数c的范围和步长
-log2g是给出参数g的范围和步长
-log2p是给出参数p的范围和步长
上面三个参数可以用默认范围和步长
-s选择SVM类型，也是只能选3或者4
-t是选择核函数
-v 10 将训练数据分成10份做交叉验证。默认为5
最后给出归一化后训练数据的全路径
搜索最优参数的过程写入文件gridregression_feature.parameter（注意别少了这个>符号啊）

根据搜索到的最优参数修改feature.scaled.model中的参数
（3）用svmpredict.exe进行预测
svmpredict.exe feature_test.scaled feature.scaled.model feature_test.predicted
其中feature_test.scaled是归一化后的测试特征文件名，feature.scaled.model是训练好的模型，SVM预测的值在feature_test.predicted中。

图文版来自: http://blog.sina.com.cn/s/blog_5980835e0100drwx.html

只要修改一个文件（gridregression.py）的路径就可以了，其他网上说的两个文件（grid.py和easy.py）的路径可以不做修改，因为回归根本没有用到。修改的地方是绿色的两行路径，写成实际路径就可以了。网上下载下来的一般都是r"…svm-…"所以要改。修改后如下图。

改完之后，首先把你的数据集包括data2和test2（这是原始的）放到C:\libsvm-2.88\windows下。

现在要做的就是真正意义上的第一步，归一化处理，这一步要做，希望不要为了简便不做，这样预测出来不准。具体在dos下调完路径后，执行下面两句，分别是归一化数据集和测试集后产生新的两个文件data和test。

现在C:\libsvm-2.88\windows中多了两个文件，其实还有一个scale，不用管他，不起作用！

把两个（其实一个就够了，data）新的数据集移动到C:\libsvm-2.88\python下（其实这一部大可不必，如果不移动两个文件的话，下面输入的语句应该为python C:\libsvm-2.88\python\gridregression.py -svmtrain C:\libsvm-2.88\windows\svm-train.exe -gnuplot C:\gnuplot\bin\pgnuplot.exe -log2c -10,10,1 -log2g -10,10,1 -log2p -10,10,1 -v 10 -s 3 -t 2 C:\libsvm-2.88\windows\data.txt > gridregression_data.parameter其实就是data.txt的位置放的不一样而已；如果按照我下面的步骤来一定要做）。

现在是通过gridregression.py函数进行参数寻优，把路径调好，注意调到C:\libsvm-2.88\python下了。输入下面的语句，可能你要等很长时间，我的数据很多搞了一个晚上。

有天早上一个朋友说你昨晚这么晚回来，早上怎么7点就上线了啊qq，汗，电脑一夜跑这玩意儿。。。扯远了。

训练完后，在C:\libsvm-2.88\python中会有一个gridregression_data.parameter文件，里面就是自动寻优的结果，主要也是为了这个东西，搞了我老半天nnd。

打开它，下面最后一行分别为c,g,p,mse。其中mse没有用，其实这个值越小越好。

把刚才的3个参数用来进行训练svm模型。把路径重新调回C:\libsvm-2.88\windows，输入语句训练，会在C:\libsvm-2.88\windows里产生一个data.txt.model文件。训练好了紧接着对test文件预测，输入第二条语句，得出结果在out里面。

最后打开out和test文件比较一下结果差多少，自己去计算咯。

到此已经实现了libsvm软件做回归预测的全过程

前面对libsvm-2.88目录下的README进行了部分翻译, 似乎需要的朋友比较多, 这下对tools目录下的README进行了翻译. 给需要的朋友.

 这个目录中包括一些有用的程序:
1. 子集选择工具
2. 参数选择工具
3. LIBSVM格式检查工具

第一部分: 子集选择工具

介绍
==============

训练大量的数据需要消耗大量的时间. 有时你需要先对一个小的子集进行训练. python脚本subset.py可以随机地选择一个特定数目的样本. 对于分类数据, 我们提供一个分层选择来保证相同的类在一个子集中.

用法: subset.py [options] dataset number [output1] [output2]

这个脚本从给定的数据集中选择一个子集.

选项:
-s method: 选择的方式(默认 0)
 0 — 分层选择(只用于分类)
 1 — 随机选择
 
output1: 子集(可选)
output2: 余下的数据(可选)

如果output1未选, 那么子集将在屏幕上打印出来.

例子
===============

>python subset.py heart_scale 100 file1 file2

从heart_scale中随机选择100个样本保存到file1中,而剩余的实例保存到file2中.

第二部分: 参数选择工具

介绍
===============

grid.py是一个参数选择工具, 这个工具是用于采用RBF(径向基函数)核的C-SVM分类的. 它采用CV(交叉验证)技术来估计特定范围内每一个联合参数的准确性并且帮助你选择一个适合你问题的最佳参数.

grid.py为交叉验证直接执行libsvm二进制文件(不需要python的结合)并且用gnuplot来画CV准确性的轮廓. 在使用之前, 你必须事先安装libsvm和gnuplot. gnuplot可以在这里下载: http://www.gnuplot.info/

在苹果系统中, 预编译的gnuplot文件需要Aquarterm库的支持, 这个库也需要安装. 另外, 这个版本的gnuplot不支持png, 所以你需要修改"set term png transparent small"并使用其他图片格式. 例如你可以设定为"set term pbm small color".

用法: grid.py [-log2c begin,end,step] [-log2g begin,end,step] [-v fold]
       [-svmtrain pathname] [-gnuplot pathname] [-out pathname] [-png pathname]
       [additional parameters for svm-train] dataset

这个程序处理v-fold交叉验证的时候采用的参数C(和gamma) = 2^begin, 2^(begin+step), …, 2^end.

你可以采用-svmtrain和-gnuplot参数来指定libsvm和gnuplot的位置.

对于windows用户, 请使用gnuplot.exe. 如果你正在使用gnuplot 3.7.1版本, 请升级到3.7.3或更高版本. 3.7.1有一个bug. 如果你使用的是windows下的
cygwin, 请使用gunplot-x11.

例子
===============

> python grid.py -log2c -5,5,1 -log2g -4,0,1 -v 5 -m 300 heart_scale

用户(特别是MS Windows用户)可能需要指定可执行文件的路径. 你既可以在grid.py的开头修改路径,也可以在命令行中指定它们. 例如,

> grid.py -log2c -5,5,1 -svmtrain c:\libsvm\windows\svm-train.exe -gnuplot c:\tmp\gnuplot\bin\pgnuplot.exe -v 10 heart_scale

Output: 两个文件
dataset.png: gnuplot生成的CV准确性轮廓图
dataset.out: 每一个(log2(C),log2(gamma))的CV准确性

并行网格搜索
===============

把工作分离到一个共享相同文件系统的计算机集群, 你可以处理一个并行的网格搜索. 首先, 在grid.py中添加机器名字:

ssh_workers = ["linux1", "linux5", "linux5"]

然后设定你的ssh, 使得授权工作不需要询问密码.

如果一台机器有多个CPU或者更多的RAM, 相同的机器(例如这里的linux5)可以列出不只一次. 如果本地机器是最好的, 你也可以扩大nr_local_worker, 例如,

nr_local_worker = 2

例子:

> python grid.py heart_scale
[local] -1 -1 78.8889  (best c=0.5, g=0.5, rate=78.8889)
[linux5] -1 -7 83.3333  (best c=0.5, g=0.0078125, rate=83.3333)
[linux5] 5 -1 77.037  (best c=0.5, g=0.0078125, rate=83.3333)
[linux1] 5 -7 83.3333  (best c=0.5, g=0.0078125, rate=83.3333)
.
.
.

如果 -log2c, -log2g, 或 -v 没有指定, 则使用默认值.

如果你的系统使用telnet代替ssh, 你应该把你的机器名字在telnet_workers列出.

第三部分: LIBSVM格式检查工具

介绍
=================

`svm-train’只是对输入数据进行简单的检查. 要做更详细的检查, 我们提供一个python脚本 `checkdata.py’.

用法: checkdata.py dataset

这个工具的作者是台湾大学的Rong-En Fan.

例子
==================

> cat bad_data
1 3:1 2:4
> python checkdata.py bad_data
line 1: feature indices must be in an ascending order, previous/current features 3:1 2:4
Found 1 lines with error.

最近的工作要用到支持向量机(SVM), 对算法不是很懂, 但是总要把用法弄明白吧, 于是就想把它的文档翻译一下, 自己弄明白吧, 也给其他人带来点方便

先给出libsvm的下载地址:   要下载就点我吧

英文文档请见压缩包内的 README 文件(用写字板打开就可以看到内容了)

其中, tools目录下的README的翻译在这里.

libsvm-2.88中文文档

中文文档由 pwwang 翻译, 欢迎转载, 转载请注明出处!

Libsvm是一个简单、易用、有效的SVM分类和回归软件。它解决了C-SVM分类、nu-SVM分类、one-class-SVM、epsilon-SVM回归和nu-SVM回归。它还为C-SVM提供了一个自动模型选择工具。这个文档将解释libsvm的用法。

Libsvm可以从这里得到：http://www.csie.ntu.edu.tw/~cjlin/libsvm
在使用libsvm之前先阅读COPYRIGHT文件。

目录
=================

－快速开始
－安装和数据格式
－“svm-train”的用法
－“svm-predict”的用法
－“svm-scale”的用法
－实际使用技巧
－例子
（后面的部分不作翻译）

快速开始
=================

如果你是SVM的一个新手，并且数据不大，那么在安装完成之后请打开tools目录使用easy.py。它将把一切全自动化，从数据规化到参数选择。

用法：easy.py training_file [test_file]

你可以在“tools/README”中找到关于参数选择的更多信息。

安装和数据格式
=================

在Unix系统中，输入make来生成“svm-train”和“svm-predict”程序。不带参数地运行它们可以显示他们的用法。

在其他系统中，参考“Makefile”来生成它们（例如：你可以参数这篇文档中的“生成Windows可执行文件”）或者使用预生成二进制文件（Windows二进制文件在”windows“目录中）

训练和测试数据文件中的格式是：

<label> <index1>:<value1> <index2>:<value2> …
.
.
.

每行包含一个实例，并且以“n”（译者注：换行符）结束。对于分类来说，<label>是一个指向该类标志的整数（支持多类）。对于回归来说，<label>是一个可为任何实数的目标值。对于one-class-SVM来说，它不会被用到，所以可以为任何数值。除非使用预先计算的核（将在另一节介绍），<index>:<value>给出了一个特性（属性）值。<index>是一个从1开始的整数，<value>是一个实数。索引必须按升序排列。标签在测试文件中只被用来计算精确度或者错误。如果它们是未知的，把第一列赋任意值。

这个包内的一个分类数据的例子是“heart_scale”。可以使用“tools/checkdata.py”来检测你数据格式是否正确。（详见“tools/README”）。

输入“svm-train heart_scale”，程序将读取训练数据并输出模型文件“hear_scale.model”。如果你有一个测试集叫“heart_scale.t”，那么输入“svm-predict heart_scale.t heart_scale.model output” 来检查预测的准确性。“output”文件包含了预测的类标签。

这个包里还有一些其他的有用的程序：

svm-scale：

规化你的输入数据文件

svm-toy：

这是一个简单的图形界面，它将在一个面板上显示SVM如果分离数据。你可以在窗口里单击来画数据点。使用“change”按钮来选择类1,2或者3（例如：一直到3个类都是支持的），“load”按钮用来从文件里装入数据，“save”按钮用来保存数据到一个文件，“run”按钮用来获取一个SVM模型，“clear”按钮用来清除窗口。

你可以窗口的底部输入选项，选项的符号规则和“svm-train”一样。

注意“load”和“save”只考虑了分类情况下的数据，而没有考虑回归的情况。每一个数据库有一个标签（颜色），它必须是1，2或者3，并且两个属性（x和y值）范围必须是[0，1]。

在各个目录中输入make来生成它们。

你需要Qt库来生成Qt版本（可以在这里得到：http://www.trolltech.com）

你需要GTK+库来生成GTK版本（可以在这里得到：http://www.gtk.org）

预生成的Windows二进制文件可“Windows”目录中。我们使用的是32-位机上的Visual C++，所以最大缓存是2GB。

“svm-train”的用法
=================

用法：svm-train [options] training_set_file [model_file]
选项：
-s svm_type : 设定SVM的类型 (default 0)
    0 — C-SVC
    1 — nu-SVC
    2 — one-class SVM
    3 — epsilon-SVR
    4 — nu-SVR
-t kernel_type : 设定核函数的类型 (default 2)
    0 — linear: u’*v
    1 — polynomial: (gamma*u’*v + coef0)^degree
    2 — radial basis function: exp(-gamma*|u-v|^2)
    3 — sigmoid: tanh(gamma*u’*v + coef0)
    4 — precomputed kernel (kernel values in training_set_file)
-d degree : set degree in kernel function (default 3)
-g gamma : set gamma in kernel function (default 1/k)
-r coef0 : set coef0 in kernel function (default 0)
-c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)
-n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default 0.5)
-p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1)
-m cachesize : set cache memory size in MB (default 100)
-e epsilon : set tolerance of termination criterion (default 0.001)
-h shrinking: whether to use the shrinking heuristics, 0 or 1 (default 1)
-b probability_estimates: whether to train an SVC or SVR model for probability estimates, 0 or 1 (default 0)
-wi weight: set the parameter C of class i to weight*C in C-SVC (default 1)
-v n: n-fold cross validation mode

-g中的k表示输入数据中属性的数目。

-v选项把数据随机分成n个部分，并计算它们的交叉验证accuracy/mean方差（不知道这个数学术语怎么翻译）

通过libsvm FAQ来查看输出文件的含义。

“svm-predict”的用法
=================

用法： svm-predict [options] test_file model_file output_file
选项：
-b probability_estimates: 是否预测概率估计, 0 或 1 (默认 0); one-class SVM只支持0

model_file是svm-train生成的model文件.
test_file 是你想预测的数据.
svm-predict 将把结果输出到output_file.

"svm-scale" Usage
=================

用法： svm-scale [options] data_filename
选项：
-l lower : x 规化的最小值 (默认 -1)
-u upper : x 规化的最大值 (默认 +1)
-y y_lower y_upper : y 规化的限定 (默认: 不规化y)
-s save_filename : 保存规化参数到 save_filename
-r restore_filename : 从restore_filename恢复规化参数

查看这个文档的’Examples’ 来获取例子。

实际使用技巧
=================

* 你的数据的规化。例如，规化每一个属性到[0,1]或[-1,+1]。
* 对于C-SVC，考虑使用tools目录中的模型选择工具。
* nu in nu-SVC/one-class-SVM/nu-SVR approximates the fraction of training  errors and support vectors. 
* 如果分类数据不平衡（如太多正数，极少负数），使用-wi尝试一个不同的罚分参数C。
* 为大的问题指定更大的缓存大小（如 larger -m）

Examples
========

> svm-scale -l -1 -u 1 -s range train > train.scale
> svm-scale -r range test > test.scale

Scale each feature of the training data to be in [-1,1]. Scaling factors are stored in the file range and then used for scaling the test data.

> svm-train -s 0 -c 5 -t 2 -g 0.5 -e 0.1 data_file

Train a classifier with RBF kernel exp(-0.5|u-v|^2), C=10, and stopping tolerance 0.1.

> svm-train -s 3 -p 0.1 -t 0 data_file

Solve SVM regression with linear kernel u’v and epsilon=0.1 in the loss function.

> svm-train -c 10 -w1 1 -w-1 5 data_file

Train a classifier with penalty 10 = 1 * 10 for class 1 and penalty 50 = 5 * 50 for class -1.

> svm-train -s 0 -c 100 -g 0.1 -v 5 data_file

Do five-fold cross validation for the classifier using the parameters C = 100 and gamma = 0.1

> svm-train -s 0 -b 1 data_file
> svm-predict -b 1 test_file data_file.model output_file

Obtain a model with probability information and predict test data with probability estimates