i*****r 发帖数: 318 | 1 关于做K fold Cross validation。
1:
在SVM 中,SVM()命令里直接有一个cross=K,也可以做K折交叉验证。
问题是做完以后,svm可以显示预测值,比如
A.svm=svm(y~.,data=XYZ,cross=10)
A.predict=predict(svm)
R问题:在logistic回归,神经网络和SVM中做交叉验证
请问这个拟合的预测值是10折交叉验证里面哪一个预测模型的预测值?
2:在做logistic 回归中,R提供一个cv.glm()指令可以做K折交叉验证,然后显示准确
率是多少。cv.glm()只可以显示预测准确率是多少,请问我在哪里可以看到这个预测模
型的拟合预测值,还有这个模型里面各个变量的参数是多少呢? 比如
A.glm=glm(y~.,data=XYZ,family=binomial)
A.cv.glm=cv.glm(XYZ, A)
这里A.cv.glm只能预测准确率是多少,但我不知道模型的拟合预测值,也不知道公式P=
exp(a1X1+a2X2+...anXn)/(1+exp(a1X1+a2X2+...anXn))里面a1.. |
|
s***1 发帖数: 343 | 2 分别用randomForest,e1071做random forest和svm,用ipred做cv。
刚开始的时候用iris练了RBF条件下的SVM,挺顺利的。但是上了实际基因数据就出问题
了。observation虽然只有不到200个,但是predictor var有差不多几万个(
microarray得到的数据)。
问题一:
老板要求试一下linear SVM,可是我发现ipred package里的errorest.SVM function好
像不能用于linear。 没有kernel="linear"的argument。
我于是后来只好用e1071的svm function(cross=10),然后用它自带的accuracies,
并平均一下这10个error值来看error rate,这种方法是不是不对?(我出来的结果很
奇怪,20个cost值各跑了一遍,error rate有10多个是一模一样的,但是想不明白问题
出在哪里)
有什么function可以直接算linear SVM的cv error rate吗?
问题二:
randomForest function当读入几万个... 阅读全帖 |
|
d******e 发帖数: 7844 | 3 SVM的特点是框架清晰,理论完备,95年横空出世的时候,影响力非常大。生物圈里,
SVM基本是必备分类器之一。工业界里,也有很多公司用他来做通用分类器,比如
google搞大规模文本分类。
而且SVM是有难度啊,loss是不可导的,多类的loss不trival, 优化和理论都比
logistic regression难做。
就性能来讲,SVM绝对是最好用的通用分类器之一, 能比logistic regression略好。 |
|
d******e 发帖数: 7844 | 4 SVM的特点是框架清晰,理论完备,95年横空出世的时候,影响力非常大。生物圈里,
SVM基本是必备分类器之一。工业界里,也有很多公司用他来做通用分类器,比如
google搞大规模文本分类。
而且SVM是有难度啊,loss是不可导的,多类的loss不trival, 优化和理论都比
logistic regression难做。
就性能来讲,SVM绝对是最好用的通用分类器之一, 能比logistic regression略好。 |
|
d******e 发帖数: 7844 | 5 Logistic Regression用的是Logistic loss,形状上和SVM的Hinge Loss区别不算大,
所以实际表现区别也不太大。
至于你说的SVM带线性约束,不过是一种reparametrization,因为hinge loss可以用
piece-wise linear function来表示。
讲这两种loss的共同点和区别的文章网上有很多:
https://www.google.com/search?q=hinge+loss+logistic+loss&safe=off&espv=210&
es_sm=91&source=lnms&sa=X&ei=ual-UorQKMzl4APQzYCABA&ved=0CAYQ_AUoAA&biw=1525
&bih=864&dpr=2
Logistic Regression好处是完全Model-based,所以优化问题就是一个MLE,解释起来
容易,可以直接输出后验概率。
SVM的概率输出就像对麻烦很多,而且基本也是在模拟Logistic Regression,虽然是
Hinge Loss比Logistic Loss对Outl... 阅读全帖 |
|
t*******r 发帖数: 364 | 6 R的e1071的SVM分析包的svm函数里面有一个选项是shrinking是作用是什么?
? svm 发现其对shrinking的解释是: option whether to use the shrinking-
heuristics (default: TRUE)
还是不太明白
e1071怎么对svm做变量选择?还是不能做变量选择? |
|
a***a 发帖数: 149 | 7 ROC 曲线一般都要好多点吧,就是说要有很多实验结果,然后不同的TP,和不同的FP,然
后画图。 可是SVM中怎么得到这样的不同的点呢?一般都是用什么方法呢?
难道是调节不同的参数,训练不同的参数下的模型,然后根据不同的结果,也就是不同
的precison 和 recall 去画图? 还是有啥其他的方法? 如果是调节参数训练不同的
模型的话,SVM-light 里面那么多的参数,一般调哪个啊?
谢谢~~~ (p.s 俺svm门外汉) |
|
w***g 发帖数: 5958 | 8 90年代neural network就是在feature分类上被svm打得抬不起头。
deep learning的优势是feature extraction。如果已经有feature了,
几年前是svm, 现在无脑上xgboost。
deep learning虽然牛x,也还是有应用范围的。
这个实在是老生常谈了。
svm作为nn最后一层google "max margin loss tensorflow",用得好
回来汇报一下。 |
|
发帖数: 1 | 9 最近在ebay上买SVM家的GC,发现被code成CA,找SVM,被踢皮球,有人遇到过吗? |
|
m*****u 发帖数: 5534 | 10 从GP TA的分析来看,周线背离很厉害,5块钱底部筑了很久。
这轮如果不打穿前期低点,那么上涨空间会很大。
不过跟ANR比还是不行,ANR如果去20,就翻番了,如果去前期高点,那么不是SVM 16块
钱能比的。。。
但SVM还是更稳一些,貌似没有破产风险。 |
|
m******u 发帖数: 12400 | 11 关于SVM,可以去请教一下xinmu大牛。我以为版上没人关心svm呢。 |
|
w*******e 发帖数: 2651 | 12 Now I understand why one of my friends likes to run SVM. The Los Gatos Creek
trail must be the reason. He runs SVM every year, but he had to skip this
year's race because of busy schedule. If live close by I would try to make
it to the trail every weekend.
and
guy
top
every
my
had |
|
T*****B 发帖数: 160 | 13 How to use SVM to do multi-clustering?
SVM one-class seems not to be the solution..... right?
Thanks |
|
s***o 发帖数: 16 | 14 SVM is a powerful tool. But it is too narrow for a Ph.D topic now. There are
still a lot of things to
do in Kernel methods. SVM is just one of them. |
|
c******d 发帖数: 906 | 15 俺是新手,大牛请尽量拍
俺要作的项目要求用现有的model去predict实际应用中的参数
现有的model能生成训练样本,实际样本的参数范围能被包括在内
input大概6,7个,output有1,2个
俺听说SVM和ANN都可以实现俺的目标,如果是作regression,
哪个比较合适?
ANN俺看了一下,还不是很理解。SVM也看了,觉得libsvm作classification
挺好用,不知道作regression怎么样?
先多谢指教 |
|
d******e 发帖数: 7844 | 16 SVM没有直接的解释,有一些相关文章讲SVM的系数解释和概率输出,不过个人觉得并不
是很完美。
如果你十分介意分类模型的解释问题,那么可以用Logistic Regression,那个好一些。 |
|
B****x 发帖数: 17 | 17 You are comparing apple to orange.
PAC is theory, SVM is algorithm.
You should compare PAC theory to VC theory, boosting to SVM instead.
also, if you check Einstein's paper
The foundation of the general theory of relativity
It has only 200+ citations according to google scholar. but so what. |
|
K*****y 发帖数: 1793 | 18 我依稀记得SVM算法复杂度与样本维数无关,谁给个reference?
另外,SVM的算法空间复杂度是不是就是O(n)?麻烦也给个reference? |
|
b****n 发帖数: 464 | 19 我知道write.svm可以把svm model写进文档中。但是没找到哪个function是可以读进的
。不知道有没有高人指点一下?
谢谢! |
|
A*******s 发帖数: 3942 | 20 靠,sas面试我的时候还问我怎么在sas里实现SVM,不能用proc SVM。
自己搞不好还要问我怎么搞,有这么欺负人的么?有木有!!!! |
|
d******e 发帖数: 7844 | 21 原话写得太绝对了, 我已经改了。SVM应该算之一,他的competitor很多,很多性能也
不错,就是太难tune. SVM tune起来比较简单,更实用。
boosting |
|
|
A*******s 发帖数: 3942 | 23 靠,sas面试我的时候还问我怎么在sas里实现SVM,不能用proc SVM。
自己搞不好还要问我怎么搞,有这么欺负人的么?有木有!!!! |
|
d******e 发帖数: 7844 | 24 原话写得太绝对了, 我已经改了。SVM应该算之一,他的competitor很多,很多性能也
不错,就是太难tune. SVM tune起来比较简单,更实用。
boosting |
|
|
d******e 发帖数: 7844 | 26 解SVM的Package早都满天飞了。
哪还用得着自己写solver。
liblinear,libsvm,svm-light,pegasos。
而且我还真纳闷你写过solver没有,写一个能用的很容易,但写一个速度快的就要经验
和技术了。 |
|
d******e 发帖数: 7844 | 27 一般的logistic regression是不带penalty的,没法通过regularization来调节bias和
variance。所以我认为你是在说带ridge penalty的logistic regression。
如果是这两个比的花,两个方法的loss function非常像,性能上区别很小,不管是
linear的还是non-linear的,所以一般来说,你很难指望一个能明显beat另一个。
SVM能稍微robust一些,因为有sample上的sparsity。但是SVM并非对条件概率建模,所
以没法直接输出概率,也没办法做inference。Logistic Regression在这点上要强一些
,不过也只能做asymptotical inference. |
|
B******5 发帖数: 4676 | 28 3跟R跑循环没关系吧,而且LZ应该是调用的e1071里面的SVM吧,那个都是C level的。
话说Python和SAS怎么搞SVM?
SAS? |
|
f*********y 发帖数: 376 | 29 Hi, I have another thought.
Does the feature number matters much or the obs matters much?
Since I have about 60 features, I think I can sort the cofficients of
features in linear SVM, and delete some of features due to their small
coefficents. Then I can rerun SVM using other kernels.. |
|
L*****k 发帖数: 327 | 30 为什么要用R run SVM?网上各种好用的SVM package |
|
c*******i 发帖数: 160 | 31 我看别人的paper或是别的说明,都建议scale输入svm的数据到0-1。 但是我不清楚怎
样scale,以及这些方法对svm结果的影响。
假设: 一个人的年龄是输入数据,我找到数据中最大的年龄max和最小年龄min,然后,
new age= (old age-min)/(max-min),最后到[0,1]之间了。
但是,这样scale似乎是有问题的,因为60 虽然是20 的三倍,但是对结果的影响显然
不是3倍的关系。 假如我用另一个方法:我按照一定的规则,把年龄分段,假如5段的
话,这样就用5个取值 0或1的variable表示了这个连续变量年龄,这样会不会更好些?
类似的问题很多,比如我知道一个排名,从第一名到100名,显然第一名的影响不是第
100名的100倍,也许是10000倍。
有没有专门介绍常用scale方法的资料。
非常感谢。 |
|
f*******n 发帖数: 2665 | 32 我一直用SAS,但SAS里没有SVM, 所以我想用R中的SVM做个predictive model. 如果结果
好, 有没有可能建成scorecard并用在其他平台上?因为我们需要real time scoring,
而且我们不可能用R做scoring. |
|
|
s******n 发帖数: 189 | 34 :)
你是说"SVM和带Ridge Penaly的Logistic Regression"的优化问题没有什么区别?
SVM中的优化问题是带线性约束,目标函数有一项Ridge Penalty和一项关于松弛因子的。
带Ridge Penaly的Logistic Regression的优化问题是基于MLE的吗?
有什么书或者文献?谢! |
|
f**********g 发帖数: 2252 | 35 You want invest for long term, or just trade for short term?
Upgrade to Buy From Neutral By UBS >SVM
Silvercorp Metals Target Raised To $14.25 From $13.75 By UBS >SVM |
|
f**********g 发帖数: 2252 | 36 You want invest for long term, or just trade for short term?
Upgrade to Buy From Neutral By UBS >SVM
Silvercorp Metals Target Raised To $14.25 From $13.75 By UBS >SVM |
|
a***u 发帖数: 383 | 37 我觉得对方如果是刚毕业的学生,或者最近1年用svm做过project的话可以。 |
|
|
|
z****2 发帖数: 1618 | 40 我虽然没看见这笔cash advance的收费,但paypal昨天发了邮件说我错误地被收了CA (
还指明了是SVM的交易),他们已经解决了问题,作为补偿,返了$20到我信用卡。一头
雾水,但是笑纳了 |
|
|
N********n 发帖数: 8363 | 42 What price did you get in? I think SVM can blow past 50 easily in future.
You just have to get used to the volatility of silver stocks. |
|
p********N 发帖数: 111 | 43 SVM: average price$5.02
INTC: avergae $19.45
SLV: $14.75
OCNF: $0.74
Not to count gch@$8.9, gld@$82, BAC@$3.2, ACH@$11.5, pgh@$5.4, CAGC@$2.25
YTD, Stock account>$370K
I am not meaned to say everyone else is a LOSER.
But I just follow RIM's footstep, buy on dip. Never sell. |
|
b*****i 发帖数: 582 | 44 報導日期:2010/12/06 09:12
Silvercorp Metals售股集資1億美元
(SVM: 研究資料) 13.56 : Silvercorp Metal宣佈簽訂協議,將以美股12.7美元出售
800萬股普通股給CIBC、BMO Capital Markets為首的承銷商團體,公司約集資1.016億
美元。 |
|
|
N********n 发帖数: 8363 | 46 SVM is a great buy & hold now this false accusation offers a nice entry. |
|
N********n 发帖数: 8363 | 47 SVM's so called "fraud" is all made up nonsense by some big shorts. |
|
|
a**u 发帖数: 7128 | 49 SVM是唯一一家中國公司, 人家說造假, CEO出來中氣實足, 強烈反駁。 今天KPMG報
告出來說人家完全造謠。
這位CEO Dr. Rui Feng Ph.D.(Geo), 是我們中國商界的榜樣。 希望他能把公司發展成
很大世界級別的金銀採礦公司, 中國應該到南非澳洲加拿大去買些礦山。 |
|
|