admin 管理员组文章数量: 887007
调参资料总结
调参是个头疼的事情，Yann LeCun、Yoshua Bengio和Geoffrey Hinton这些大牛为什么能够跳出各种牛逼的网络？下面一些推荐的书和文章：调参资料总结
Neural Network: Trick of the Trade
Practical Recommendations for Gradient-based Training of Deep Architectures
《 神经网络训练中的Tricks之高效BP（反向传播算法） 》 翻译文章。神经网络训练中的Tricks之高效BP（反向传播算法），来自与于《Neural Networks: Tricks of the Trade》一书第二版中的第一章 Efficient BackProp 的部分小节。
《Deep Learning for Vision: Tricks of the Trade》Marc’Aurelio Ranzato 在 CVPR 上 的 presentation slides/talk（Youtube 等地方可以搜到）。caffe 作者之一贾扬清推荐。涉及到了许多 DL 的调参技巧（在 slides 比较靠后的地方）
《Optimizing RNN performance》百度 Silicon Valley AI Lab 的分享，现在主要是 GEMM 的性能优化，以后还会有并行 GPU，GRU 和 LSTM 的实现技巧等……
《Must Know Tips/Tricks in Deep Neural Networks》来自 NJU LAMDA 实验室的 Xiu-Shen Wei 的总结，主要集中于 CNN，包括各种数据处理上可能带来的性能和表现的差异。图表丰富，有理有据。
《训练深度神经网络的时候需要注意的一些小技巧》这篇是综合翻译，没给出都从哪节选的。我收集的英文版在下面：
《Training Tricks from Deeplearning4j》deeplearning4j 的 googlegroups 也很推荐。这篇其实干货不多，但是也有一些了。包括对于训练的理解，并不全是干货般的总结。
《Suggestions for DL from Llya Sutskeve》Hinton 亲传弟子介绍深度学习的实际 tricks，包括data, preprocessing, minibatches, gradient normalization, learning rate, weight initialization, data augmentation, dropout和ensemble。
《Efficient Training Strategies for Deep Neural Network Language Models》讨论了如何设置 batch-size, initial learning rate, network initialization，但最有趣的结论应该是：普通的 deep feed-forward architecture比recurrent NN 在 model long distance dependency 效果和效率都更好。
《Neural Networks Best Practice》Uber 的 data scientist 写的。比如: Rectifier is becoming popular as an activation function. However, I find its theory dubious and my experiments have not shown that it is always better. That said, I’m experimenting with new activation functions. (Little trivia: I’m borrowing many ideas from my graduate work in computational wave propagation.)
《How transferable are features in deep neural networks?》也是争议比较大的一篇文章，finetuning 有一定帮助，但是不够细致。
《Dark Knowledge from Hinton》有心人整理的 Hinton 提到的 Dark Knowledge 的一些资源。
《Stochastic Gradient Descent Tricks》L eon Bottou 写的 Stochastic Gradient Descent Tricks 挺好，做工程也要做的漂亮。
《Advice for applying Machine Learning》主要集中在如何观察数据来选择方法。
《How to Debug Learning Algorithm for Regression Model》主要都是讲回归中遇到的各种“预期不符”的结果。配合 ESL 第二章和第三章内容看效果加成。
《Large-scale L-BFGS using MapReduce》NIPS’14 的论文，简单并行化 LBFGS里面的双循环（最耗时，计算量巨大）。
《特征工程选择系列》特征工程系列文章：Part1.单变量选取 Part2.线性模型和正则化 Part3.随机森林 Part4.稳定性选择法、递归特征排除法(RFE)及综合比较。有 Python 代码。
《机器学习代码心得之有监督学习的模块 机器学习代码心得之迭代器和流水处理》新一代大神微博@陈天奇怪 的系列文章，有兴趣的直接顺着看吧。
《STOCHASTIC GRADIENT BOOSTING: CHOOSING THE BEST NUMBER OF ITERATIONS》Kaggle 达人 YANIR SEROUSSI 告诉你如何选择 Stochastic Gradient Boosting 的训练最佳 iteration 超参数。不过我比较存疑，因为如果条件允许，当然迭代的越多越好……
《Large-Scale High-Precision Topic Modeling on Twitter》Twitter 高级研究员的 KDD’14论文。有不少实用技巧，比如短文本特征，LR结果概率化修正，正样本抽样，PU学习后负样本选取。
一些地址：
Efficient BackProp (Neural Networks: Tricks of the Trade, 2nd)
Deep Learning for Vision: Tricks of the Trade(CVPR. Marc’Aurelio Ranzato)
.ranzato.pdf
Optimizing RNN performance (Silicon Valley AI Lab)
- intro: Optimize GEMM, parallel GPU, GRU and LSTM…
- blog: /
Must Know Tips/Tricks in Deep Neural Networks(NJU LAMDA, Xiu-Shen Wei)
- blog: .html
Training Tricks from Deeplearning4j
.html
Suggestions for DL from Llya Sutskeve
- intro: data, preprocessing, mini-batch, gradient normalization, learning rate, weight initialization, data augmentation, dropout and ensemble
- blog: .html
Efficient Training Strategies for Deep Neural Network Language Models
- intro: batch-size, initial learning rate, network initialization
- blog: .pdf?attachauth=ANoY7cp_eDwTXPm6iWHdBRhlIsgPASEAwkW-exLSOsz467mge7zLCkBMWznOu_G90vGVtqNvXOusc4z6cC6hEnHk6YzHtuEr_kyU0fyme7asaECN0zvoNwDk5258CueoB6fY3WtLvbJzYok1xiIeWSFYtk5mKXCXFDMI6djwhjCX1xi0GEEv_x7uMQwTdQlDItZ3kgLnZ2RjctQmIXDCu58fS3Wby4vWX3CkhMIf_EpCXx7jDn_M2SM%3D&attredirects=0
Neural Networks Best Practice
- intro: Uber
- paper: .html
Dark Knowledge from Hinton
- youtube: =EK61htlw8hY
- slides: .pdf
- notes: /
- notes: /
Stochastic Gradient Descent Tricks(Leon Bottou)
Advice for applying Machine Learning
.html
How to Debug Learning Algorithm for Regression Model
/
Large-scale L-BFGS using MapReduce
- intro: NIPS 2014
- paper: .pdf
Selecting good features
– Part I: univariate selection: / – Part II: linear models and regularization:/ – Part III: random forests: / – Part IV: stability selection, RFE and everything side by side:/
机器学习代码心得之有监督学习的模块
Stochastic Gradient Boosting: Choosing the Best Number of Iterations
- intro: Kaggle winner YANIR SEROUSSI
- blog: /
Large-Scale High-Precision Topic Modeling on Twitter
- intro: Twitter senior researcher. KDD 2014
- paper: .pdf
H2O World - Top 10 Deep Learning Tips & Tricks - Arno Candel
How To Improve Deep Learning Performance: 20 Tips, Tricks and Techniques That You Can Use To Fight Overfitting and Get Better Generalization
/
Neural Network Training Speed Trick
.4v6qukpn7
本文标签： 调参资料总结
版权声明：本文标题：调参资料总结 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732356424h1534562.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论