稀疏学习优化问题的求解综述

被引：25

作者：

陶卿

高乾坤

姜纪远

储德军

机构：

[1] 中国人民解放军陆军军官学院系

来源：

软件学报 | 2013年 / 24卷 / 11期

基金：

安徽省自然科学基金;

关键词：

L1正则化; 在线优化; 随机优化; 坐标优化;

D O I：

暂无

中图分类号：

TP181 [自动推理、机器学习];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1正则化问题,介绍了这些大规模算法的一些研究进展.

引用

页码：2498 / 2507

页数：10

共 9 条

[1] Block-Coordinate Gradient Descent Method for Linearly Constrained Nonsmooth Separable Optimization [J].

Tseng, P. ;

Yun, S. .

JOURNAL OF OPTIMIZATION THEORY AND APPLICATIONS, 2009, 140 (03) :513-535

[2] Logarithmic regret algorithms for online convex optimization [J].

Elad Hazan ;

Amit Agarwal ;

Satyen Kale .

Machine Learning, 2007, 69 :169-192

[3] A coordinate gradient descent method for nonsmooth separable minimization [J].

Paul Tseng ;

Sangwoon Yun .

Mathematical Programming, 2009, 117 :387-423

[4] Primal-dual subgradient methods for convex problems [J].

Nesterov, Yurii .

MATHEMATICAL PROGRAMMING, 2009, 120 (01) :221-259

[5] Mirror descent and nonlinear projected subgradient methods for convex optimization [J].

Beck, A ;

Teboulle, M .

OPERATIONS RESEARCH LETTERS, 2003, 31 (03) :167-175

[6] Convergence of a block coordinate descent method for nondifferentiable minimization [J].

Tseng, P .

JOURNAL OF OPTIMIZATION THEORY AND APPLICATIONS, 2001, 109 (03) :475-494

[7] Regression shrinkage and selection via the Lasso [J].

Tibshirani, R .

JOURNAL OF THE ROYAL STATISTICAL SOCIETY SERIES B-STATISTICAL METHODOLOGY, 1996, 58 (01) :267-288

[8] LOCAL CONVERGENCE ANALYSIS OF A GROUPED VARIABLE VERSION OF COORDINATE DESCENT [J].

BEZDEK, JC ;

HATHAWAY, RJ ;

HOWARD, RE ;

WILSON, CA ;

WINDHAM, MP .

JOURNAL OF OPTIMIZATION THEORY AND APPLICATIONS, 1987, 54 (03) :471-477

[9]

Making gradient descent optimal for strongly convex stochastic optimization .2 Rakhlin A,Shamir O,Sridharan K. Proc.of the29th Int’’l Conf.on Machine Learning(ICML 2012 ) . 2012

← 1 →