在线咨询
中国工业与应用数学学会会刊
主管：中华人民共和国教育部
主办：西安交通大学
ISSN 1005-3085  CN 61-1269/O1
工程数学学报

工程数学学报 ›› 2022, Vol. 39 ›› Issue (5): 681-694.doi: 10.3969/j.issn.1005-3085.2022.05.001

• •    下一篇

人工神经网络中的一种Krylov子空间优化算法

张振宇1,2,   林沐阳1   

  1. 1. 上海财经大学数学学院，上海  200433; 2. 上海财经大学浙江学院，金华  321013
  • 出版日期:2022-10-15 发布日期:2022-12-15
  • 基金资助:
    国家自然科学基金(11671246).

A Krylov Subspace Optimization Method in Artificial Neural Network

ZHANG Zhenyu1,2,   LIN Muyang1   

  1. 1. School of Mathematics, Shanghai University of Finance and Economics, Shanghai 200433;
    2. Shanghai University of Finance and Economics Zhejiang College, Jinhua 321013
  • Online:2022-10-15 Published:2022-12-15
  • Supported by:
    The National Natural Science Foundation of China (11671246).

PDF (PC)

126

摘要：

介绍了人工神经网络的二阶优化算法研究现状，对人工神经网络损失函数的KSD (Krylov Subspace Descent) 优化算法进行改进。针对KSD算法中采用固定不变的Krylov子空间维数的方式，提出了Krylov子空间维数根据计算结果自适应改变的MKSD (Modified KSD) 算法，并给出了利用 MKSD、KSD 以及 SGD (Stochastic Gradient Descent) 优化算法对不同问题的全连接神经网络进行训练的数值算例。计算结果说明MKSD的算法对比于其他算法具有一定的优势。

关键词: 人工神经网络, Krylov子空间, 优化算法

Abstract:

The development of algorithms for optimizing the loss function of artificial neural networks is introduced is this work. The KSD (Krylov Subspace Descent) algorithm is extended to MKSD (Modified KSD) algorithm which has adaptively variable subspace dimension instead of fixed dimension. Some numerical examples of optimizing the fully connected neural network problems by MKSD, KSD and SGD (Stochastic Gradient Descent) algorithms are given. The numerical results show that the MKSD method has certain advantages over other methods.

Key words: artificial neural network, Krylov subspace, optimization method

中图分类号: