最適化(Optimization)についての資料まとめ

最適化(Optimization)についての資料まとめ

主に非線形最適化についての資料をまとめる． 随時追加予定．

全般的な資料

システムの最適化－ ２．非線形計画法（NP : Nonlinear Programming） －, 静岡理科大学

システムの最適化－ ２．非線形計画法（NP : Nonlinear Programming） －, 静岡理科大学

• 日本語
• 以下の有名どころのアルゴリズムがまとまっている．
  • 黄金分割法
  • 最急降下法（ Steepest Descent Method ）
  • 共役勾配法（ Conjugate Gradient Method ）
  • Newton 法
  • 準 Newton 法
  • シンプレックス法（Nelder-Mead Method）

Scipy lecture notes 2.7. Mathematical optimization: finding minima of functions

Scipy lecture notes > 2. Advanced topics > 2.7. Mathematical optimization: finding minima of functions

• 日本語訳
• 最終更新：October 2017
• Pythonですぐ動かしたいというときに有効
• 理論というより，scipy.optimizeで実装されている関数の使い方がメインで手法の選び方もありかなり実用的
• 内容：
  • Getting started: 1D optimization
  • Gradient based methods
  • Newton and quasi-newton methods
  • Gradient-less methods
  • Global optimizers
  • Choosing a method
  • etc

NumericalRecipes 3rd edition

NumericalRecipe 3rd edition, 2007年

• 本(全1262ページ)
• PDF
• 英語
• 理論重視で体系的に解説されている．数値解析全般のアルゴリズムについて，C言語のコードが載っている．
• 最適化は第10章
• 内容：
  • Initially Bracketing a Minimum
  • Golden Section Search in One Dimension
  • Parabolic Interpolation and Brent’s Method in One Dimension
  • One-Dimensional Search with First Derivatives
  • Downhill Simplex Method in Multidimensions
  • Line Methods in Multidimensions
  • Direction Set (Powell’s) Methods in Multidimensions
  • Conjugate Gradient Methods in Multidimensions
  • Quasi-Newton or Variable Metric Methods in Multidimensions
  • Linear Programming: The Simplex Method
  • Linear Programming: Interior-Point Methods
  • Simulated Annealing Methods
  • Dynamic Programming
• 日本語版：

  ニューメリカルレシピ・イン・シー 日本語版―C言語による数値計算のレシピ

• オリジナル：

  Numerical Recipes 3rd Edition: The Art of Scientific Computing

Convex Optimization, Stephen Boyd and Lieven Vandenberghe

Convex Optimization, Stephen Boyd and Lieven Vandenberghe, Cambridge University Press

• 教科書
• 英語
• pdf

Convex Optimization

Numerical Python A Practical Techniques Approach for Industry, Johansson Robert, 2015

Numerical Python A Practical Techniques Approach for Industry, Johansson Robert, 2015

• Python のモジュールnumpy, scipy, sympy, pandas, statsmodels, scikit-learn, pymc3を使って実際に数値解析を行っている．pymc3を使ったベイズ統計のサンプルコードもある．
• pdf
• 使用言語：python
• 最適化については Chapter 6: Optimization
• 内容：
  • Chapter 2: Vectors, Matrices, and Multidimensional Arrays
  • Chapter 3: Symbolic
  • Chapter 4: Plotting and Visualization
  • Chapter 5: Equation Solving
  • Chapter 6: Optimization
  • Chapter 7: Interpolation
  • Chapter 8: Integration
  • Chapter 9: Ordinary Differential Equations
  • Chapter 10: Sparse Matrices and Graphs
  • Chapter 11: Partial Differential Equations
  • Chapter 12: Data Processing and Analysis
  • Chapter 13: Statistics
  • Chapter 14: Statistical
  • Chapter 15: Machine Learning
  • Chapter 16: Bayesian Statistics
  • Chapter 17: Signal Processing
  • Chapter 18: Data Input and Output
  • Chapter 19: Code Optimization

Numerical Python: A Practical Techniques Approach for Industry

黄金分割法(Golden Section)

• Numerical Methods Lecture 6 - Optimization, Gurley, essie.ufl.edu（講義資料）
• システムの最適化 － ２．非線形計画法（NP : Nonlinear Programming） －, 2．3.1.黄金分割法, sist.ac.jp
• 主にcode: NumericalRecipe 3rd edition, 10.2 Golden Section Search in One Dimension, p.402

共役勾配法(Conjugate Gradient Method)

• システムの最適化 － ２．非線形計画法（NP : Nonlinear Programming） －, ２．５. 共役勾配法（Conjugate Gradient Method）,　sist.ac.jp
• 共役勾配法, 矢部博, 日本オペレーションズ・リサーチ学会, 1987年6月号
• NumericalRecipe 3rd edition, 10.8 Conjugate Gradient Methods in Multidimensions, p.539