Разработка методов математического моделирования на основе нормализованных радиально-базисных сетей
Диссертация
Стоит отметить публикации Мей-Дуй и Трэн-Конга, в которых авторы рассматривают приложение оригинального метода, основанного на радиально-базисных сетях. Отличительной особенностью используемого метода является применение непрямого подхода. Вместо аппроксимации непосредственно уравнения (прямой подход) нейросетевой моделью при применении непрямого подхода осуществляется приближение производных… Читать ещё >
Содержание
- Глава 1. Нейросетевые алгоритмы моделирования стационарных процессов переноса
- 1. 1. Постановка задачи. Нейросетевой метод решения. Радиально-базисные и нормализованные радиально-базисные сети
- 1. 2. Методы подбора параметров нейросетевой модели. Функционал ошибки. Подбор параметров с использованием методов многомерной оптимизации
- 1. 3. Применение нейросетевого метода на примере решения краевой задачи для уравнения Пуассона на плоскости
- 1. 4. Сравнение нейросетевых методов, основанных на РБС и на НРБС
- 1. 5. Сравнение нейросетевого и конечно-разностного методов
- 1. 6. Построение программного комплекса
- 1. 7. Выводы
- Глава 2. Нейросетевые алгоритмы моделирования нестационарных процессов переноса
- 2. 1. Постановка задачи. Нейросетевой метод решения
- 2. 2. Гибридный метод решения нестационарных задач с конечно-разностным разбиением по времени
- 2. 3. Сравнение прямого и гибридного нейросетевых методов
- 2. 4. Решение начально-краевой задачи для уравнения Бюргерса
- 2. 5. Выводы
- Глава 3. Нейросетевые алгоритмы решения обратных задач (задач идентификации)
- 3. 1. Постановка задачи и нейросетевой метод идентификации
- 3. 2. Идентификация правой части
- 3. 3. Идентификация граничного режима
- 3. 4. Выводы
Список литературы
- Артюхина Е.В., Горбаченко В. И. Решение краевых задач математической физики на радиально-базисных нейронных сетях. // Программные продукты и системы. 2007. — № 3 (79). — С. 74−77.
- Васильев А.Н. Нейросетевое моделирование в математической физике. // «Нейрокомпьютеры»: разработка, применение. -М.: Радиотехника, 2009. -№ 5.-С. 25−38.
- Васильев А.Н., Осипов В. П., Тархов Д. А. Унифицированный процесс моделирования физико-технических объектов с распределенными параметрами. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2010. — № 3. — С. 39−51.
- Васильев А.Н., Порубаев Ф. В., Тархов Д. А. Нейросетевой подход к решению некорректных задач теплопереноса. // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2011. -№ 1. — С. 133−141.
- Васильев А.Н., Тархов Д. А. 11ВР-сети и некоторые задачи математической физики. // Сборник докладов Международной конференции по мягким вычислениям и измерениям 8СМ'2004. — СПб., 2004. — Том 1. -С. 309−312.
- Васильев А.Н., Тархов Д. А. Нейронные сети как новый универсальный подход к численному решению задач математической физики. // «Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004. — № 7−8. — С. 111−118.
- Васильев А.Н., Тархов Д. А. Нейросетевое моделирование. Принципы, алгоритмы, приложения. СПб.: Изд-во Политехи, ун-та, 2009.
- Васильев А.Н., Тархов Д. А. Нейросетевые подходы к решению краевых задач в многомерных составных областях. // Известия ТРТУ. 2004. — № 9. — С. 80−89.
- Васильев А.Н., Тархов Д. А. Построение нейросетевой модели по дифференциальным уравнениям и экспериментальным данным. // Известия ТРТУ.-2005.-№ 10(54).-С. 98−107.
- Васильев А.Н., Тархов Д. А. Построение приближенных нейросетевых моделей по разнородным данным. // Математическое моделирование. 2007. -Том 19, № 12 -С.43−51.
- Васильев А.Н., Тархов Д. А. Применение искусственных нейронных сетей к задаче Стефана. // Искусственный интеллект. Донецк, 2005. — № 1. -С. 37−47.
- Васильев А.Н., Тархов Д. А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей. // Известия ТРТУ. 2004. — № 9. — С. 89−100.
- Васильев А.Н., Тархов Д. А. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей. // «Нейрокомпьютеры»: разработка, применение. 2006. — № 7. — С. 48−53.
- Васильев А.Н., Тархов Д. А., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетей. // Сборник докладов Международной конференции по мягким вычислениям и измерениям SCM'2004. — СПб., 2004. — Том 1. — С. 304−308.
- Винников В.В., Ревизников Д. Л. Применение декартовых сеток для решения уравнений Навье-Стокса в областях с криволинейными границами. // Математическое моделирование. 2005. — Т. 17, № 8. — С. 15−30.
- Винников В.В., Ревизников Д. Л., Способин A.B. Двухфазный ударный слой при обтекании тел сверхзвуковым запыленным потоком. // Математическое моделирование. 2009. — Т. 21, № 12. — С. 89−102.
- Горбатов А.И. Прогнозирование экономических показателей на основе искусственных нейронных сетей: Диссертация кандидата экономических наук: 08.00.13: Москва, 2003 175 с.
- Горбаченко В.И. Нейрокомпьютерный алгоритм решения коэффициентной обратной задачи. // Известия ПГПУ им. В. Г. Белинского. -2011.-№ 26.-С. 367−374.
- Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля. — М.: Радиотехника, 2003. — 336 С.
- Горбаченко В.И., Довженко А. Ю. Решение на нейронной сети уравнения теплопроводности с нелинейным источником. // Нейрокомпьютеры: разработка, применение. 2007. — № 9. — С. 24−32.
- Горбаченко В.И., Москвитин С. А. Решение обратных коэффициентных задач математической физики на нейронных сетях. // Нейрокомпьютеры: разработка, применение. 2007. — № 9. — С. 136−143.
- Киселев М., Соломатин Е. Средства добычи знаний в финансах и бизнесе. // Открытые системы. — 1997 г., № 4.
- Колбин И.С., Ревизников Д. Л. Решение задач математической физики с использованием нормализованных радиально-базисных сетей. // «Нейрокомпьютеры»: разработка, применение. 2012. — № 2 — С. 12−19.
- Колбин И.С. Нейросетевой метод решения граничной обратной задачи для нестационарного уравнения теплопроводности. // Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике-2012». М.: ООО «Принт-салон», 2012 — С. 239.
- Колбин И.С. Программный комплекс для решения задач математического моделирования с использованием нейросетевой методологии. // Программная инженерия. 2013. — № 2 — С. 25−30 (статья принята к публикации).
- Колбин И.С. Разработка системы нейросетевого моделирования. // Информационные и телекоммуникационные технологии. 2012. — № 14 — С. 83−86.
- Колбин И.С. Решение стационарных задач математической физики с использованием нормализованных радиально-базисных сетей. // Научно-технический вестник Поволжья. 2011. — № 5 — С. 178−181.
- Нечаев Ю.И. Нейросетевые технологии в бортовых интеллектуальных системах реального времени. // В сб. «Лекции по нейроинформатике». М.: МИФИ, 2002.-Часть 1. — С. 114−163.
- Нечаев Ю.И. Принципы использования нейронных сетей в бортовых интеллектуальных системах. // «Нейрокомпьютеры»: Разработка, применение. 2004. — № 7−8 — С. 49−56.
- Пантелеев A.B., Летова Т. А. Методы оптимизации в примерах и задачах. М.: Высш. шк., 2008.
- Поляк Б.Т. Метод сопряженных градиентов в задачах на экстремум. // Журнал вычислительной математики и математической физики. 1969. — том 9, № 4.-С. 807−821.
- Пупков К.А., Егупов Н. Д. Методы робастного, нейро-нечеткого и адаптивного управления. М.: МГТУ им. Н. Э. Баумана, 2002. — 744 с.
- Самарский A.A., Вабищевич П. Н. Численные методы решения обратных задач математической физики. -М.: Изд-во ЛКИ, 2009.
- Сигеру Омату, Марзуки Хал ид, Рубия Юсоф. Нейроуправление и его приложения. М.: ИПРЖР, 2000. — 271 с.
- Терехов В.А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления. М.: ИПРЖР, 2002. — 480 с.
- Терехов С.А. Адаптивные нейросетевые методы в многошаговых играх с неполной информацией. // В сб. «Лекции по нейроинформатике». -М.: МИФИ, 2005. С. 92−135.
- Тихонов Э.Е., Кузьмищев В. А. Методы и алгоритмы прогнозирования экономических показателей на базе нейронных сетей и модулярной арифметики: Монография. Невинномысск: Издательство НИЭУП, 2004. -166 с.
- Хайкин С. Нейронные сети: полный курс, 2-е издание. Пер. с англ. -М.: Изд. Дом «Вильяме», 2006. 1104 С.
- Althoefer К., Bugmann G. Planning and Learning Goal-Directed Sequences of Robot-Arm movements. // in Fogelman-Soulie F. and Gallinari P. (eds), Proc. of ICANN'95, Paris. 1995. — Vol. 1. — pp. 449−454.
- Amerijckx C., Verleysen M., Thissen P. Image Compression by Self-Organized Kohonen Map. // IEEE Transactions on Neural Networks. 1998. -Vol. 9, No. 3 — pp. 879−892.
- Armijo L. Minimization of functions having Lipschitz continuous first partial derivatives. // Pacific J. Math. 1966. — Vol. 16(1). — pp. 1−3.
- Arminjon P., Beauchamp C. A finite element method for Burgers' equation in hydrodynamics. // International Journal for Numerical Methods in Engineering. 1978.-Vol. 12, No. 3.- pp. 415−428.
- Avaji M., Hafshejani J.S., Dehcheshmeh S.S., Ghahfarokhi D.F.
- Numeric Solution of Fractional Oridnary Differential Equations using a Multiquadric Approximation Scheme. // Journal of Applied Sciences. 2012. -Vol. 2, Issue 2. — pp. 168−173.
- Basul J.K., Bhattacharyya D., Kim T. Use of Artificial Neural Network in Pattern Recognition. // International Journal of Software Engineering and Its Applications. 2010 — Vol. 4, No. 2. — pp. 23−33.
- Bee J., Khanin K. Burgers turbulence. // Physics Reports. 2007. — Vol. 447, Issues 1−2.-pp. 1−66.
- Benaim M. On the functional approximation with normalized Gaussian units. //Neural Computation. 1994. — Vol. 6. — pp. 314−333.
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006. — 740 p.
- Brent R.P. Algorithms for Minimization without Derivatives, Chapter 4. -Prentice-Hall, Englewood Cliffs, NJ, 1973.
- Broomhead D.S., Lowe D. Multivariable Functional Interpolation and Adaptive Networks. // Complex Systems. 1988. — Vol. 2. — pp. 321−355.
- Broyden C. The Convergence of a Class of Double-Rank Minimization Algorithms: Part 2 The New Algorithm. — Computing Centre of University of Essex, 1970.
- Bugmann G. Normalized Gaussian radial basis function networks. // Neurocomputing. 1998. — Vol. 20 (1−3). — pp. 97−110.
- Burgers J.M. The Nonlinear Diffusion Equation. D. Reidel Publishing Company, Dordrecht-Boston, 1974.
- Cha I., Kassam S.A. Interference cancellation using radial basis function networks. // Signal Processing. 1995. — Vol. 47. — pp. 247−268.
- Chai ZShi B. Novel lattice Boltzmann model for the Poisson equation. // Applied Mathematical Modelling. 2008. — Vol. 32. — pp. 2050−2058.
- Cowpe M.R., Mulgrew B., Unsworth C.P. Nonlinear prediction of chaotic signals using a normalized radial basis function network. // Signal Processing. -2002. Vol. 82. — pp. 775−789.
- Dai Y.H., Yuan Y. A nonlinear conjugate gradient method with a strong global convergence property. // SIAM J. Optim. 1999. — Vol. 10. — pp. 177−182.
- Davidon W.C. Variable metric method for minimization. // SIAM Journal on Optimization. 1991.-Vol. l.-pp. 1−17.
- Davidon W.C. Variable metric method for minimization. // Technical ReportANL-5990 (revised). 1959. — Argonne National Laboratory, Argonne, IL.
- Dennis J.E., Schnabel R.B. Numerical Methods for Unconstrained Optimization. Prentice-Hall, Englewood Cliffs, NJ, 1983. Reprinted by SIAM Publications, 1993.
- Egmont-Petersen M., D. de Ridder, Handels H. Image processing with neural networks a review. // Pattern Recognition Society — 2002. — Vol. 35 — pp. 2279−2301.
- Ferrari S., Stengel R.F. Smooth Function Approximation Using Neural Networks. // IEEE Transactions on Neural Networks. 2005. — Vol. 16, No. 1 -pp. 879−892.
- Fletcher R. A New Approach to Variable Metric Algorithms. // The Computer Journal. 1970. — Vol. 13. — pp. 317−322.
- Fletcher R. Practical Methods of Optimization Vol. 1: Unconstrained Optimization. John Wiley & Sons, New York, 1987.
- Fletcher R. Practical Methods of Optimization. John Wiley & Sons, New York, second ed., 1987.
- Fletcher R., Powell M.J.D. A Rapidly Convergent Descent Method for Minimization. //The Computer Journal. 1963.-Vol. 6.-pp. 163−168.
- Fletcher R., Reeves C. Function minimization by conjugate gradients. // Computer Journal. 1964. — Vol. 7. — pp. 149−154.
- Franke R. Scattered data interpolation: Tests of some methods. // Math. Comput. — 1971. — № 38. — pp. 181−192.
- Galpcrin E.A., Pan Z., Zheng Q. Application of global optimization to imlicit solution of Partial Differential Equations. // Computers & Mathematics with Applications. Pergamon Press Ltd. — 1993. — Vol. 25, No. 10/11.-pp. 119−124.
- Galperin E.A., Zheng Q. Solutuion and control of PDE via global optimization methods. // Computers & Mathematics with Applications. -Pergamon Press Ltd. 1993. — Vol. 25, No. 10/11.-pp. 103−118.
- Gilbert J.C., Nocedal J. Global convergence properties of conjugate gradient methods for optimization. // SIAM J. Optim. 1992. — Vol. 2. — pp. 21−42
- Golberg M.A., Chen C.S. Discrete Projection Methods for Integral Equations. // Comput. Mech. Publ. 1997. — 250 p.
- Golberg M.A., Chen C.S. Improved multiquadric approximation for partial differential equations. //Engin. Anal. Bound. Elem. 1996. — Vol. 18. — pp. 9−17.
- Goldfarb D. Family of Variable-Metric Methods Derived by Variational Means. // Mathematics of Computation. 1970. — Vol. 24. — pp. 23−26.
- Goldstein A.A. On steepest descent. // SIAM J. Control. 1965. — Vol. 3. -pp. 147−151.
- Hager W.W., Zhang H. A new conjugate gradient method with guaranteed descent and an efficient line search. // SIAM J. Optim. 2005. — Vol. 16. — pp. 170−192.
- Hager W.W., Zhang H. A survey of nonlinear conjugate gradient methods. // Pacific J. Optim. 2006. — № 2. — pp. 35−58.
- Hager W.W., Zhang H. Algorithm 851: CGJDESCENT, a conjugate gradient method with guaranteed descent. // ACM Trans. Math. Software, 32, 2006.
- Hager W.W., Zhang H. CGDESCENT user’s guide. Technical report. // Dept. Math., Univ. Florida, 2004.
- Hardy R.L. Multiquadric equations of topography and other irregular surfaces. // J. Geophys. Res. 1971.-Vol.76. — pp. 1905−1915.
- Hardy R.L. Theory and applications of the multiquadric-biharmonic method: 20 years of discovery. // Comput. Math. Appl. 1990 — Vol. 19, No. 8&9 -pp. 163−208.
- Harvey R.L., DiCaprio P.N., Heinemann K.G. A Neural Network Architecture for General Image Recognition. // The Lincoln Laboratory Journal1991. Vol. 4, No. 2 — pp. 189−207.
- Hestenes M.R., Stiefel E.L. Methods of conjugate gradients for solving linear systems. // J. Research Nat. Bur. Standards. 1952. — Vol. 49. — pp. 409 436.
- Holland J.H. Adaptation in natural and artificial systems. University of Michigan Press, Ann Arbor, 1975.
- Hooke R., Jeeves T.A. Direct search solution of numerical and statistical problems. // J. ACM 1961.-Vol. 8(2).-pp. 212−229.
- Huang C.H., Ozisik M.N. Inverse problem of determining heat flux inlaminar flow through a parallel plate duct. // Numerical Heat Transfer, Part A.1992.-Vol. 21.-pp. 55−70.
- Huang G., Chen L., Siew C. Universal Approximation Using Incremental Constructive Feedforward Networks With Random Hidden Nodes. // IEEE Transactions on Neural Networks. 2006. — Vol. 17, No. 4 — pp. 879−892.
- Jang H., Park A., Jung K. Neural Network Implementation Using CUDA and OpenMP. // Proceedings of the 2008 Digital Image Computing: Techniques and Applications.-2008.-pp. 155−161.
- Jilani A.K., Sattar A.A. Fuzzy Neural Networks based EZW Image Compression System. // International Journal of Computer Applications. 2010. -Vol. 2, No.9. — pp. 1−7.
- Kansa E.J. Motivation for using radial basis function. 1999. -http://www.cityu.edu.hk/rbf-pde/files/overview-pdf.pdf.
- Kansa E.J. Multiquadrics a scattered data approximation scheme with applications to computational fluid dynamics-I. Surface approximations and partial derivative estimates. // Comput. Math. Appl. — 1990. — Vol. 9, No. 8 & 9. — pp. 127−145.
- Kennedy J. The particle swarm: social adaptation of knowledge. // Proceedings of IEEE International Conference on Evolutionary Computation. -1997.-pp. 303−308.
- Kennedy J., Eberhart R.C. Particle Swarm Optimization. // Proceedings of IEEE International Conference on Neural Networks. IV. 1995. — pp. 1942−1948.
- Lemarechal C. A view of line searches. in Optimization and Optimal Control, W. Oettli and J. Stoer, eds. // №. 30 in Lecture Notes in Control and Information Science, Springer-Verlag. — 1981. — pp. 59−78.
- Liu Y., Storey C. Efficient generalized conjugate gradient algorithms, part .H Theory. J. Optim. Theory Appl. 1991. — Vol. 69. — pp. 129−137.
- Mai-Duy N. Solving high order ordinary differential equations with radial basis function networks. // International Journal for Numerical Methods in Engineering. 2005. — Vol. 62. — pp. 824−852.
- Mai-Duy N., Tran-Cong T. Compact local integrated-RBF approximations for second-order elliptic differential problems. // Journal of Computational Physics. -2011.-Vol. 230, No. 12.-pp. 4772−4794.
- Mai-Duy N., Tran-Cong T. Integrated radial-basis-function networks for computing Newtonian and non-Newtonian fluid flows. // Computers and Structures. 2009. — Vol. 87, Issue 11−12. — pp. 642−650
- Moody J., Darken C. Fast learning in networks of locally-tuned processing units. // Neural Computation. 1989. — Vol. 1. — pp. 281−294.
- More J.J., Thuente D.J. Line search algorithms with guaranteed sufficient decrease. // ACM Transactions on Mathematical Software. 1994. — Vol. 20. — pp. 286−307.
- Nelder J.A., Mead R.A. simplex method for function minimization. // Computer Journal. 1965. — Vol. 7. — pp. 308−313
- Nocedal J. Conjugate gradient methods and nonlinear optimization. in Linear and Nonlinear Conjugate Gradient Methods, L. M. Adams and J. L. Nazareth, eds. — SIAM, Philadelphia, 1996. — pp. 9−23.
- Nocedal J. Theory of algorithms for unconstrained optimization. // Acta Numerica.- 1991.-Vol. l.-pp. 199−242.
- Nocedal J. Updating quasi-Newton matrices with limited storage. // Math. Comp. 1980. — Vol. 35. — pp. 773−782.
- Nocedal J., Wright S.J. Numerical optimization. Springer Verlag, New York, NY, 1999.
- Ortega J.M., Rheinboldt W.C. Iterative Solution of Nonlinear Equations in Several Variables. Academic Press, 1970.
- Polak E., Ribiere G. Note sur la convergence de methodes de directions conjuguees. // Rev. Francaise Informat. Recherche Operationnelle. 1969. — Vol. 3. — pp. 35−43.
- Powell M.J.D. How bad are the BFGS and DFP Methods When the Objective Function is Quadratic. // Mathematical Programming. 1986. — Vol. 34. -pp. 34−47.
- Powell M.J.D. Nonconvex Minimization Calculations and the Conjugate Gradient Method. Numerical Analysis, 1983.
- Rama I., Vaddella P., Rama K. Artificial Neural Networks for compression of Digital Images: A Review. // International Journal of Reviews in Computing 2009−2010. — pp. 72−85.
- Shanno D. Conditioning of Quasi-Newton Methods for Function Minimization. // Mathematics of Computation. 1970. — Vol. 24. — pp. 647−656.
- Sharman M., Kansa E.J., Gupta S. Application of the Multiquadric method to numerical solution of elliptic partial differential equations. // Applied Mathematics and Computation. 1997. — Vol. 84. — pp. 275−302.
- Shi Y., Eberhart R.C. A modified particle swarm optimizer. // Proceedings of IEEE International Conference on Evolutionary Computation. 1998. — pp. 6973.
- Shorten R., Murray-Smith R. Side effects of normalizing radial basis function networks. // Int. J. Neural Systems. 1996. — Vol. 7. — pp. 167−179.
- Uetz R., Behnke S. Large-scale Object Recognition with CUDA-accelerated Hierarchical Neural Networks. // In Proceedings of the 1st IEEE International Conference on Intelligent Computing and Intelligent Systems. 2009.
- Van der Vorst H.A. Bi-CGSTAB: A Fast and Smoothly Converging Variant of Bi-CG for the Solution of Nonsymmetric Linear Systems. // SIAM Journal on Scientific and Statistical Computing. 1992. — Vol. 13 (2). — pp. 631 644.
- Vanani S.K., Aminataei A. On the numeric solution of fractional partial differential equations. // Mathematical and Computaional Applications. 2012. -Vol. 17, No. 2.-pp. 140−151.
- Vasilyev A., Tarkhov D., Guschin G. Neural Networks Method in Pressure Gauge Modeling. // Proceedings of 10th IMECO TC7 International Symposium on Advances of Measurement Science, Saint-Petersburg, Russia. 2004. — Vol. 2. -pp. 275−279.
- Vesely K., Burget L., GrezI F. Parallel Training of Neural Networks for Speech Recognition. // Interspeech. 2010. — pp. 2934−2937.
- Werntges H.W. Partitions of unity to improve neural function approximators. // IEEE International Conference on Neural Networks, San Francisco, California, 1993.-pp. 914−918.
- Wolfe P. Convergence conditions for ascent methods. // SIAM Rev. 1969. -Vol. 11 (2).-pp. 226−235.
- Xie O., Zhao Z. Identifying an unknown source in the Poisson equation by a modified Tikhonov regularization method. // International Journal of Mathematical and Computational Sciences. 2012. — Vol. 6. — pp. 86−90.
- Yang C.C., Prasher S.O., Landry J.A., Ramaswamy H.S. Ditommaso A.
- Application of artificial neural networks in image recognition and classification of crop and weeds. // Canadian agricultural engineering 2000. — Vol. 42, No. 3 — p. 147−152.