Методы обработки нестационарных экспериментальных данных с использованием вейвлет-преобразования
Диссертация
Апробация полученных результатов. Результаты работы докладывались на семинарах в ИАнП РАН, третьей всероссийской научной конференции «Проектирование инженерных и научных приложений в среде MatLab», Санкт-Петербург, 2007; конференции «Технологии Microsoft в теории и практике программирования», Санкт-Петербург, 2008; на 10-ой Международной конференции и выставке «Цифровая обработка сигналов… Читать ещё >
Содержание
- Актуальность работы
- Цель работы
- Научная новизна
- Положения, выносимые на защиту
- Содержание работы
- Глава 1. Анализ существующих методов очистки сигналов от 17 шума
- 1. 1. Постановка задачи
- 1. 1. 1. Классическая постановка задачи очистки от стационарного 17 шума
- 1. 1. 2. Постановка задачи очистки нестационарных 18 экспериментальных данных
- 1. 1. 3. Влияние разложения исходного сигнала по базису на 19 постановку задачи очистки от шума
- 1. 2. Критерии выбора подходящей аппроксимации
- 1. 3. Существующие методы очистки сигналов от шума
- 1. 3. 1. Введение
- 1. 3. 2. Классификация методов очистки сигналов от шума
- 1. 3. 3. Параметрические методы оценивания
- 1. 3. 4. Не параметрические линейные сглаживающие методы 29 оценивания
- 1. 3. 4. 1. Ядерные регрессионные методы оценивания
- 1. 3. 4. 2. Локальные полиномиальные методы оценивания
- 1. 3. 4. 3. Сглаживание сплайнами
- 1. 3. 4. 4. Винеровская фильтрация
- 1. 3. 4. 5. Оценки, использующие ортогональные функции
- 1. 3. 4. 6. Линейное вейвлет-сглаживание
- 1. 3. 5. Недостатки линейных сглаживающих методов оценивания
- 1. 3. 6. Непараметрические нелинейные сглаживающие методы 41 оценивания
- 1. 3. 6. 1. Адаптивные методы оценивания
- 1. 3. 6. 2. Пороговая вейвлет-обработка 43
- 1. 1. Постановка задачи
- 2. 1. Введение
- 2. 2. Преимущества использования вейвлетов
- 2. 3. Классификация вейвлет-преобразований
- 2. 3. 1. Дискретное вейвлет-преобразование
- 2. 3. 2. Максимально накладывающееся дискретное 51 вейвлет-преобразование
- 2. 3. 3. Дискретное вейвлет-пакетное преобразование
- 2. 3. 4. Максимально накладывающееся дискретное вейвлет- 54 пакетное преобразование
- 2. 4. Классификация методов пороговой вейвлет-обработки
- 2. 4. 1. Виды правил пороговой обработки
- 2. 4. 2. Способы пороговой обработки 60 2.4.3. Методы выбора величин порогов
- 2. 4. 3. 1. Минимаксный порог
- 2. 4. 3. 2. Универсальный порог
- 2. 4. 3. 3. Порог, определенный на основе множественной 63 проверки гипотез
- 2. 4. 3. 4. Порог, определенный на основе перекрестной 65 проверки
- 2. 4. 3. 5. Порог, основанный на несмещенной оценке риска 67 Стейна
- 2. 4. 3. 6. Пороговая обработка как рекурсивная задача проверки 68 гипотезы
- 2. 4. 3. 7. Пороги, определяемые с использованием байесовского 69 подхода
Список литературы
- Wasserman L. All of nonparametric statistics// Springer. USA, 2006. P.268.
- Леман Э. Теория точечного оценивания: Пер. с англ. М.: Наука. Гл. ред. физ.-мат. лит., 1991. — 448 с.
- Айвазян С. А. и др. Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, JI. Д. Мешалкин- Под ред. С. А. Айвазяна. — М.: Финансы и статистика, 1985. — 487 с.
- Айвазян С.А., А4хитарян B.C. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т.1: Айвазян С. А., Мхитарян B.C. Теория вероятностей и прикладная статистика. — М.: ЮНИТИ-ДАНА, 2001. 656 с.
- Куликов Е. И. Прикладной статистический анализ. Учебное пособие для вузов. — 2-е изд., перераб. и доп. М.: Горячая линия-Телеком, 2008. — 464 с.
- Ibragimov I.A., Has’minskii R.Z. On the estimation of an infinite-dimensional parameter in Gaussian white noise. Soviet Math. Dokl. 236, 10 531 055, 1977.
- Efroimovich S.Y., Pinker M.S. Estimation of square-integrable probability density of a random variable. Problems Inform. Transmission 18, pp. 175−189, 1982.
- Brown L.D., Low M.G. Asymptotic equivalence of nonparametric regression and white noise. The Annals of Statistic 24, 2384−2398, 1996.
- Nussbaum M. Asymptotic equivalence of density estimation and Gaussian white noise. The Annals of Statistics 24, 2399−2430, 1996.
- Johnstone /. Function Estimation in Gaussian Noise: Sequence Models. Unpublished manuscript.
- Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ. / Под ред. Э. Ллойда, У. Ледермана, Ю. Тюрина. М.: Финансы и статистика, 1989.-510 с.
- Малла С. Вэйвлеты в обработке сигналов: Пер. с англ. М.: Мир, 2005.- 671 с.
- Candes E.J. Modern statistical estimation via oracle inequalities// Acta Numerica. 2006. V.15. P.257−326.
- Huber P.J. Robust smoothing. In: Robustness in Statistics, eds. E. Launer and G. Wilkinson. New York: Academic Press, 1979.
- Хардле В. Прикладная непараметрическая регрессия: Пер. с англ. -М.: Мир, 1993.-349 с.
- Главные компоненты временных рядов: метод «Гусеница». Под редакцией Д. Л. Данилова и А. А. Жиглявского. Санкт-Петербургский университет, 1997.
- Левин Б.Р. Теоретические основы статистической радиотехники. -3-е изд., перераб. и доп. М.: Радио и связь, 1989. — 656 с.
- Scott D.W. Multivariate Density Estimation: Theory, Practice and Visualization. Wiley. New York, 1992.
- Silverman B.W. Density Estimation for Statistics and Data Analysis. Chapman and Hall. New York, 1986.
- Wahba G. Spline models for observational data. SIAM. New York, 1990.
- Beran R. REACT scatterplot smoothers: Superefficiently through basis economy. Journal of the American Statistical Association 95, pp. 155−171, 2000.
- Efromovich S. Nonparametric Curve Estimation: Methods, Theory and Applications. Springer-Verlag. New York, 1999.
- Amato U., Vuza D.T. Wavelet approximation of a function from samples affected by noise. Rev. Rounmanie Math. Pure Appl., 42, pp. 481−493, 1997.
- Antoniadis A. Wavelets in Statistics: A Review// Journal of the Italian Statistical Association. 1997. V.6. P.97−144.
- Cohen A., D’Ales J.-P. Nonlinear approximation of random functions// SIAM J. Appl. Math. 1997. V57. P.518−540.
- Devore RA. Nonlinear approximation// Acta Numerica. 1998. V.7. P.51 150.
- Lepski O.V., Mammen E., Spokoiny V.G. Optimal spatial adaptation to inhomogeneous smoothness: An approach based on kernel estimates with variable bandwidth selectors. The Annals of Statistics 25, pp. 929−947, 1997.
- Muller H.-G., Stadtmuller U. Variable bandwidth kernel estimators of regression curves. The Annals, of Statistics. Volume 15, pp. 182−201, 1987.
- Fan J., Gilbels I Local Plynomial Modelling and Its Applications. Chapman and Hall. New York, 1996.
- Loader C. R. Local Regression and Likelihood. Springer-Verlag. New York, 1999.
- Loader C. R. Bandwidth selection: classical or plug-in? The Annals of Statistics 27, pp. 415−438, 1999.
- Mammen E., Geer S. Locally adaptive regression splines. The Annals of Statistics 25, pp. 387−413, 1997.
- Donoho D.D., Johnstone I.M. Ideal spatial adaptation by wavelet shrinkage//Biometrika. 1994. V.81. P.425−455.
- Donoho D.L., Johnstone I.M. Ideal denoising in a orthonormal basis chosen from a library of bases. Compt. Rend. Acad. Sci. Paris A 319, pp. 13 171 322, 1994.
- Donoho D.L., Johnstone I.M. Minimax estimation via wavelt shrinkage. Technical report, Stanfird University, 1992.
- Donoho D.L., Johnstone I.M., Kerkyacharian G., Picard D. Wavelet shrinkage: asymptopia (with discussion)? J. Roy. Statist. Soc., Ser. В 57(2), pp. 301−370, 1995.
- Meyer Y Wavelets: Algorithms and Applications, SIAM, Philadelphia, 1993.38 .Добеиш К Десять лекций по вейвлетам. Изд. РХД, Москва-Ижевск, 2001.
- Strang G. Wavelet transforms versus Fourier transforms. Bulletin of the American Mathematical Society 28, p. 288−305, 1993.
- Чуй Ч. Введение в вэйвлеты: Пер. с англ. М.: Мир, 2001. — 412 с.
- Coifman R. R., Donoho D. L. Translation-Invariant De-Noising. In Wavelets and Statistics (Lecture Notes in Statistics, Volume 103), New York: Springer-Verlag, 1995.
- Percival D., Walden A. Wavelet methods for time series analysis. London: Cambridge University Press, 2000, 594 p.
- Nason G. P., Silverman B.W. The Stationary Wavelet Transform and Some Statistic Application. In Wavelet and Statistics (Lecture Notes in Statistics, Volume 103), New York: Springer-Verlag, 1995.
- Bruce A. G., Gao H.-Y. Applied Wavelet Analysis with S-PLUS, New York: Springer, 1996.
- Bruce A., Gao H-Y. S+Wavelets: an object oriented toolkit for wavelet analysis. Technical Report 38, Statsci Divison, MathSoft, Seattle, 1995.
- Pesquet J.-C., Krim H, Carfantan H. Time-Invariant Orthonormal Wavelet Representation. IEEE Transactionson Signal Processing, 44, 1964−70, 1996.
- Bruce A. G., Gao H.-Y. Understanding WaveShrink: Variance and bias estimation. Biometrika 83 (4), pp. 727−746, 1996.
- Marron J.S., AdakS., Johnstone I.M., Neumann M. H, Patil P. Exact risk analysis of wavelet regression// J. Comput. Graph. Statist. 1998. V.7. P.278−309.
- Gao H.-Y. Wavelet Shrinkage Denoising Using the Non-Negative Garrote, 1997.
- Antoniadis A., Fan J. Regularization of wavelets approximations. J. Am. Statist. Ass., 96, 2001.
- Bruce A.G., Donoho D.L., Gao H.-Y., Martin R. D. Denoising and robust non-linear wavelet analysis. Proceedings of SPIE, the International Society for Optical Engineering, vol. 2242, pp. 325−336, 1994.
- Jansen M., Malfait M., Bultheel A. Generalized cross-validation for wavelet thresholding. Signal Processing, 56 (1), 1997.
- Nason, G.P. Wavelet shrinkage using cross-validation. J. R. Statist. Soc. B, 58, pp. 463−479,1996.
- Weyrich N., Warhola G. Denoising using wavelets and cross-validation. In Singh, S. P. Approximation Theory, wavelets and applications, NATO ASI series C, pp. 523−532, 1995.
- Donoho D.D., Johnstone I.M. Adapting to unknown smoothness via wavelet shrinkage// Journal of the American Statistical Association. 1995. V.90. P.1200−1224.
- Ogden R.T., Parzen E. Change-point approach to data analytic wavelet thresholding. Statist. Comput., 6, pp.- 93−99, 1996.
- Vidakovic B. Non-linear wavelet shrinkage with Bayes rules and Bayes factors. J. Am. Statist. Ass., 93, pp. 173−179, 1998.
- Mallat S.G., Hwang W.L. Singularity Detection and Processing with Wavelets. IEEE Trans. On Information Theory 38, 617, 1992.
- Muller P., Vidakovic B. Bayesian Inference in Wavelet Based Model, Springer Verlag, New York.
- Clyde M., George E. Flexible Empirical Bayes Estimation for Wavelets// Journal of the Royal Statistical Society. Series В (Statistical Methodology).2000. V. 62, No. 4. P. 681−698.
- Abramovich F., Besbeas P., Sapatinas T. Empirical Bayes approach to block wavelet function estimation// Computational Statistics and Data Analysis. 2002. V.39. P.435−451.
- Abramovich F., Sapatinas TSilverman B. Wavelet thresholding via a Bayesian approach. J. R. Statist. Soc. B, 60, pp.- 725−749, 1998.64 .Крянев A.B., Лукин Г. В. Математические методы обработки неопределенных данных. М.: ФИЗМАТЛИТ, 2003. — 216 с.
- Хъюбер Дж. П. Робастность в статистике: Пер. с англ.-М.: Мир, 1984.-304 с.
- Bilen С., Huzurbazar S. Wavelet-based detection of outliers in time series. Journal of Computational & Graphical Statistics, 2002.
- Cox D.D. Asymptotics for M-type smoothing splines. Annals of Sattistics, 11, p. 530−551, 1983.
- Dasgupta M., Mishra S. Least Absolute Deviation Estimation of Linear Econometric Models: A Literature Review. Social Science Research Newtwork, 2004.
- Debruyne M., Engelen S., Hubert M., Rousseeuw P.J. Robustness and Outlier Detaction in Chemometrics. Critical Reviews in Analytical Chemistry, Volume 36, pp. 221−242, 2006.
- Donoho D.L., Yu T.P.-Y. Nonlinear pyramid transforms based on median-interpolation, SIAM J. Math. Anal., Vol. 31, № 5, pp. 1030−1061, 2000.
- DuMouchel W.H., Brien F.L. Integrating a Robust Option into a Multiple Regression Computing Environment. Computer Science and Statistics: Proceedings of 21st Symposium on the Interface. Alexandria, VA: American Statistical Assosiation, 1989.
- Fox J. Robust Regression. Appendix to An R and S-PLUS Companion to Applied Regression, 2002.
- Holland P.W., Welsch R.E. Robust regression using iteratively reweighted least-squares. Communications in Statistics: Theory and Methods, Volume 6, pages 813−827, 1977.
- Koenker R. Quantile Regression. Cambridge University Press, New York, 2005.
- Rousseeuw P.J. Tutorial to robust statistics. Journal of Chemometrics, Vol.5, pp. 1−20, 1991.
- Silverman B.W. Some aspects of the spline smoothing approach to nonparametric regression curve fitting (with discussion). Journal of the Royal Statistical Society, Series B, 47, p. 1−52, 1985.
- Street J.O. Carroll, Ruppert. A Note on Computing Robust Regression Estimates via Iteratively Reweighted Least Squares. The A, erican Statistican. Vol. 42, pp. 152−154, 1988.
- Melnik V., Schmulevich I., Egiazarian K., Astola J. Block-Mdian Pyramidal Transform: Analysis and Denoising Applications, 2001.
- Brown L.D., Cai T.T., Zhou H.H. Robust nonparametric estimation via wavelet median regression. Ann. Statist, Volume 36, Number 5, pp. 2055−2084, 2008.
- Rao C. R., Toutenburg H. Linear models: least squares and alternatives. New York: Springer-Verlag, 1999, 426 p.81 .Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. 755 с.
- Jawerth В., Sweldens W. An overview of wavelet based multiresolution analyses// SIAMRev. 1994. V.36. P.377−412.
- Mallat S. A theory for multiresolution signal decomposition: The wavelet representation, IEEE Trans. On Patt. Anal. And Mach. Intell., 11, 674−693 p.
- McQuarrie A., Chin-Ling Tsai. Regression and time Series Model Selection. London: World Scientific Publishing, 1998. 455 p.
- СеберДж. Линейный регрессионный анализ. М.: Мир, 1980. 456 с.
- Moulin P. Wavelet Thresholding Techniques for Power Spectrum Estimation. IEEE Transactions on Signal Processing, vol. 42, no. 11, pp. 31 263 136, 1994.
- Donoho D.L. De-noising by soft-thresholding, EEE Trans. Inform. Theory, 41, no. 3, pp. 613−627, 1995.
- Donoho D.L. Unconditional bases are optimal bases for data compression and for statistical estimation, Appl. Comput. Harmon. Anal. 1, no. 1, pp. 100−115, 1993.
- Ферстер Э., Ренц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. 303 с.
- Johnstone I.M., Silverman B.W. Wavelet threshold estimators for data with correlated noise. Journal of the Royal Statistical Society: Series В (Statistical Methodology), Volume 59, Number 2, pp. 319−351, 1997.
- Johnstone I.M. Wavelet shrinkage for correlated data and inverse problems: Adaptivity results. Statist. Sinica 9, pp. 51−84, 1999.
- Villemoes L.F. Reduction of correlated noise using a library of orthonormal bases. Information Theory, IEEE Transactions on, pp. 494−604, 2002.
- Lei Z., Chang-lin M. Testing heteroscedasticity in nonparametric regression models based on residual analysis. Appl. Math. J. Chinese. Univ. 23(3), pp. 25−272, 2008.94 .Кобзарь. А. И. Прикладная математическая статистика. M.: ФИЗМАТЛИТ, 816 с, 2006.
- Inclan С., Tiao G. Use of Cumulative Sums of squares for retrospective defection of change of variance// JASA, V.427, pp. 913−935, 1994.
- Daubechies /. Ortonormal bases of compactly supported wavelets. Commun. On Pure and Appl. Math., 41, pp. 909−996, 1988.
- Battle G. A block spin construction of ondelettes. Part I: Lemarier functions. Comm. Math. Phys., pp. 601−615, 1987.
- Ojanen H. Orthonormal compactly supported wavelets with optimal Sobolev regularity: numerical results. Applied and Computational Harmonic Analysis, Volume 10, Number 1, pp. 93−98, 2001.
- Monro D.M., Bassil B.E., Dickson G.J. Orthonormal wavelet with balanced uncertainty. IEEE International Conference on Image Processing, Vol. 2, pp. 581−584, 1996.
- Nason G.P. Choice of wavelet smoothness, primary resolution and threshold in wavelet shrinkage// Statistics and Computing. 2002. V.12. P.219−227.
- Goel P., Vidakovic B. Wavelet Transformations as Diversity Enhancers. Discussion Paper, 95−04, ISDS, Duke University.
- Маршалл А., Олкин И. Неравенства: теория мажоризации и ее приложения // М.: Мир. 1983. 574 с.
- Henry С. Thode Jr. Testing for normality // New York: State University of New York at Stony Brook. 2002, P. 479.
- Leslie D., Kohn R, Nott D. A general approach to heteroscedastic linear regression. Statistics and Computing, Volume 17, Number 2, pp. 131−146, 2007.
- Lo W.Y., Selesnick I.W. Wavelet-Domain Soft-Thresholding for Non-Stationary Noise. Image Processing, 2006 IEEE International Conference on Volume, Issue, 8−11 Oct. 2006 Pages: 1441−1444.
- Sachs R., MacGibbon B. Non-parametric curve estimation by wavelet thresholding with locally stationary errors. Scand. J. Statist., 27, pp. 475−499, 2000.
- Raw lings J., PantulaS., Dickey D. Applied Regression Analysis. Spinger 1989. 658 p.
- WO.Fan J., Yao Q. Efficient estimation of conditional variance functions in stochastic regression. Biometrika 85, pp. 645−660,1998.
- Hall P., Marron J. On variance estimation in nonparametric regression. Biometrika 77, pp.- 415−419, 1990.
- WA.Antoniadis A., Lavergne C. Variance function estimation in regression wavelet methods. Wavelets and Statistics. Lect. Notes Stat. Springer-Verlag. 103, pp. 31−42, 1995.
- Cai T, Wang L. Adaptive variance function estimation in heteroscedastic nonparametric regression. Ann. Statist. Volume 36, Number 5, pp. 2025−2054, 2008.11 в. Крамер Г. Математические методы статистики. — М.: Мир, 1975. — 648 с.
- Публикации по теме диссертации
- А1. Ореилко Н. И., Князева Т. Н. Адаптивное заполнение разрывов при обработке многомерных телеметрических данных// Известия СПбГЭТУ «ЛЭТИ». 2007. № 1. С. 58−64.
- А2. Орешко Н. И., Князева Т. Н. Очистка от шума траекторных данных при наличии гетероскедастических погрешностей// Известия СПбГЭТУ «ЛЭТИ». 2007. № 2. С. 31−40.
- A3. Орешко Н. И., Князева Т. Н. Вейвлет-технология анализа и очистки от шума сигналов и ее реализация в среде MatLab// Труды третьей всероссийской научной конференции «Проектирование инженерных и научных приложений в среде MatLab». 2007. С. 1450−1459.
- А4. Князева Т. Н., Орешко Н. И. Вейвлет-анализ и очистка от шума сигналов с использованием технологии взаимодействия MATLAB С MS
- VISUAL С++// Сборник докладов конференции «Технологии Microsoft в теории и практике программирования». 2008. С. 138−139.
- А6. Князева Т. Н., Орешко Н. И. Вейвлет-технология очистки от шума сигналов с использованием байесовских методов// Сборник докладов XI Международной конференции по мягким вычислениям и измерениям (SCM'2008), Том 1. 2008. С. 147−151.
- А9. T.N. Knyazeva, N.I. Oreshko. Wavelet Denoising of Experimental Data with Non-stationary Noise// Труды Международной конференции «Wavelets and Applications». 2009. P. 28−30.