Это совокупность данных, которые концептуально:
- • структурированы и имеют оба компонента ТД или метода доступа;
- • наполовину структурированы и имеют один ТД или метод доступа к значениям;
- • неструктурированы и имеют набор данных неодинаковой природы.
Такие данные представляются в форматах, основанных на XML и пространственных зрительных образах, отчетах. Эти данные накапливаются как большие объемы нереляционных и неструктурированных данных. Они интегрируются с существующими приложениями, соответствуют нормативным требованиям и расширяют возможности для пользователя при работе с информационными системами. Стандарт формального описания неструктурированных ТД еще не существует. К таким ТД относятся и большие данные.
Термин «большие данные» распространяется и на наборы данных, размер которых превосходит возможности типовых БД по занесению, хранению, управлению и анализу информации. Он определяет анализ больших объемов данных и их управление.
Согласно отчету McKinsey of Institute Big Data — это новый рубеж для инноваций, конкуренции и производительности больших данных.
Мировые репозитарии данных постоянно растут. В отчете аналитической компании IDC (Digital Universe Study) «Исследование цифровой вселенной, 2011» и компании ЕМС предсказывалось, что общий мировой объем созданных и реплицированных данных составляет около 1,8 зеттабайта (1,8 трлн гигабайт) — примерно в 9 раз больше того, что было создано ранее.
Такие данные предполагают больше, чем просто анализ огромных объемов информации, поскольку они в основном представлены в формате, плохо соответствующем традиционному структурированному формату БД. К ним относятся веб-журналы, видеозаписи, текстовые документы, машинный код или, например, геопространственные данные и др. Большие данные хранятся во множестве разнообразных хранилищ. Корпорации могут иметь доступ к ним, но не иметь необходимых инструментов, чтобы установить взаимосвязи между этими данными. По прогнозам, количество данных на планете будет удваиваться каждые два года вплоть до 2020 г. Традиционные методы анализа информации не могут удовлетворять проблемам увеличения объемов данных, их накопления и обновления, что приводит к необходимости создавать технологии больших данных и формальные методы работы с ними.
