хранилища+данных


 * Хранилище данных** (англ. //Data Warehouse//) — предметно-ориентированная информационная корпоративная база данных, специально разработанная и предназначенная для подготовки отчётов, анализа бизнес-процессов с целью поддержки принятия решений в организации. Строится на базе клиент-серверной архитектуры, реляционной СУБД и утилит поддержки принятия решений . Данные, поступающие в хранилище данных, становятся доступны только для чтения. Данные из промышленной OLTP-системы копируются в хранилище данных таким образом, чтобы построение отчётов и OLAP-анализ не использовал ресурсы промышленной системы и не нарушал её стабильность. Данные загружаются в хранилище с определённой периодичностью, поэтому актуальность данных несколько отстает от OLTP-системы.

Принципы организации хранилища

 * 1) //Проблемно-предметная ориентация.// Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют.
 * 2) //Интегрированность//. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса.
 * 3) //Некорректируемость//. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются.
 * 4) //Зависимость от времени//. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени

Процессы работы с данными
Источниками данных могут быть: Источники данных классифицируются: Операции с данными: Вся эта информация используется в словаре метаданных. В словарь метаданных автоматически включаются словари источников данных. Здесь же форматы данных для их последующего согласования, периодичность пополнения данных, согласованность во времени. Задача словаря метаданных состоит в том, чтобы освободить разработчика от необходимости стандартизировать источники данных. Создание хранилищ данных не должно противоречить действующим системам сбора и обработки информации. Специальные компоненты словарей должны обеспечивать своевременное извлечение из словарей и обеспечить преобразование к единому формату на основе словаря метаданных. Логическая структура данных хранилища данных отличается от структуры данных источников данных. Для разработки эффективного процесса преобразования необходима хорошо проработанная модель корпоративных данных и модель технологии принятия решений. Данные для пользователя удобно представлять в многоразмерных БД, где в качестве размерности могут выступать время, цена или географический регион. Кроме извлечения данных из БД, принятия решений важен процесс извлечения знаний, в соответствии с информационными потребностями пользователя. С точки зрения пользователя в процессе извлечения знаний из БД должны решаться след. преобразования: данные → информация → знания → полученные решения.
 * 1) Традиционные системы регистрации операций (БД)
 * 2) Отдельные документы
 * 3) Наборы данных
 * 1) Территориальное и административное размещение.
 * 2) Степень достоверности.
 * 3) Частота обновляемости.
 * 4) Система хранения и управления данными.
 * 1) Извлечение – перемещение информации от источников данных в отдельную БД, приведение их к единому формату.
 * 2) Преобразование – подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
 * 3) Загрузка – помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих.
 * 4) Анализ – OLAP, Data Mining, Reporting и т. д.
 * 5) Представление результатов анализа.

Ссылки
1. [|Хранилища данных] 2. [|Создание систем поддержки принятия решений на основе хранилищ данных] 3. [|Видеокурс по хранилищам данных]