В последние несколько лет многие предприятия создают хранилища (и киоски) данных, чтобы выполнять над ними приложения. Используемые технологии хранилищ данных опираются, прежде всего, на средства ETL (extract-transform-load - <<извлечение-преобразование-загрузка>>), моделирование и проектирование баз данных, а также на системы реляционных баз данных. Сегодняшним хранилищам данных присущи три основных недостатка. Это неудовлетворительная обработка <<грязных>> данных, неудовлетворительные производительность и масштабируемость при выполнении операций, основанных на сканировании, а также неудовлетворительный выбор источников данных для загрузки в хранилище данных. В статье анализируются эти три проблемные области и приводятся основные черты подходов к решению проблем.

Руководству компаний, чтобы быстро и точно оценивать ситуацию, принимать верные решения и прогнозировать развитие бизнеса, нужны всего несколько ключевых цифр. Предоставлять их должны системы хранилищ данных

В этом номере мы публикуем переводы трех статей из декабрьского выпуска журнала Computer, тематика которого (в кои-то веки!) посвящена системам управления данными, а именно, хранилищам данных и системам оперативной аналитической обработки (OLAP — online analytical processing), а также, отчасти, технологии добычи данных (data mining). Вот почему из своего ежемесячного обзора этого журнала я решил выделить более связную заметку, представляющую собой некоторый комментарий к публикуемым статьям (о других материалах декабрьского номера Computer можно прочитать, как обычно, в рубрике «Книжная полка ОС» в статье «Навстречу вызову инженерных систем»). Без сомнения, редакция журнала Computer своим декабрьским выпуском сделала всем читателям хороший новогодний подарок. Давно не получал такого удовольствия от чтения этого журнала, чего и вам желаю.

Эффективность использования корпоративных данных напрямую зависит от структуры хранилища данных.
В телекоммуникационной отрасли наибольшим спросом, как правило, пользуется информация, накапливаемая биллинговыми системами, однако часто при построении хранилища данных в него также поступают сведения из других, в первую очередь финансовых, систем.
Существующий способ хранения и представления данных не позволяет аналитикам воспользоваться накопленной информацией и требует преобразования данных и перенесения их в отдельное "вместилище". 

Введение
       Во все времена проблема использования большого объема накопленных данных являлась ключевой во многих организациях. В настоящее время особенно много усилий и средств прилагается для регистрации различных видов деятельности организации и хранения этой информации. При этом большая часть этой информации не может быть использована теми, кому она более всего нужна - аналитиками и руководителями. Чаще всего эта информация доступна лишь тем подразделениям, в которых она собирается.
       Проблемы автоматизации предприятий часто обсуждаются в прессе, однако необходимость публикаций на эту тему не теряет актуальности. Это определяется в первую очередь тенденциями развития и нуждами мирового отечественного бизнеса, которые подгоняют друг друга в бешеной гонке.
       Необходимо разобраться во множестве терминов и технических направлений, связанных с хранилищами данных и программных продуктов, которые их поддерживают. Уже много лет говорится о комплексной автоматизации предприятий, что подразумевает перевод на информационные технологии практически всех направлений деятельности в бизнесе, госструктурах, образовании, систему обслуживания и т.д.
       В задачу автоматизации входят проблемы, начиная от хранения документов и заканчивая оперативным обслуживанием клиентов. При этом, почти все производители программного обеспечения стремятся ввести свою терминологию и по-своему расставить приоритеты в общей структуре информационного комплекса. Однако, заказчик, ориентируясь на особенности своей организации должен также иметь существенное влияние на принципы построения информационного комплекса для своей организации и сам выбирать необходимые программные продукты. Для этого заказчик должен быть квалифицированным.

Некоторые крупные организации стремятся к созданию эффективной общей базы данных, но спроектировать и реализовать единое хранилище, отвечающее всем потребностям, они не в состоянии. Такая база требует большой мощности и обходится очень дорого. Число пользователей в системе увеличивается, и борьба за информацию ограничивает доступ и создает задержки.
Одно из решений - создать витрины данных (Data Marts), которые обслуживают потребности конкретных отделов компании и в будущем могут быть интегрированы в единое хранилище.