Евразийский сервер публикаций

Евразийская заявка на изобретение № 201892256

Библиографические данные

(11) Номер патентного документа

201892256

(21) Номер евразийской заявки

201892256

(22) Дата подачи евразийской заявки

2018.11.02

(51) Индексы Международной патентной классификации

G06F 16/11 (2006.01)
G06F 12/08 (2006.01)

(43)(13) Дата публикации евразийской заявки, код вида документа

A1 2020.05.29 Бюллетень № 05 тит.лист, описание

(31) Номер заявки, на основании которой испрашивается приоритет

2018137863

(32) Дата подачи заявки, на основании которой испрашивается приоритет

2018.10.26

(33) Код страны, идентифицирующий ведомство или организацию, которая присвоила номер заявки, на основании которой испрашивается приоритет

RU

(71) Сведения о заявителе(ях)

ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" (ПАО СБЕРБАНК) (RU)

(72) Сведения об изобретателе(ях)

Шарануца Виталий Алексеевич, Булавин Алексей Александрович (RU)

(74) Сведения о представителе(ях)
или патентном поверенном

Герасин Б.В. (RU)

(54) Название изобретения

СПОСОБ И СИСТЕМА КОМПЛЕКСНОГО УПРАВЛЕНИЯ БОЛЬШИМИ ДАННЫМИ

Реферат [ENG]
(57) Заявленное изобретение относится к управлению большими объемами данных, в частности к системе и способу для их обработки и унифицированного хранения. Достигаемый технический результат совпадает с решаемой технической проблемой и заключается в повышении эффективности хранения больших объемов данных за счет применения распределенной архитектуры хранения с обеспечением обработки входных данных с целью их унификации. Заявленное изобретение осуществляется с помощью системы комплексного управления большими данными (Big Data), содержащей подсистему транспортировки и проверки входных данных (далее - TFS), подсистему загрузки внешних данных (далее - xStream), функционирующую на основании стандарта описания данных, в которой TFS осуществляет прием, проверку и передачу в xStream данных, поступающих от источников данных, причем TFS принимает данные в архивированном виде и осуществляет передачу данных по транспортному протоколу; xStream содержит подсистему загрузки файлов, подсистему обработки и архивирования данных, подсистему доступа к данным (далее - hCatalog), модуль управления загрузкой данных и модуль управления доступом, причем в xStream подсистема загрузки файлов осуществляет опрос TFS для передачи данных, поступивших от источников, в подсистему обработки и архивирования данных, причем источники данных предварительно регистрируются в подсистеме загрузки данных; подсистема загрузки данных выполняет первичное копирование файлов, поступающих от TFS, в подсистему обработки и архивирования; подсистема обработки и архивирования содержит области хранения данных, которые осуществляют структурированное хранение первичных данных, промежуточных данных и публикуемых данных; в область хранения первичных данных передаются файлы из подсистемы загрузки данных, которые соответствуют установленным параметрам архивирования и хранятся в первоначально заархивированном виде; подсистема обработки и архивирования выполнена с возможностью передачи в область промежуточных данных разархивированных первичных данных, преобразованных в формат parquet для дальнейших преобразований; в область публикуемых данных передаются подготовленные, преобразованные, унифицированные данные, приведенные к стандарту xStream, и из унифицированных данных области публикуемых данных формируется структурированный каталог для доступа к упомянутым данным посредством hCatalog.
Zoom in

Загрузка данных...


Назад Новый поиск