Евразийский сервер публикаций

Евразийская заявка № 201892256

Библиографические данные
(21)201892256 (13) A1
(22)2018.11.02

[ A ] [ B ] [ C ] [ D ] [ E ] [ F ] [ G ] [ H ]

Текущий раздел:


Документ опубликован 2020.05.29
Текущий бюллетень: 2020-05
Все публикации: 201892256

(51) G06F 16/11 (2006.01)
G06F 12/08(2006.01)
(43)A1 2020.05.29 Бюллетень № 05 тит.лист, описание
(31)2018137863
(32)2018.10.26
(33)RU
(71)ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" (ПАО СБЕРБАНК) (RU)
(72)Шарануца Виталий Алексеевич, Булавин Алексей Александрович (RU)
(74)Герасин Б.В. (RU)
(54)СПОСОБ И СИСТЕМА КОМПЛЕКСНОГО УПРАВЛЕНИЯ БОЛЬШИМИ ДАННЫМИ
Реферат [ENG]
(57) Заявленное изобретение относится к управлению большими объемами данных, в частности к системе и способу для их обработки и унифицированного хранения. Достигаемый технический результат совпадает с решаемой технической проблемой и заключается в повышении эффективности хранения больших объемов данных за счет применения распределенной архитектуры хранения с обеспечением обработки входных данных с целью их унификации. Заявленное изобретение осуществляется с помощью системы комплексного управления большими данными (Big Data), содержащей подсистему транспортировки и проверки входных данных (далее - TFS), подсистему загрузки внешних данных (далее - xStream), функционирующую на основании стандарта описания данных, в которой TFS осуществляет прием, проверку и передачу в xStream данных, поступающих от источников данных, причем TFS принимает данные в архивированном виде и осуществляет передачу данных по транспортному протоколу; xStream содержит подсистему загрузки файлов, подсистему обработки и архивирования данных, подсистему доступа к данным (далее - hCatalog), модуль управления загрузкой данных и модуль управления доступом, причем в xStream подсистема загрузки файлов осуществляет опрос TFS для передачи данных, поступивших от источников, в подсистему обработки и архивирования данных, причем источники данных предварительно регистрируются в подсистеме загрузки данных; подсистема загрузки данных выполняет первичное копирование файлов, поступающих от TFS, в подсистему обработки и архивирования; подсистема обработки и архивирования содержит области хранения данных, которые осуществляют структурированное хранение первичных данных, промежуточных данных и публикуемых данных; в область хранения первичных данных передаются файлы из подсистемы загрузки данных, которые соответствуют установленным параметрам архивирования и хранятся в первоначально заархивированном виде; подсистема обработки и архивирования выполнена с возможностью передачи в область промежуточных данных разархивированных первичных данных, преобразованных в формат parquet для дальнейших преобразований; в область публикуемых данных передаются подготовленные, преобразованные, унифицированные данные, приведенные к стандарту xStream, и из унифицированных данных области публикуемых данных формируется структурированный каталог для доступа к упомянутым данным посредством hCatalog.
Zoom in

Загрузка данных...