Eurasian Publication Server

Eurasian Application for Invention № 201892256

BIBLIOGRAPHIC DATA

(11) Document Number

201892256

(21) Application Number

201892256

(22) Filling Date

2018.11.02

(51) IPC

G06F 16/11 (2006.01)
G06F 12/08 (2006.01)

(43)(13) Application Publication Date(s), Kind Code(s)

A1 2020.05.29 Issue No 05 title, specification

(31) Number(s) assigned to Priority Application(s)

2018137863

(32) Date(s) of filing of Priority Application(s)

2018.10.26

(33) Priority Application Office

RU

(71) Applicant(s)

ПУБЛИЧНОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО "СБЕРБАНК РОССИИ" (ПАО СБЕРБАНК) (RU)

(72) Inventor(s)

Шарануца Виталий Алексеевич, Булавин Алексей Александрович (RU)

(74) Attorney(s) or Agent(s)

Герасин Б.В. (RU)

(54) Title

СПОСОБ И СИСТЕМА КОМПЛЕКСНОГО УПРАВЛЕНИЯ БОЛЬШИМИ ДАННЫМИ

ABSTRACT [ENG]
(57) Заявленное изобретение относится к управлению большими объемами данных, в частности к системе и способу для их обработки и унифицированного хранения. Достигаемый технический результат совпадает с решаемой технической проблемой и заключается в повышении эффективности хранения больших объемов данных за счет применения распределенной архитектуры хранения с обеспечением обработки входных данных с целью их унификации. Заявленное изобретение осуществляется с помощью системы комплексного управления большими данными (Big Data), содержащей подсистему транспортировки и проверки входных данных (далее - TFS), подсистему загрузки внешних данных (далее - xStream), функционирующую на основании стандарта описания данных, в которой TFS осуществляет прием, проверку и передачу в xStream данных, поступающих от источников данных, причем TFS принимает данные в архивированном виде и осуществляет передачу данных по транспортному протоколу; xStream содержит подсистему загрузки файлов, подсистему обработки и архивирования данных, подсистему доступа к данным (далее - hCatalog), модуль управления загрузкой данных и модуль управления доступом, причем в xStream подсистема загрузки файлов осуществляет опрос TFS для передачи данных, поступивших от источников, в подсистему обработки и архивирования данных, причем источники данных предварительно регистрируются в подсистеме загрузки данных; подсистема загрузки данных выполняет первичное копирование файлов, поступающих от TFS, в подсистему обработки и архивирования; подсистема обработки и архивирования содержит области хранения данных, которые осуществляют структурированное хранение первичных данных, промежуточных данных и публикуемых данных; в область хранения первичных данных передаются файлы из подсистемы загрузки данных, которые соответствуют установленным параметрам архивирования и хранятся в первоначально заархивированном виде; подсистема обработки и архивирования выполнена с возможностью передачи в область промежуточных данных разархивированных первичных данных, преобразованных в формат parquet для дальнейших преобразований; в область публикуемых данных передаются подготовленные, преобразованные, унифицированные данные, приведенные к стандарту xStream, и из унифицированных данных области публикуемых данных формируется структурированный каталог для доступа к упомянутым данным посредством hCatalog.
Zoom in

Back New search
'; $("body").css({"cursor": "progress"}); $("div#"+fr).css({"width": "50%","flex":"0 0 50%"}); $("div#tr"+fr).append(loadtxt); $("div#tr"+fr).show(); } //$("div#trformula").hide(); //console.log($('#formula').html()); //getTranslateFromService("ru-en", $('#formula').html());