През изминалата година Microsoft непрекъснато отваря и създава проекти с отворен код с което е започнало да оставя настрана това голямо съперничество със света с отворен код (или поне така изглежда).
И не трябва да омаловажава дейността му, но за разлика от последното десетилетие, когато имаше обявена война с отворен код, нещата се промениха поне през последните години. Като през последните дни Microsoft представи на общността, която е взела решение да отвори пусна мащабен проект за обработка на данни, Data Accelerator, който първоначално се използва вътрешно.
От развитието си през 2017 г. проектът се прилага в голям мащаб към различни работни канали на продукти на Microsoft.
Относно ускорителя на данни
Data Accelerator стартира през 2017 г. като мащабен проект за обработка на данни в отдела за разработчици на MicrosoftТова най-накрая стигна до Apache Spark поради мащаб и скорост.
Data Accelerator е нещо повече от просто канал между EventHub и базата данни.
Позволява на потребителите да прекрояват входящите събития, докато продължават да излъчват, и след това да насочват различни части от едно и също събитие към различни хранилища за данни, като същевременно осигурява мониторинг на здравето и сигнали за цялото състояние на тръбопровода.
Data Accelerator също предоставя потребителски интерфейс за конфигуриране и опит за проектиране на правила / заявки, който позволява на потребителите да стартират и да работят, без да се налага да пишат какъвто и да е код.
Освен това, всеки, който извършва обработка на данни за предаване обикновено трябва да използвате плъзгащ се прозорец за обработка на данните, или за обработка на закъснението, за да стигнете до данните, или за натрупване на данни с течение на времето.
функции
Ускорител на данни поддържа и опростява използването на тези разширени функции.
Според официалния блог на Microsoft с отворен код, някои методи за ускоряване на данни улесняват създаването на потоци в Apache Spark:
Включи и играй: ви позволява лесно да конфигурирате входни източници и изходни приемници за създаване на тръбопроводи за минути.
Data Accelerator поддържа извличане на данни от Eventhub и IoThub и поддържа изтегляне на данни в Azure blobs, CosmosDB, Eventhub и др.
Опит без код: поддържа възможността за конфигуриране на сигнали и обработка на данни, без да се пише код.
С опита на Rule Designer можете да посочите проста и обобщена обработка на данни, маркиране и сигнали.
SQL заявки: позволява писане на сложна обработка в SQL, няма нужда да се работи в Scala.
Вграденият модел на разширяемост също поддържа дефинирани от потребителя функции и използва функционалността на Azure, например за стрийминг в ML.
Консултации в реално време: Спестява време за обработка на настройка и тест на тръба, като работи срещу входящи проби от данни и валидира вашите заявки за секунди.
И накрая, Microsoft спомена, че ускорителят на данни поддържа цикъл за бърза проверка на цикли за тестване на разработки, където заявките за извадкови локални събития могат да бъдат коригирани итеративно, за да бъдат достъпни преди разполагането, което може да спести много време за тестова обработка на работния поток.
Data Accelerator се използва ежедневно от отдела за разработчици на Microsoft и ще продължи да прави подобрения на веригата инструменти с течение на времето, но ние осъзнаваме, че наборът от инструменти може да направи много повече, ако е необходимо.
Data Accelerator предлага възможност на всеки, който желае да разреши и опрости използването на тези разширени функции.
Надяваме се, че отваряйки този проект, някои от вас ще намерят ускорителя на данни още по-полезен.
Ако искате да получите повече информация За кода на ускорителя на данни можете да посетите съобщението в блога на Microsoft с отворен код.