Пселтис Э Потоковая обработка данных. Конвейер реального времени

Начните работу с Apache Flink, фреймворком с открытым исходным кодом, на котором основаны многие крупнейшие в мире системы для обработки потоковых данных. В данной книге вы изучите фундаментальные понятия параллельной потоковой обработки и узнаете, чем эта технология отличается от традиционной пакетной обработки данных • Ф. Уэске и В. Калаври, занятые в проекте Apache Flink с первых дней, покажут вам, как создавать масштабируемые потоковые приложения с помощью API Flink DataStream, а также непрерывно выполнять и поддерживать эти приложения в операционных средах • Потоковая обработка идеально подходит для многих задач: подготовка данных с малой задержкой, потоковая аналитика и информационные панели в реальном времени, раннее оповещение и обнаружение мошенничества

В этой книге представлены теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. В ней рассматривается лямбда-архитектура, предназначенная для построения подобных систем, и на примере конкретного веб-приложения поясняются особенности реализации всех уровней этой архитектуры с помощью инструментальных средств вроде Hadoop, Cassandra и Storm. Для чтения этой книги не требуется предварительное знакомство с особенностями анализа крупномасштабных данных или баз данных типа NoSQL, хотя полезно знать о традиционных базах данных. Книга рассчитана на читателей, стремящихся освоить принципы построения систем больших данных и внедрить их на практике

В почти столетнюю биографию писателя, публициста, общественного деятеля Даниила Гранина уместилось множество событий - первые пятилетки и Великая Отечественная война, хрущевская оттепель и горбачевская перестройка, споры "физиков" и "лириков", распад Советского Союза и трудное рождение новой России. Всё это Даниил Александрович сумел осмыслить, прочувствовать и воплотить в своих произведениях. О чем бы он ни писал - о жизни и труде ученых, о пережитых им трагических годах войны и блокады или о далеком прошлом - в центре его внимания всегда оставались проблемы морали, нравственный выбор, стоящий перед каждым человеком. Сам он не раз делал этот выбор, выступая за справедливость и милосердие, за сохранение исторического облика своего родного Ленинграда-Петербурга

При работе любого enterprise-приложения образуются данные: это файлы логов, метрики, информация об активности пользователей, исходящие сообщения и т.п. Правильные манипуляции над всеми этими данными не менее важны, чем сами данные. Если вы - архитектор, разработчик или выпускающий инженер, желающий решать подобные проблемы, но вы пока не знакомы с Apache Kafka, то именно из этой замечательной книги вы узнаете, как работать с этой свободной потоковой платформой, позволяющей обрабатывать очереди данных в реальном времени

Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания конвейеров. Простота пользовательского интерфейса, возможности plug-and-play и гибкие сценарии Python оптимизируют решение любых задач, касающихся управления данными • Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных. Вы изучите наиболее распространенные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера

Данная книга описывает разработку и реализацию программного обеспечения распределенных систем реального времени с использованием подхода «снизу вверх». Освещаются проблемы, встречающиеся в программных проектах систем реального времени; представлен новый метод простого и эффективного выполнения всех этапов разработки программного обеспечения • Рассматриваемые темы • основы систем реального времени, включая архитектуру реального времени и распределенные системы реального времени • операционная система реального времени, охватывающая концепции задач, памяти и управления вводом/выводом • подробное пошаговое построение ядра операционной системы реального времени, которое затем используется для тестирования различных реализаций более высокого уровня • периодическое и апериодическое планирование, управление ресурсами и распределенное планирование • процесс разработки приложений – от методов проектирования высокого уровня до деталей проектирования и реализации низкого уровня • языки программирования в реальном времени и методы отказоустойчивости

Данная книга описывает процесс создания распределенных, параллельных систем и систем реального времени с точки зрения проектирования архитектуры системы. Подробно рассмотрены ключевые вопросы, возникающие в процессе разработки: управление временем отклика, синхронизация, актуальность и непротиворечивость данных. На многочисленных примерах автор показывает, как с помощью одной и той же универсальной нотации UML описать такие, казалось бы, далекие области, как автоматизированная банковская система, бортовой компьютер автомобиля и система управления лифтами в много-этажном здании – без привязки к какой-либо программной или аппаратной платформе и языку программирования. Издание будет чрезвычайно полезно аналитикам, менеджерам предприятий и информационных систем, руководителям и архитекторам проектов, а также программистам, которые имеют дело с приложениями UML: книга поможет изложить свои идеи так, чтобы можно было реализовать проект, практически не зная той предметной области, для которой пишется система

Данная книга описывает процесс создания распределенных, параллельных систем и систем реального времени с точки зрения проектирования архитектуры системы. Подробно рассмотрены ключевые вопросы, возникающие в процессе разработки: управление временем отклика, синхронизация, актуальность и непротиворечивость данных. На многочисленных примерах автор показывает, как с помощью одной и той же универсальной нотации UML описать такие, казалось бы, далекие области, как автоматизированная банковская система, бортовой компьютер автомобиля и система управления лифтами в многоэтажном здании - без привязки к какой-либо программной или аппаратной платформе и языку программирования • Издание будет чрезвычайно полезно аналитикам, менеджерам предприятий и информационных систем, руководителям и архитекторам проектов, а также программистам, которые имеют дело с приложениями UML: книга поможет изложить свои идеи так, чтобы молено было реализовать проект, практически не зная той предметной области, для которой пишется система

Узнайте как реализовать потоковую обработку на платформе Kafka! В этой книге рассмотрены реальные примеры сбора, преобразования и агрегации данных. Показана работа со множественными процессорами, обработка событий в режиме реального времени. Вы узнаете даже о потоковом SQL с KSQL! Эксплуатация и тестирование, мониторинг и отладка современных распределенных систем - вы получите всю необходимую информацию о самых сложных аспектах потоковой обработки. Kafka Streams API - ключ к эффективному применению Kafka на практике

В данном учебном пособии рассматриваются некоторые методы и алгоритмы обработки данных, последовательность решения задач обработки и анализа данных для создания модели поведения объекта с учетом всех компонент его математической модели. Описываются виды технологических методов использования программно-аппаратных средств для решения задач в этой области. Рассматриваются алгоритмы распределений, регрессий временных рядов, их преобразование с целью получения математических моделей и прогноза поведения информационно-экономических систем (объектов). Соответствует требованиям Федерального государственного образовательного стандарта высшего образования последнего поколения. Для студентов экономических специальностей, специалистов, аспирантов