ДМК-Пресс Apache Airflow и конвейеры обработки данных Харенслак Бас, Руйтер Джулиан де

Эффективная обработка данных • Знакомство с особенностями MySQL 8 и методами их использования для обработки больших данных • Открытие новых возможностей MySQL 8 по управлению структурированными и неструктурированными большими данными • Интеграция MySQL 8 и Hadoop с целью эффективной об-работки данных • Изучение различных видов соединений и объединений для эффективной обработки больших данных • Ускорение обработки больших данных • Реализация высокодоступных решений для больших данных • Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных • В этой книге вы познакомитесь с тем, как администраторы баз данных могли бы использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами

В книге представлено подробное описание распределенных и параллельных баз данных с учетом новейших технологий. Авторы затрагивают такие темы, как проектирование распределенных и параллельных БД, контроль распределенных данных, распределенная обработка запросов и транзакций, интеграция баз данных. Отдельная глава посвящена обработке больших данных (в частности, обсуждаются распределенные системы хранения, потоковая обработка данных, платформы MapReduce и Spark, анализ графов и озера данных). Обработка веб-данных рассматривается с акцентом на технологию RDF, получившую широкое распространение • В конце глав 2–12 приводятся упражнения, позволяющие закрепить теоретический материал. На сопроводительном сайте читатели найдут информацию об основах реляционных баз данных, обработке запросов, управлении транзакциями и компьютерных сетях

Это классическое руководство посвящено применению нейросетевых моделей к обработке данных естественного языка (Natural Language Processing – NLP) • В первой половине книги рассматриваются основы машинного обучения с учителем на лингвистических данных и применение векторных, а не символических представлений слов. Обсуждается также абстракция графа вычислений, которая позволяет легко определять и обучать произвольные нейронные сети и лежит в основе современных программных нейросетевых библиотек • Во второй части вводятся более специализированные нейросетевые архитектуры, включая одномерные сверточные сети, рекуррентные нейронные сети, модели условной генерации и модели с механизмом внимания. Эти архитектуры и методы – движущая сила современных алгоритмов машинного перевода, синтаксического анализа и многих других приложений

Надежный обмен сообщениями между серверами является сердцем распределенного приложения. Apache Pulsar — это гибкая платформа обмена сообщениями в реальном времени, созданная для работы в Kubernetes и обеспечивающая масштабируемость и отказоустойчивость, необходимые для облачных систем. Pulsar поддерживает как потоковую передачу, так и организацию очередей сообщений, и, в отличие от других решений, он может обмениваться данными по нескольким протоколам, включая MQTT, AMQP и двоичный протокол Kafka • Книга научит вас создавать масштабируемые системы потокового обмена сообщениями с использованием Pulsar. Вы начнете с быстрого ознакомления с корпоративными системами обмена сообщениями и откроете для себя уникальные преимущества Pulsar. Следуя четким описаниям и выполняя практические примеры, вы будете использовать фреймворк Pulsar Functions для разработки приложения на основе микросервисов

Сегодня язык R является безусловным лидером среди свободно распространяемых систем статистического анализа. Ведущие университеты мира, аналитики крупнейших компаний и исследовательских центров регулярно используют R при проведении научно-технических расчетов и создании крупных информационных проектов. Широкое преподавание статистики на базе этой системы и всемерная поддержка научным сообществом обусловили то, что приведение скриптов кода на языке R постепенно становится общепризнанным стандартом как: в журнальных публикациях, так и при неформальном общении ученых всего мира. Настоящая книга дополняет небольшую (пока) коллекцию работ по R на русском языке, обобщая и значительно расширяя совокупность методических сообщений, опубликованных ранее одним из авторов

Анализ корпоративных данных начинается с чтения, фильтрации и объединения файлов и потоков из многих источников. Механизм обработки данных Spark способен обрабатывать эти разнообразные объемы информации как признанный лидер в этой области, обеспечивая в 100 раз большую скорость, чем например Hadoop. Благодаря поддержке SQL, интуитивно понятному интерфейсу и простому и ясному многоязыковому API вы можете использовать Spark без глубокого изучения новой сложной экосистемы. Эта книга научит вас создавать полноценные и завершенные аналитические приложения. В качестве примера используется полный конвейер обработки данных, поступающих со спутников NASA • Для чтения этой книги не требуется какой-либо предварительный опыт работы со Spark, Scala или Hadoop

Данная книга поможет программистам на Python, инженерам и исследователям данных научиться применять фреймворк распределенных вычислений с открытым исходным кодом Ray и разворачивать вычислительные кластеры Ray. Ray может использоваться для структурирования и выполнения крупномасштабных программ машинного обучения. Распределенные вычисления отличаются своей сложностью, но с помощью Ray вы легко приступите к работе • Прочитав книгу, вы научитесь • - создавать свои первые распределенные приложения с помощью ядра фреймворка – Ray Core • - оптимизировать гиперпараметры с помощью библиотеки Ray Tune • - применять библиотеку Ray RLlib для обучения с подкреплением • - управлять распределенной тренировкой моделей с помощью библиотеки Ray Train • - применять Ray для обработки данных с помощью библиотеки Ray Data • - работать с кластерами Ray и подачей моделей в качестве служб с помощью библиотеки Ray Serve • - создавать сквозные приложения машинного обучения с помощью инструментария Ray AIR

Данное пособие предназначено для первоначального ознакомления с элементной базой и функциональными типовыми узлами микропроцессорных систем. В нем описываются ключевые и логические элементы, комбинационные устройства, триггеры, регистры, счетчики, микросхемы памяти. Большое внимание уделено усилителям и аналого-цифровым устройствам, без которых не может обойтись процессор при общении с внешними датчиками • Главной особенностью пособия, ориентированного на самостоятельное усвоение материала, является попытка совместить изучение схемотехнической аппаратуры с практическими приемами подключения ее к однокристальной вычислительной машине (ОВМ), являющейся ядром современных систем обработки данных. В ряде случае приведены программы, программно-реализующие схемотехнические функции и позволяющие исключить или упростить внешнюю аппаратуру

Начните работу с Apache Flink, фреймворком с открытым исходным кодом, на котором основаны многие крупнейшие в мире системы для обработки потоковых данных. В данной книге вы изучите фундаментальные понятия параллельной потоковой обработки и узнаете, чем эта технология отличается от традиционной пакетной обработки данных • Ф. Уэске и В. Калаври, занятые в проекте Apache Flink с первых дней, покажут вам, как создавать масштабируемые потоковые приложения с помощью API Flink DataStream, а также непрерывно выполнять и поддерживать эти приложения в операционных средах • Потоковая обработка идеально подходит для многих задач: подготовка данных с малой задержкой, потоковая аналитика и информационные панели в реальном времени, раннее оповещение и обнаружение мошенничества

Библиотека pandas - популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, - начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации • Издание предназначено всем разработчикам на языке Python, интересующимся обработкой данных

Пишите быстрые, мощные, энергоэффективные программы, легко масштабируемые под обработку огромных объемов данных. Параллельное программирование позволяет распределять задачи обработки данных между несколькими процессорами, существенно повышая производительность. В книге рассказывается, как с минимальными трудозатратами повысить эффективность ваших программ. Вы научитесь оценивать аппаратные архитектуры и работать со стандартными инструментами отрасли, такими как OpenMP и MPI, освоите структуры данных и алгоритмы, подходящие для высокопроизводительных вычислений, узнаете, как экономить энергию на наладонных устройствах, и даже запустите масштабную симуляцию цунами на батарее из GPU-процессоров. Издание предназначено для опытных программистов, владеющих языком высокопроизводительных вычислений, таким как C, C++ или Fortran

Книга представляет собой практическое руководство по разработке систем управления, сбора и обработки данных с применением инструментальной среды проектирования LabVIEW • Материал книги ориентирован на инженеров-практиков и включает примеры решения типовых задач измерения, анализа и цифрового синтеза непрерывных и дискретных сигналов. Значительная часть материала книги посвящена разработке аппаратно-программных интерфейсов многофункциональных модулей обработки данных с внешним оборудованием. В книге также затронуты практические аспекты создания распределенных систем управления на базе последовательных интерфейсов и протоколов Интернет • Книга будет полезна инженерам-практикам и разработчикам систем управления и сбора данных, а также всем желающим усвоить практические навыки проектирования подобных систем в среде LabVIEW