ГлавнаяГлавная / Новости, 201707Новости, 201707 / В Apache Spark появился механизм обработки потоков данных в памятиВ Apache Spark появился механизм обработки потоков данных в памяти

В Apache Spark появился механизм обработки потоков данных в памяти

В Apache Foundation объявили о выходе версии 2.2 фреймворка распределенной обработки данных Apache Spark. Одной из главных особенностей обновления стал механизм Structured Streaming, позволяющий обрабатывать потоки данных с использованием стандартных средств Spark. До этого Structured Streaming находился в статусе экспериментального релиза.


КиТ Будь в СЕТИ!

Будь в СЕТИ! Каталог социальных сетей :: Будь в СЕТИ! - Добавить в избранное KiT - Keep-inTouch :: RSS-лента

Сети :: [Профессиональные] | [Зарубежные] | [Тематические] | [Молодежные] | [Детские] | [Медиа (игры, развлечения)] | [Знакомства] | [Купоны] | [Прочее]

Категории (метки) :: Авто | Музыка | Книги | Хобби | Профессии | Сообщества | Семья | Бизнес | Регионы | Спорт | * Статусы

Среди его особенностей — возможность обмена данными с распределенной шиной передачи сообщений Apache Kafka, которую раньше обычно использовали с другим фреймворком обработки потоков, Apache Storm, имеющим более сложный API, чем у Spark.

MLib, встроенный набор библиотек машинного обучения Spark, пополнился функциями для обработки срезов данных с помощью алгоритмов Google PageRank и мультиномиальной логистической регрессии (последний позволяет, например, строить предположения о том, какой из популярных в данное время фильмов скорее всего понравится представителю той или иной демографической категории). В Spark также существенно расширена поддержка R, языка программирования для статистической обработки данных.



«Вконтакте» недоступна для всех пользователей. Причина сбоя

Социальная сеть «Вконтакте» переживает масштабный сбой. Первые проблемы пользователи начали обнаруживать около 14:50 по московскому времени, когда оказались недоступны любые сервисы ресурса. Пользователей встречала надпись «К сожалению, сервер времен...

Telegram привлек на первом этапе ICO 850 миллионов долларов

Мессенджер Telegram привлек 850 млн долл. на ICO, пишут «Ведомости». По информации издания, инвесторы купили права на внутреннюю криптовалюту проекта (Grams), но пока не будет запущена блокчейн-платформа TON, они обладают просто ценными бумагами. Со...

В Windows 10 появилась кнопка «разгона» ПК до максимума

В последних тестовых сборках ОС Windows 10 компания Microsoft реализовала новую схему питания Ultimate Performance, применение которой разгоняет производительность компьютера до максимума. Как сообщает компания в своем блоге, этот режим ориентирован ...

«Цифровая экономика» включит в себя транспорт и здравоохранение

Совет при Автономной некоммерческой организации «Цифровая экономика» рекомендовал включить программу два новых направления - цифровой транспорт и здравоохранение. Еще три заявки («Умный город», «Цифровое сельское хозяйство» и «Цифровое строите...

Основатель Qiwi вложил $17 млн в Telegram

Основатель и генеральный директор компании Qiwi Сергей Солонин принял участие в ICO (первичное размещение токенов — новых единиц криптовалют) мессенджера Telegram. Об этом он сам рассказал, выступая на инвестиционном форуме, проходящем в Сочи. ...

Комментарии

Нравится
Счетчики
хостинг от .masterhost Яндекс.Метрика

Главная | Новости | КАТАЛОГ | Контакты