Скоро! Apache Kafka для разработки и архитектуры [Яндекс Практикум] [1/3 часть]

[SHAREWOOD]

Apache Kafka для разработки и архитектуры [Яндекс Практикум] [1/3 часть]​

Описание:

Знания Apache Kafka важны для тех, кто стремится улучшать масштабируемость и стабильность систем.

Для разработчиков на backend
Вы получите навыки построения масштабных, надежных и гибких систем реального времени обработки данных.

Для архитекторов
Вы научитесь разрабатывать распределенные системы с высокой степенью интеграции и обеспечивать целостность данных.

Для DevOps-инженеров
Вы изучите инструменты, упрощающие автоматизацию развертывания, настройки и мониторинга кластеров, что облегчит управление инфраструктурой.

Для инженеров по данным
Вы освоите создание конвейеров данных для передачи их из различных источников в системы хранения и обработки.

Этот курс подходит вам, если
Вы знаете один из языков: Java, Python или Golang.
Понимаете принципы работы с SQL и NoSQL базами данных.
Есть базовые знания об архитектуре распределенных систем.
Умеете работать с Linux.

Через 3 месяца вы сможете
Настроить Apache Kafka для своих нужд и оптимизировать производительность.
Работать с производителями и потребителями сообщений.
Обеспечивать надежность и отказоустойчивость систем.
Интегрировать Kafka с другими системами.
Проектировать и реализовывать потоковые пайплайны данных.
Управлять и настраивать мониторинг кластеров Kafka.

Технологии, которые вы будете использовать
Apache Kafka.
Kafka Connect.
Kafka Streams.
Интеграция Kafka с Apache Spark.
Интеграция Kafka с Apache Flink.
Интеграция Kafka с Apache Hadoop.
Интеграция Kafka с базами данных.
Kafka MirrorMaker.
Kafka REST Proxy.
Schema Registry.

Скрытая ссылка: Программа

Введение в Apache Kafka
Основные понятия и терминология.
Архитектура Kafka.
Установка и конфигурация Kafka-кластера.

Продюсеры и потребители
Создание и настройка продюсеров.
Создание и настройка потребителей.
Сериализация и десериализация данных.

Топики и партиции
Создание и настройка топиков.
Понимание роли партиций в масштабировании.
Репликация данных для обеспечения надежности.

Разворачивание базового кластера Kafka
Установка Kafka и ZooKeeper или Kraft.
Создание топиков и работа с сообщениями.

Kafka Streams
Введение в Kafka Streams.
Построение приложений обработки потоковых данных.
Агрегация, фильтрация и трансформация данных.

Kafka Connect
Основы Kafka Connect и Debezium.
Разработка коннекторов для интеграции с внешними системами.
Конфигурация и развертывание коннекторов.

Безопасность в Kafka
Аутентификация и авторизация.
Шифрование данных.
Настройка безопасности в Kafka-кластере.

Создание поточного пайплайна данных
Интеграция Kafka с базами данных.
Построение поточного пайплайна данных.

Администрирование Kafka
Мониторинг и управление Kafka-кластером.
Настройка производительности и оптимизация.
Траблшутинг и исправление ошибок.

Kafka в продакшене
Разворачивание Kafka в продакшен-среде.
Масштабирование и высокая доступность.
Резервное копирование и восстановление данных.

Интеграция Kafka с экосистемой Big Data
Интеграция с Apache Spark.
Интеграция с Apache Hadoop.
Примеры использования Kafka в проектах Big Data.

Финальный проект
Создание масштабируемого приложения обработки данных в реальном времени, используя Kafka, Kafka Streams и интеграцию с Apache Spark.

Скрытая ссылка

Материал «Apache Kafka для разработки и архитектуры [Яндекс Практикум] [1/3 часть]», возможно, скоро появится на SHAREWOOD.

Воспользуйтесь поиском, может быть, он уже опубликован.