Статья Netflix о Data Mesh - управление конвейером потоковой передачи данных.
#netflix #datamesh #dataops
@devopskaz
#netflix #datamesh #dataops
@devopskaz
Medium
Data Mesh — A Data Movement and Processing Platform @ Netflix
By Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad Sydorenko
Как там у Netflix? Энтузиасты провели исследование инженерных блогов Netflix и проектов с открытым исходным кодом и узнали, что у них под капотом.
Мобильные устройства и интернет: Netflix внедрил Swift и Kotlin для создания собственных мобильных приложений. Для своего веб-приложения он использует React.
Связь между интерфейсом и сервером: GraphQL.
Серверные службы: Netflix использует ZUUL, Eureka, среду Spring Boot и другие технологии.
Базы данных: Netflix использует кэш EV, Cassandra, CockroachDB и другие базы данных.
Обмен сообщениями/потоковое вещание: Netflix использует Apache Kafka и Fink для обмена сообщениями и потоковой передачи.
Хранение видео: Netflix использует S3 и Open Connect.
Обработка данных: Netflix использует Flink и Spark для обработки данных, которые затем визуализируются с помощью Tableau. Redshift используется для обработки информации структурированного хранилища данных.
CI/CD: JIRA, Confluence, PagerDuty, Jenkins, Gradle, Chaos Monkey, Spinnaker, Altas и другие.
#devops #netflix
@DevOpsKaz
Мобильные устройства и интернет: Netflix внедрил Swift и Kotlin для создания собственных мобильных приложений. Для своего веб-приложения он использует React.
Связь между интерфейсом и сервером: GraphQL.
Серверные службы: Netflix использует ZUUL, Eureka, среду Spring Boot и другие технологии.
Базы данных: Netflix использует кэш EV, Cassandra, CockroachDB и другие базы данных.
Обмен сообщениями/потоковое вещание: Netflix использует Apache Kafka и Fink для обмена сообщениями и потоковой передачи.
Хранение видео: Netflix использует S3 и Open Connect.
Обработка данных: Netflix использует Flink и Spark для обработки данных, которые затем визуализируются с помощью Tableau. Redshift используется для обработки информации структурированного хранилища данных.
CI/CD: JIRA, Confluence, PagerDuty, Jenkins, Gradle, Chaos Monkey, Spinnaker, Altas и другие.
#devops #netflix
@DevOpsKaz
Если коротко: 100 Гб/с шифрованного трафика с каждого сервера.
FreeBSD-current помогает находить и исправлять ошибки гораздо эффективнее, чем при использовании более старой версии FreeBSD-stable. В докладе рассказывают о команде, о том, как мониторят FreeBSD-current, о достижениях в области производительности.
А в конце про то, как они обнаружили и исправили очень интересную ошибку в обновленной версии FreeBSD, которая снижала производительность на 20%.
👉 Смотрите доклад полностью
#devops #netflix #freebsd
@DevOpsKaz
Please open Telegram to view this post
VIEW IN TELEGRAM