CatOps
5.75K subscribers
94 photos
4 videos
19 files
2.21K links
DevOps and other issues by Yurii Rochniak (@grem1in) - SRE @ Preply && Maksym Vlasov (@MaxymVlasov) - Engineer @ Star. Opinions on our own.

We do not post ads including event announcements. Please, do not bother us with such requests!
Download Telegram
NewReleases отправляет вам уведомления на электронную почту, в мессенджер или вэбхуком, если обновилось что-то из ваших зависимостей.

#toolz
А у нас всё ещё фестиваль AWS аутентификации.

Я уже как-то писал о конфигурации AWS доступов через GSuite по SAML. Но описанная там конфигурация покрывает только доступ в Вэб-морду.

А сегодня хочу поделиться CLI тулзой для получения доступа, собсно, к CLI

+ на всякий случай ссылка на статью про конфигурацию SAML

P.S. Фестиваль AWS аутентификации проходит в CatOps чатике

#aws #saml #security #toolz
​​ec2-metadatafs: 'cat' your AWS EC2 metadata

This tool exposes AWS EC2 metadata as a filesystem for easy ls, cat, and grep'ing.

Advantages over curl http://169.254.169.254:
- Support for tags
- Use filesystem permissions to control access
- Use traditional unix tools to walk and interrogate the tree
- Tab completion of paths
- No need to remember the special IP address of the service

Advantages over the ec2-metadata tool:
- Support for tags
- No need to cut the output of commands to get just the field
- Can use filesystem permissions to control access
- Access to all metadata fields, not just the limited subset the tool returns

Well and browsing the metadata endpoint as a filesystem from an EC2 instance is really cool idea.

#aws #toolz
​​History and effective use of Vim

No time to read 341 pages of manual and you still use vim? Well, you probably miss many things related to this awesome tool and Joe Nelson hurry to fix this.

#toolz
​​GitHub Actions CI/CD config example

If you missed first beta release of GitHub Actions, it's OK, it moved to public beta live not long ago.
GitHub Actions - free serverless CI/CD for Open Source Projects and up to 2000 minutes for private repos - https://github.com/features/actions
And it can trigger your own CI system.

Here example how build Ci fully on Github. Thanks @webknjaz for it.

#toolz #github #cicd
Товарищ написал тулзу GORT (GO-run-things) для запуска скриптов внутри контейнера по API запросу.

Принцип работы прост: вы говорите, какой скрипт запустить с какими параметрами и тулзовина его дёргает.

Удобно для ad-hoc задач внутри контейнера, который уже запущен.

#toolz #docker
tfupdate - тулза для рекурсивного апдейта версий в Terraform коде. Переопределяет версии провайдеров и модулей, поддерживает TF >=0.12

 provider aws -v 2.40.0 main.tf

#toolz
Cindy Sridharan пишет про lsof и его полезные флаги с точки зрения разработчиков.

Тулза действительно полезная, но всё же, если система уже хорошо нагружена, лучше напрямую по /proc шариться, чтобы не усугублять.

#toolz
​​Вы тоже страдаете с запоминанием команд для распаковки архивов?

https://github.com/xvoland/Extract

#toolz
Dispatch - инструмент от Netflix для управления инцидентами. Фактически - это автоматизация поверх Jira, Slack, PagerDuty, GSuite, etc., которая позволяет назначать ответственных людей из одного интерфейса, автоматически создавать необходимые таски, каналы, вот это всё. И кроме того предоставляет дашборды по инцидентам.

Проект на GitHub

Теперь главное, чтобы Netflix не забросил этот проект, как уже случалось со многими...

#toolz #observability #incidents
Falcon - бесплатный десктоп клиент для баз данных с открытым кодом.

Поддерживает RedShift, MySQL, PostgreSQL, IBM DB2, Impala, MS SQL, Oracle (с дополнительными приседаниями), SQLite.

Написан на Electron

#toolz
Список инструментов вокруг Kubernetes

Да, он субъективный, далеко не полный и всё такое. Однако, возможно, кто-то найдёт в нём что-то новое для себя.

Список разден по категориям: cluster management, CLI tools, observability, ci/cd, etc.

#kubernetes #toolz
git-xargs - tool for change same things in many Github repos at once

This is a CLI tool for easily executing commands and scripts opensorced by Gruntwork a short time ago.
Written in Go and used goroutines, so it pretty fast, except you reached the Github API call limit :)

#git #github #toolz
Gatus is a health dashboard written in Go.

It has minimalistic configuration and allows you to set multiple conditions to label an endpoint as "healthy".

Also, you can host it on your own inside your private network. So, if you have security requirements of not to allow external health checkers into the perimeter, this could be a good way to go.

#toolz #observability
An experiment ran by Corey Quinn: what would happen once you pushed your AWS keys to a public repository.

He summarized it in a Twitter thread

tl;dr: AWS contacted him about leaked credentials and refused to close the case before he rotated the keys even though these keys had no permissions.

Also, there's an interesting reply from a person who is working in GitHub. GitHub have a monitoring for leaked credentials. However, they notify AWS directly rather than a customer in such occasions. The reason for that is a lot of false-positives at the time such monitoring was just introduced. So, they decided not to bother their customers in vain.

P.S. Last time I had to scan a repository for leaked credentials, I used TruffelHog tool it searches not only for AWS secrets, but actually for any high-entropy strings. Also, it works quite well even for large repositories.

#security #aws #github #toolz
Continuing the topic of Linux utilities, here is a good guide about xargs utility.

In nutshell, xargs allows you to work with outputs provided by another program. So, you can think of many applications of it. My favorite one is that xargs has a -P flag, which allows you to parallel processing of the outputs. So, it can be more optimal than running a for loop in some occasions.

#toolz
TikTok and Fitness: The Rise of Wellness Trends on the Platform