среда, 25 сентября 2019 г.

Обход невозможности записи в контейнерах SquashFS (Singularity)

Скачал тут контейнер RabbitMQ (имя образа rabbitmq.simg), пытаюсь запустить кроличий сервер - ан нет, ошибка could_not_write_file (не может писать в лог). Оказалось, что в этом котейнере используется SquashFS - файловая система, допускающая только чтение. 

Чтоб это обойти, используем образ - подложку (overlay). Создадим образ:
singularity image.create rmq-overlay.simg
Теперь будем запускать экземпляр контейнера RabbitMQ, подложив этот наш новый образ (в который писать можно):
singularity instance.start --overlay rmq-overlay.simg rabbitmq.simg rmq1
Здесь rmq1 - имя экземпляра.

После этого запускаем шелл внутри экземпляра
singularity shell instance://rmq1

Теперь вызов rabbitmq-server отрыбатывает нормально, сервер запускается.

Полезные ссылки: 
  • Документация Singularity - страница про overlay [ссылка]
  • Обсуждение на github.io про проблемы с контейнерами squashfs [ссылка]

Контейнеры Singularity

Говорят, эта технология скоро унасекомит Докер - якобы работают сингулярные контейнеры быстрее, и с безопасностью всё гораздо лучше. Не очень верится. Изначально Singularity затевался как контейнеры для высокопроизводительных вычислений. Будут ли пользователи из других сфер переходить на них - посмотрим.

По долгу службы приходится разбираться с Singularity, так что время от времени в блоге будут появляться посты на эту тему. Информации об этой технологии гораздо меньше, чем по Докеру, поэтому, надеюсь, мои заметки кому-ниубдь пригодятся.

воскресенье, 15 сентября 2019 г.

Рассинхронизация часов

Интересное исследование скорости расхождения показаний часов в распределённых системах: Internal Clock Drift Estimation in Computer Clusters [ссылка]

Из интересного: в спутниках GPS используются атомные часы, поэтому с синхронизацией времени там попроще.

суббота, 14 сентября 2019 г.

Пара интересных каналов на Youtube

Ken Shamir [ссылка] - распределенные системы, блокчейн, Neo, Ripple
Computerphile [ссылка] - всё на (компьютерном) свете - пакетное радио, большие данные, иск. интеллект, SSH изнутри. Масса всего интересного.

Исследуем elf-файлы

Если захотелось покопаться в бинарниках формата elf, нужно вооружиться тремя инструментами - readelf, nm, objdump. И почитать статьи: How is a binary executable organized? Let's explore it! [ссылка] (из блога одной канадской барышни) и Linux 101: Understanding the insides of your program [ссылка]. Подробнее об nm - в статье 10 Practical Linux nm Command Examples [ссылка] .

Живость и безопасность в распределённых системах

Нашел тут другую формулировку результата FLP (надо уже саму статью почитать наконец) - в полностью асинхронной системе невозможно создать алгоритм консенсуса, который одновременно гарантировал бы отказоустойчивость, живость и безопасность (liveness and safety). Поскольку отказоустойчивостью обычно стараются не жертвовать, выбор приходится делать между живостью и безопасностью. Ситуация очень похожа на ту, что мы видим в CAP-теореме.

Мне очень понравилось видео на эту тему профессора Гупты из Иллинойского университета [ссылка]. А на medium.com есть хорошая статья Safety and Liveness — Blockchain in the Point of View of FLP Impossibility [ссылка], где рассматриваются разные алгоритмы консенсуса.

среда, 11 сентября 2019 г.

Линеаризуемость

Это одна из самых строгих моделей согласованности. Кстати, под consistency в CAP-теореме подразумевается именно линеаризуемость.

Оказывается, есть популярное введение в эту тему: A beginner’s guide to Linearizability [ссылка]. Спасибо автору - Владу Михалчеа