Merge branch '27-04' into 'main'

New subsestion for Picodata architecture description

See merge request picodata/picodata/docs!14

docs/arch.md

+# Архитектура Picodata
+Данный документ содержит архитектурную документацию Picodata, которая поможет лучше разобраться во внутреннем устройстве нашего программного продукта, а также помочь системным администраторам и разработчикам быстрее установить, настроить и запустить систему хранения и сервер приложений Picodata.
+
+
+## Версионирование
+
+В этом разделе мы описываем особенности изменения версий у схем данных и приложений, выполняющихся на сервере Picodata.
+
+Версия схемы и версия приложения разделены и изменяются независимо друг от друга. Для версионирования схемы используется набор семантических правил [SemVer](https://semver.org/lang/ru/). Правила изменения версий приложения могут быть произвольными и задаваться по желанию пользователя, но при этом должно быть выполнено условие: у любых двух версий приложения с разной логикой должны быть разные пары **имя приложения** - **версия приложения**.
+
+Приложение должно работать только когда в кластере на всех мастер инстансах во всех репликасетах находится одна и та же версия приложения. Проверка версий запущенных приложений делается через журнал Raft. Каждое приложение при запуске ждет коммита своей версии в Raft log.
+
+Версия схемы в кластере меняется только в большую сторону. Любые изменения схемы сопровождаются увеличением версии. Откатить версию нельзя (кроме восстановления из резервной копии).
+
+Зависимость приложения от версии схемы задается явно двумя способами:
+
+1. (Обязательно). В коде приложения. Если в приложении задана зависимость от схемы v3.2.1, то это приложение не должно запускаться, если в кластере и, соответственно, на инстансе не выполняется уcловие: 3.2.1 <= версия схемы < 4.0.0, за исключением случаев, описанных в следующем пункте. В случае обнаружeния несовместимой версии схемы, Picodata должна моментально останавливать приложение и ждать, пока схема станет совместимой. При этом должно выводиться соответствующее сообщение в журнал.
+2. (Опционально). Глобально в кластере в реплицируемом через Raft хранилище конфигурации может быть задано множество вариантов совместимости любой версии схемы с любой версией приложения. Этот признак совместимости имеет приоритет над первым. Т.е. когда Picodata запускает приложение, сначала проверяется признак совместимости согласно глобальной кластерной конфигурации: если совместимо, то Picodata запускает приложение НЕЗАВИСИМО ОТ ПРАВИЛ SEMVER. Предполагается, что администратору может понадобиться задать совместимость таким образом при решении проблем, см. пример ниже.
+
+Проверка совместимости версий включена по умолчанию, но её можно выключить в случае если пользователь отдаёт отчёт в своих действиях.
+
+### Явное задание совместимости версий приложения и схемы
+Приведём пример, когда нужно воспользоваться явным способом задания совместимости между приложением и схемой данных. Это и есть _опциональный_ способ, указанный выше.
+
+Выпущена новая версия приложения и новая обратно несовместимая версия схемы:
+
+```
+               APP  APP_DEPENDS_ON_SCHEMA  SCHEMA
+    было:       v5                 v1.2.3  v1.2.3
+    стало:      v6                 v2.0.0  v2.0.0
+```
+
+После этого обнаружилось, что в приложении v6 имеется критичная ошибка. Принято решение откатить приложение на v5. Но оно не запустится на схеме v2.0.0 даже если отключить проверку совместимости версий. Для решения проблемы схему меняют так, чтобы приложение v5 могло запуститься. Этим изменениям схемы присваивают версию v3.0.0. Глобально в конфигурации кластера задается совместимость app v5 и schema v3.0.0. После этого приложение v5 можно запустить в кластере с версией схемы v3.0.0, хотя приложение v5 было разработано и собрано в прошлом, когда про schema v3.0.0 еще не было известно.
+
+### Алгоритм запуска инстанса.
+1. Подключиться к Raft-группе (кластеру) и актуализировать журнал Raft.
+1. Сформировать из глобальной конфигурации кластера параметры репликации для данного инстанса.
+1. Проверить совместимость версии приложения и схемы в кластере. Если версии несовместимы, то написать об этом в журнал Raft.
+1. Отправить в глобальную конфигурацию версию запускаемого приложения через журнал Raft.
+1. Запустить Tarantool, даже если версия приложения несовместима со схемой.
+1. Применить все изменения схемы из глобальной конфигурации кластера.
+1. Если запускаемое приложение содержит обновления схемы, то применить эти обновления глобально в кластере.
+1. Если версии совместимы, запустить приложение Picodata, иначе сделать запись в журнале и ждать пока версии станут совместимы.
+
+### Обновления и время простоя
+
+Под временем простоя (downtime) подразумевается длительный промежуток времени, когда клиенты приложения Picodata не могут в полной мере пользоваться его функциями. Мероприятия, связанные со вводом резервных узлов в рамках отказоустойчивости (switchover, failover), происходят относительно быстро и не считаются простоем. Перезапуск репликасета Tarantool со снапшотами по 10 GB считается долгим, т.к. может занять более 10 минут, поэтому считается простоем.
+Существует два варианта обновления: простой и сложный.
+
+Простой вариант. В этом варианте обновления будут проходить с простоем на время, пока все инстансы будут обновлены, перезапущены, и затем в них запустится Tarantool, который загрузит последнее сохраненное состояние БД из файла *.snap* и применит изменения из журнала последних операций (*.xlog*). Для выполнения такого обновления нужно обновить файлы приложения и перезапустить все инстансы в любом порядке: по одному или все сразу.
+
+Сложный вариант состоит в обновлении приложения Picodata без простоя.
+
+1. Потребуется в каждом репликасете остановить все инстансы, кроме одного. Рекомендуется останавливать резервные реплики и оставлять работать активную реплику.
+1. Обновить файлы приложения на остановленных инстансах.
+1. Запустить ранее остановленные инстансы.
+1. Дождаться, пока Tarantool считает данные и запустится.
+1. Остановить инстансы, на которых приложение еще не обновлено. При этом произойдет переключение switchover, запустятся новые версии приложения, обновится схема данных.
+1. Обновить файлы приложения на оставшихся инстансах и запустить их.

mkdocs.yml

@@ -8,7 +8,8 @@ nav:
     - Главная: index.md
     - Описание продукта: description.md
     - Преимущества Picodata: benefits.md
-    - Преимущества языка Rust: benefits_rust.md
+    - Архитектура Picodata: arch.md
+    - Преимуществая языка Rust: benefits_rust.md
     - Установка и первые шаги: install.md
     - Услуги: services.md
 theme: