Scenario: rebootstrap one of 2 instances

Given a cluster of two instances - i1, i2
and i1 is a raft leader

When i2 is stopped
and i2 data-dir is removed
and i2 is started with the same command-line arguments as before

Then i2 should become a follower

In scope of this issue the scenario should be fixed and covered with a pytest.

Actual behavior (commit 8f9e3dcd)

i2 can't join: net_box_call failed: IO error: timed out, fn: .raft_join, peer: 127.0.0.1:3301

added 1 deleted label

По воспроизведению похоже на !71 (comment 5597)

added bug label

added backlog label

assigned to @vs

marked this issue as related to #75 (closed)

changed milestone to %Release 0.1 - Demo

changed title from Panic in traft to Scenario: Rebootstrap one of two instances

changed the description

changed title from Scenario: Rebootstrap one of two instances to Develop a test: rebootstrap one of 2 instances

changed title from Develop a test: rebootstrap one of 2 instances to Scenario: rebootstrap one of 2 instances

changed the description

added in-progress label and removed backlog label

mentioned in merge request !124 (closed)

По результатам исследования с @rosik :

• есть кластер из двух инстансов
• при ребутстрапе фолловера лидер не знает что фолловер уничтожен
• когда мы перезапускаем фолловера - он для лидера выглядит как новый
• лидер пытается добавить его в таблицу пиров и добиться кворума со старым фолловером, который ответить не может, лидер получает connection refused
• новый инстанс получает timeout на присоединение к кластеру

Предварительное решение: запретить добавлять в кластер инстанс, если заявленный id уже существует в таблице пиров. То есть не пытаться обойти рафт и реабилитировать умершую ноду.

Тогда данная задача преобразуется в "как установить кворум в кластере из двух инстансов, один из которых недоступен?" (например сделав экспелл).

added backlog label and removed in-progress label

Предлагаю поступить с этим кейсом как с #89 (closed) - закрыть. @sv что скажешь?

Думаю, да, работать при потере > 50% кластера это не цель, такой задачи нет.

removed bug label

@rosik @sv эта задача распадается на две:

1 - как искать кворум в кластере из 2х нод, одна из которых недоступна

2 - что делать с дубликатами id (когда новый инстанс джойнится и указывает при этом id уже существующего инстанса)

Вопрос 1 можно закрыть как #89 (closed).

Вопрос 2 присутствует в #87, в частности поэтому его желательно обсудить и прийти к соглашению.

1. Как искать кворум в кластере из 2х нод, одна из которых недоступна. - В версии 0.1 никак. "Где инстанс роняли, там и чините".
2. Тут надо видимо поменшенить #91. Пока вопрос открытый, я вчитаюсь и позже вернусь.

С правилами джойн запросов мы разобрались (!179 (3daeb759)). Джойн запросы больше не таймаутятся. Джойн запрос - это всега новый инстанс (голый, без снапшотов).

Ну а без кворума никакой магии не произойдет, эта часть не будет починена примерно никогда.

closed

mentioned in issue #113 (closed)