SQL: create index bug

When I try to create an index on a sharded table (42 instances) with data (600kk rows)

create index "cd_customer_account_customer_account_sk_idx3" 
on "cd_customer_account" ("customer_account_sk") 
option(timeout=36000);

I immidiately get an error ddl operation was aborted with

июл 04 14:45:49 big1-vtb-1 picodata[1454851]: 2024-07-04 14:45:49.917 [1454851] main/289/.proc_apply_schema_change ddl_apply.rs:62 W> schema change aborted: lua error: Index 'cd_customer_account_customer_account_sk_idx3' already exists

I am more then sure that this index has never existed before.

Moreover, when I retry the same command there is no error in the log and DDL returns simply 0 modified rows.

added bug + 1 deleted label

changed the description

Related #750 (closed)

Но здесь скорее всего другая проблема

changed milestone to %24.6 - Plugins and Tiers

Данный баг является прициной инцидента https://git.picodata.io/picodata/picodata/picodata/-/issues/753. Последовательность событий такая:

1. Запись Op::DdlPrepare(Ddl::CreateIndex) применяется везде успешно, попадает в pending_schema_change.
2. governor вызывает на мастерах репликасетов proc_appy_schema_change
3. мастер начинает строить индекс, это долго
4. governor таймаутит запрос, но индекс продолжает строиться
5. governor пробует еще раз
6. на этот раз мастер отвечает ошибкой already exists
7. governor добавляет в raft-журнал запись Op::DdlAbort
8. мастер пытается применить ее, а индекс все еще строится

Поведение тарантула при построении индексов рассматривалось в https://git.picodata.io/picodata/picodata/picodata/-/snippets/23

marked this issue as related to #773

added 1 deleted label

added 1 deleted label

removed 1 deleted label

assigned to @rosik

added triaged label

mentioned in issue #611 (closed)

added 1 deleted label

См. src/rpc/ddl_apply.rs (permalink)

fn proc_apply_schema_change() {
    // TODO: transaction may have already started, if we're in a process of
    // creating a big index. If governor sends a repeat rpc request to us we
    // should handle this correctly

Я на этом моменте представляю себе глобальную на весь инстанс рантайм блокировку, но детали реализации еще подлежат обсуждению

unassigned @rosik

Пара слов про тестирование. Несложно добавить Error injection, который заблочит построение индекса на неопределенное время. Пользовательские сценарии должны покрывать случай ручного аборта операции (с последующим экспелом, но это уже из другого тикета)

См. также !1218 (merged)

assigned to @UngiftedPoet

mentioned in merge request !1250 (merged)

closed with merge request !1250 (merged)

changed milestone to %24.5 - Lowercase