Skip to content
GitLab
Explore
Sign in
Register
Primary navigation
Search or go to…
Project
P
picodata
Manage
Activity
Members
Labels
Plan
Issues
Issue boards
Milestones
Code
Merge requests
Repository
Branches
Commits
Tags
Repository graph
Compare revisions
Snippets
Build
Pipelines
Jobs
Pipeline schedules
Artifacts
Deploy
Container Registry
Model registry
Analyze
Value stream analytics
Contributor analytics
CI/CD analytics
Repository analytics
Model experiments
Help
Help
Support
GitLab documentation
Compare GitLab plans
Community forum
Contribute to GitLab
Provide feedback
Keyboard shortcuts
?
Snippets
Groups
Projects
Show more breadcrumbs
core
picodata
Merge requests
!479
doc: sharding example
Code
Review changes
Check out branch
Download
Patches
Plain diff
Merged
doc: sharding example
doc_sharding
into
master
Overview
12
Commits
3
Pipelines
3
Changes
1
Merged
Denis Smirnov
requested to merge
doc_sharding
into
master
2 years ago
Overview
12
Commits
3
Pipelines
3
Changes
1
Expand
@rosik
please, take a look at this document as well.
0
0
Merge request reports
Compare
master
version 2
d381dcd1
2 years ago
version 1
333d6679
2 years ago
master (base)
and
latest version
latest version
1c0d7b56
3 commits,
2 years ago
version 2
d381dcd1
2 commits,
2 years ago
version 1
333d6679
1 commit,
2 years ago
1 file
+
68
−
0
Inline
Compare changes
Side-by-side
Inline
Show whitespace changes
Show one file at a time
docs/sharding.md
0 → 100644
+
68
−
0
Options
# Шардирование данных в кластере
В данном разделе рассматривается пример шардирования данных в кластере Picodata.
1.
Запустим кластер из двух экземпляров
```sh
picodata run --data-dir tmp/i1 --listen localhost:3301 --instance-id i1 --peer localhost:3301,localhost:3302
picodata run --data-dir tmp/i2 --listen localhost:3302 --instance-id i2 --peer localhost:3301,localhost:3302
```
1.
Создадим шардированную таблицу. На любом инстансе выполним команды
```lua
pico.add_migration(1, 'create table t2(a int, "bucket_id" unsigned, primary key (a));')
pico.add_migration(2, 'create index "bucket_id" on t2 ("bucket_id");')
pico.migrate(2)
```
Ключевым моментом является создание индекса `bucket_id` в спейсе
(его наличие помечает спейс как шардированный). Важно не забыть
кавычки, т.к. vshard ожидает увидеть его в нижнем регистре.
На текущий момент в Picodata используется предопределенное количество бакетов - 3000.
1.
Заполним шардированный спейс тестовыми данными. На любом инстансе
выполним команды.
```lua
for i=1,3000 do vshard.router.callrw(i, 'box.space.T2:insert', {{i, i}}) end
```
1.
Проверим, что данные поровну распределились между экземплярами. На
каждом из них (
`i1`
,
`i2`
) выполним запрос:
```lua
box.space.T2:len()
```
В результате мы получим по 1500 бакетов (и столько же таплов) на
каждом экземпляре:
```yaml
---
- 1500
...
```
1.
Добавим еще один экземпляр
```sh
picodata run --data-dir tmp/i3 --listen localhost:3303 --instance-id i3 --peer localhost:3301,localhost:3302
```
1.
Проверим, что данные перераспределились между тремя экземплярами. На
каждом из них (
`i1`
,
`i2`
и
`i3`
) выполним запрос:
```lua
box.space.T2:len()
```
В результате мы получим по 1000 бакетов на каждом экземпляре:
```yaml
---
- 1000
...
```
Loading