Research an ability to multiplex connection to Picodata's cluster in single spark worker
Мы видим, что текущая схема 1 воркер в 1 момент времени отправляет запрос на 1 узел Пикодаты приводит к тому, что нагрузка на CPU на узлах Пикодаты распределяется неравномерно.
Текущая гипотеза состоит в том, что если мы увеличим количество соединений на кластер, нагрузка на кластер будет распределена более равномерно.
Необходимо протестировать эту гипотезу.
Definition of done:
- Спарк коннектор умеет мультиплексировать запросы по 10 разным соединениям к разным узлам кластера в рамках одного спарк воркера
- Проведен тест и сравнение скорости заливки с 1 / 5 / 10 / 50 коннектами на воркер спарка