Skip to content

Research an ability to multiplex connection to Picodata's cluster in single spark worker

Мы видим, что текущая схема 1 воркер в 1 момент времени отправляет запрос на 1 узел Пикодаты приводит к тому, что нагрузка на CPU на узлах Пикодаты распределяется неравномерно.

Текущая гипотеза состоит в том, что если мы увеличим количество соединений на кластер, нагрузка на кластер будет распределена более равномерно.

Необходимо протестировать эту гипотезу.

Definition of done:

  1. Спарк коннектор умеет мультиплексировать запросы по 10 разным соединениям к разным узлам кластера в рамках одного спарк воркера
  2. Проведен тест и сравнение скорости заливки с 1 / 5 / 10 / 50 коннектами на воркер спарка