Движок таблицы Redis

Этот движок позволяет интегрировать ClickHouse с Redis.

Этот движок позволяет интегрировать ClickHouse с Redis. Поскольку Redis использует модель «ключ-значение» (key-value), мы настоятельно рекомендуем выполнять к нему только точечные запросы, например where k=xx или where k in (xx, xx).

​

Создание таблицы

CREATE TABLE [IF NOT EXISTS] [db.]table_name
(
    name1 [type1],
    name2 [type2],
    ...
) ENGINE = Redis({host:port[, db_index[, password[, pool_size]]] | named_collection[, option=value [,..]] })
PRIMARY KEY(primary_key_name);

Параметры движка

• host:port — адрес сервера Redis; порт можно не указывать, тогда будет использован стандартный порт Redis 6379.
• db_index — индекс БД Redis в диапазоне от 0 до 15, по умолчанию — 0.
• password — пароль пользователя, по умолчанию — пустая строка.
• pool_size — максимальный размер пула соединений Redis, по умолчанию — 16.
• primary_key_name — любое имя столбца из списка столбцов.

Сериализация

PRIMARY KEY поддерживает только один столбец. Первичный ключ будет сериализован в бинарном виде как ключ Redis. Столбцы, кроме первичного ключа, будут сериализованы в бинарном виде как значение Redis в соответствующем порядке.

Аргументы также можно передавать с помощью именованных коллекций. В этом случае host и port должны указываться отдельно. Такой подход рекомендуется для продакшн-среды. На данный момент все параметры, передаваемые в Redis через именованные коллекции, являются обязательными.

Фильтрация

Запросы с условием key equals или фильтрацией IN будут оптимизированы до поиска по нескольким ключам в Redis. Если выполнять запросы без ключа фильтрации, произойдет полное сканирование таблицы, а это ресурсоемкая операция.

​

Пример использования

Создайте таблицу в ClickHouse, используя движок Redis с обычными аргументами:

Query

CREATE TABLE redis_table
(
    `key` String,
    `v1` UInt32,
    `v2` String,
    `v3` Float32
)
ENGINE = Redis('redis1:6379') PRIMARY KEY(key);

Или используя именованные коллекции:

<named_collections>
    <redis_creds>
        <host>localhost</host>
        <port>6379</port>
        <password>****</password>
        <pool_size>16</pool_size>
        <db_index>s0</db_index>
    </redis_creds>
</named_collections>

Query

CREATE TABLE redis_table
(
    `key` String,
    `v1` UInt32,
    `v2` String,
    `v3` Float32
)
ENGINE = Redis(redis_creds) PRIMARY KEY(key);

Вставка:

Query

INSERT INTO redis_table VALUES('1', 1, '1', 1.0), ('2', 2, '2', 2.0);

Query

SELECT COUNT(*) FROM redis_table;

Response

┌─count()─┐
│       2 │
└─────────┘

Query

SELECT * FROM redis_table WHERE key='1';

Response

┌─key─┬─v1─┬─v2─┬─v3─┐
│ 1   │  1 │ 1  │  1 │
└─────┴────┴────┴────┘

Query

SELECT * FROM redis_table WHERE v1=2;

Response

┌─key─┬─v1─┬─v2─┬─v3─┐
│ 2   │  2 │ 2  │  2 │
└─────┴────┴────┴────┘

Обновление:

Обратите внимание, что первичный ключ нельзя изменить.

Query

ALTER TABLE redis_table UPDATE v1=2 WHERE key='1';

Удалить:

Query

ALTER TABLE redis_table DELETE WHERE key='1';

Truncate:

Асинхронно очищает БД Redis. Также Truncate поддерживает режим SYNC.

Query

TRUNCATE TABLE redis_table SYNC;

JOIN:

Соединение JOIN с другими таблицами.

Query

SELECT * FROM redis_table JOIN merge_tree_table ON merge_tree_table.key=redis_table.key;

​

Ограничения

Движок Redis также поддерживает сканирующие запросы, такие как where k > xx, но у этого есть некоторые ограничения:

1. В очень редких случаях во время рехеширования сканирующий запрос может возвращать дублирующиеся ключи. Подробности см. в Redis Scan.
2. Во время сканирования ключи могут создаваться и удаляться, поэтому получившийся набор данных не может представлять согласованное состояние на какой-либо момент времени.