Семейство СУБД Tantor Postgres предлагает специализированные решения для работы с большими данными, включая машину баз данных Tantor XData с архитектурой разделения вычислений и хранения, способную обрабатывать до 120 000 транзакций в секунду и поддерживать корпоративные хранилища данных размером до 100 ТБ. Tantor XData реализует полноценную обработку смешанной нагрузки (HTAP), преодолевая фундаментальные ограничения классического PostgreSQL за счет разделения слоёв вычислений и хранения с использованием технологии RDMA.
Архитектура Tantor XData для высоконагруженных систем
Ключевое отличие Tantor XData от традиционных СУБД заключается в архитектуре Compute-Storage Separation, где вычислительные узлы и узлы хранения масштабируются независимо друг от друга. В отличие от классического PostgreSQL, где каждый сервер ограничен собственным физическим дисковым пространством, Tantor XData предоставляет единое общее хранилище для всех узлов кластера, что исключает дублирование данных на репликах и упрощает управление.
Технология RDMA (Remote Direct Memory Access) обеспечивает сверхбыструю связь вычислительных узлов с хранилищем и внутренней репликацией по протоколам RoCEv2 или InfiniBand с ультранизкими задержками и пропускной способностью до 100 Гбит/с. Распределенная файловая система PFS работает поверх NVMe-oF и RDMA в режиме O_DIRECT, полностью исключая страничный кэш ОС, что позволяет выделять под shared_buffers до 75% оперативной памяти.
Кластерная технология Tantor RAC реализует активно-пассивную схему с одним пишущим и несколькими читающими узлами, обеспечивая автоматическое переключение на реплику с минимальным временем простоя. Умный прокси с read/write splitting и согласованностью на уровне сессий позволяет горизонтально масштабировать чтение: добавление читающих узлов увеличивает пропускную способность запросов без изменения кода приложений.
Технологии обработки больших данных в Tantor Postgres
Колоночное хранение данных является ключевой технологией для аналитических нагрузок, обеспечивая повышение эффективности высоконагруженных систем за счет уменьшения объема операций ввода-вывода и сокращения объема данных на диске. Compression Storage Manager (CSM) реализует сжатие данных непосредственно на уровне хранения, что дополнительно снижает затраты на хранение.
Commit Sequence Number (CSN) представляет собой 64-битное число, присваиваемое каждой транзакции в момент её фиксации, что обеспечивает полное упорядочивание зафиксированных транзакций и гарантирует единый порядок видимости транзакций в кластере. Это решение устраняет деградации при большом количестве соединений, вызванные блокировками GetSnapshotData в традиционном PostgreSQL.
Information Lifecycle Management (ILM) позволяет настраивать политики архивирования, обеспечивая гибкое управление жизненным циклом данных и оптимизацию стоимости хранения за счет переноса редко используемых данных в более дешевое хранилище. Встроенный пулер соединений Shared Server динамически переключает соединения в режим «много клиентов -- пул бэкендов», сохраняя состояние сессии в shared memory, что по функциональности превосходит PgBouncer при работе с тысячами одновременных соединений.
Таблица 1. Сравнение архитектурных подходов к работе с большими данными
Параметр | Tantor XData Gen3 | Классический PostgreSQL | Стандартные форки PostgreSQL |
Максимальный размер БД | до 100 ТБ в корпоративных хранилищах | ограничен физическим сервером | до 150+ ТБ (Postgres Pro) |
Архитектура масштабирования | полное разделение Compute и Storage, независимое масштабирование | ограничена одним сервером | шардирование, кластеризация через внешние инструменты |
Обработка смешанной нагрузки (HTAP) | встроенная поддержка через MPP на базе Elastic Parallel Query | ограниченная параллелизация запросов | зависит от расширений (Citus) |
Максимальная пропускная способность | до 120 000 TPS | зависит от аппаратной конфигурации | зависит от конфигурации |
Скорость резервного копирования | до 35 ТБ/час | ограничена инструментами бэкапа | до 35 ТБ/час (на специализированном оборудовании) |
Реализация массовой параллельной обработки (MPP)
Tantor XData реализует массовую параллельную обработку запросов на базе Elastic Parallel Query (ePQ), позволяя любому SQL-запросу выполняться параллельно на всех доступных читающих узлах, которые работают как воркеры. Это превращает СУБД в полноценную HTAP-систему, способную одновременно обрабатывать транзакционные и аналитические нагрузки на едином кластере.
В классическом PostgreSQL параллельное выполнение запроса ограничено одним инстансом, что не позволяет задействовать ресурсы всего кластера для одного аналитического запроса. Tantor XData устраняет это ограничение, обеспечивая линейную горизонтальную масштабируемость для аналитических запросов без изменения кода приложений.
WAL pipelining (конвейерная обработка Write-Ahead Log) использует выделенные потоки для записи и сброса WAL, объединяя операции в пакеты, что резко повышает пропускную способность при большом количестве одновременных транзакций. В традиционном PostgreSQL при высокой частоте фиксации транзакций все процессы конкурируют за запись в WAL, вызывая сериализацию и падение производительности.
Примеры промышленной эксплуатации
АО «Губернские аптеки», насчитывающее более 500 структурных подразделений, успешно перевело критически важные информационные системы с MS SQL Server 2016 на отечественную СУБД Tantor Postgres в редакции Special Edition 1C. Объем баз данных составил 2 ТБ, среднее количество транзакций в день достигло 17,35 миллиарда, миграция затронула 2000 рабочих мест.
Результаты внедрения показали существенное повышение производительности: ресурсоемкая операция ежемесячного перепроведения документов в «1С:Бухгалтерии» теперь выполняется вдвое быстрее. Инструменты платформы Tantor позволили выявить узкие места в работе с базами данных и конкретные неоптимальные запросы, информацию о которых передали в «1С» для необходимых доработок.
Заказчик отметил полное соответствие ожиданиям по обеспечению равной или лучшей производительности систем «1С» после миграции, корректный перенос больших объемов данных, возможность оперативно выявлять и устранять узкие места, а также оптимальную стоимость решения. Миграция была выполнена силами собственной ИТ-команды клиента при поддержке экспертов «Тантор Лабс» без привлечения внешних подрядчиков.
Сертификация и безопасность для государственных систем
СУБД Tantor Certified имеет сертификат ФСТЭК России № 4856, подтверждающий соответствие требованиям по безопасности информации 4 уровня доверия и 4 класса защиты. Решение применяется в государственных информационных системах до первого класса защищенности включительно, автоматизированных системах управления производственными и технологическими процессами до первого класса защищенности, информационных системах персональных данных до первого уровня защищенности, а также на значимых объектах критической информационной инфраструктуры до первой категории включительно.
СУБД Tantor Certified для 1С, сертифицированная ФСТЭК России и оптимизированная для работы с платформой «1С:Предприятие», доступна в партнерской сети фирмы «1С» с октября 2025 года. Лицензирование осуществляется по ядрам CPU на срок 12, 24, 36 месяцев или бессрочно.
Таблица 2. Ключевые технические характеристики СУБД Tantor Postgres для работы с большими данными
Компонент | Характеристика |
Максимальный размер БД в корпоративных хранилищах | до 100 ТБ |
Максимальный размер LOB-объектов | до 4 ТБ |
Идентификатор транзакций | 64-битный CSN (Commit Sequence Number), исключает проблему переполнения |
Механизмы хранения | колоночное хранение для аналитики, сжатие CSM, TOAST для больших полей |
Инструменты управления жизненным циклом | Information Lifecycle Management (ILM), pg_archive для автоматического архивирования |
Резервное копирование | полное, дифференциальное, инкрементальное; скорость до 35 ТБ/час на Tantor XData |
Обработка потоковых данных | Tantor PipelineDB -- непрерывное выполнение SQL-запросов на потоках данных |
Аналитика производительности | pg_stat_kcache (физические операции ввода-вывода), pg_stat_advisor (автоматический анализ планов) |
Безопасность | прозрачное шифрование (TDE), динамическое маскирование (transp_anon), аудит, OAuth 2.0, pg_sec_check |
Главная