Ответ
Выбор технологии зависит от конкретных требований: скорость записи, сложность запросов для чтения, требования к полнотекстовому поиску и время хранения данных (TTL).
Основные подходы:
-
Реляционные базы данных (с оптимизациями)
- PostgreSQL: Отлично подходит при использовании партиционирования (секционирования) таблиц, как правило, по дате. Это позволяет работать с данными за определенный период (например, за последний месяц) так же быстро, как если бы в таблице были только они.
-
NoSQL базы данных
- ClickHouse: Колоночная СУБД, идеально подходящая для аналитических запросов (OLAP) и хранения логов. Обеспечивает невероятную скорость агрегации и выборки данных по большим временным диапазонам.
- MongoDB: Документо-ориентированная база. Хорошо подходит, если структура сообщений гибкая. Для больших объемов требует грамотного шардирования.
-
Специализированные системы
- Elasticsearch: Мощный инструмент для полнотекстового поиска и аналитики. Если основная задача — быстро находить сообщения по содержимому, это лучший выбор. Часто используется в связке с Logstash и Kibana (ELK Stack).
- Apache Kafka / NATS JetStream: Это в первую очередь системы для потоковой передачи данных, а не для долгосрочного хранения. Однако они могут служить надежным буфером для записи в основное хранилище и гарантировать доставку. Kafka с его персистентным логом может хранить данные в течение настраиваемого периода.
Пример создания партиционированной таблицы в PostgreSQL:
import (
"database/sql"
"fmt"
"time"
)
// createPartitionedTable создает партицию для текущего месяца.
// Эту функцию нужно вызывать регулярно (например, раз в месяц).
func createPartitionedTable(db *sql.DB) error {
// Основная (шаблонная) таблица
_, err := db.Exec(`
CREATE TABLE IF NOT EXISTS messages (
id BIGSERIAL,
chat_id BIGINT,
created_at TIMESTAMPTZ NOT NULL,
content TEXT
) PARTITION BY RANGE (created_at);
`)
if err != nil {
return err
}
// Создаем партицию для текущего месяца
now := time.Now()
partitionName := fmt.Sprintf("messages_%s", now.Format("2006_01"))
startOfMonth := now.Format("2006-01-02")
startOfNextMonth := now.AddDate(0, 1, 0).Format("2006-01-02")
query := fmt.Sprintf(`
CREATE TABLE IF NOT EXISTS %s PARTITION OF messages
FOR VALUES FROM ('%s') TO ('%s');
`, partitionName, startOfMonth, startOfNextMonth)
_, err = db.Exec(query)
return err
}Ответ 18+ 🔞
Ну и что мы тут имеем, а? Очередной вопрос про хранение логов, который вгоняет в ступор любого, кто не хочет через год получить пиздец вместо базы данных. Слушай, я тебе сейчас так разложу, что ты сам себе охуеешь от простоты.
Вот смотри, у тебя есть три пути, и все они ведут в ад, но разными дорогами. Выбирай, по какой хочешь идти.
Первый путь — старый добрый PostgreSQL, но с приколом.
Если ты не готов отказываться от SQL и любишь, когда всё аккуратненько, то партиционирование — твой друг, ёпта. Создаёшь таблицу, делишь её по датам, и вуаля — ты работаешь только с куском данных, а не с гигабайтной помойкой. Главное — не забывай создавать новые партиции, а то придёт новый месяц, и твои запросы начнут ползти, как улитка по стеклу.
Второй путь — NoSQL, или «А давайте всё сломаем по-новому».
Тут два главных героя: ClickHouse и MongoDB.
ClickHouse — это просто овердохуища для аналитики. Хочешь за секунду узнать, сколько раз пользователи писали «привет» в прошлом году? Это твой выбор.
MongoDB — для тех, кто любит жить опасно. Структура сообщений может меняться как угодно, но если накосячить с шардированием, то прощай, производительность.
Третий путь — специализированные системы, или «Я не ищу лёгких путей».
Elasticsearch — король полнотекстового поиска. Нужно найти все сообщения, где упоминается «котик» и «сосиска»? Elasticsearch сделает это быстрее, чем ты успеешь сказать «пиздец».
Kafka или NATS JetStream — это не хранилища, а надёжные курьеры. Они доставят твои логи куда надо, но оставлять их там навечно — идея так себе.
А вот тебе пример, как не облажаться с партиционированием в PostgreSQL. Смотри, тут всё просто, как дважды два:
import (
"database/sql"
"fmt"
"time"
)
// createPartitionedTable создает партицию для текущего месяца.
// Эту функцию нужно вызывать регулярно (например, раз в месяц).
func createPartitionedTable(db *sql.DB) error {
// Основная (шаблонная) таблица
_, err := db.Exec(`
CREATE TABLE IF NOT EXISTS messages (
id BIGSERIAL,
chat_id BIGINT,
created_at TIMESTAMPTZ NOT NULL,
content TEXT
) PARTITION BY RANGE (created_at);
`)
if err != nil {
return err
}
// Создаем партицию для текущего месяца
now := time.Now()
partitionName := fmt.Sprintf("messages_%s", now.Format("2006_01"))
startOfMonth := now.Format("2006-01-02")
startOfNextMonth := now.AddDate(0, 1, 0).Format("2006-01-02")
query := fmt.Sprintf(`
CREATE TABLE IF NOT EXISTS %s PARTITION OF messages
FOR VALUES FROM ('%s') TO ('%s');
`, partitionName, startOfMonth, startOfNextMonth)
_, err = db.Exec(query)
return err
}Видишь? Всё гениальное — просто. Главное — не проёбывать создание новых партиций, а то будет как в той истории с Герасимом и Муму: придётся всё топить и начинать заново.