В каких случаях и для чего в Go используются буферы, например, `bytes.Buffer` или `bufio`?

Буферы в Go используются для повышения производительности при работе с данными, в основном со строками, байтами и операциями ввода-вывода (I/O). Основные сценарии:

1. bytes.Buffer: Эффективная работа с байтами и строками в памяти

bytes.Buffer — это изменяемый буфер байтов в памяти, который реализует интерфейсы io.Reader и io.Writer.

Основное применение — конкатенация (сборка) строк.

• Проблема: Сложение строк в цикле с помощью оператора + крайне неэффективно. На каждой итерации создается новая строка и происходит копирование данных, что ведет к большому количеству аллокаций памяти и нагрузке на сборщик мусора.
• Решение: bytes.Buffer внутренне использует слайс байтов, который растет по мере необходимости, минимизируя количество аллокаций.

// Неэффективно
var s string
for i := 0; i < 1000; i++ {
    s += "some_string " // 1000 аллокаций
}

// Эффективно с bytes.Buffer
var buf bytes.Buffer
for i := 0; i < 1000; i++ {
    buf.WriteString("some_string ") // Буфер растет внутри, минимум аллокаций
}
result := buf.String()

2. Пакет bufio: Буферизованный ввод/вывод

Пакет bufio предоставляет обертки над io.Reader и io.Writer для буферизации I/O операций.

• Проблема: Прямые системные вызовы для чтения или записи (например, в файл или сетевое соединение) являются дорогостоящими операциями. Частые вызовы для записи мелких порций данных сильно снижают производительность.
• Решение: bufio.Writer накапливает данные в буфере в памяти и сбрасывает их в нижележащий Writer большими блоками, когда буфер заполняется или принудительно вызывается метод Flush().

file, err := os.Create("data.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

// Создаем буферизованный писатель
writer := bufio.NewWriter(file)

// Эти записи происходят в память, а не на диск
writer.WriteString("Hello, ")
writer.WriteString("World!")

// Важно! Сбрасываем буфер на диск перед закрытием файла.
// Часто делается через defer writer.Flush()
writer.Flush()

Аналогично bufio.Reader читает данные из Reader'а большими кусками в свой буфер, а последующие чтения происходят уже из памяти, что намного быстрее.