Какие инструменты вы использовали для работы с данными при тестировании?

Question

Какие инструменты вы использовали для работы с данными при тестировании?

Тип вопроса: Инструменты тестирования Вероятность: 10% Категория: QA Тестировщик

Ответ

Набор инструментов для валидации и анализа данных:

SQL и реляционные СУБД (PostgreSQL, MySQL):
- Для чего: Проверка целостности данных, поиск аномалий, подготовка тестовых данных.
- Пример запроса для поиска дубликатов:
```
SELECT user_id, COUNT(*) AS duplicate_count
FROM orders
GROUP BY user_id
HAVING COUNT(*) > 1;
```
Python с библиотеками pandas и numpy:
- Для чего: Сложная обработка больших наборов данных, статистический анализ, генерация отчетов.
- Пример проверки на пропущенные значения:
```
import pandas as pd
df = pd.read_csv('data.csv')
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])
```
Excel / Google Таблицы:
- Для чего: Быстрый визуальный анализ, построение сводных таблиц и простых графиков для небольших датасетов.

Ответ 18+ 🔞

О, а вот это уже интересно, про инструменты для того, чтобы данные не превратились в полную ахинею! Слушай, давай по полочкам, а то тут без системного подхода — нихуя не разберёшься.

Во-первых, SQL и эти ваши реляционные штуки (PostgreSQL, MySQL и прочие). Это, блядь, фундамент. Как лом в руках у Герасима — универсальный инструмент, ёпта. Нужно проверить, не накосячил ли кто в данных? Найти дубликаты? Подготовить тестовые данные, чтобы потом не орать «ой, бля, оно не работает!»? Всё туда. Смотри, простейший запрос, чтобы найти, кто у тебя в заказах завелся как таракан — по несколько раз на одного юзера:

SELECT user_id, COUNT(*) AS duplicate_count
FROM orders
GROUP BY user_id
HAVING COUNT(*) > 1;

Вот и всё. Если duplicate_count больше единицы — поздравляю, у тебя в данных завелись клоны, пора выводить на чистую воду, эти распиздяйства.

Во-вторых, Python с его библиотеками — pandas и numpy. Это когда SQL уже маловат будет, или нужно такую хуйню провернуть, что голова кругом. Огромные таблицы, сложная логика, статистика какая-нибудь — их царство. Хочешь быстро понять, где в твоём файле зияют чёрные дыры из пропущенных значений? Пожалуйста:

import pandas as pd
df = pd.read_csv('data.csv')
missing_values = df.isnull().sum()
print(missing_values[missing_values > 0])

Запустил — и сразу видно, в каких колонках данные решили взять и сбежать. Красота, а не жизнь.

Ну и наконец, Excel или Google Таблицы. Не смейся, это оружие массового поражения для быстрых разборок. Когда данных не овердохуища, а нужно быстро глазами пробежаться, сводную таблицу слепить или график на коленке нарисовать — идеально. Это как отвёртка: простая, под рукой, но иногда без неё — вообще пипец, хоть зубами гайки откручивай. Для глубокого анализа, конечно, слабовато, но для первичного осмотра — то, что надо.

Вот такой, блядь, нехитрый арсенал. Главное — применять с умом, а не тыкать во всё подряд, как мартышлюшка с гранатой.