Сервер, база,
коллекция

Категория

Подключение и устройство базы

Уровень

Начальный

Связанные темы

Документ и BSON, вставка, чтение

Зачем это знать

Понимать, куда именно программа кладёт и откуда берёт данные

§1Сервер и клиент — разные программы

MongoDB — это сервер: программа, которая держит данные на диске и слушает сетевой порт. По умолчанию порт — 27017. Сервер ничего не показывает: он ждёт, когда к нему обратятся, и отвечает на запросы.

Обращается к нему клиент — и клиентов несколько:

• MongoDB Compass — графическое приложение. В нём видны базы, документы, типы полей и результат запроса. С ним удобно разбираться и показывать;
• mongosh — консольная оболочка. Те же команды, но текстом; ей удобно автоматизировать;
• драйвер — библиотека внутри вашей программы. Для Python это PyMongo. Так с базой работает приложение.

Если закрыть Compass, данные останутся: они лежат на сервере. Если остановить сервер, ни один клиент до них не доберётся.

§2Три уровня хранения

Внутри сервера данные разложены по трём уровням. Ни один нельзя пропустить: документ всегда лежит в коллекции, коллекция — в базе, база — на сервере.

Полное имя коллекции пишется через точку: shop.products — коллекция products в базе shop. Такая запись встречается в сообщениях об ошибках и в документации, и читать её нужно справа налево: «товары, которые лежат в магазине».

§3Строка подключения по частям

Адрес сервера записывается одной строкой — её называют строкой подключения или URI. Одна и та же строка работает и в Compass, и в mongosh, и в коде.

В настоящем проекте в строку добавляются логин и пароль: mongodb://user:secret@db.example.com:27017. На стенде курса их нет: сервер поднят без проверки подлинности. Это допустимо, потому что он стоит на вашей машине и наружу не смотрит.

§4MongoClient: создание клиента

В Python работа начинается с объекта MongoClient: это клиент, живущий внутри вашей программы.

from pymongo import MongoClient

# Локальный сервер стенда курса
client = MongoClient("mongodb://localhost:27017/")

# Облачный Atlas — другая схема и обязательный пароль
# client = MongoClient("mongodb+srv://user:pass@cluster0.mongodb.net/")

#include <mongocxx/client.hpp>
#include <mongocxx/instance.hpp>
#include <mongocxx/uri.hpp>

mongocxx::instance instance{};   // ровно один на программу

// Локальный сервер стенда курса
mongocxx::client client{mongocxx::uri{"mongodb://localhost:27017"}};

// Атлас: mongocxx::uri{"mongodb+srv://user:pass@cluster0.mongodb.net"}

import (
    "go.mongodb.org/mongo-driver/v2/mongo"
    "go.mongodb.org/mongo-driver/v2/mongo/options"
)

// Локальный сервер стенда курса
client, err := mongo.Connect(options.Client().
    ApplyURI("mongodb://localhost:27017"))
if err != nil {
    log.Fatal(err)
}
defer client.Disconnect(context.Background())

// Атлас: ApplyURI("mongodb+srv://user:pass@cluster0.mongodb.net")

require "mongo"

# Локальный сервер стенда курса
client = Mongo::Client.new("mongodb://localhost:27017/")

# Облачный Atlas — другая схема и обязательный пароль
# client = Mongo::Client.new("mongodb+srv://user:pass@cluster0.mongodb.net/")

# то же подключение из терминала
mongosh "mongodb://localhost:27017"

# внутри оболочки клиент уже создан,
# текущая база доступна как db

§5Выбор базы и коллекции

От клиента спускаемся на уровень ниже — к базе, затем к коллекции. В PyMongo это обычное обращение по ключу.

client = MongoClient("mongodb://localhost:27017/")   # сервер
db = client["shop"]                                # база
collection = db["products"]                         # коллекция

# Тот же смысл через методы — так пишут, когда имя лежит в переменной
db = client.get_database("shop")
collection = db.get_collection("products")

print("Тип client:", type(client).__name__, "| тип db:", type(db).__name__,
      "| тип collection:", type(collection).__name__)

mongocxx::client client{mongocxx::uri{"mongodb://localhost:27017"}};  // сервер
auto db = client["shop"];                                    // база
auto collection = db["products"];                             // коллекция

// Тот же смысл через методы — так пишут, когда имя лежит в переменной
db = client.database("shop");
collection = db.collection("products");

std::cout << "база: " << db.name() << ", коллекция: " << collection.name() << std::endl;

client, _ := mongo.Connect(options.Client().
    ApplyURI("mongodb://localhost:27017"))          // сервер
db := client.Database("shop")                         // база
collection := db.Collection("products")              // коллекция

// Имя из переменной подставляется так же: Database(name)

fmt.Printf("Тип client: %T | тип db: %T | тип collection: %T\n", client, db, collection)

client = Mongo::Client.new("mongodb://localhost:27017/")  # сервер
db = client.use("shop").database                        # база
collection = db[:products]                              # коллекция

# Имя из переменной: db[name.to_sym] или db.collection(name)
collection = db.collection("products")

puts "Тип client: #{client.class} | тип db: #{db.class} | тип collection: #{collection.class}"

Ни одна из этих строк не обращается к серверу: они создают объекты-указатели. Это видно по именам типов:

Тип client: MongoClient | тип db: Database | тип collection: Collection

база: shop, коллекция: products

Тип client: *mongo.Client | тип db: *mongo.Database | тип collection: *mongo.Collection

Тип client: Mongo::Client | тип db: Mongo::Database | тип collection: Mongo::Collection

От SQL-баз MongoDB отличается ещё одним: база и коллекция создаются сами — в тот момент, когда в них впервые что-то записали. Команды «создать базу» нет. Обратная сторона: опечатка в имени не вызовет ошибку — запрос к db["prodcuts"] вернёт пустой результат, потому что такая коллекция ещё не существует.

§6Что уже есть на сервере

Спросим у сервера, какие базы он держит, а у базы — какие в ней коллекции. Это первое, что делают, подключившись к незнакомой базе.

print("Базы данных:", client.list_database_names())

db = client["shop"]
print("Коллекции shop:", db.list_collection_names())

collection = db["products"]
print("Документов:", collection.count_documents({}))

std::cout << "Базы данных:";
for (const auto& name : client.list_database_names())
    std::cout << " " << name;
std::cout << std::endl;

auto db = client["shop"];
std::cout << "Коллекции shop:";
for (const auto& name : db.list_collection_names())
    std::cout << " " << name;
std::cout << std::endl;

auto collection = db["products"];
std::cout << "Документов: " << collection.count_documents(make_document()) << std::endl;

names, _ := client.ListDatabaseNames(ctx, bson.D{})
fmt.Println("Базы данных:", names)

db := client.Database("shop")
collections, _ := db.ListCollectionNames(ctx, bson.D{})
fmt.Println("Коллекции shop:", collections)

count, _ := db.Collection("products").CountDocuments(ctx, bson.D{})
fmt.Println("Документов:", count)

puts "Базы данных: #{client.database_names}"

db = client.use("shop").database
puts "Коллекции shop: #{db.collection_names}"

collection = db[:products]
puts "Документов: #{collection.count_documents({})}"

show dbs
use shop
show collections
db.products.countDocuments({})

Базы данных: ['admin', 'config', 'hh', 'local', 'logs', 'org', 'sandbox', 'shop']
Коллекции shop: ['customers', 'products', 'orders']
Документов: 21

Базы данных: admin config hh local logs org sandbox shop
Коллекции shop: products customers orders
Документов: 21

Базы данных: [admin config hh local logs org sandbox shop]
Коллекции shop: [products orders customers]
Документов: 21

Базы данных: ["admin", "config", "hh", "local", "logs", "org", "sandbox", "shop"]
Коллекции shop: ["customers", "orders", "products"]
Документов: 21

Пять баз наши: shop, hh, logs, org и песочница sandbox. Ещё три сервер завёл сам, и трогать их не нужно:

Порядок в ответе произвольный: коллекции пришли не по алфавиту и не в порядке создания — у разных драйверов он и выглядит по-разному. Сервер порядок в этом списке не гарантирует; нужен алфавит — сортируйте сами.

§7Тот же осмотр в Compass

Всё, что мы сейчас получили тремя вызовами, Compass показывает одним экраном. Слева — список баз, у каждой раскрывается список коллекций, справа — размер и число документов.

На кадре есть то, чего нет в выводе Python. У каждой базы указаны размер хранения, объём данных, число коллекций и число индексов. На кадре видна разница между двумя базами: logs — одна коллекция и 207.02 kB данных, shop — три коллекции и 79.32 kB. Документов в shop больше по числу коллекций, но данных втрое меньше: объём зависит не от количества документов, а от того, что внутри них.

Отдельно стоит база hh: 37.72 MB и десять коллекций против четырёх, которые мы перечислили. В ней остались коллекции на 20 000 документов с прошлых занятий.

§8Один клиент на программу

MongoClient создаётся один раз на программу. Внутри него — пул соединений: несколько открытых каналов к серверу, которые переиспользуются между запросами. Создавать клиента в каждой функции — значит каждый раз поднимать этот пул заново.

# создаётся один раз при старте программы
client = MongoClient("mongodb://localhost:27017/")
products = client["shop"]["products"]

def count_all():
    return products.count_documents({})

// один пул на программу: клиент живёт рядом с приложением
mongocxx::instance instance{};
mongocxx::client client{mongocxx::uri{"mongodb://localhost:27017"}};
auto products = client["shop"]["products"];

auto count_all() {
    return products.count_documents(make_document());
}

// создаётся один раз при старте программы
var products *mongo.Collection

func init() {
    client, _ := mongo.Connect(options.Client().
        ApplyURI("mongodb://localhost:27017"))
    products = client.Database("shop").Collection("products")
}

func countAll(ctx context.Context) (int64, error) {
    return products.CountDocuments(ctx, bson.D{})
}

# создаётся один раз при старте программы
CLIENT = Mongo::Client.new("mongodb://localhost:27017/")
PRODUCTS = CLIENT.use("shop").database[:products]

def count_all
  PRODUCTS.count_documents({})
end

def count_all():
    # новый пул соединений на каждый вызов
    client = MongoClient("mongodb://localhost:27017/")
    return client["shop"]["products"].count_documents({})

auto count_all() {
    // новый клиент и новый пул на каждый вызов
    mongocxx::client client{mongocxx::uri{"mongodb://localhost:27017"}};
    return client["shop"]["products"]
        .count_documents(make_document());
}

func countAll(ctx context.Context) int64 {
    // новый пул соединений на каждый вызов
    client, _ := mongo.Connect(options.Client().
        ApplyURI("mongodb://localhost:27017"))
    defer client.Disconnect(ctx)

    count, _ := client.Database("shop").Collection("products").
        CountDocuments(ctx, bson.D{})
    return count
}

def count_all
  # новый пул соединений на каждый вызов
  client = Mongo::Client.new("mongodb://localhost:27017/")
  client.use("shop").database[:products].count_documents({})
end

Закрывать клиента методом client.close() нужно в конце работы программы — в коротком скрипте это последняя строка. В веб-приложении клиент живёт всё время работы сервиса, и закрывать его вручную не нужно.

§9Частые ошибки

§10Проверьте себя

§11Шпаргалка

Итог главы

Сервер держит базы, база — коллекции, коллекция — документы; клиент только спрашивает. В программе путь до данных — это три строки: клиент, база, коллекция, — и ни одна из них ещё не обращается к серверу. База и коллекция появляются сами при первой записи, поэтому при опечатке в имени запрос возвращает пустой результат без ошибки. Дальше разберём, что именно лежит в коллекции: как устроен документ и почему он хранится не как текст.