Відкриті дані Prozorro.Sale

Про дані Prozorro.Sale

ДП “Прозорро.Продажі” оперує трьома інстансами системи електронних аукціонів: ЦБД-1, ЦБД-2 та нова ЦБД. В різних інстансах в різний час відбувались аукціони по різних напрямках роботи. Під напрямком мається на увазі групування аукціонів за типом процедури продажу. Наприклад, земельні торги або лоти малої приватизації.

Основною одиницею даних є процедура аукціону (procedure) - структура, що зберігає в собі:

весь перебіг подій одного аукціону від оголошення до остаточного завершення
інформацію про об’єкт продажу (item)
інформацію про ставки учасників (bid)
інформацію про винагороду за виграш (award)
інформацію про укладений договір (contracts)

Різні типи процедур мають різну структуру даних і бізнес-процеси. Назви частини полів у ЦБД-1, ЦБД-2 та новій ЦБД відрізняються. Відмінностей між новою ЦБД та ЦБД-1 або ЦБД-2 більше, ніж у назвах полів ЦБД-1 та ЦБД-2.

У звʼязку з архівацією сутностей ЦБД-2, відбулось приведення структури даних до вигляду, що використовується у новій ЦБД

Адреси ЦБД

Отримання даних

ЦБД-1, ЦБД-2:

Робимо запит по відповідному ендпоінту
У відповідь отримуємо:

перелік зі 100 ID процедур
посилання на сторінку з наступними 100 ID процедур

Підставляючи в кінці адреси кожен з отриманих ID і у відповідь отримуємо дані кожної з процедур (наприклад, https://public.api.ea.openprocurement.org/api/2/auctions/8076e2654e2b4865a1b1fd7839e120b4)
Переходимо на сторінку з наступними 100 ID процедур, отриманими на кроці 2.b (перехід за посиланням з uri)

ЦБД-нова:

Переходимо за посиланням https://procedure.prozorro.sale/api/search/byDateModified/2021-01-01?limit=100 - це ендпоінт пошуку по даті зміни, запущений з 1.01.2021 з максимально доступним лімітом (100 записів)
Отримуємо і забираємо повні дані 100 найстаріших процедур
З отриманого сету процедур обираємо ту, що була змінена останньою, беремо значення dateModified для цієї процедури, додаємо до нього одну мілісекунду
Підставляємо отримане значення в посилання з п.1 замість 2021-01-01, таким чином отримуємо наступні 100 процедур (наприклад, https://procedure.prozorro.sale/api/search/byDateModified/2021-01-04T14:15:31.763000Z?limit=100)

import os
import time
import logging
from datetime import datetime, timedelta, timezone

import requests
import pymongo
from dotenv import load_dotenv

load_dotenv()

# Налаштування
MONGO_URI = os.getenv("MONGO_URI", "mongodb://localhost:27017/")
DB_NAME = os.getenv("DB_NAME", "testdb")
COLLECTION_NAME = os.getenv("COLLECTION_NAME", "cbd3_procedures")
BASE_URL = "https://procedure.prozorro.sale/api/search/byDateModified/"
START_DATE = "2021-10-01T00:00:00.000001Z"
LIMIT = 100
REQUEST_TIMEOUT = 30
NO_PROGRESS_LIMIT = 5  # скільки разів підряд можна "не просунутись", перш ніж зупинитись

logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
logger = logging.getLogger(__name__)

client = pymongo.MongoClient(MONGO_URI)
db = client[DB_NAME]
collection = db[COLLECTION_NAME]

def parse_z(dt_str: str) -> datetime:
    # "2025-05-07T17:25:32.907000Z" -> aware datetime UTC
    if dt_str.endswith("Z"):
        dt_str = dt_str[:-1]
    return datetime.fromisoformat(dt_str).replace(tzinfo=timezone.utc)

def to_z(dt: datetime) -> str:
    return dt.astimezone(timezone.utc).isoformat().replace("+00:00", "Z")

def fetch_and_store_data():
    date_modified = parse_z(START_DATE)
    no_progress_streak = 0
    last_url = None

    try:
        while True:
            url = f"{BASE_URL}{to_z(date_modified)}?limit={LIMIT}"
            if url == last_url:
                no_progress_streak += 1
                logger.warning(f"Same URL encountered again ({no_progress_streak}/{NO_PROGRESS_LIMIT}).")
                if no_progress_streak >= NO_PROGRESS_LIMIT:
                    logger.info("No progress guard triggered. Stopping.")
                    break
            else:
                no_progress_streak = 0

            last_url = url
            logger.info(f"Fetching data from: {url}")

            try:
                resp = requests.get(url, timeout=REQUEST_TIMEOUT)
                resp.raise_for_status()
            except requests.RequestException as e:
                logger.error(f"Request failed: {e}")
                break

            data = resp.json()

            # Порожній або не список — фініш
            if not isinstance(data, list) or not data:
                logger.info("No more data to fetch. Stopping execution.")
                break

            # Записуємо/оновлюємо
            inserted_count = 0
            for item in data:
                res = collection.update_one(
                    {"_id": item["_id"]},
                    {"$set": item},
                    upsert=True
                )
                if res.upserted_id:
                    inserted_count += 1

            logger.info(f"Inserted {inserted_count} new records into MongoDB.")

            # Вираховуємо наступний курсор
            # Беремо максимальний dateModified з поточної порції
            try:
                max_date_str = max(obj["dateModified"] for obj in data)
                batch_max = parse_z(max_date_str)
            except (KeyError, ValueError, TypeError) as e:
                logger.error(f"Bad dateModified in response: {e}. Stopping.")
                break

            next_cursor = max(date_modified, batch_max) + timedelta(microseconds=1)

            if next_cursor <= date_modified:
                # safety (по ідеї не має спрацьовувати, але лишимо)
                no_progress_streak += 1
                logger.warning(f"Cursor did not advance (streak {no_progress_streak}/{NO_PROGRESS_LIMIT}).")
                if no_progress_streak >= NO_PROGRESS_LIMIT:
                    logger.info("No progress guard triggered. Stopping.")
                    break
            else:
                date_modified = next_cursor
                logger.info(f"Next dateModified: {to_z(date_modified)}")

            time.sleep(1)  # не душимо API
    finally:
        client.close()

if __name__ == "__main__":
    fetch_and_store_data()

Напрями роботи і параметри процедур

Напрям роботи	ЦБД-1	ЦБД-2	ЦБД-нова
Продаж майна та активів	-	procurementMethodType==dgfOtherAssets OR procurementMethodType==appraisal.insider крім аукціонів з ознакою оренди (CPVS==PA01-7), аукціонів з ознакою банкрутства (CPVS == QB23-5), аукціонів з ознакою деревини (CPVS == QB49-3), аукціонів з ознакою вагонів (CPVS == MA08-5)	Ендпоінт №2 sellingMetod==basicSell-english, sellingMetod==basicSell-dutch Архівні процедури, перенесені з ЦБД-2: legacyBasicSell-english legacyBasicSell-dutch
Відчуження	-	Була реалізована в межах базового продажу	Ендпоінт №2 sellingMetod==alienation-english
Мала приватизація	-	procurementMethodType==sellout.english OR procurementMethodType==sellout.insider	Ендпоінт №2 sellingMetod==smallPrivatization-english sellingMetod==smallPrivatization-dutch Архівні процедури, перенесені з ЦБД-2: legacySmallPrivatization-english legacySmallPrivatization-dutch
Оренда державного та комунального майна	-	CPVS== QB29-3	Ендпоінт №2 sellingMetod==legitimatePropertyLease-* (priorityEnglish, english, dutch) Архівні процедури, перенесені з ЦБД-2: legacyLegitimatePropertyLease-english legacyLegitimatePropertyLease-dutch
Оренда майна та активів		CPVS==PA01-7 and CPVS != QB29-3 (всі аукціони оренди крім CPVS== QB29-3, які відносяться до оренди державного майна)	Ендпоінт №2 sellingMetod==regulationsPropertyLease-* (english, dutch) Архівні процедури, перенесені з ЦБД-2: legacyRegulationsPropertyLease-english legacyRegulationsPropertyLease-dutch
Продаж активів банків-банкрутів (ФГВФО)	procurementMethodType==dgfFinancialAssets FinancialAssets OR procurementMethodType==dgfOtherAssets OR procurementMethodType==dgfInsider	-	Ендпоінт №1 sellingMethod==dgf-english OR sellingMethod == dgf-dutch
Банкрутство	-	CPVS == QB23-5	Ендпоінт №2 sellingMetod==bankRuptcy--* (english, dutch, withoutAuction) Архівні процедури, перенесені з ЦБД-2: legacyBankRuptcy-english legacyBankRuptcy-dutch
Необроблена деревина	-	CPVS == QB49-3	Ендпоінт №2 sellingMethod==timber-english Архівні процедури, перенесені з ЦБД-2: legacyTimber-english
Оренда вагонів	-	CPVS == MA08-5	Ендпоінт №2 sellingMethod==railwayCargo-* (english, dutch) Архівні процедури, перенесені з ЦБД-2: legacyRailwayCargo-english legacyRailwayCargo-dutch
Спеціальні дозволи на користування надрами	-	edrpou == 37536031	Ендпоінт №2 sellingMethod==subsoil-* (english, dutch) Архівні процедури, перенесені з ЦБД-2: legacySubsoil-english legacySubsoil-dutch
Оренда землі	-	procurementMethodType==landLease	Ендпоінт №2 sellingMethod==landRental-english Архівні процедури, перенесені з ЦБД-2: legacyLandRental-infinity
Продаж землі	-	-	Ендпоінт №2 sellingMethod==landSell-english, sellingMethod==landSell-priorityEnglish
Комерційни продаж	-	CPVS = DA04-3	Ендпоінт №2 sellingMethod==commercialSell-english, sellingMethod==commercialSell-dutch Архівні процедури, перенесені з ЦБД-2: legacyCommercialSell-english legacyCommercialSell-dutch
Комерційна оренда	-	CPVS = DA04-3 & CPVS = PA01-7	Ендпоінт №2 sellingMethod==commercialPropertyLease-* (english, dutch) Архівні процедури, перенесені з ЦБД-2: legacyCommercialPropertyLease-english legacyCommercialPropertyLease-dutch
Аукціон із закритими пропозиціями	-	-	Ендпоінт №2 sellingMethod==simpleSell-withoutAuction
Продаж арештованої землі	-	-	Ендпоінт №2 sellingMethod==landArrested-*(english, priorityEnglish, withoutAuction)
Продаж арештованих активів арматура	-	-	Ендпоінт №2 sellingMethod==armaProperty-english
Продаж непрацюючих кредитів	-	-	Ендпоінт №2 sellingMethod==nonperformingLoans-*(english, dutch)
Відновлювана енергетика	-	-	Ендпоінт №2 sellingMethod==renewables-multiAwards

Зв’язок у Малій приватизації

Зв’язок між активами, лотами, аукціонами та контрактингом у ЦБД2

Приклад стосується ситуації з успішним завершенням приватизації після проведення голландського аукціону після 2х неуспішних англійських аукціонів

#	Об’єкт ЦБД (посилання на api)	Зв’язок з пов’язаними об’єктами ЦБД2
1	Об’єкт малої приватизації (реєстр активів)	Лот "relatedProcesses":"relatedProcessID": "7383baad5a17417292e4e6a59b44bf8d" "relatedProcesses":"identifier": "UA-LR-SSP-2018-11-07-000018-3" "relatedProcesses":"type": "lot"
2	Інформаційне повідомлення (лот)	Актив "relatedProcesses":"identifier": "UA-AR-P-2018-07-26-000120-1" "relatedProcesses":"relatedProcessID": "d2d3a81e8ddc4ed6b710615065c44546" Аукціон: "auctions": англійський "auctionID": "UA-PS-2018-11-09-000030-1" "relatedProcessID": "3fb30cecc01c4375a381272d54703c43" "tenderAttempts": 1 "procurementMethodType": "sellout.english" англійський -50% "auctionID": "UA-PS-2018-12-11-000013-1" "relatedProcessID": "32dd3bf325974bd3a78591b5770f0fa4" "tenderAttempts": 2 "procurementMethodType": "sellout.english" голл "auctionID": "UA-PS-2019-01-14-000039-2" "relatedProcessID": "ceaf2b7e000a4f3a8d13e8a641f59b5b" "tenderAttempts": 3 "procurementMethodType": "sellout.insider" Контракт "contracts":"relatedProcessID": "d00151aeaf99432197f589cf3cbf97a3" "contracts":"contractID": "UA-PS-2019-01-14-000039-2-21"
3	Англійський аукціон	Лот: "merchandisingObject": "7383baad5a17417292e4e6a59b44bf8d"
4	Англійський аукціон -50%	Лот: "merchandisingObject": "7383baad5a17417292e4e6a59b44bf8d"
5	Голландський аукціон	Лот: "merchandisingObject": "7383baad5a17417292e4e6a59b44bf8d" Контракт: "contracts":"contractID": "UA-PS-2019-01-14-000039-2-21"
6	Об’єкт “контракт” у модулі контрактингу	Лот: "merchandisingObject": "7383baad5a17417292e4e6a59b44bf8d" Аукціон, на основі якого сформовано контракт: "relatedProcessID": "ceaf2b7e000a4f3a8d13e8a641f59b5b"

Зв’язок між активами, лотами, аукціонами та контрактингом у новій ЦБД

Приклад стосується ситуації з успішним завершенням приватизації після проведення голландського аукціону після 2х неуспішних англійських аукціонів

#	Об’єкт ЦБД (посилання на api)	Зв’язок з пов’язаними об’єктами
1	Об’єкт малої приватизації (реєстр активів)	У моделі relatedEntities є інформація про інформаційне повідомлення, процедури та контрактинг Інформаційне повідомлення "type": "announcement", "_id": "636a1e3fa578bab6c5a503d2", "objectId": "JAS001-UA-20221108-79790", "url": "/api/jobber/announcements/jas/636a1e3fa578bab6c5a503d2" Процедури "type": "procedure", "_id": "636cc140b1dfdb8d6a127b79", "objectId": "SPE001-UA-20221110-77372", "url": "/api/procedures/636cc140b1dfdb8d6a127b79" "type": "procedure", "_id": "6388eba1b2f2c4213d8dc7d7", "objectId": "SPE001-UA-20221201-56940", "url": "/api/procedures/6388eba1b2f2c4213d8dc7d7" "type": "procedure", "_id": "63961aa41e2baa39a1c7b4d6", "objectId": "SPD001-UA-20221211-09375", "url": "/api/procedures/63961aa41e2baa39a1c7b4d6" Приватизація шляхом викупу { "type": "redemption", "_id": "6920578986a2e00b85d46895", "objectId": "JRS001-UA-20251121-27082", "url": "/api/jobber/redemption/jrs/6920578986a2e00b85d46895" }, Контрактинг { "type": "execution", "_id": "6922fa898cbe832ce875825b", "objectId": "RES001-UA-20251123-69523", "url": "/api/registry/executions/6922fa898cbe832ce875825b" }
2	Інформаційне повідомлення (лот)	У моделі relatedEntities є інформація про об'єкт, з якого було створене інформаційне повідомлення "relatedEntities": [ { "type": "asset", "_id": "6849896fc676880cb7804db3", "objectId": "RAS001-UA-20250611-57359", "archiveId": "69551665f72d0d83696a815e", "url": "/api/registry/assets/6849896fc676880cb7804db3" } ], У моделі producedEntities відображається інформація щодо процедур та контрактингу "producedEntities": [ { "type": "procedure", "_id": "693d37f6a825f3c00e30c374", "objectId": "SPE001-UA-20251213-32470", "url": "/api/procedures/693d37f6a825f3c00e30c374" }, { "type": "execution", "_id": "694e8dbd81a94ad9892a9837", "objectId": "RES001-UA-20251226-67063", "url": "/api/registry/executions/694e8dbd81a94ad9892a9837" } ],
3	Англійський аукціон	Зв'язок з інформаційним повідомоеннням та об'єктом переліку через relatedEntities "type": "asset", "_id": "63690dfa9a64799b1865a103", "objectId": "RAS001-UA-20221107-02409", "url": "/api/registry/assets/63690dfa9a64799b1865a103" "type": "announcement", "_id": "636a1e3fa578bab6c5a503d2", "objectId": "JAS001-UA-20221108-79790", "url": "/api/jobber/announcements/jas/636a1e3fa578bab6c5a503d2"
4	Англійський аукціон -50%	Зв'язок з інформаційним повідомленнням та об'єктом переліку через relatedEntities "type": "asset", "_id": "63690dfa9a64799b1865a103", "objectId": "RAS001-UA-20221107-02409", "url": "/api/registry/assets/63690dfa9a64799b1865a103" "type": "announcement", "_id": "636a1e3fa578bab6c5a503d2", "objectId": "JAS001-UA-20221108-79790", "url": "/api/jobber/announcements/jas/636a1e3fa578bab6c5a503d2" Зв'язок з попереднім аукціоном "previousAuctionId": "SPE001-UA-20221110-77372"
5	Голландський аукціон	Зв'язок з інформаційним повідолменнням та об'єктом переліку через relatedEntities "type": "asset", "_id": "63690dfa9a64799b1865a103", "objectId": "RAS001-UA-20221107-02409", "url": "/api/registry/assets/63690dfa9a64799b1865a103" "type": "announcement", "_id": "636a1e3fa578bab6c5a503d2", "objectId": "JAS001-UA-20221108-79790", "url": "/api/jobber/announcements/jas/636a1e3fa578bab6c5a503d2" Зв'язок з попереднім аукціоном "previousAuctionId": "SPE001-UA-20221201-56940"
6	Об’єкт “контракт” у модулі контрактингу	Зв'язок з іншими сутностями малої приватизації через relatedEntities об'єкт переліку "type": "asset", "_id": "63690dfa9a64799b1865a103", "objectId": "RAS001-UA-20221107-02409", "url": "/api/registry/assets/63690dfa9a64799b1865a103" інформаціне повідомлення "type": "announcement", "_id": "636a1e3fa578bab6c5a503d2", "objectId": "JAS001-UA-20221108-79790", "url": "/api/jobber/announcements/jas/636a1e3fa578bab6c5a503d2" Остання процедура в ланцюжку "type": "procedure", "_id": "63961aa41e2baa39a1c7b4d6", "objectId": "SPD001-UA-20221211-09375", "url": "/api/procedures/63961aa41e2baa39a1c7b4d6"

Зв’язок обʼєктів у Оренді державного і комунального майна

Існує звʼязок на рівні "child - parent" для об'єктів, які задіяні в напрямку Оренди.


1	Обʼєкт реєстру Оренди (registry)	В JSON відсутня інформація про Аукціони (procedure), Дії (action) та Запити (lease_request) повʼязані з конкретним Обʼєктом реєстру оренди Приклад
2	Процедура Оренди державного і комунального майна	В Процедурі можна побачити ID Обʼєкта Оренди, до якого створена Процедура в рядках "registryObjectId": "RGL001-UA-20210120-44798", "registryId": "6007f7e32b861d45c3e79c96", Приклад
3	Дія (action)	В обʼєкті action можна побачити до якого Обʼєкта реєстру Оренди було створено Дію: "relatedEntity": [ { "id": "6682aa481182d660e419acd8", "entity_type": "registry" } ] Приклад
4	Заявка (lease_request)	В обʼєкті lease_request можна побачити до якого Обʼєкта реєстру Оренди було створено Заявку: "relatedObjectId": "6437b40c93f1fc621ad67df7" Приклад

Статуси

В усіх джерелах поле status

	ЦБД-1	ЦБД-2	ЦБД-нова
Прийняття заяв на участь	active.tendering	active.tendering	active_tendering
Період редагування	-	active.rectification	active_rectification
Аукціон	active.auction	active.auction	active_auction
Очікується опублікування протоколу	active.qualification	active.qualification	active_qualification
Очікується підписання договору	active.awarded	active.awarded	active_awarded
Очікується оплата	pending.payment	pending.payment	pending_payment
Очікується рішення про викуп	pending.admission	pending.admission	pending_admission
Аукціон завершено. Договір підписано	complete	complete	complete
Аукціон відмінено	cancelled	cancelled	cancelled
Аукціон не відбувся	unsuccessful	unsuccessful	unsuccessful
Період уточнень	active.enquiry	active.enquiry	active_enquiry

Анонімізація даних на час військового стану

На час військового стану запроваджена можливість анонімізувати дані у публічно доступних ендпоїнтах. Передбачено два рівні анонімізації: часткова (medium) та повна (hight). Ідентифікувати сутності ЦБД для яких застосована анонімізація можна по значенню параметру _protected=true. За рівень анонімізації відповідає _protect_level. Повний доступ зберігається у організатора процедури та учасників процедури

Часткова анонімізація передбачає приховання всієї інформації про учасиків процедури та протоколу процедури. Приклад процедури з частковою анонімізацією: https://procedure.prozorro.sale/api/procedures/62ea4c490174727332f8b0d1

Повна анонімізація, додатково до інформації що прихована у сежах часткової анонімізації, приховує дані про організатора та інформацію про об'єкт. Приклад об'єкту переліку оренди: https://procedure.prozorro.sale/api/registry/objects/5f9fb808aa56594a84909f65

Після завершення військового стану всі анонімізовані дані стануть загальнодоступними.

Архів ЦБД-2

З метою уніфікації моделі даних та збільшення ефективністі роботи з даними, усі сутності ЦБД-2 старої приведені до вигляду відповідних сутностей ЦБД-2 нова, та мігровані на ЦБД-2 нову.

Для мігрованих обʼєктів процедур додано поле sellingMethod, яке було відсутнє на ЦБД-2. Змігровані процедури можна ідентифікувати по префіксу legacy

Для процедур збережений ідентифікатор auctionId без змін. Машиночитний ідентифікатор перенесли у поле legacyId

Процедури ЦБД-2 були розподілені за наступними напрямками:

Назва нового sellingMethod ЦБД-нова	Аналог sellingMethod ЦБД-нова
legacySmallPrivatization-english	smallPrivatization-english
legacySmallPrivatization-dutch	smallPrivatization-dutch
legacyBasicSell-english	basicSell-english
legacyBasicSell-dutch	basicSell-dutch
legacyLegitimatePropertyLease-english	legitimatePropertyLease-english
legacyLegitimatePropertyLease-dutch	legitimatePropertyLease-dutch
legacyRegulationsPropertyLease-english	regulationsPropertyLease-english
legacyRegulationsPropertyLease-dutch	regulationsPropertyLease-dutch
legacyBankRuptcy-english	bankRuptcy-english
legacyBankRuptcy-dutch	bankRuptcy-dutch
legacyTimber-english	timber-english
legacyRailwayCargo-english	railwayCargo-english
legacyRailwayCargo-dutch	railwayCargo-dutch
legacySubsoil-english	subsoil-english
legacySubsoil-dutch	subsoil-dutch
legacyLandRental-infinity	landRental-english
legacyCommercialSell-english	commercialSell-english
legacyCommercialSell-dutch	commercialSell-dutch
legacyCommercialPropertyLease-english	commercialPropertyLease-english
legacyCommercialPropertyLease-dutch	commercialPropertyLease-dutch