Що це таке і навіщо?
Обмеження частоти запитів в загальному випадку - один із найпростіших механізмів захисту від DDoS атак на веб ресурси.
В нашому випадку - взаємодія майданчиків з новою системою пов'язана з постійними змінами в роботі як нової системи, так і програмного забезпечення майданчиків.
Для мінімізації можливих наслідків для нової системи від помилок окремих майданчиків або сторонніх сервісів, що можуть призвести до помилкового генерування великої кількості запитів - використовується механізм обмеження частоти запитів для IP-адреси майданчика (рейт ліміт / rate limit).
Яке обмеження по кількості запитів?
Наразі рейтліміти налаштовані на 100 запитів на протязі секунди з однієї IP адреси.
Увага!
Через інфраструктурні особливості нової системи ліміт запитів рахується по групах ресурсів ЦБД. Відповідно, якщо з однієї адреси майданчик взаємодіє з декількома середовищами нової системи - кількість запитів рахується одночасно для всіх ресурсів группи. Відповідно блокування адреси відбувається також для всіх ресурсів группи.
1 Група - продуктивні середовища:
procedure.prozorro.sale
auction.prozorro.sale
dgf-procedure.prozorro.sale
dgf-auction.prozorro.sale
2 Група - тестові середовища:
procedure-sandbox.prozorro.sale
auction-sandbox.prozorro.sale
procedure-staging.prozorro.sale
auction-staging.prozorro.sale
dgf-procedure-sandbox.prozorro.sale
dgf-auction-sandbox.prozorro.sale
Що відбувається якщо наша адреса заблокована?
На всі запити нова система відповідає HTTP кодом помилки 429 протягом 10 хвилин із моменту перевищення ліміту.
(rate limit) — це один з основних інструментів захисту вебресурсів від DDoS-атак.
У випадку взаємодії з новою системою, цей механізм також допомагає контролювати навантаження та запобігати збоїв у роботі через помилки або некоректну поведінку клієнтів системи.
Мета використання рейт-лімітів
У зв'язку з постійними змінами у роботі нової системи та програмного забезпечення майданчиків, можуть виникати ситуації, коли через помилкові дії або збій сторонніх сервісів генерується надмірна кількість запитів до системи.
Щоб запобігти перевантаженню нової системи та мінімізувати можливі наслідки таких помилок, вводиться обмеження на кількість запитів і активних з'єднань з боку однієї IP-адреси.
Поточні налаштування рейт-лімітів
- Запити на секунду: 100 запитів на секунду.
- Запити на хвилину: 2000 запитів на хвилину.
- Активні з'єднання: 300 з'єднань з однієї IP-адреси.
Як працюють рейт-ліміти?
- Ліміти обчислюються для кожного середовища (домену) окремо. Наприклад, якщо з однієї IP-адреси взаємодіють з декількома середовищами, то кількість запитів розраховується для кожного з них окремо.
- Блокування IP-адреси також виконується окремо для кожного середовища.
Запобігання блокуванню при раптових стрибках активності
Для того, щоб система не блокувала IP-адресу при короткочасних стрибках активності користувачів, дозволяється тимчасове перевищення ліміту запитів у 5 разів. Це дає змогу системі справлятися з піковими навантаженнями. Однак, якщо активність залишається високою у наступній секунді або хвилині, система почне блокувати запити.
Що відбувається у разі блокування IP-адреси?
Якщо кількість запитів перевищує встановлені ліміти, система повертає відповідь з HTTP кодом 429 ("Too Many Requests").
Як уникати блокування?
Є декілька основних причин чому майданчик може бути заблокованим:
- Генерування великої кількості однакових запитів майданчиком через помилку на стороні майданчика або неочікувану відповідь від ЦБД.
Логіка роботи ПЗ майданчика має унеможливлювати надмірну частоту повторів будь яких запитів на нову систему за будь-яких умов.
- Синхронізація або ресинхронізація великої кількості об'єктів через ендпоінти пошуку, чи процедури а не механізми Mirror.
Mirror використовує постійне з'єднання на основі протоколу WebSocket, що дозволяє отримувати зміни в режимі реального часу.
Це означає, що немає необхідності виконувати повторні підключення або надсилати окремі запити для отримання актуальних даних.
Інформація передається автоматично через це постійне з'єднання, що знижує навантаження на систему та спрощує процес синхронізації.
- Невикористовувані з'єднання, які залишаються відкритими.
Логіка роботи ПЗ майданчика має унеможливлювати зависліз'єднання які невикористовуються.
Зі свого боку, нова система примусово закриває з'єднання в яких протягом 350 секунд не передавалася інформація.
Дотримання цих рекомендацій допоможе уникнути блокування та забезпечити стабільну роботу з новою системою (без використання механізму mirror).Швидкість синхронізації об'єктів має бути обмеженою на стороні майданчика.