Проверка нейросетей перед замером

Прежде чем отправлять сотни запросов, мы проверяем каждую выбранную нейросеть коротким тестовым запросом. Одной удачной проверки мало: сервис может отвечать на один запрос и сбоить на следующем, поэтому проверка устроена жёстче.

• Несколько раундов. Все нейросети должны ответить 2 раза подряд с паузой около 30 секунд между раундами. Только после этого начинается сбор.
• Повторы при сбое. Если нейросеть не ответила, проверка повторяется до 5 раз с растущими паузами, в окне до 10 минут. Кратковременная недоступность замер не срывает: он просто стартует чуть позже.
• Ошибки сбора. Что-то пошло не так — замер останавливается, в поддержку отправляется экстренное оповещение, мы проверяем и чиним проблему.

Если после всех попыток хотя бы одна нейросеть не ответила, весь замер останавливается, чтобы вы не получили картину без части нейросетей. На дашборде видно, какая именно нейросеть не ответила. Основной сбор при этом не начинался. Об остановке сообщаем в кабинете и по email. Что делать: замер остановлен. Лимит замеров при остановке на проверке не тратится.