Температура генерации

Магазин проверяет запрос «какой робот-пылесос взять для квартиры с котом» в DeepSeek. Пять запусков с температурой по умолчанию: бренд в трёх ответах. Пять запусков при температуре 0: в четырёх. Разница в один ответ лежит в пределах шума, ни о каком влиянии температуры по этим данным говорить нельзя. Условный пример, но так выглядит большинство «открытий» про температуру. Температура (temperature): параметр, который регулирует, насколько случайно модель выбирает каждое следующее слово. При низкой она почти всегда берёт самый вероятный вариант, при высокой чаще выбирает менее вероятные. От этого зависит, увидите ли вы в двух запусках один и тот же список брендов или разные.

Что происходит внутри

Модель пишет ответ по одному токену (слову или его части). Перед каждым шагом она оценивает вероятность каждого возможного продолжения. Температура сжимает или растягивает это распределение: у холодной модели лидер получает почти всю вероятность, у горячей шансы выравниваются. Родственный параметр top_p отрезает «хвост» маловероятных слов, работает иначе, но служит той же цели.

Диапазоны задаёт провайдер. В справке GigaChat температура указана от 0 до 2: низкие значения вроде 0,2 делают ответ целенаправленнее, высокие вроде 1,8 случайнее. top_p там описан как альтернатива температуре, совместно использовать их не рекомендуют (справка Сбера). У DeepSeek в документации значение по умолчанию 1,0, а для кода и математики советуют 0,0 (документация DeepSeek; в сторонних материалах цифры расходятся, сверяйтесь с живой страницей).

Почему при нуле всё равно по-разному

Это самая частая иллюзия. Низкая температура сужает разброс, но не убирает его. Если модель с веб-поиском получила другую подборку страниц, ответ изменится при любой температуре. Вычисления на графических процессорах и распределение запросов по серверам дают микроразличия, которые к двадцатому слову превращаются в другую фразу. У части моделей параметр закреплён: по сообщениям разработчиков на форумах OpenAI, рассуждающие модели линейки o и часть моделей GPT-5 принимают только значение по умолчанию или отвергают параметр совсем. Точные правила зависят от модели и версии, проверяйте их в справке OpenAI. А саму модель могут обновить без уведомления, потому что версия за алиасом меняется.

Чего не делать

Не сравнивайте свой замер с «ответом в приложении» и не удивляйтесь расхождению: в приложении параметры скрыты и могут быть другими (подробнее в статье про API и интерфейс). Не делайте вывод по одному ответу, даже при температуре 0. И не снижайте температуру ради стабильной цифры: вы будете измерять не то поведение, которое видят покупатели, ведь люди получают ответы с настройками по умолчанию.

Задавайте каждый промпт несколько раз и считайте долю. Параметры генерации между замерами не меняйте, иначе сравнение теряет смысл, а если изменили, пометьте это отдельно. Размер разброса и число повторов разобраны в статьях про изменчивость ответов и объём выборки, а чтобы отличить эффект от случайности, нужна проверка значимости.