Temperatura e softmax na geração de texto por IA

A temperatura ajusta como um sistema de IA escolhe a próxima parte de um texto. Entender esse mecanismo ajuda a avaliar ferramentas, conversar com fornecedores e planejar testes. O controle modifica a distribuição das escolhas disponíveis. Sozinho, não verifica fatos nem torna uma resposta confiável.

Para um empresário, essa distinção importa. Produzir alternativas de chamadas comerciais pode se beneficiar de variedade. Extrair campos de um contrato exige critérios de correção, evidências e validação. A temperatura não substitui essas decisões.

De pontuações a probabilidades

A cada etapa de geração, o modelo atribui pontuações aos possíveis próximos tokens. Esses tokens podem representar palavras, partes de palavras ou sinais. As pontuações são chamadas de logits. Um logit maior favorece um candidato em relação aos demais. Ele ainda não é uma porcentagem.

A função softmax transforma as pontuações em valores não negativos cuja soma é um. Essa é a definição apresentada na documentação oficial do PyTorch. Com temperatura positiva, aplicamos softmax aos logits divididos por T:

pᵢ = exp(zᵢ / T) / Σⱼ exp(zⱼ / T), para T > 0.

Aqui, zᵢ é a pontuação do candidato i, T é a temperatura e exp é a função exponencial. O denominador soma os pesos de todos os candidatos considerados. Quando T = 1, temos a softmax sem esse ajuste. Reduzir T amplia as diferenças relativas entre os pesos. Aumentar T aproxima a distribuição da uniformidade. Para T positivo, a ordem dos candidatos por probabilidade permanece igual.

Um exemplo que cabe na calculadora

Considere três candidatos sintéticos: A, B e C, com logits 2, 1 e 0. Em T = 1, os pesos são aproximadamente 7,3891, 2,7183 e 1. Dividindo cada peso pela soma 11,1073, obtemos:

• A: 66,52%
• B: 24,47%
• C: 9,00%

Os cálculos usam precisão interna, com arredondamento apenas na exibição. Por isso, as porcentagens exibidas podem não somar exatamente 100%. Em T = 0,5, as probabilidades passam a 86,68%, 11,73% e 1,59%. Em T = 2, tornam-se 50,65%, 30,72% e 18,63%. A continua sendo o favorito. A distribuição passa a dar mais espaço aos demais conforme T aumenta.

Uma forma mais estável de fazer a conta usa exp((zᵢ − m) / T), em que m é o maior logit. Subtrair esse valor de todos os logits preserva a distribuição matemática. Isso evita exponenciais positivas muito grandes. O estudo primário Accurate Computation of the Log-Sum-Exp and Softmax Functions analisa essas reformulações e seus efeitos numéricos.

A distribuição e a escolha são etapas diferentes

Calcular as probabilidades não escolhe um token. Uma estratégia gulosa seleciona o candidato de maior pontuação. Na amostragem, a seleção depende da distribuição. A documentação de estratégias de geração do Transformers descreve essa diferença.

A demonstração usa um ponto u editável, entre zero incluído e um excluído. Os candidatos ocupam intervalos cumulativos na ordem A, B, C. Com T = 1 e u = 0,70, o ponto fica no intervalo de B. A termina aproximadamente em 0,665241 e B termina em 0,909969. Com os mesmos logits e u, mas T = 0,5, A ocupa aproximadamente os primeiros 0,866813 do intervalo. Nesse caso, A é selecionado.

O leitor define o ponto, sem sorteio. Entradas iguais produzem o mesmo resultado. A demonstração explica a seleção a partir das probabilidades. A execução completa de um modelo fica fora do exemplo.

O caso especial de temperatura zero

A divisão por T impede o uso direto da fórmula em zero. Na demonstração, T = 0 aciona uma regra separada. Ela escolhe o maior logit e exibe uma distribuição de decisão com 100% nesse candidato. Se houver empate, vence o primeiro na ordem A, B, C. Esse desempate é uma convenção da demonstração. No limite da softmax com temperaturas positivas, a massa se divide entre máximos empatados.

A implementação TemperatureLogitsWarper do Transformers exige temperatura estritamente positiva. O ajuste depende da amostragem estar ativada. Interfaces reais podem tratar zero e seleção gulosa de formas específicas.

Como levar isso para uma decisão de negócio

A temperatura baixa pode concentrar as escolhas. Uma pontuação alta representa a preferência do modelo naquele contexto. Ela não prova que a informação é verdadeira. Se o modelo favorecer uma informação incorreta, concentrar a distribuição pode repetir esse erro.

Compare as configurações em casos reais. Mantenha o modelo, as instruções e os documentos de referência sob controle. Meça correção, adequação e diversidade separadamente. Registre filtros como top-p, que podem alterar os candidatos disponíveis. Nenhum valor universal serve para toda tarefa.

A demonstração usa três opções sintéticas, sem API, treinamento ou consulta a informações externas. Ela explica o mecanismo matemático. A qualidade de uma solução empresarial exige verificação no processo completo de uso.