Inferência

A vida de um modelo tem duas fases. No treinamento, ele aprende a partir de dados, num processo caro e feito poucas vezes. Na inferência, ele é colocado para responder, milhões de vezes por dia.

Quando você paga por tokens numa API, está pagando por inferência. Empresas que servem modelos sem necessariamente treinar os próprios são chamadas de provedores de inferência.

Por que o termo aparece

Custo, latência e onde o modelo roda são questões de inferência. Rodar um modelo open weights no seu próprio servidor, por exemplo, é fazer a inferência você mesmo.