Entender o mecanismo básico muda a forma como você usa a ferramenta — e explica por que ela às vezes erra com tanta segurança.
O mecanismo, em uma frase
Modelos de linguagem preveem qual pedaço de texto vem a seguir, com base em padrões aprendidos em enorme volume de material. Repetindo essa previsão, formam frases inteiras.
Não há consulta a um banco de fatos a cada resposta: há geração baseada em padrão. Isso explica quase todo comportamento que confunde as pessoas.
Por que ela erra com confiança
O modelo não distingue "eu sei" de "isto parece plausível". Quando o padrão sugere uma resposta bem formada, ela sai com o mesmo tom de segurança de uma resposta correta.
Por isso a regra prática: fato verificável precisa ser conferido, principalmente número, data, lei e citação.
O que é a janela de contexto
É quanto texto o modelo consegue considerar de uma vez — pergunta, histórico e documentos. Nos modelos atuais, a janela chega a 1 milhão de tokens, algo em torno de 555 mil palavras.