Como compreender: no AI de grande modelo, o dinheiro que pagas em tokens é na verdade a taxa de aluguel de poder de computação da placa gráfica?

Simplificando, token é a 'unidade mínima de refeição' do AI de grande modelo.

Tal como quando aprendemos caracteres na infância, primeiro aprendemos caracteres individuais, e depois memorizamos diretamente grupos de palavras comuns de forma mais eficiente.

Na verdade, o AI não reconhece caracteres chineses ou ingleses, apenas reconhece números. Quando introduzes uma frase, é primeiro dividida em tokens individuais, cada token corresponde a um código numérico, e o que o AI realmente processa é este conjunto de números. Na saída, é ao contrário: primeiro gera os códigos numéricos, depois traduz de volta para texto para que o veja.

🔹 Então como é que o AI sabe qual é a próxima palavra com maior probabilidade?

Através do treino em textos massivos, memorizando qual é a probabilidade mais elevada de o que vem a seguir após cada token, todas estas probabilidades estão armazenadas em centenas de milhares de milhões de parâmetros, como o 'manual de conhecimento' do grande modelo.

Ao gerar uma resposta, o AI na verdade 'salta um token de cada vez', e cada salto requer que percorra todo o manual, classifique todas as próximas palavras possíveis no dicionário, e escolha a com a pontuação mais elevada para enviar.

🔹 Portanto, este trabalho consome especialmente poder de computação, e a importância da GPU

A CPU é como um professor inteligente mas de thread único, folheando livro rápido também tem limites, a GPU é como milhares de alunos da escola primária a trabalhar simultaneamente, dividindo o manual em milhares de partes, toda a gente a calcular em paralelo, e em segundos varreram parametrizações de centenas de milhões.

Por isso as placas gráficas têm dois aspectos críticos: quanto mais núcleos, mais forte é o poder de computação paralela. Agora o mundo inteiro consome tokens descontroladamente, a essência é inúmeras placas gráficas por trás a folhear descontroladamente o manual e a classificar👇

Portanto, o dinheiro que pagas em tokens é na verdade a taxa de aluguel de poder de computação da placa gráfica.

E quando a placa gráfica funciona precisa de eletricidade e armazenamento, por isso a indústria resume isto numa frase:

No curto prazo, a IA carece de poder de computação, no longo prazo carece de energia, e sempre carece de armazenamento.