Palestra com Alexandre Gonçalves - Inteligência Artificial Generativa

Bonjour,

bonsoir.

Nous

allons commencer les palestras des 6h30. Premièrement, nos nossos patrocinateurs et apoiadores. Comme patrocine, nous avons la CREA, la WIZARD, la TKE, la Notify Sistemas, Contato et Hotel Link Araranguá.

Et

comme apoiadores, nous avons la Corde Up, Billy Willi, Otica Miguel, Maricotas, Samai, Hortência et Cooks Caracol.

Aujourd

'hui, nous allons avoir la présentation du professeur du campus, Alexandre, sur la generative aplicable à negócios.

Bonne nuit, pessoal. Tout bon? Premièrement, je voudrais agradecer le invité de vous, de la comissée, mais aussi, c

'est un

invité du cours, se extende au cours.

Donc,

je voudrais agradecer ici au personnel de Satec, Saec et Ciatique. C

'est

un plaisir d'être ici et parler avec vous sur cette thématique, qui a gagné tant de attention.

Et, pour

l'aider des applications que nous interagez, nous, au quotidien, existe toute une infrastructur

pour

que nous puissions aussi créer ces applications. Le objectif

est

de parler un peu, donc, du concept de l

'IA

generative, ces éléments, ces constructs, ces concepts que font partie de ce

«

garde-chuva-maior ».

Et, pour l'aider en

présenter certains projets, ces

produits

que nous travaillons

avec

la industrie, ces tccs que sont en développés dans le campus. Os cours, surtout,

aussi

les cours de l'inglure de computation et TIC,

ont

travaillé beaucoup avec l'IA, des différents aspects. Donc, c

'est une

idée, c'est discuter un peu ce concept. Bon, pour le personnel de l'organisation, quand il est, peut-être en une heure, je vous avisez. Parce que vous savez, on commencez à parler et, parfois, on

peut

se perdre à la parole. Je vais laisser un temps pour la question. Bon,

mon

nom est Alexandre,

je

suis professeur ici du campus.

Je

suis professeur de Florianópolis, je suis au campus Trindade, je retourne. Ma formation est en Computation, Mestrado, Doutorado, en Engenharia de Productions. Avant de venir à l'académie,

j

'ai été dans la industrie pour un bon temps, comme développeur. J'ai travaillé dans

différents

systèmes, en projets nationaux et internationaux, en plusieurs linguages. Pour arriver à l'académie, j'ai

passé

beaucoup de

choses

dans le développement. Mais aujourd'hui, nous avons un conjunto de ferramentas que facilitent, à l'académie, à production de softwares de alto desempenho.

Et,

avec la technologie, nous avons des applications plus utiles et que impactent,

au

quotidien,

au quotidien

des personnes. Bon, juste

pour...

Conceit initial de l'intelligence artificielle, juste pour baliser ce que nous allons discuter ici. Donc, IA refere-se à capacité que systèmes computacionaux possuient, à executer tarefes que, généralement, demandent l'intelligence humana. Donc, ce est le principe basique.

Entre

elles, percepção visual, reconhecimento de la fala, tomada de la décision.

C'est

une área ample que envoie différentes técnicas, métodos et abordages.

En

définition du McCarthy, que est le créateur du terme de l'intelligence artificielle,

en

1956, John McCarthy,

est

l'académie de projetar máquinas inteligentes,

especialmente

programas de computador inteligentes. Je dirais que, talvez, aujourd

'hui,

un contexte plus actual.

On

pourrait parler de ce programme de computador comme agentes de softwares ou agentes inteligentes.

C

'est

un

contexte plus

actual. D'ailleurs, ici,

je

vous

rappelle plus

d'accord.

On va voir, si quelqu'un a intéresse, nous allons partager la présentation.

Non

pas de problème. Mais, la idée est qu'en 1943, la Cooke-Pitch, nous avons un premier modèle matélico de ce que serait le neurone artificial. Et, de là pour là, nous avons une grande évolu, passant, en les années 70 et 80, par ce qu'on appelle l'invernement de l'IAH.

Pour

les restrictions de technologie et de l'investissement, pratiquement l'IAH a été désaccréditée, personne

n

'investissait ou n'accréditait n'est-à-dire.

En

les années 80, surges les systèmes spécialistes,

qui

promuvent une vision semantique de comment lidé avec la information, pour plus de la question mathématique, c'est la base des neurones.

En

les années 80, on commence à parler d'apprentissage, desculpe, en les années 90, l'apprentissage de máquinas, différentes técnicas, principalmente avec un contexte statistique.

Après

les années 2000, l'apprentissage de robótica, automatique de véhicules et processus de linguaggio natural.

En

les années 2010, nous avons un boom, le concepte de deep learning, et d'apprentissage profonde. Non que il ne existe, il existe, il existe depuis plusieurs années, mais en fonction du pouvoir de

la

computation, il

se passe

donc à produire des systèmes que vraiment conseguent travailler avec reconnaissance de voix, reconnaissance de images, processus avance de texte, et ainsi de suite.

En

cette década, en particulier, il y a un breakthrough, que est considérable un marco dans l'IA, que est en 2017,

a

création de l'arquité transformers, a partir d'un article du Google, que est appelé «Attention is all you need», ou seja, «attention est tout ce que vous avez besoin», que est un modèle que aujourd'impera nas redes neurais,

que

supporte, par exemple, «Jet GPT», «Gemini», «Code», ou seja, l'IA generative, é suportada, então, por esses modelos transformadores, ou transformers, como a gente costuma chamar.

E

a base desses transformers, veremos em linhas gerais, é composta por um elemento fundamental, que são os embeddings, ou seja, os vetores semânticos que guardam, então, as relações entre as características e permitem com que a gente tenha as mais variadas aplicações atualmente. Por fim, nos anos 2020, a IA mostra realmente a que veio, ou seja, pensando no lançamento do GPT, isso causa um boom, e de lá para cá,

o

número de aplicações, modelos, é até difícil de acompanhar, porque todo dia sai um modelo novo, sai uma técnica nova, sai

uma

aplicação nova, então, por mais que você esteja neste

ambiente,

esteja desenvolvendo, é bem provável que você conheça só uma fração do que é a IA generativa atualmente.

Bom,

um contexto maior, então, quando a gente pensa em inteligência artificial, esse grande chapéu promove suporte para diversas áreas ou campos, então, aprendizado de máquina, aprendizado de linguagem natural, visão computacional, robótica, engenharia do conhecimento, a computação cognitiva, a capacidade de raciocínio cada vez mais presente nos modelos de linguagem, o aprendizado profundo, que continua sendo a base, estamos falando de várias técnicas, mas

na

base nós temos as redes transformers que derivam desse conceito, então, de aprendizado profundo. e a IA generativa.

Aqui

é uma figura, trazendo o contexto da IA generativa, que nós iremos discutir, tem alguns conceitos a mais, mas, essencialmente, quando a gente pensa em GENERI, ou seja, Generative Intelligence Artificial Intelligence, nós temos ali a questão dos gráficos de conhecimento, o conceito de RAG, ou RAG, que é o Retrieve Argument Generation, então, falaremos desses conceitos. Bom, o GENERI, então, refere-se a uma classe de modelos de A projetados para criar novos conceitos, novos conteúdos,

e

tenta imitar, então, o comportamento do ser humano no sentido de criação. Esses modelos, então, geram novos resultados a partir de padrões que foram aprendidos em grandes conjuntos de dados.

Os

casos de uso incluem a geração de texto, criação de imagens, composição de música, recomendação de conteúdo, geração de vídeo, cada vez mais presente.

O

principal aspecto, então, da IA generativa é a capacidade de produzir conteúdo

que

não fazia parte do conjunto de dados de entrada original. Então, eu treino o modelo de IA e ele tem a capacidade de produzir o conteúdo adicional a partir de um

elemento

de entrada, que pode ser um prompt, linguagem natural, pode ser, eventualmente, uma imagem ou um vídeo de suporte.

No

centro disso tudo, nós temos os modelos de linguagem. A ideia de que nós precisamos, de certa maneira, independente de que mídia nós estamos falando, é necessário ter um modelo de linguagem. Isso vale para áudio, vale para vídeo, vale para imagem, ou seja, cada vez mais nós teremos a interconexão entre as unidades de informação, mídias. Então,

texto

interconectado com vídeo, com áudio e assim por diante. O áudio em si, quando eu extraio a parte do áudio, eu tenho a fala, eu tenho o texto escrito e assim por diante.

No

sentido de, eventualmente, quando a gente pensa em um modelo, hoje lá com o Gemini ou GPT, você escreve um prompt e ele gera um vídeo, ou ele gera uma figura. Então, ele foi treinado para esse tipo de comportamento. Ou,

eu

posso pensar no inverso. Dado uma aplicação específica, eu tenho um contexto de reconhecimento e, a partir da imagem ou do vídeo, eu vou descrever o que acontece naquela imagem ou naquele vídeo. Então, no limite, nós estaremos sempre utilizando a ideia de linguagem interconectada, da linguagem para uma unidade diferente ou de uma unidade, em particular, que não seja a linguagem falada, para a língua humana.

Então,

a linguagem é a capacidade preeminente dos seres humanos voltada à expressão e comunicação, que se desenvolve na primeira infância e evolui ao longo da vida. Por enquanto, a gente ainda admite isso. Quem sabe, no futuro,

os

sistemas computacionais tenham cada vez mais essa capacidade. Então, a partir desse conceito base,

nós

temos os LLM, os Large Language Models.

Como

eu disse,

a

ideia base vem lá de 2017. Com o paper da Google, Attention is all you need.

É

a evolução do que a gente chama de PLMs, os Pre-Trained Language Models. Existe toda uma evolução. A gente olha para um resultado final, que é esse resultado dos LLMs,

a

partir do chat GPT 2021, 2022 talvez, acho que foi em 2022 que ele surgiu, estourou na mídia. E a gente esquece que existe um background.

Esse

background

está

lá na década de 80 e 90. Basicamente,

os

modelos pré-treinados, os modelos estatísticos, baseados num conceito chamado de Singular Value Decomposition, SVD.

Que

é a ideia de você, a partir de uma matriz que represente determinado conteúdo, ela é decomposta e eu tenho, então, uma representação rica, numérica rica, que me permite fazer diversos processamentos, inferências e assim por diante.

Esse

modelo

de

decomposição matricial,

ele

é do século 19.

A

gente levou 100 anos para achar uma utilidade para ele.

E

depois mais 30 anos para chegar no nível que a gente está aqui. Então, assim, a gente está falando de uma história da matemática para chegarmos até os modelos transformers.

Para

quem tiver interesse, o GPT é um exemplo, possui uma grande quantidade de parâmetros, aqui vai uma informação, talvez a questão do parâmetro. Os parâmetros são as conexões que existem dentro de um modelo, seja ele, a gente já vai ver as classificações, mas seja ele um LLM, um SLM ou um MLLM, basicamente são as conexões, essas conexões possuem uma unidade de informação que discutiremos um pouquinho mais à frente.

E

quando a gente fala em bilhões de parâmetros, que é o mais comum agora, nós precisamos, basicamente, de recurso computacional para processar esses bilhões de parâmetros. Então, uma conta de chegada

é

que cada bilhão de parâmetros eu precise de um giga de GPU. Então, se vocês olharem para o GPT, que tem possivelmente perto de um trilhão de parâmetros, ou mais de um trilhão de parâmetros, a gente imagina a infraestrutura. Ou mesmo se vocês quiserem trabalhar nas suas aplicações, nos seus TCCs ou qualquer outro projeto, eu preciso de uma infraestrutura adequada.

Os

modelos têm se reduzido ao longo dos últimos anos e meses.

Nós

temos modelos agora que começam a entrar, a serem reduzidos de novo

para

casa,

que

fica abaixo do bilhão de parâmetros. É o exemplo do DIMA, 270 milhões de parâmetros. Então, existem modelos mais enxutos que se pretendem ou têm a intenção de resolver o que os grandes modelos resolvem.

Este artigo

aqui é só uma referência, se vocês tiverem interesse. É um artigo bastante interessante, a Survey of Large Language Models. É um artigo que já tem cento e poucas páginas,

mais

de mil referências, mais de mil referências no artigo e mais de cinco mil citações

desse

artigo. Ele não foi publicado ainda, ele está em um archive.

Ele

tende, possivelmente, a ser uma

versão

viva do conceito de LLM, de tão importante que esse conceito é para o cenário atual da inteligência artificial. Se tiverem interesse, inclusive toda a história e a evolução dos modelos constam nesse artigo.

Bom,

aqui é uma árvore, só para deixar claro como é que se desenvolveu. A

gente

tem, basicamente, quatro ramificações. A parte mais à esquerda, aqui embaixo,

em

cinza, depois em rosa, aqui em verdinho, depois aqui um cinza mais escuro.

Mas

esses aqui são os primeiros modelos que não tinham contexto antes do modelo de 2017, que é o BERT,

que

é o primeiro modelo que foi lançado lá no artigo da Google. Depois, o BERT e os similares, que tinham a função de entender o contexto, basicamente para tradução,

que

são os modelos encoder-only. Aqui, nessa ramificação, GPT, Gemini, Lama e toda a classe mais recente, que tem a função, basicamente, de decoder-only. Tem evoluído, mas a ideia básica era decoder-only, ou seja, analisando o contexto,

ele

escreve o próximo elemento ou propõe um próximo elemento, uma imagem, uma figura, e assim por diante. E os modelos que conectam, que têm as duas possibilidades, que são os modelos encoder e decoder-only.

Não

sei se vocês têm uma noção mais ou menos, a gente não vai entrar no detalhamento técnico, mas quando a gente pensa no GPT, como é que ele sabe o que escrever? Basicamente, ele usa uma estrutura chamada embedding,

em

que são representações vetoriais dos conceitos que são apresentados, as palavras, os tokens.

Então,

quando a gente escreve alguma coisa, ele vai no modelo, transforma aquela sentença

num

embedding, num vetor,

e,

a partir da rede, ele submete esse vetor à arquitetura, um banco de dados.

Não

sei se todos têm essa noção, uma rede neural,

um

modelo de uma rede neural, nada mais é do que um banco de dados, organizado em matrizes e vetores.

E

ele descobre

qual

é o próximo elemento, ou seja, qual é o embedding, que tem a maior similaridade. Cada embedding dentro desse modelo está vinculado

a

uma entrada dentro de um dicionário, ou seja, um token. E aí ele escreve a próxima palavra. Ao escrever a próxima palavra, ele recalcula o embedding, e tem uma nova probabilidade, e assim sucessivamente.

Então,

esse é o elemento central, ou como ele se utiliza, o embedding, é o elemento fundamental. Bom, modelos de linguagem. Existem mais classificações, mas essas são algumas classificações, talvez o mais aceito hoje, são os Large Language Models, os grandes modelos, realmente. Aqui a

gente

está falando de bilhões de parâmetros.

O

GPT, o Gemini,

o

Cloud

e

o Lama.

Ou

Lama, como alguns chamam em inglês, é Lama. Depois, os Small Language Models, SLMs, o FIFOR, da Microsoft, o Dima, da Google, o Mistral, o Coin, da Alibaba, o Jet, NemoTron,

da

NVIDIA, e o TimeLama, que é algo open source. Uma categoria que tem despontado, que são os multimodais. Ou seja, eles conseguem lidar com o texto, com o áudio, com o vídeo, numa mesma estrutura. Que é uma tendência. Inclusive, a tendência de como você vai armazenar, e as aplicações, como a gente vai interagir com esses modelos, pensando numa estrutura mais dinâmica. Inclusive, os bancos de dados, evoluindo para suportar esse tipo de modelo no CERD, ou no núcleo dos bancos de dados.

Então,

a gente tem aqui o GPT, o Gemini, o CloudVision e assim por diante.

Aqui

é só uma representação.

E

por que eles vêm dessa forma, basicamente? Por que a gente fala primeiro dos LLMs, depois SLMs, depois os MLMs? Basicamente, pela ordem com que eles surgiram. Quando a gente começa a falar em LLMs, 2020 e 2021, a gente está falando já em bilhões de parâmetros. E isso

se

percebeu que o custo computacional era bastante elevado e que precisaria de soluções específicas para

conseguir,

eventualmente, pensar em aplicações de

uma

escalabilidade, talvez, menor, mas que atendesse propósitos específicos. Então, por que isso? Porque as empresas, nem todas,

estão

interessadas em fornecer os seus dados

a

OpenAI. Nem todas estão interessadas em fornecer os seus dados para Google. Quanto mais sensível for esse dado, menor é a chance de eu ter uma aplicação invocando

esses

modelos via APIs. Então, é uma alternativa. E depois, pensando agora num contexto mais recente, essa fusão. Se eu for treinar um modelo MLM, eu vou apresentar a imagem, por exemplo,

e

o contexto daquela imagem.

De

tal maneira que eu possa, ao apresentar uma imagem, ele pode descrever a imagem ou, ao fornecer um contexto, ele pode localizar a imagem ou gerar uma imagem a partir daquele contexto. Então,

os

modelos têm evoluído nesse sentido. Embeddings. Esse é o

núcleo

dessa estrutura chamada rede neural do tipo transformer. Basicamente, é

uma

representação vetorial que permite mapear as interconexões semânticas que existem dentro de uma unidade de informação. Pode ser uma palavra, pode ser uma sentença, pode ser um texto, pode ser uma imagem, pode ser um vídeo, pode ser

um

áudio. Desde que exista uma rede neural

programada

para gerar o embedding, eu tenho como transformar essa unidade de informação, enquanto entrada, numa resposta, numa saída, que é um vetor denso.

O

que é um vetor esparso, então? Essas duas possibilidades. Imagine, por exemplo, uma mensagem que vocês enviem considerando a língua portuguesa. Quantos tokens existem na língua portuguesa? Vou chutar aqui, 30 mil, 40 mil palavras.

Quando

vocês enviam uma mensagem via e-mail, por exemplo, via WhatsApp, essa mensagem contém somente algumas palavras. Considerando, então, o vetor que representaria a língua portuguesa com todos os tokens, somente alguns foram preenchidos. Então, eu tenho um vetor altamente esparso.

O

que nós temos aqui nos embeddings são vetores densos. Nenhuma posição

é...

Nenhuma das posições está sem preenchimento. Todas estão preenchidas. Em que tamanho, que dimensionalidade tem esses embeddings? Depende de quem programou a rede, de quem fez os testes. Então, eu tenho desde cento e poucas posições até quatro mil posições, depende da rede neural.

Para

aquela arquitetura de rede neural, esta representação com X dimensões é a mais adequada para produzir o melhor resultado. Isso vale para redes neurais que vão reconhecer imagem, vídeo, texto, áudio e assim por diante.

Então,

o que é o embed? Embed é um espaço de dimensionalidade relativamente baixo, comparado, por exemplo, o que seria dimensionalidade, só para fazer

uma

contextualização.

Qual

a dimensionalidade da web? Como a gente enxerga a dimensionalidade? Bom, quando eu olho para um vetor, qualquer que seja o vetor, ele tem dimensionalidade, ele tem dimensões.

Então,

o

que

eu poderia entender como dimensionalidade da web? A quantidade de tokens nas colunas

e

a quantidade de

páginas

web nas linhas.

Vejam

que eu tenho uma matriz gigantesca. E é isso. A computação é baseada em vetores e matrizes.

Só

que eu preciso organizar isso de maneira diferente, porque se eu for tentar fazer uma recuperação em uma matriz com a dimensão da web, nada seria recuperado. Não tem poder computacional do mundo que consiga recuperar em tempo hábil algo nesta matriz, nessa matriz gigante. Mas cada linha

dessa

matriz seria um vetor n-dimensional. De quantas dimensões? Sei lá. Quantos tokens distintos existem? O que é um token? Quando a gente olha para

o

contexto, então, de processamento

de

unidades de informação. É uma unidade que não pode ser decomposta. Quando eu

olho

para uma palavra, por exemplo,

uma

palavra é um token. Mas uma sigla também é um token. Uma data é um token. Um número é um token. Uma URL. Então, no contexto que eu estou trabalhando, um token é aquilo que não é divisível.

Então, uma

informação inteira. Embedds capturam parte da semântica de determinada unidade de informação, dispondo entradas, então, semanticamente semelhantes, próximas no espaço n-dimensional. Já vou mostrar. De modo geral, o embedding, então, pode ser aprendido e reutilizado em vários modelos.

Vou

passar aqui, basicamente, o que nós temos aqui? Só para uma ideia geral, aqui uma ferramenta chamada Projector Tensor Flow.

Basicamente,

nós temos vários pontos aqui. Cada ponto deste, nesta apresentação, significa uma palavra. Cada palavra, ela tem um vetor. Mas como é que ele está projetado em três dimensões? Porque, ao elaborar esse vetor, considerando as interconexões da palavra num domínio qualquer, eu consigo ter uma ideia de posição.

E,

aplicando algoritmos específicos, eu consigo reduzir, então, a dimensionalidade original de um vetor para três ou duas posições. Então,

eu

tenho vetores bidimensionais ou tridimensionais e eu consigo, então, projetar num espaço tridimensional ou bidimensional. Mas para que serve isso?

Aqui

fica pequenininho, mas aqui foi dito, olha, artificial.

Quais

são as palavras

que

ele localizou que são mais relevantes neste contexto? A próxima palavra que está aqui é intelligence. Então, artificial intelligence. Apesar de aparecerem distantes ali, elas estão próximas semanticamente, porque, como é três dimensões, eu teria que virar. E, na hora que eu rotaciono, eles podem ficar próximos. Só a posição que foi colocada para deixar em destaque, mas ser a perspectiva. Exatamente porque nós temos um eixo, o x, o y e o z dando profundidade.

Então,

vejam, só para retornar, o que vai acontecer na prática? Isso daqui, na prática,

é

a base de conhecimento de uma rede neural. Até 2017, nós não tínhamos esse conceito muito claro de embedding. Então, como é que eu projeto uma rede neural? Como é que eu explico o conhecimento de uma rede neural? Eu entro num ponto, qualquer que seja esse ponto,

eu

tenho acesso ao dicionário

de

uma rede de tipo

transformer,

obtenho o embedding e, recursivamente, eu posso ir calculando quem são os mais próximos e remodelar a rede. Ou seja, eu consigo extrair e explicar o conhecimento a partir de

uma

arquitetura transformer, que é diferente de outras arquiteturas onde era uma caixa preta, onde eu não tinha dificuldades,

ou

se tinha dificuldades, de explicar o conhecimento dessa rede. Aqui seria a representação, então, do embedding, ou seja, um vetor numérico

que,

normalizado, ele fica entre 0 e 1. E por que 0 e 1? A gente só voltando.

Porque quando

eu vejo aqui a distância,

está

em 0,50, é a menor distância. Então, dois vetores, a menor distância. Mas, em geral, a gente utiliza o conceito de um ângulo vetorial. Então, quanto mais próximo for de 1 esse ângulo vetorial, maior é a similaridade, dado um vetor de entrada quanto um vetor

de

saída.

Uma

aplicação rápida, depois eu vou mostrar ela. Bom, eu quero, eventualmente, classificar

padrões

construtivos

em

uma base de conhecimento de uma prefeitura para gerar um indicador para o cálculo do IPTU.

Como

é que eu vou fazer isso? Como

é

que

eu

vou implementar isso? Basicamente, nós vamos transformar cada imagem

com

as suas respectivas classes no embedding, guardar essa informação dentro de um banco de dados vetorial, que armazena vetores. E, a partir, então, de uma imagem que é a foto batida, pensando em um aplicativo, ele vai até o banco de dados, consulta quais são as imagens mais semelhantes,

não

pela comparação mais de imagem a imagem, mas uma comparação aproximada. Ou seja, olhando

para

imagens que estão próximas daquela que está entrando, recuperando o contexto, ou seja, o entorno,

e

produzindo uma resposta que seria qual é o padrão construtivo mais provável naquele caso específico. Embedding significa, ou promovem,

a

infraestrutura para as aplicações de ar que nós temos atualmente.

Aqui

a ideia, então, de que qualquer unidade de informação pode ser transformada no embedding, desde que eu tenha uma rede neural para fazer isso, pode ser para texto, áudio, vídeo, imagem e assim por diante, e eu vou armazenar isso em algum espaço, pode ser em um banco de dados, para que seja recuperado no futuro, e eu possa,

a

partir, então, de uma demanda, localizar quais são os pontos no espaço n-dimensional mais próximos, de tal maneira que eu consiga ter uma resposta. Entre, quando a gente pensa, então, nessa questão da recuperação, ou interagindo com os LLMs, nós temos um conceito, dois conceitos importantes,

que

é o REG,

ou

seja, eu quero recuperar um conteúdo pensando no aumento da capacidade de explicação e de resposta,

ou,

eventualmente, eu quero treinar o meu modelo com o conhecimento específico. A ideia do REG é que eu tenho uma base de dados separada, uma base de conhecimento, e eu não uso essa base de dados para retreinar o modelo, para aprimorar o modelo. Por que que eu não uso?

Por

que que

a

gente não faz isso? Por que é caro?

Muito

caro.

Então,

treinar uma rede neural, eventualmente, com milhões de imagens,

eu

preciso de

um

poder computacional extremamente elevado. Nós, seres humanos mortais, a menos que você trabalhe em uma empresa específica que tenha esse tipo de equipamento, ou um cluster de GPUs, e considere um cluster robusto para milhões de imagens. Nós não conseguiríamos treinar o modelo. Textos. Imagine uma organização que tenha milhares de documentos especializados, relatórios, normas e assim por diante. Então, se eu tiver que fazer o treinamento

do

modelo de um GPT, pensando no

modelo

agora que eles lançaram, que é o GPT OSS, que é um SLM.

Então,

isso tem um custo computacional.

Pode

ser útil em algumas situações, sim. Em outras, talvez eu tenha que pensar em uma solução diferente. Então, o REG vem como uma solução adicional. E a ideia básica do REG é, eu tenho um banco de dados,

eu

vou, por meio, então, de mecanismos de consulta,

eu

localizar quais são as unidades de informação mais relevantes a partir da minha necessidade. E aí, com base nessas unidades, eu vou entregar para o LLM, para que ele raciocine, para que ele chegue em uma resposta. Então, isso é o REG. Ou, eu vou pegar minha base de conhecimento, vou treinar o meu modelo, e aí eu vou interagir diretamente com o LLM. Eu não passo pela

base

de conhecimento. Ou seja, eu não tenho esse passo adicional. Quando usar um, quando usar o outro? Depende da solução. Mas qual é o objetivo final dessas duas soluções? Tanto do REG, quanto o conceito de Fine Tuning.

Que

é o treinamento do modelo. Basicamente, reduzir

a

alucinação dos modelos. Os LLMs, por melhores que eles sejam hoje, por mais que eles tenham evoluído, eles ainda produzem alucinações.

Então,

abordagem híbrida de IAC, que mescla dois aspectos tradicionalmente separados, aprendizado de máquina, modelos baseados em recuperação e modelos generativos.

Visa

conectar LLMs com bancos de dados,

quaisquer

que sejam os bancos de dados. E o conceito de REG, então, expande o horizonte de conhecimento de um modelo de linguagem, alterando, basicamente, a forma como a gente realiza a consulta e interage com o modelo de linguagem. Possui dois estágios. Um estágio de recuperação. Eu vou ofertar uma demanda, uma consulta. Então, se eu tenho um texto lá no meu banco de dados, a forma tradicional hoje seria, nós vamos lá no Google, fazemos uma busca e ele localiza por palavra-chave. No contexto de A generativa, esse texto é transformado no embedding. Eu vou até o banco de dados, realizo uma consulta

por

aproximação,

um

cálculo vetorial para me determinar um

ângulo, e

esse ângulo é o

que

a gente chama de cosseno.

Quanto

mais próximo de um, maior é a similaridade da minha demanda, da minha consulta com o que está no banco de dados.

Ao

recuperar essa informação, existe o segundo passo, então, que é o passo de geração. Então, uma vez recuperados os dados relevantes, e essa é

a

ideia, ou seja, essa comparação vetorial permite que a gente tenha uma recuperação mais interessante.

O

componente generativo do modelo sintetiza o estado, ou seja, eu entrego esses dados adicionais para um LLM para que ele produza uma resposta.

Que

resposta? Pode ser uma saída interpretando, por exemplo, um conjunto de patentes, a gente vai falar mais à frente, que é um projeto, quem estava na palestra anterior,

eles

até mencionaram a questão do IEL, mencionaram o IEL, que

é

o Instituto, e o Valdo Lodge, em questão

de

estágios. Então, a

gente

está desenvolvendo um projeto para eles, que é justamente conectar

o

IEL e a FIESC com as indústrias catarinenses. Como? Produzindo relatórios de tendências a partir de patentes. Como é que a

gente

faz isso? A

gente

coleta as patentes

da

base de dados americana, e integra isso em um banco de dados. Com o conceito de RAG, a gente entrega relatórios especializados utilizando toda essa abordagem de A generativa. O principal objetivo aqui é reduzir a alucinação.

Porque

se você entrega um contexto para o LLM

e

pede para ele ficar dentro daquele contexto, a chance de ele alucinar ou escrever coisas que não têm relação com aquele conjunto de documentos, imagens, vídeos que foram ofertados, é muito menor. É incomum que isso aconteça, ou seja, alucinação ainda ocorre, mas tem reduzido à medida que os modelos avançam.

Então, a

ideia básica do RAG seria essa. Ou seja, eu tenho um conjunto de dados.

Esse

conjunto de dados foi utilizado para pré-treinar o LLM, como sendo o Gemini ou GPT, qualquer que seja o modelo.

Uma

vez que eu tenho esse modelo,

eu

tenho um usuário, então, pensando numa interface de QIA, question answering, ou interface de chat qualquer. A ideia, a diferença básica do question answering do chat é que o chat tenha memória. Dada uma interação específica, você mantém a memória e fica interagindo com aquele contexto.

Que

é o contexto que a gente chama, quando a gente pensa em agentes, é o conceito de sessão, que é a memória do agente. Falaremos também na questão do agente. Então, o usuário fornece uma consulta, que é a demanda, como vocês vão lá no GPT. Esse sistema vai passar,

vai

fazer uma consulta, um search, num conjunto de documentos, que está previamente disponibilizado, indexado, ou seja, a base de conhecimento está indexada. Esses documentos mais relevantes, então, são entregues para o LLM.

E

ele produz uma resposta que é devolvida para o usuário. Então, isso é o RAG. Tem um componente adicional, tem um banco de dados.

Qual

é a vantagem disso em relação, por exemplo, ao fine tuning?

No

fine tuning,

se

eu precisar atualizar, ou se eu tiver um domínio onde a atualização de dados é muito frequente,

eu

posso ter alguns tipos de problemas. Por exemplo, leis.

Eu

pego um modelo e faço o fine tuning de uma lei. E depois eu vou interagir com o modelo, fazendo perguntas daquela lei. Dois anos depois, mudou a lei.

Os

LLMs atuais, mesmos atuais, não têm a capacidade de vincular claramente a questão da data.

Então,

pode haver aí um embaralhamento, porque eu cheguei agora com uma nova lei numa data mais recente.

O

que acontece no RAG? Bom, eu só pego aquela lei e substituo o registro.

A

partir de agora, o que eu vou recuperar é a nova lei, somente a nova lei. A lei antiga foi descartada. Ou, se eu quiser deixar a nova lei por questões só de manter no banco de dados o registro,

a

minha consulta pode fazer um filtro, não semântico, mas sintático, dizendo, olha, eu quero as leis, ou com base nessa lei,

se

tiver alguma lei encadeada, todas as leis derivadas

dessa

daqui, o que deram suporte a essa lei. Aí é uma demanda específica. Mas a ideia é que você, usando o RAG, você tenha mais flexibilidade na base de conhecimento, na manutenção dessa base de conhecimento.

Quando

a gente olha para

o

fine-tuning, a lógica é a mesma, eu tenho um conjunto de dados. Esse conjunto de dados serve, então, para a construção de um modelo, uma rede neural. Não sei se alguém já implementou uma rede neural, mas a percepção que a gente tem é

que,

às vezes, é uma coisa

do

outro mundo.

Para

quem já teve o interesse de fazer isso, qualquer que seja a arquitetura, depois que você treina ela, e é um algoritmo, quando você treina ela, ou seja, o que é um modelo?

Deixa

eu tirar essa pergunta. O que é o GPT? O

que

é o Gemini? É um arquivo.

Ele

pegou da memória, depois de ter treinado, ou seja, ter feito várias interações para deduzir quais são os pesos adequados, para responder a uma tarefa específica, eu vou dizer, olha, o que está na memória agora deve ser persistido no disco. Isso é

o

modelo.

Então,

quando eu for programar alguma coisa, agora usando o modelo, eu faço uma carga desse modelo para a memória. Levanto para a memória e consigo interagir com ele via uma API qualquer. Mas, na essência, nós estamos falando de um arquivo que foi salvo em disco, e ele serve, então, como uma representação do conhecimento daquele modelo. Ou seja, é um banco de dados. Essencialmente, aqui nós temos o usuário interagindo.

Ele

vai fazer uma pergunta, então, diretamente para o modelo que sofreu um processo de fine-tuning. Então, aquele conjunto de documentos que estava no banco de dados vetorial

foi

utilizado para gerar um modelo adicional. Um segundo modelo. Um modelo ajustado, o que a

gente

chama aqui de fine-LLM. Então,

o

usuário faz uma consulta diretamente e ele devolve essa resposta. Então, fica mais direto.

Mas

tem que ser pesado. Na minha aplicação, qual é a melhor abordagem?

Uma

forma de representar esse conhecimento, que tem ganhado bastante atenção quando a gente pensa em A generativa, são os gráficos de conhecimento.

Por

quê? Porque eles permitem, de alguma maneira, representar, de maneira mais adequada, a semântica de determinado domínio. Ou seja, como é que nós, ou como entidades representadas por nós, se conectam a outras entidades, representadas, então, nesse relacionamento, que a gente chama de arestas. Então, basicamente, um grafo é uma estrutura onde nós estamos falando de nós

e

arestas, a conexão entre esses nós, que representam algum contexto específico. Bom,

quando

nós temos contexto,

nós

chamamos o grafo de rede.

Qual

a aplicação de rede mais clássica que vocês poderiam pensar?

Talvez

duas.

A

internet é uma rede de computadores, mas a estrutura é um grafo onde eu tenho nós, que são os computadores, e os cabos interconectando esses nós. E uma rede,

que

vocês devem usar todo dia,

uma

rede social.

Por

que ela é rede? Porque é um grafo que conecta pessoas.

A

entidade principal são pessoas, com as suas diferentes características, mas são pessoas que estão interconectadas. Então, quando eu atribuo contexto para um grafo, eu chamo isso de rede. E um exemplo clássico é uma rede social. Então, basicamente, a composição. Nós temos os nós, que representam entidades, por exemplo, pessoas, lugares, conceitos, patentes, classes, subclasses, whatever. Qualquer que seja o meu domínio,

eu

posso traduzir isso para um grafo.

Isso

é importante.

O

grafo é a representação universal de qualquer dado ou informação.

Não

interessa se eu vou ter lá na minha empresa um banco de dados relacional, um banco de dados orientado a isso, orientado àquilo.

Eu

posso transformar esse dado numa representação de grafo. O grafo é a representação universal de qualquer dado ou informação.

E

arestas que definem os relacionamentos, como elas se interconectam. Então, entre duas pessoas, podem existir diferentes tipos de relações. Pode ser colega de trabalho, irmão, parentes, os diversos tipos de parentesco.

A

relação, sei lá, de

chefe

e colaborador, ou o supervisor e o colaborador. Chefe parece coisa de índio, né? Chefe e colaborador. Orientação, se a gente pensar aqui dentro da universidade, professor e aluno, aluna. Qualquer que seja o tipo de relacionamento. Nesse contexto específico. Mas pode ser em qualquer outro contexto, tá?

Então, o

objetivo, vincular dados de várias fontes, permitindo uma melhor integração e descoberta do conhecimento. Essencialmente, quando eu uso um grafo, eu tento tornar esse conhecimento, ou o resultado de uma determinada resposta de um LLM, explicável. Que é um conceito da IA que tem ganhado bastante força. Como é que eu explico o processo de saída, a saída de uma rede neural, de um modelo?

Ou

seja, ele fez, ele cumpriu lá um raciocínio, executou um raciocínio. Mas como é que eu explico os caminhos que ele tomou para chegar a essa decisão? O grafo de conhecimento pode ser uma resposta.

Aqui

tem vários benefícios, acho que não vem o caso. Aqui, um grafo de conhecimento, é isso daqui, isso

é

um banco de dados,

onde

você vai atribuindo, então, criando nós e arestas. Cada aresta tem um significado. E eu consigo navegar nesse grafo e fazer perguntas, olhando para essa semântica da interconexão.

É uma

representação de patentes, conceitos e subclasses. Cada um tem a sua coloração diferente. Então, eu tenho uma representação heterogênea. Uma rede social é uma representação homogênea. Só tem um tipo de agente ou entidade. Quando eu olho, neste caso aqui, nós temos uma representação heterogênea. Bancos de dados vetoriais. É uma das categorias de bancos de dados que permite, então, o armazenamento para suportar o conceito de REG, armazenamento de unidades de informação. Então, qualquer que seja unidade de informação, desde que eu tenha

um

elemento capaz de traduzir essa unidade de informação num vetor, eu consigo armazenar esse vetor dentro de um banco de dados. E aí existem vários bancos de dados. Para quem trabalha, quem já está desenvolvendo sistemas, talvez, recentemente,

o

que tem ganhado bastante atenção é o banco de dados, o próprio banco de dados relacional, o Postgres. Ele tem uma extensão chamada PG Vector, que você instala e ele passa a ter, então, mais... Ele passa a ofertar

um

tipo de dado,

que

é chamado de dense vector, um vetor denso, ou seja, um embedding.

Então,

base de dados capazes de lidar com dados complexos de elevada dimensão.

Tem

potencial para revolucionar a recuperação e análise de dados. E aí, a questão da eficiência na realização de pesquisas, por similaridade, são algumas características.

Então,

a ideia principal,

temos

aqui as unidades de informação, um transformador de imagem, um transformador de linguagem, um transformador de áudio, que vai produzir o embedding, e esse embedding, então, é guardado dentro do banco de dados, permitindo que ele seja recuperado posteriormente. Não mais por uma consulta, para quem trabalha com SQL, por exemplo, lá num campo, data é igual a isso. Eu vou colocar o campo específico, que é o embedding, maior ou igual a 0.6.

Eu

só quero recuperar imagens

que,

dado a imagem de entrada, que foi transformada num vetor, eu quero recuperar somente as imagens onde a similaridade seja maior

ou

igual a 0.6. Ou, maior do que isso, até o limite de 1. Toda, qualquer rede neural hoje, quando ela exporta ou quando ela gera um embedding, cada posição, cada dimensão desse vetor,

ela

é normalizada entre menos 1

e

1. Significa dizer, basicamente, num espaço n-dimensional, quando nós comparamos dois vetores, eu tenho um range, que ele vai de menos 1 até 1. Menos 1 é a dissimilaridade total. Duas unidades, eu estou falando, sei lá, maçã e banana seriam ainda frutas, estariam próximas. Mas, sei lá, pegar duas coisas completamente antagônicas, eu posso ter um resultado de menos 1.

Ou,

duas imagens que são exatamente iguais. Ele vai me dizer que é 100% de similaridade, porque ela possui as mesmas características. Ou, se tiver pequenas variações, por exemplo, de rotação, ele vai identificar que é próxima, mas não é igual a 1.

Então,

precisamos de um banco de dados vetorial.

Outro

conceito importante, que tem ganhado bastante destaque, agentes. Permite, então, que nós tenhamos uma especificação mais clara do comportamento de determinado software. E ele tem várias características.

Aqui

eu não fiz um resgate histórico, mas, só para fazer aí uma conexão

com

o meu passado.

O

meu TCC, que faz tempo, a gente não fala a data, mas está lá no currículo.

Mas

o meu TCC foi em sistemas multiagentes.

Há

na década,

não

vou falar década, século passado. Então, basicamente,

o que

que

eu... Me

empolguei com uma disciplina na computação, que era inteligência artificial distribuída.

Tinha

um professor, um professor da UFSC, que é o professor Jôme, foi meu orientador. Ele tinha chego do mestrado, ele só tinha mestrado na época, ofereceu uma bolsa de pesquisa. Estava lá no corredor, sei lá quanto tempo, a bolsa de pesquisa. Ninguém se interessava pelo tema. Um dia eu passei e vi, preciso de bolsista. Opa, é aqui mesmo. Ofereceu dinheiro. Não queria nem saber o que... Inteligência artificial. Pô, legal esse negócio. Trabalhar com agentes pesquisando. Primeiro dia de reunião, ele chega com uma pilha de artigos.

E

jogou a pilha de artigos. Que te vira, rapaz. A gente volta a conversar daqui uns 15, 20 dias. Me procura se você entendeu alguma coisa ou não entendeu, pra gente conversar.

Um

inglês péssimo naquela época, não tinha cultura de inglês.

Ficou

todo

craquento,

gostei de orelha, mas traduzi cada artigo, cada coisa, ó. E, basicamente, eu comecei a trabalhar no laboratório.

Eu

já desenvolvia sistemas de alto nível para empresas de Santa Catarina, mas em C. Eu programava muito em C, sistemas de baixo nível e programação linear e não linear, para sistemas de montagem e desmontagem. Quando eu queria um mix ótimo, por exemplo, de

corte

de um suíno.

Isso

era programado. Eu quero fazer a montagem ótima de uma mortadela, por exemplo,

na

época da Ceval. A gente programava tudo em pesquisa

linear

e não linear.

Eu

também interagia com o sistema de logística, ou seja, definição da distribuição ótima, levando em consideração as restrições e variáveis

para

distribuição de mercadoria. Então, fábricas e mercados consumidores. Trabalhava no laboratório, em que a

gente

conseguiu um recurso no CNPq na época, com 12 máquinas AIX e UNIX interconectadas no laboratório.

Então,

meu TCC foi criar um sistema multiagente, utilizando um framework que tinha recém-chego no Brasil, chamado Aglet, da IBM

do

Japão.

Alguém

conseguiu, eu não lembro quem conseguiu, mas foi lançado lá.

Acho

que duas semanas depois a gente já tinha no Brasil.

Eu

utilizei esse framework em Java

para gerar

um sistema multiagente. Tinha agentes que eram fábricas e agentes que eram mercados. E eles trocavam

informações

utilizando o KIF, que era um padrão de interfaceamento de conhecimento, e KQML, que é uma linguagem aproximada do SQL,

uma

linguagem de marcação para comunicação entre agentes. E eles chegavam em um consenso e produziam o melhor resultado, utilizando, então, um sistema em rede, uma rede AIX, para produzir, então, uma distribuição mais equilibrada. Então, agentes, está lá no passado,

meio

que morreu, meio que teve quase que o inverno da IA e agora

voltou

com tudo. Tudo é agente, tem vários frameworks.

A

gente tem trabalhado, tem pesquisado isso e implementado nos nossos sistemas, inclusive. Tem alunos trabalhando em TCCs aqui dentro da UFSC, com arquiteturas, com frameworks de agentes.

Então,

é algo que tem ganhado destaque de novo. Bom, algumas características importantes.

A

questão que a gente pensa em agentes, né? A ideia é que ele perceba o ambiente, tome decisões e aja de maneira mais autônoma. Então, a gente tem aqui a capacidade de planejamento, memória de curto e longo prazo. Então, a questão da memória, por que que voltou com muita força a questão do agente? Principalmente por causa dos LLMs.

Lá

atrás, a gente tinha dificuldade na questão do raciocínio. Agora, os LLMs estão nos fornecendo essa capacidade. Então, os agentes se interconectam com os LLMs para produzir conteúdo, para tomar ações, para gerar planos e para produzir, então, resultados mais expressivos ou adequados. Capacidade de interação com o mundo externo. Comunicação. Então, principalmente a questão da fala, os LLMs fornecem também isso. O raciocínio, que é algo cada vez mais interessante. Bom, fornece uma resposta. Mas agora me diz por que que você chegou nessa resposta.

Qual

é o racional dessa resposta? Por que eu preciso saber? Eu não vou incorporar isso no meu processo se você não explicar qual é o racional. Então, basicamente,

os

LLMs também fornecem suporte para esse tipo de coisa. Comunicação, reflexão e autocrítica, ou seja, se acontecer algum tipo de erro, algum problema, ele pode refletir sobre aquilo e produzir uma nova resposta.

Então,

tem várias questões importantes. Arquiteturas. Existem três arquiteturas básicas.

Guri,

Davi, como é que está meu tempo aí?

Então,

vamos acelerar, porque tem bastante coisa. Pessoal, tem várias questões importantes. Framework só

para... O

LangChain,

o

Creo AI, o Autogen, OpenNI, tem todo uma...

Tem

um framework agora bem interessante, que especifica claramente o que é um agente. Inclusive a questão da sessão, da memória.

E

o Agno. Num projeto específico, a gente tem trabalhado com o LangChain, o Creo AI e o Agno,

que

são os três grandes. O LangChain, não que ele seja um framework de agentes, mas é um framework de uso geral para

aplicações

de A generativa que permite, inclusive, que sejam gerados agentes. Porque nele você consegue implementar o conceito de tools, que são as ferramentas, que são realmente as funcionalidades e que dão esse comportamento mais autônomo. Então, o LangChain fornece essa infraestrutura.

E

aqui um protocolo que tem ganhado força,

que

é novamente a tentativa de padronizar como os agentes vão se comunicar, como eles vão interagir. Então,

a

gente tem migrado, tem evoluído para questões de protocolo, tanto na interação entre os agentes e entre

os

agentes com os LLMs.

Ou

seja, o conceito não está aqui,

não

dando tempo, mas o conceito de MCP, um protocolo de contexto. Basicamente, determinando os padrões e as especificações de como um agente vai interagir com o ambiente externo, ou como o LLM pode interagir com o ambiente externo.

Ou

seja, o

que

é o ambiente externo? Os meus dados, as minhas rotinas, os meus processos dentro da organização.

Ao

invés de eu ficar escrevendo códigos e funções,

eu

vou padronizar a externalização daquele conteúdo através de um protocolo MCP, facilitando toda a integração dos sistemas baseados em agenerativa e em agentes. Prompting Engineering é o que a gente faz, cada vez mais a gente tem usado esse contexto

e

tem desistido, inclusive, de fazer busca, muitas vezes, no Google. A gente vai agora para as ferramentas de agenerativa para fazer perguntas. Então, Prompting Engineering é algo muito interessante, muito utilizado, para externalizar uma demanda, uma necessidade de interação com determinado modelo ou base de conhecimento. Finalidade, maximizar a precisão, relevância e segurança gerado pelos LLMs, transformando uma pergunta em uma pesquisa clara. Aqui as várias possibilidades,

não

vou entrar em detalhes, mas é interessante aqui o few shots, quando você vai interagir com o LLM, eu forneço alguns exemplos de como ele deve atuar. Ou

zero

shots, ou seja, nada, e chain of thoughts, que é as cadeias de pensamento. Ou seja, vou indicar para ele como ele deveria raciocinar, qual é o passo a passo para ele executar aquela tarefa específica. E existem várias outras formas

de

interconexão. Um conceito importante, o LLM como juiz, é algo que está se caracterizando como relevante no cenário da IA generativa. Ou seja, a utilização de um LLM para julgar o que o outro gerou.

Qual

a vantagem? A vantagem é que eu tiro ou posso tirar o ser humano da jogada. Então,

os

meus sistemas se tornam mais autônomos.

De

tal maneira que a resposta de um LLM pode ser interconectada com outro LLM, para analisar essa resposta e definir uma relevância, se tem ou não tem aderência e assim por diante. Tem questões éticas, tem questões de confiabilidade, digamos assim. LLM não é unânime, é algo que está surgindo agora. Se vocês forem pesquisar em bases oficiais, como Scopus, vocês vão utilizar eventualmente para fazer o TCC de vocês. Esse conceito tem pouquíssimos artigos. E os artigos que eu aconso ainda dizem que o ser humano é importante no processo de avaliação. Mas está evoluindo.

Mas agora, se vocês forem no Archive, o ARXIV, o Archive, que são os artigos em preprint, existe uma centena já de artigos com esse conceito. Então, é algo que vai explodir nos próximos meses, nos próximos anos, a ideia de LLMs julgarem o resultado de outro LLM.

Não

vou entrar em detalhes, no caso do tempo, algumas características...