Dia 30 de Novembro de 2022: «Treinámos um modelo chamado ChatGPT que interage de forma conversacional… ».
Este anúncio do mais recente produto da OpenAI, um chatbot pertencente ao espaço da IA Generativa, mudou a perceção da humanidade sobre o potencial da Inteligência Artificial. Um assunto até então considerado mítico e até certo ponto distante do grande público, está agora à distância de um clique.
É um fato que a IA generativa tem beneficiado de grandes investimentos nos últimos tempos. Apenas como exemplo, de acordo com um artigo da “Open Data Science Conference”, a Microsoft planeia investir 10 biliões de dólares na OpenAI, depois de ter investido já mais de 1Bi$.
Mas afinal: o que é ChatGPT? Para que serve? Como funciona? É fiável?
Ao contrário da pesquisa do Google, que é um modelo criado para recuperar links para informações, o ChatGPT é um modelo mais recente na linhagem de grandes modelos de linguagem de laboratórios usando a tecnologia Generative Pre-trained Transformer (GPT).
O ChatGPT pode gerar texto com muitos propósitos, com habilidade, detalhe e consistência. O modelo utilizado foi afinado com o objetivo de reduzir o enviesamento e respostas falsas nos seus outputs, à semelhança do que tentam outros modelos de Machine Learning.
Neste caso recorrendo a uma combinação de Aprendizagem Supervisionada (Supervised Learning), em conjunto com Aprendizagem por Reforço (Reinforcement Learning) com Feedback Humano. Por outras palavras, podemos dizer que é uma forma sofisticada de aprender conexões entre palavras, tentando prever que palavra deve vir depois das já geradas.
Já conhecemos esta tecnologia há algum tempo, mas agora está a atingir a sua expressão máxima, fundamentalmente pela quantidade de texto que foi usada para treiná-la (o tamanho exato do conjunto de dados não é divulgado publicamente, mas a OpenAI afirmou que os modelos são treinados em “biliões de palavras”) e a conjugação de escalas (de palavras a frases, de frases a parágrafos, de parágrafos a texto…) que consegue produzir.
Outra vantagem importante desses modelos é a capacidade de aprender e adaptar-se a novas tarefas e linguagens, sem nenhuma alteração na arquitetura, apenas “alimentando” o modelo com novos dados de treino.
Indo um pouco mais fundo na tecnologia por trás do ChatGPT, é importante observar que a IA Generativa é baseada em grandes modelos de linguagem, um tipo de inteligência artificial treinada para processar e gerar “linguagem natural”, ou seja, semelhante à humana.
Para além do ChatGPT existem outros grandes modelos de linguagem como o BERT (Bidirectional Encoder Representations from Transformers), ou o RoBERTa (Robustly Optimized BERT Approach), de concorrentes da OpenAI, nomeadamente da Google, empresa que iniciou o processo bola de neve com o artigo “Attention Is All You Need”, que introduziu o conceito de “Transformers”. Estas são arquiteturas de redes neurais que podem alcançar desempenhos incríveis nestes tipos de tarefas, mas requerendo várias ordens de grandeza menos poder computacional do que abordagens anteriores, como as Redes Recorrentes (RNNs).
As RNNs eram basicamente inviáveis para tarefas do mundo real, enquanto os Transformers ultrapassaram claramente esse limite, apesar de ainda exigirem volumes muito grandes de dados de alta qualidade para treino, além de grandes recursos computacionais para treinar e ajustar os modelos, o que é caro e demorado. Estas dificuldades justificam a necessidade de um grande volume de investimento financeiro neste tipo de tecnologia.
Até agora, percebemos que o ChatGPT é um chatbot gratuito, capaz de produzir texto, tendo como base uma tecnologia complicada e cara e trazendo informações sobre diversos assuntos, mas quão “diversos” podem ser os assuntos? É capaz de produzir discursos de casamento, e-mails corporativos, textos em formato jornalístico, listas de organização e código de computador, basta saber como pedir corretamente, podendo fazê-lo em diversos idiomas, entre eles: Inglês, Espanhol, Alemão, Francês, Italiano, Português, Holandês, Russo, Árabe, Chinês e Japonês.
De forma didática e procurando entender o futuro do bot mais famoso da atualidade, testámos a sua capacidade perguntando: “Descreve o futuro do ChaGPT”, e esta foi a resposta do modelo:
3. Increased personalization: As language models like ChatGPT learn more about individual users and their preferences, they may be able to offer increasingly personalized and relevant responses, improving the overall user experience.
4. More advanced capabilities: In the future, language models like ChatGPT may develop new capabilities such as the ability to generate text in a specific writing style, or to summarize and condense large amounts of text.
However, it’s also important to note that language models like ChatGPT are not perfect and still have limitations, such as biases in the training data, difficulty in handling complex and nuanced situations, and potential ethical and privacy concerns. As the technology continues to evolve, it will be important for researchers and developers to address these issues and strive for responsible and ethical AI development.”
Por fim, é importante ressaltar que o ChatGPT não substitui pessoas que fazem tarefas verdadeiramente inteligentes, pois não há garantia de que o texto gerado seja “verdadeiro” ou que resolva o problema que precisamos resolver.
Nesse sentido, é fundamentalmente diferente da Pesquisa do Google, embora ambos usem quase toda a Web como fonte. Enquanto o ChatGPT gera um novo texto, que poderia estar presente na fonte (mas provavelmente não está…), a Pesquisa do Google aponta-nos para a informação real, com contexto.
Esta é uma diferença profunda.
A capacidade do ChatGPT de juntar fatos e texto é praticamente inexistente, conforme apontado nas palavras do CEO da OpenAI, Sam Altman: “O ChatGPT é incrivelmente limitado, mas bom o suficiente em algumas coisas para criar uma impressão enganosa de grandeza. É um erro confiar nele para qualquer coisa importante, agora. É uma previsão do progresso, temos muito trabalho a fazer em termos de robustez e veracidade.”
O ChatGPT é incrivelmente limitado, mas bom o suficiente em algumas coisas para criar uma impressão enganosa de grandeza. É um erro confiar nele para qualquer coisa importante, agora. É uma previsão do progresso, temos muito trabalho a fazer em termos de robustez e veracidade.
