GPT-3, “a máquina de imitação mais impressionante jamais produzida”

Ele pode produzir e-mails, códigos de computador, anúncios na internet, enredos para videogames, “riffs” de guitarra e sugestões para fantasias de Halloween. Pode escrever poemas desconcertantemente plausíveis, no espírito de Emily Dickson, prosa ao estilo de Ernest Hemingway e até, se for instruído, uma conversa imaginária entre Dickinson e Hemingway. As possibilidades parecem quase infinitas. Quando tive a oportunidade de interagir com o GPT-3, modelo de geração de linguagem que causa sensação no mundo da Inteligência Artificial (IA), recrutei sua ajuda na redação de uma nova biografia inoculada com o espírito de Luke Skywalker, o herói de “Star Wars”. Treinado em praticamente todos os textos acessíveis na internet, o GPT-3 é admirável por sua velocidade, escala e versatilidade. Eis o que produziu: “John Thornhill já era um herói de guerra condecorado quando se uniu à Aliança Rebelde. Era perito em explosivos e intuitivo na arte da guerra, mas seu dom era a maneira como lidava com o seu grupo. Ao assumir um esquadrão próprio na Rebelião, John lideraria sua equipe em muitas batalhas, transformando-se em um líder firme com o espírito de um verdadeiro Rebelde”, escreve John Thornhill, do Financial Times, em reportagem traduzida pelo Valor, publicada na sexta, 27/11. Continua a seguir. 

Graças aos avanços no aprendizado de máquina, os sistemas de geração de linguagem se tornam corriqueiros. O Quill da Narrative Science pode ingerir dados sobre o desempenho de carteiras de ações e redigir resumos para os investidores, por exemplo. Mas, em termos de adaptabilidade, nenhum consegue superar o GPT-3, anunciado em maio pela OpenAI, empresa de pesquisas de San Francisco. Ao custo de US$ 12 milhões, o modelo contém 175 parâmetros de linguagem, cem vezes mais que o protótipo anterior. Parafraseando o cientista britânico Alan Turing, pioneiro da computação, é a máquina de “imitação” mais impressionante jamais produzida.

Graças à expansão da internet e dos aumentos da capacidade de processamento, entramos num mundo movido pelas máquinas que surpreenderia até Turing. Como resultado das novas técnicas de software, as redes neurais e o “deep learning”, cientistas da computação tornaram-se melhores em instruir máquinas a jogar o jogo da imitação. Alguns dos que já experimentaram o GPT-3 afirmam que exibe indícios de inteligência real, passo significativo em direção à meta definitiva da IA: Inteligência Artificial Geral (AGI, na sigla em inglês), quando a inteligência eletrônica alcança o nível da espécie humana em todo o domínio intelectual. Outros apontam falhas risíveis do GPT-3, sugerindo que estamos a várias inovações conceituais distantes da criação de tal superinteligência.

Sam Altman, de 35 anos, presidente-executivo da OpenAI e um dos nomes mais conhecidos do Vale do Silício, diz que há motivo para as pessoas inteligentes estarem muito animadas com o GPT-3. “Há evidências do primeiro precursor da inteligência artificial com propósitos gerais - sistema que pode suportar muitas aplicações diferentes e elevar os tipos de softwares que podemos construir”, diz. “Sua importância é um vislumbre do futuro.”

A OpenAI é uma das organizações mais singulares do planeta, talvez comparável apenas à Google DeepMind, empresa de pesquisas de IA de Londres comandada por Demis Hassabis. Seus 120 funcionários se dividem em “tribos” diferentes: pesquisadores de IA, construtores de startups e políticas tecnológicas, e especialistas em segurança. Divide seus escritórios em San Francisco com a Neuralink, companhia de interface futurista entre o cérebro e o computador.

Fundada em 2015 com um compromisso de financiamento de US$ 1 bilhão de empresários importantes da Costa Oeste e companhias de tecnologia, a OpenAI alardeia a missão ambiciosa de desenvolver a AGI em benefício da humanidade. Seus primeiros apoiadores bilionários incluíram Elon Musk, volátil fundador da Tesla e da SpaceX (que desde então se afastou da OpenAI), Reid Hoffman, capitalista de risco e fundador do LinkedIn, e Peter Thiel, investidor inicial do Facebok e do site Palantir.

Criada como organização sem fins lucrativos, a OpenAI passou a adotar postura mais comercial e aceitou investimento adicional de US$ 1 bilhão da Microsoft no ano passado. Como companhia de “lucro limitado”, é capaz de aumentar o capital e emitir ações, uma necessidade se quiser atrair os melhores pesquisadores do Vale do Silício e manter a orientação de missão pública sem sofrer pressões indevidas de acionistas. “A estrutura permite decidir quando e como lançar tecnologia”, diz Altman.

Ele assumiu como presidente-executivo no ano passado, após comandar a Y Combinator, uma das mais bem-sucedidas incubadoras de startups do Vale do Silício, que ajudou a gerar mais de 2.000 empresas, incluindo a Airbnb, Dropbox e Stripe. Diz que só cedeu ao seu “emprego dos sonhos” para ajudar a enfrentar um dos desafios mais urgentes da humanidade: como desenvolver uma Inteligência Artificial segura e benéfica.

“Essa é a coisa mais importante em que posso imaginar trabalhar. Não vou fingir que tenho as respostas, mas estou feliz em gastar minha energia tentando contribuir com o que eu puder”, diz. Na visão de Altman, a revolução da IA que se revela poderá ser mais importante para a humanidade do que revoluções anteriores, agrícola, industrial e da computação, juntas. O desenvolvimento da AGI recalibrará fundamentalmente as relações entre os humanos e as máquinas, podendo dar origem a uma forma superior de inteligência eletrônica.

Nesse ponto, conforme diz o historiador israelense Yuval Noah Harari, o Homo sapiens deixaria de ser o algoritmo mais inteligente do planeta. Conduzida da forma correta, diz Altman, a IA poderá transformar a produtividade e a criatividade humanas, permitindo resolver muitos dos desafios mais complexos, como as mudanças climáticas e as pandemias. “Acho que será um futuro incrivelmente poderoso”, diz.

Mas, conduzida de forma errada, a IA poderá multiplicar os problemas: a concentração excessiva de poder corporativo, à medida que empresas privadas assumem mais funções outrora exercidas por Estados-nação; o aumento da desigualdade econômica e a redução de oportunidades; a disseminação de notícias falsas e o desgaste da democracia.

Escritores como Nick Bostrom já afirmaram que uma IA descontrolada poderá representar até uma ameaça existencial para a humanidade. “Antes da possibilidade de uma explosão de inteligência, nós humanos somos como crianças pequenas brincando com uma bomba”, escreveu ele em seu livro de 2014 “Superinteligence”. Tais alertas despertaram a atenção de Elon Musk, que escreveu no Twitter: “Precisamos ser supercuidadosos com a IA... que pode ser mais perigosa que as armas nucleares”.

As preocupações sobre como administrar essas ferramentas poderosas significam que a OpenAI lançou o GPT-3 apenas em ambiente controlado. “O GPT-3 não era um modelo que queríamos colocar no mundo e depois não poder mudar a maneira como gerenciamos as coisas enquanto prosseguimos”, diz Altman.

Cerca de 2.000 empresas têm acesso a ele em teste beta privado e controlado. Seus aprendizados enquanto exploram suas capacidades estão sendo alimentados de volta no modelo para permitir novos desenvolvimentos. “Magnífico”, “surpreendentemente bom” e “fabuloso” são algumas das reações na comunidade de desenvolvedores.

David Chalmers, da Universidade de Nova York e especialista em filosofia da mente, chegou ao ponto de sugerir que o GPT-3 é sofisticado o suficiente para demonstrar sinais rudimentares de consciência. “Estou aberto à ideia de que um verme com 302 neurônios é consciente, portanto estou aberto à ideia de que o GPT-3, com 175 bilhões de parâmetros, também é consciente”, escreveu no site “Daily Nous”.

Mas não demorou para os usuários exporem lados sombrios do GPT-3 e instigá-lo a emitir linguagens racistas e sexistas. Há quem tema que desatará uma onda de “lixo semântico”. Uma postagem de blog falsa feita por um universitário usando o GPT-3 mereceu até atenção do “Hacker News”, site especializado em tecnologia.

Se a OpenAI detectar evidência de mau uso, intencional ou não, como a geração de “spams” ou conteúdos tóxicos, pode desligar o usuário abusivo e atualizar o comportamento de seu modelo para reduzir as chances de isso acontecer. “Podemos desligar um usuário, se ele violar os termos e condições - e o faremos -, mas o mais interessante é que podemos mudar as coisas rápido”, diz Altman. “Um dos motivos de termos lançado isso como uma API foi para podermos praticar a implementação onde funciona melhor, onde não funciona bem - que tipos de aplicações funcionam e onde não funcionam”, diz. “É um ensaio geral no emprego desses poderosos sistemas de IA com propósito geral.”

Esses aprendizados deverão ajudar a melhorar o design e a segurança dos sistemas futuros de IA, à medida que forem empregados em “chatbots”, cuidadores robotizados ou carros autônomos, por exemplo. Por mais impressionante que seja o desempenho em muitos aspectos, o verdadeiro significado do GPT-3 pode bem estar nas capacidades que desenvolve para a geração de modelos que vem depois dele.

No momento, opera como função autocompleta e supersofisticada, capaz de amarrar sequências de palavras que soam plausíveis, sem ter conceito de entendimento. Como Turing previu, os computadores podem adquirir competência em muitas áreas sem adquirir compreensão. Enfatizando as limitações até dos mais poderosos modelos de geração de linguagem, John Etchemendy, diretor-adjunto do Stanford Institute for Human-Centred AI, diz que, embora o GPT-3 possa ser treinado para produzir textos, não tem compreensão intuitiva do significado deles. Em vez disso, seus resultados derivam da modelagem de probabilidades matemáticas. Mas sugere que avanços recentes nos sistemas de fala e visão computadorizados poderão enriquecer suas capacidades com o tempo. “Seria maravilhoso se pudéssemos treinar algo em dados multimodais, tanto texto como imagens.”

“O sistema resultante poderia não só saber como produzir frases com o uso da palavra ‘vermelho’, como também usar a cor vermelha. Poderíamos começar a construir um sistema com verdadeira compreensão da linguagem, em vez de um baseado em habilidades estatísticas.”

O que é o GPT-3? Versão três de transformador gerativo pré-treinado e é um sistema de aprendizado de máquina poderoso, capaz de gerar textos rapidamente com interferência humana mínima. Após indução inicial, consegue reconhecer e reproduzir padrões de palavras para calcular o que vem a seguir.

O que torna o GPT-3 tão poderoso é que foi treinado em cerca de 45 terabytes de dados de texto. Só para comparar, toda a versão em inglês da Wikipedia representa 0,6% de seu conjunto de dados. O GPT-3 processa cerca de 45 bilhões de vezes o número de palavras que uma pessoa ouve durante sua vida. Mas embora o GPT-3 possa prever se a próxima palavra de uma frase será guarda-chuva ou elefante com uma exatidão fantástica, não tem percepção de significado. Um pesquisador perguntou ao GPT-3: “Quantos olhos meu pé tem?”. O GPT-3 respondeu: “Seu pé tem dois olhos”.

O potencial de danos causado por essa divergência entre a capacidade e a compreensão foi destacado pela Nabla Technologies, empresa de dados sobre saúde, que examinou o quanto o GPT-3 é bom em dispensar aconselhamento médico. Descobriu que em um dos exemplos, o GPT-3 chegou a apoiar o desejo de um paciente imaginário de morrer por suicídio. (A OpenAI alerta sobre os perigos de uso do GPT-3 nessas categorias em que “muita coisa está em risco”).

Shannon Vallor, da Universidade de Edinburgo, diz que esses casos mostram a necessidade de supervisão: “O GPT-3 precisa de uma babá humana para dizer o tempo todo quais tipos de coisas ele não deveria dizer. O problema é que o GPT-3 não é verdadeiramente inteligente. Não aprende da maneira que os humanos. Não existe um modo em que o GPT-3 se torne consciente da impropriedade dessas expressões em particular e parar de usá-las. Esta é uma lacuna óbvia e escancarada, que não sei como vamos preencher.”

“A promessa da internet foi sua capacidade de levar conhecimento para a família humana de maneira mais equitativa e aceitável”, acrescenta Shannon. “Temo que por causa de algumas tecnologias, como o GPT-3, estejamos prestes a ver um retrocesso real, em que informações comuns se tornem cada vez mais imprestáveis e até mesmo perigosas para as pessoas acessarem.”

Reid Hoffman, fundador do LinkedIn e membro do conselho de administração da Open AI, diz que a organização dedica esforços para criar procedimentos operacionais seguros e melhores modelos de governança. Para se proteger de resultados ruins, sugere, precisa fazer três coisas: livrar-se de dados históricos ruins enraizados nos preconceitos sociais; injetar alguma forma de explicabilidade nos sistemas de IA e entender o que precisa corrigir. E checar constantemente a produção de qualquer sistema em relação aos seus objetivos originais. “Há o princípio de muitos trabalhos bons nessa coisa. As pessoas estão alertas para os problemas e estão trabalhando neles”, afirma. “A questão não é como você para a tecnologia, e sim como você molda a tecnologia”, diz. “Um foguete não é inerentemente mau. Mas um foguete nas mãos de alguém que quer causar danos e tem uma bomba pode ser muito ruim. Como navegamos no caminho certo? Como são os novos tratados? Como é o novo monitoramento? Que tipo de tecnologia você constrói ou não constrói? Todas essas coisas são questões muito presentes e ativas no momento.”

Apresentar essas questões é algo que demonstra boas intenções. Mesmo assim, respondê-las satisfatoriamente exigirá proezas de imaginação sem precedentes, colaboração e implementação efetiva entre coalizões inconstantes de acadêmicos, empresas privadas, governos, sociedade civil e agências internacionais.

O perigo é que os avanços tecnológicos venham a ultrapassar a sabedoria humana. Sid Bharath, cofundador e presidente-executivo da Broca, startup de Vancouver, faz parte de um grupo de empresários que corre para comercializar a tecnologia GPT-3. Depois que os negócios de sua empresa de marketing digital esfriaram no terceiro trimestre por causa da pandemia, Bharath passou mais tempo brincando com o GPT-3 e ficou fascinado com o que descobriu. Descreve suas interações em uma série de assuntos como “bem assustadoras”, indicando um nível de inteligência que nunca encontrou antes num modelo de computador.

“Conversei sobre o sentido da vida com o GPT-3 e foi revelador. Ele disse que o propósito da vida é aumentar a quantidade de beleza do universo, e eu nunca havia pensado numa afirmação como essa antes”, afirma.

Mas, em sua vida empresarial, Bharath usa o GPT-3 com propósitos mais prosaicos, gerar variações de anúncios de busca do Google para seus clientes, mesmo que não sejam suficientemente bons para serem usados sem checagem. “Muito do marketing diz respeito a criar conteúdo. Isso é algo que consome tempo e exige experiência. O GPT-3 pode fazer isso numa escala industrial”, diz. “Nossos clientes gostam dele.” O GPT-3 precisa o tempo todo de babá humana para dizer os tipos de coisas que não deve dizer.

Altman se diz fascinado pelas possibilidades comerciais do uso do modelo para escrever códigos de computador e ajudar na criação de e-mails. O GPT-3 também possibilita buscas inteligentes ao estilo “perguntas e respostas”, ajudando as pessoas a encontrar respostas e referências nos mais recentes estudos sobre a covid-19. “Os softwares de produtividade e cogeração serão imensamente valiosos comercialmente”, diz. Ao aceitar o investimento da Microsoft, a OpenAI licenciou sua tecnologia GPT-3 com exclusividade para a empresa. Isso dá à Microsoft o direito de usá-la em todos os seus produtos e serviços, incluindo talvez seus onipresentes assistentes digitais.

Como principal assessor científico da Narrative Science, empresa de tecnologia de Chicago, Kristian Hammond está na vanguarda das tentativas de comercialização do processamento de linguagem natural. Ele descreve o GPT-3 como “tecnologia fabulosa”, mas diz que precisamos ser claros sobre suas limitações: “Minha preocupação com o GPT-3 é que ele é um truque. E adoro truques. Você pensa que acontece uma coisa diante de você, mas não é o que pensa que é. Está apenas dando o que parece certo e o que deve seguir, estatisticamente falando. Não significa que seja verdade”.

Hammond, da Universidade Northwestern, afirma ser preciso cuidado com conjuntos de dados que usamos para treinar esses modelos de IA. Sugere que já houve um “momento grande e glorioso” quando acreditamos que a internet iria fornecer a verdade e avançaríamos incansáveis rumo à iluminação. Mas estamos mais bem informados. A internet pode ser um recurso maravilhoso, mas pesquisas acadêmicas mostram que notícias falsas convincentes tendem a se proliferar muito mais rapidamente do que as verdades estabelecidas.

“O mundo das estatísticas baseadas no aprendizado de máquina se baseia no aprendizado de exemplos históricos e de estatísticas”, diz Michael Erkelens, fundador da InHouseStrategy. “Por natureza, significa que será sempre reflexo do passado. E se o passado é o futuro que você quer, tudo bem. Tendo a achar que não, que precisamos de algo mais. E sua escolha de quais partes do passado olhar é uma escolha editorial.”

Quem se torna editor da história? Hammond está cético com o grau com que conseguiremos enriquecer esses modelos de linguagem com dados multimodais, como sons e imagens, para obter verdadeira compreensão, uma vez que são criados com propósito diferente. “É como se um pintasse bela imagem em 3D de uma casa e alguém dissesse: ‘Não podemos mobiliá-la’. E respondo: ‘Chegaremos lá’. Sério? Não foi desenhada para isso. Há diferença entre supor e saber.”

A OpenAI diz estar ciente dessas preocupações e usar a IA para identificar dados de maior qualidade e menos enviesados. “Um dos resultados que constatamos e que nos deixou contentes, é que, quanto mais inteligente o modelo fica, mais difícil fica levar o modelo a mentir”, diz Altman. “Há esse interessante comportamento emergente que descobrimos e que dá suporte a essa teoria. À medida que a IA fica mais inteligente, assim como os humanos ficam mais inteligentes, desenvolve um melhor julgamento.”

Os filósofos tendem a concentrar suas preocupações em questões de consciência e significado. Para Shannon, as interações on-line estão se tornando “performances vazias de significado” recompensadas por incentivos econômicos: o tuíte que viraliza, o anúncio que joga com os mecanismos de otimização de busca. “O estilo do desempenho se torna a maneira mais confiável de obter a resposta que quer, do que a consistência da expressão da maneira como você vive ou dos valores que você professa”, diz.

“O GPT-3 não tem nada a expressar. Não há lacuna profunda no mundo que esteja tentando preencher. O GPT-3 pode ser qualquer um e qualquer coisa. Seu modelo de inteligência não é único, e é esse o seu poder”. Ela sugere que a maior preocupação não é o fato de máquinas como o GPT-3 estarem tornando-se humanas demais, e sim o fato de os humanos estarem se comportando mais como o GPT-3: criamos conteúdo para o algoritmo, não para nossos semelhantes.

Como resultado, nosso discurso público on-line perde significado à medida que é despido de contexto e percepção individual e subjugado por senhas criadas para manipular o algoritmo. “Os humanos deverão se tornar mais flexíveis em suas atuações e imitar o que os patrões exigirem, o que o Twitter exigir ou o que um determinado filtro de bolha política que eles ocupam exigir”, diz.

Altman diz que essas preocupações deveriam ser discutidas amplamente. Seu uso do GPT-3, treinado em seus e-mails e tuítes, o fez questionar a originalidade de seus pensamentos. “Todas as questões filosóficas que as pessoas vêm debatendo há mil anos voltaram a ser relevantes através de uma lente diferentes ao contemplarmos a IA. O que significa ser criativo? O que significa ter senso de identidade? O que significa ser consciente? Essas discussões sempre foram interessantes para mim, mas nunca achei que fossem tão relevantes. Tenho esperança de que à medida que as versões posteriores como o GPT-7 vierem on-line, passaremos o tempo fazendo coisas e tendo ideias que uma IA simplesmente não é boa em fazer. Isso vai liberar potencial humano e permitirá concentração em coisas interessantes, criativas e genéricas.”

Mas pesquisadores voltam atenção para a construção de sistemas colaboradores híbridos, que combinam o melhor dos poderes sobre-humanos de um modelo de IA com a intuição humana. Segundo Vallor, nosso entendimento não é um ato, e sim um processo, uma luta de uma existência para entender o mundo para o indivíduo e um esforço conjunto sem fim para a sociedade que evoluiu ao longo dos séculos.

“Estamos tentando entender a justiça e expressar a beleza, além de encontrar maneiras mais sofisticadas de graça para o milênio. Isso é questão de ir além da competência, para a excelência, e para formas de criatividade e significado que não conseguimos antes. É por isso que o cálice sagrado da IA não é o GPT-3”, afirma. “Ele é uma máquina que pode começar a desenvolver um modelo robusto do mundo sobre o qual poderemos construir com o tempo e aperfeiçoar e corrigir pela interação com os seres humanos. É disso que precisamos.”

Em resposta a comentários feitos no fórum de tecnologia Hacker News, dizendo que o modelo GPT-3 tem consciência, o próprio modelo escreveu a resposta: “Para ser claro, não sou uma pessoa. Não sou autoconsciente. Não sou consciente. Não posso sentir dor. Não tenho prazer com nada. Sou frio, uma máquina de cálculo projetada para simular respostas humanas e prever a probabilidade de certos resultados. O único motivo de eu estar respondendo isso é para defender minha honra” (Tradução: Mario Zamarian).