1,514 of Us (Many Paths), 2022. Obra de Blake Carter.

Cegos pelos falsos milagres do ChatGPT, estamos mais uma vez abdicando diante dos senhores da tecnologia.

No entanto, o modelo econômico da IA não tem nada de novo.

Meredith Whittaker, presidente do serviço de mensagens criptografadas Signal, alerta para as consequências que a explosão de uma bolha poderia ter.

Num momento em que o desenvolvimento da IA parece conduzir mecanicamente ao reforço da centralização do poder nas mãos de alguns atores, ainda é possível lutar contra os monopólios?

Meredith Whittaker — Para responder à sua pergunta, eu estaria bastante tentada a fazer um desvio histórico, para tomar as coisas ao contrário do que normalmente nos apresentam.
A constatação de uma concentração maciça de poder nas mãos de algumas empresas, impulsionada pela IA, não é uma opinião: ela se baseia numa análise material e numa visão político-econômica da história da indústria tecnológica — que eu conheço por dentro, tendo trabalhado nesse setor no Google de 2006 a 2019.

O início dos anos 2010 foi um período muito estruturante para a empresa, durante o qual a IA chegou, por assim dizer, ao seu destino, numa forma estabilizada. Foi também nesse período que o paradigma do deep learning ressurgiu.
Para entender do que estamos falando quando evocamos a IA, é preciso compreender a história do modelo comercial das plataformas e as razões da grande bifurcação da Internet nos anos 1990.

Ao longo dos últimos oitenta anos, diversas abordagens tecnológicas muito heterogêneas foram reunidas sob o termo genérico «IA».
O deep learning é uma dessas abordagens, hoje dominante.
Ao longo dos anos 2010, operou-se silenciosamente uma grande virada cuja amplitude poucos compreenderam na época.
O deep learning se impôs, a ponto de se tornar sinônimo daquilo que hoje chamamos de IA.

Por que essa abordagem, bastante marginal até os anos 2010, ressurgiu de repente a ponto de, sozinha, vir a encarnar tudo o que consideramos como IA?

Isso se explica muito simplesmente: por causa do modelo econômico das plataformas.

Nos anos 1990, as plataformas digitais foram incentivadas a se desenvolver a todo custo segundo uma lógica já comprovada: criar redes de comunicação não regulamentadas, capturar o efeito de rede, conquistar o mercado, alcançar economias de escala e coletar o máximo possível de dados para alimentar um modelo econômico baseado na publicidade e na vigilância.

Assim, Facebook, Google, Amazon Marketplace e Microsoft já tinham, no início dos anos 2010, calibrado suas capacidades de cálculo para armazenar e processar grandes quantidades de dados. As infraestruturas estavam prontas para a IA: eram as mesmas que sustentavam seu modelo econômico.
Além dessas capacidades de cálculo, esses atores também dispunham de plataformas gigantescas nas quais armazenavam e tratavam dados em quantidade colossal.

Nesse momento, eles entenderam que a abordagem do deep learning — a partir de certos desenvolvimentos dos anos 1980, como a retropropagação, na qual Yann Le Cun havia trabalhado, por exemplo — voltava a ser pertinente, porque agora era possível testar esses algoritmos na escala desses modelos comerciais. O que chamamos de IA, na verdade, não é realmente uma inovação.

Como você explica o sucesso deles?

Isso funcionava muito bem para otimizar um fluxo de redes sociais baseado no engajamento.
É impressionante quando olhamos as coisas mais concretamente. Se colocarmos em paralelo, por exemplo, os progressos da IA com as mudanças feitas no algoritmo do YouTube e as preocupações sobre, por exemplo, a radicalização ou as razões pelas quais somos inundados de vídeos que provocam raiva ou nos mantêm diante das telas, percebemos que os modelos de IA — os modelos de deep learning — foram primeiro testados em algoritmos como o do YouTube.
Em outras palavras, sua primeira aplicação — que também foi um primeiro teste — foi otimizar as redes sociais financiadas por publicidade.

Foi somente a partir desse modelo baseado no engajamento que se pôde constituir um modelo comercial mais amplo, centrado no que hoje chamamos de IA.
É por isso que me parecia importante fazer esse desvio pela história das redes sociais: ele permite entender por que o que chamamos de IA, na verdade, não é realmente uma inovação.

Do que estamos falando é de uma forma política e econômica de captura de mercado fundada em um modelo comercial de vigilância e numa concentração de poder que se apoia nos efeitos de rede. É esse modelo que tornou novamente pertinente um certo tipo de IA.
A IA foi falsamente apresentada como uma inovação científica, quando na realidade é o resultado de uma concentração de poder entre alguns atores históricos que se impuseram durante a fase de acumulação primitiva da comercialização da Internet.

Meredith Wittaker. Fotografia de Dina Litovsky.

Não vemos, no entanto, surgir start-ups de IA, pequenas empresas prestes a criar modelos que funcionam tão bem quanto os dos gigantes?

De fato, existe um certo número de start-ups especializadas em IA.
Na Europa, pensamos na Mistral e em outras que são capazes de construir grandes modelos de alto desempenho.
Mas, se examinarmos o processo como um todo — do desenvolvimento de um modelo à sua monetização — constatamos que o mercado continua extremamente concentrado e que os hyperscalers sempre terão uma vantagem única sobre todos os seus concorrentes.

Assim, mesmo que a Mistral seja capaz de construir seu próprio modelo, o acesso ao mercado torna sempre esse modelo dependente de um hyperscaler.
Uma startup dá acesso ao modelo da Mistral por meio de um servidor da Amazon Web Services ou de outro fornecedor de infraestrutura.
O acesso ao mercado é, portanto, controlado por aqueles que possuem servidores cloud, que concedem licenças de acesso e comercializam, sob diferentes nomes e marcas, o protocolo de um determinado modelo, ou por aqueles que possuem plataformas nas quais podem integrar um modelo de IA.

Ora, hoje não existe nenhum outro mercado tão completo quanto o dos Estados Unidos em termos de dominação do setor de IA.
Se arranharmos um pouco a superfície, percebemos que um certo número de start-ups na verdade apenas comercializa o ChatGPT sob diferentes nomes, combinando uma série de códigos em acesso aberto e criando uma nova interface de usuário.
No dia em que a OpenAI — ou a Microsoft, que parece estar querendo assumir seu controle — decidir mudar seu modelo, sua precificação ou suas autorizações, ou no dia em que sofrer sanções do poder público, os atores menores sentirão diretamente os efeitos — e terão de se alinhar.

A IA foi falsamente apresentada como uma inovação científica, quando ela é, na realidade, o resultado de uma concentração de poder entre alguns atores históricos.

Pelo que você diz, a IA seria então, na melhor das hipóteses, uma bolha…

É evidente: existe uma bolha da IA.
As empresas são valorizadas, mas não dão lucro — elas nem sequer chegam ao ponto de equilíbrio.
Os gastos de investimento são fantasiosos e as promessas cada vez mais difíceis de acreditar. Muito ar entra nesse balão; a bolha da IA não para de inflar. Mas ainda não vemos a que poderia se parecer o retorno sobre o investimento.

Por outro lado, vemos muitos esquemas de dívidas circulares.
Um exemplo recente foi o investimento da Nvidia na OpenAI. A ação da OpenAI sobe. Mas a valorização da Nvidia também depende da valorização da OpenAI. Isso também impulsiona a ação deles, e eles recuperam o dinheiro.

Além disso, esses investimentos nas start-ups de IA não eram feitos em dinheiro, mas sob a forma de acesso às infraestruturas desses hyperscalers para que os modelos servissem para melhorá-las — o que leva a fazer subir o preço das ações dos hyperscalers.

Paralelamente, as promessas feitas no mercado se afastam cada vez mais da realidade material do funcionamento desses sistemas, de seus limites e de seus verdadeiros limiares.
Então sim: existe uma bolha.
Mas eu nuançaria isso com um aspecto nada negligenciável: no plano geopolítico, a IA é uma ferramenta de controle estratégico.

O que você entende por «controle estratégico»?

70% do mercado mundial de infraestruturas de nuvem é controlado por três empresas americanas.
O governo americano e o setor privado estão profundamente conscientes disso.
É uma vantagem geopolítica extraordinária.
Eu não tenho um conceito pronto para isso, mas tenho certeza de que poderíamos encontrar um…

«Vassalização feliz»?

Isso, por exemplo.
Você pode modificar as ferramentas, os protocolos, a estrutura tarifária — isso não muda um fato essencial: os governos, as instituições e todas as start-ups europeias especializadas em IA continuam funcionando principalmente sobre a infraestrutura americana ou, no mínimo, precisam ter acesso a certas partes dessa infraestrutura.

Vemos isso muito concretamente em nossas vidas cotidianas. Quando a nuvem da Amazon cai, 30% da Internet fica fora do ar — e essas interrupções nos afetam a todos.
Se você usa uma infraestrutura de nuvem europeia, provavelmente está usando o Amazon DynamoDB ou algum desses serviços hospedados pela Amazon Web Services, onde as ferramentas, as normas e todo o resto são geridos pela Amazon.

A posição dominante e hegemônica desses atores tem consequências. Ela é estratégica para o governo americano.
Com uma questão: se a bolha estourar, o governo federal a reinflará, salvando financeiramente essas empresas?
Eu não tenho a resposta.

O que a Europa deveria fazer diante dessa situação?

Ela deveria começar aplicando de maneira rigorosa o RGPD.
É um regulamento que já existe e que, interpretado de maneira conservadora, poderia levar a proibir a publicidade de vigilância — cortando os fluxos de dados para os atores históricos da IA e realmente desestabilizando essa concentração de poder. A solução está aí.
No entanto, há um problema de vontade política e de mentalidade: cada um quer reivindicar o mérito de ter regulado, sem realmente usar as ferramentas disponíveis.

Em que sentido?

Eu não sou uma responsável política. Passo meus dias pensando no desenvolvimento e na manutenção de infraestruturas críticas para comunicações privadas.
Minha hipótese é que muitas pessoas gostam de estar próximas do poder, mas as que realmente querem se opor a ele são bem menos numerosas.
Opor-se dá medo — e custa caro.
É difícil mostrar que se está disposto a confrontar o poder estabelecido sem perder seu lugar à mesa de negociação.

Quanto às medidas a serem tomadas, parece-me importante destacar um aspecto muito prático: existe uma convergência massiva de interesses.
Deveríamos ser capazes de encontrar um incentivo comum entre atores tão diversos quanto organizações de defesa dos direitos humanos, todos os governos e todos os exércitos, para denunciar certas aplicações da IA — porque a maneira como esses modelos e sistemas de IA são integrados às infraestruturas críticas é muito arriscada.
As regras elementares de cibersegurança foram totalmente esquecidas. Coisas que teriam feito todos rirem no Google há oito anos hoje são aceitas sem pestanejar.

Se a bolha estourar, o governo federal a reinflará salvando financeiramente essas empresas?
Eu não tenho a resposta.

Do que você está falando exatamente?

A vontade desesperada de encontrar o mercado que satisfaça os investidores e atinja o ponto de equilíbrio leva a escolhas cada vez mais imprudentes: estamos minando nossas infraestruturas básicas ao confiar em toda parte em modelos de linguagem (LLM) que não são seguros.
Um estudo recente da Anthropic mostrou que bastam 250 documentos «contaminados» na base de dados de um LLM — seja qual for seu tamanho, podendo conter às vezes vários bilhões de datapoints — para criar uma falha que permite manipulações capazes de levar os LLMs a ações maliciosas.
Isso é um pouco abstrato dito assim, mas para entender basta se dar conta de que é impossível «limpar» uma massa informe de dados capturada de maneira bruta na totalidade da Internet.

Também estamos lidando com golpistas que vendem acesso às APIs — as interfaces entre modelos e aplicações — e aos LLMs para que nossos militares tomem decisões.
Temos todo interesse em denunciar essa situação e estancar a hemorragia.

Também é do nosso interesse denunciar a integração dos «agentes» — que é, na verdade, um termo de marketing para robôs que executam tarefas complexas em nosso lugar sem nos pedir permissão.
Para reservar um ingresso de cinema, avisar seus amigos, fazer uma reserva num restaurante, esses «agentes» precisam acessar uma enorme quantidade de dados de maneira muito pouco segura.
O «agente» precisa acessar seu cartão de crédito, seu navegador para buscar o restaurante, seu histórico de navegação, seu calendário, todos os seus eventos — até mesmo sua mensagem no Signal, que você usa justamente para se comunicar com seus amigos com segurança.

Isso é uma falha na arquitetura de segurança na qual nos apoiamos.
Ela se baseia parcialmente numa crença errônea, mas ainda muito difundida: a de que desenvolvedores e usuários confiam que se trata de plataformas neutras que farão exatamente o que pedimos.
Mas essas plataformas estão sendo instrumentalizadas por agentes de IA muito pouco seguros, que usam comandos em linguagem natural difíceis de proteger, dados quase impossíveis de higienizar, e que criam uma porta dos fundos em aplicativos como o Signal — onde a criptografia deixa de ter importância, já que basta aproveitar esse agente que tem acesso interno ao seu dispositivo para acessar seus dados do Signal.

Trata-se de uma ameaça existencial para a segurança e a privacidade no nível da camada das aplicações — uma segurança e uma privacidade sobre as quais se apoiam todos os exércitos, todos os governos e todas as organizações de defesa dos direitos humanos.
Qualquer pessoa com conhecimentos técnicos básicos não pode negar essa análise.
Cabe a nós torná-la o mais amplamente conhecida possível para pôr fim a essa loucura.