Modelos de inteligência artificial são usados de forma cada vez mais ampla no mundo de hoje. Muitos realizam tarefas de processamento de linguagem natural - como tradução de idioma, texto preditivo e filtros de spam de e-mail. Eles também são usados para capacitar assistentes inteligentes como Siri e Alexa para "falar" conosco e operar carros sem motorista.
Mas, para funcionar bem, esses modelos precisam ser treinados em grandes conjuntos de dados, um processo que inclui a realização de muitas operações matemáticas para cada dado que são alimentados. E os conjuntos de dados nos quais eles estão sendo treinados estão ficando cada vez maiores: um modelo recente de processamento de linguagem natural foi treinado em um conjunto de dados de 40 bilhões de palavras.
Como resultado, a energia consumida pelo processo de treinamento está aumentando. A maioria dos modelos de IA são treinados em hardware especializado em grandes data centers. De acordo com um artigo recente na revista Science , a quantidade total de energia consumida por data centers representou cerca de 1% do uso global de energia na última década - equivalente a cerca de 18 milhões de residências nos Estados Unidos. E em 2019, um grupo de pesquisadores da Universidade de Massachusetts estimou que o treinamento de um grande modelo de IA usado no processamento de linguagem natural poderia gerar aproximadamente a mesma quantidade de emissões de CO2 que cinco carros gerariam durante sua vida útil total.
Preocupados com isso, pesquisadores da Universidade de Cambridge decidiram investigar abordagens mais eficientes em termos de energia para treinar modelos de IA. Trabalhando com colaboradores da University of Oxford, University College London e Avignon Université, eles exploraram o impacto ambiental de uma forma diferente de treinamento - chamada aprendizagem federada - e descobriram que ela tinha um impacto significativamente mais verde. Em vez de treinar os modelos em data centers, o aprendizado federado envolve modelos de treinamento em um grande número de máquinas individuais. Os pesquisadores descobriram que isso pode levar a emissões de carbono mais baixas do que o aprendizado tradicional.
O palestrante sênior Dr. Nic Lane explica como funciona quando o treinamento não é realizado em grandes centros de dados, mas em milhares de dispositivos móveis - como smartphones - onde os dados geralmente são coletados pelos próprios usuários de telefone.
“Um exemplo de um aplicativo que atualmente usa o aprendizado federado é a previsão da palavra seguinte em telefones celulares”, diz ele. "Cada smartphone treina um modelo local para prever qual palavra o usuário digitará em seguida, com base em suas mensagens de texto anteriores. Depois de treinados, esses modelos locais são enviados a um servidor. Lá, eles são agregados em um modelo final que será enviado de volta para todos os usuários.".
E este método tem benefícios importantes para a privacidade, bem como benefícios ambientais, aponta o Dr. Pedro Porto Buarque De Gusmão, um pesquisador de pós-doutorado que trabalha com o Dr. Lane.
“Os usuários podem não querer compartilhar o conteúdo de seus textos com terceiros”, explica ele. "No aprendizado federado, podemos manter os dados locais e usar o poder coletivo de milhões de dispositivos móveis juntos para treinar modelos de IA sem que os dados brutos dos usuários saiam do telefone."
"E, além desses ganhos relacionados à privacidade", diz o Dr. Lane, "em nossa pesquisa recente, mostramos que o aprendizado federado também pode ter um impacto positivo na redução das emissões de carbono.
"Embora os smartphones tenham muito menos poder de processamento do que os aceleradores de hardware usados em data centers, eles não exigem tanta potência de resfriamento quanto os aceleradores. Esse é o benefício de distribuir o treinamento de modelos em um amplo conjunto de dispositivos."
Os pesquisadores recentemente foram coautores de um artigo sobre o tema "O Aprendizado Federado pode salvar o planeta?" e estará discutindo suas descobertas em uma conferência internacional de pesquisa, a Flower Summit 2021, em 11 de maio.
Em seu artigo, eles oferecem o primeiro estudo sistemático da pegada de carbono da aprendizagem federada. Eles mediram a pegada de carbono de uma configuração de aprendizado federado treinando dois modelos - um em classificação de imagem e outro em reconhecimento de voz - usando um servidor e dois chipsets populares em dispositivos simples direcionados por métodos federados. Eles registraram o consumo de energia durante o treinamento e como ele pode variar dependendo de onde os chipsets e o servidor do mundo estavam localizados.
Eles descobriram que, embora houvesse uma diferença entre os fatores de emissão de CO2 entre os países, o aprendizado federado em muitos ambientes de aplicação comuns era confiavelmente "mais limpo" do que o treinamento centralizado.
Treinando um modelo para classificar imagens em um grande conjunto de dados de imagens, eles descobriram que qualquer configuração de aprendizagem federada na França emitiu menos CO2 do que qualquer configuração centralizada na China e nos EUA. E no treinamento do modelo de reconhecimento de fala, a aprendizagem federada foi mais eficiente do que o treinamento centralizado em qualquer país.
Esses resultados são apoiados por um conjunto expandido de experimentos em um estudo de acompanhamento ("Uma primeira análise da pegada de carbono do aprendizado federado ') pelo mesmo laboratório que explora uma variedade ainda maior de conjuntos de dados e modelos de IA. E isso a pesquisa também fornece o início do formalismo necessário e a base algorítmica de emissões de carbono ainda mais baixas para o aprendizado federado no futuro.
Com base em sua pesquisa, os pesquisadores disponibilizaram uma "Calculadora Federada de Carbono de Aprendizagem", para que o público e outros pesquisadores possam estimar quanto CO2 é produzido por um determinado conjunto de dispositivos. Ele permite que os usuários detalhem o número e tipo de dispositivos que estão usando, em que país estão, quais conjuntos de dados e velocidades de upload / download estão usando e o número de vezes que cada dispositivo treinará em seus próprios dados antes de enviar seu modelo para agregação .
Eles também oferecem uma calculadora semelhante para estimar as emissões de carbono do aprendizado de máquina centralizado.
"O desenvolvimento e o uso da IA estão desempenhando um papel cada vez mais importante na tragédia que é a mudança climática", diz o Dr. Lane, "e esse problema só vai piorar à medida que essa tecnologia continua a proliferar na sociedade. Precisamos urgentemente resolver isso que é por que estamos ansiosos para compartilhar nossas descobertas, mostrando que os métodos de aprendizagem federados podem produzir menos CO2 do que os data centers em cenários de aplicação importantes.
"Mas, ainda mais importante, nossa pesquisa também mostra como o aprendizado federado deve evoluir para ser ainda mais ecologicamente correto. Métodos descentralizados como este serão a chave na invenção de futuras formas sustentáveis de IA nos próximos anos".
Nenhum comentário:
Postar um comentário