Desbloqueando o poder da inteligência artificial
Organizações precisam de machine learning para dimensionar seus recursos de IA
Agosto | 2023Imagine que sua organização está de um lado de uma porta e, do outro, há grandes oportunidades de crescimento. As operações de machine learning – ou aprendizado de máquina – (MLOps, na sigla em inglês) são a chave para abrir essa porta e conectar suas operações com as possibilidades do futuro.
À medida que a inteligência artificial (IA) se tornou mais avançada, também aumentou a ambição das organizações de adotar essas tecnologias inovadoras. Dadas suas aspirações de expansão, o quebra-cabeça para as organizações é como elas podem dimensionar a IA para obter o melhor resultado possível. A resposta é que as organizações devem adotar e implementar MLOps.
As operações de machine learning (MLOps) são um conjunto de práticas que visam desenvolver, implementar e manter modelos de aprendizado de máquina em produção, de forma confiável e eficiente[1].
As MLOps abrangem um conjunto de processos e práticas essenciais para a implementação e gestão do machine learning (ML). Sem recursos suficientes de MLOps, as organizações podem ter dificuldades para concretizar o potencial da IA. De fato, muitas organizações ainda precisam alcançar a maturidade de inteligência artificial desejada e ainda não implementaram o ML de forma significativa devido à falta de conhecimento, investimento e infraestrutura.
Para explorar esse tópico, a Deloitte ouviu profissionais que têm conhecimento ou são responsáveis por dados, análises e IA em suas organizações. Esse grupo demográfico com maturidade em IA nos permitiu avaliar a percepção da liderança e de outros grupos com conhecimento sobre o estado da inteligência artificial em suas organizações e os desafios que enfrentam na implementação do ML. Essa amostra exclusiva revela como as organizações querem dimensionar as soluções de IA, o que é necessário e quais tecnologias estão sendo usadas agora e planejadas para o futuro.
Sobre esta pesquisa
A Deloitte ouviu 621 tomadores de decisão das áreas de IA, análise e dados entre maio e setembro de 2022. Os setores incluíram Consumidor; Energia; Recursos e Industrial; Serviços Financeiros; Ciências da Vida e Saúde; Governo e Serviços Públicos; e Mídia, Telecomunicações e Tecnologia. Sete países foram representados: Austrália, Canadá, Alemanha, Japão, África do Sul, Reino Unido e EUA. Os entrevistados vieram dos seguintes cargos: C-level (por exemplo, CTOs, CIOs, CDOs); chefes de unidades ou departamentos; diretores ou vice-presidentes; e outras funções técnicas especializadas (por exemplo, arquitetos de dados, engenheiros de dados, cientistas de dados, arquitetos de ML, engenheiros de ML).
A pesquisa identificou barreiras específicas que uma organização deve superar para desenvolver a IA de forma eficaz, demonstrando que as organizações devem investir e implementar operações de machine learning (MLOps) para aproveitar o poder e o potencial da IA.
As operações de machine learning são recursos multifuncionais que envolvem vários departamentos que cooperam para agregar valor e aproveitar os dados. A colaboração ocorre em todos os aspectos de uma organização, incluindo proprietários de produtos comerciais, engenharia de dados, ciência de dados, TI e infraestrutura, com o objetivo comum de gerar valor a partir de soluções analíticas com base em dados.
As organizações estão lutando para dimensionar a IA e atingir seu nível de maturidade desejado
As organizações estão buscando aumentar rapidamente seu nível de maturidade de IA. Até 2025, estima-se que a inteligência artificial e o machine learning gerem US$ 4,4 trilhões em valor comercial[2], com a expectativa de que o mercado de MLOps se expanda para US$ 4 bilhões[3]. Esse desejo é generalizado em nossa amostra, com 92% dos entrevistados definindo uma meta de ser líder do setor ou do mercado nos próximos três anos.
As ambições da organização são correspondidas por sua intenção de aumentar suas atividades de IA. O número médio de atividades de IA realizadas pelas organizações em nossa amostra está avançando rapidamente de 8, no momento, para 10 em 2024. Além disso, 31% das organizações entrevistadas indicaram que planejavam realizar mais de 11 iniciativas relacionadas à inteligência artificial nos próximos três anos.
No entanto, embora muitas organizações desejem ser líderes do setor ou do mercado desta inovação tecnológica, os dados mostram que isso exigirá uma melhoria significativa em relação ao seu estado atual. Atualmente, apenas 15% das organizações classificam sua maturidade em IA como muito madura.
Para que esse aumento na maturidade da inteligência artificial ocorra, as organizações devem garantir que estejam preparadas para negociar barreiras complexas e implementar processos e ferramentas de MLOps adequados. Também observamos uma variação na percepção da maturidade atual da IA de uma organização entre o C-level e as funções mais técnicas.
A comparação das respostas sobre a maturidade atual da IA nas organizações dos entrevistados indica que o C-level é mais otimista em sua percepção de maturidade da tecnologia do que os que ocupam cargos de liderança altamente técnicos ou comerciais. Os que ocupam cargos altamente técnicos são os menos propensos a considerar sua organização como madura ou muito madura. Isso destaca a necessidade de formar uma perspectiva unificada sobre o nível de maturidade da IA em nível organizacional e educar os líderes seniores sobre operações de machine learning. O C-level precisa encontrar o equilíbrio certo entre a ambição e a compreensão da realidade do estado atual da organização.
A importância fundamental das MLOps
Para que as organizações possam expandir a IA e atingir a maturidade desejada, há várias barreiras a serem superadas. A produtização é um dos problemas – as organizações não podem mais confiar em processos manuais para dar vida ao ML[4]. Em vez disso, elas precisam de uma abordagem automatizada, eficiente e dimensionável. As MLOps surgiram como uma resposta a esse problema e à crescente complexidade e diversidade dos sistemas de machine learning. É um requisito essencial para as organizações que utilizam IA, automatizando processos e operações e acelerando o ciclo de vida do modelo de ML.
O princípio fundamental por trás das MLOps é a consistência e uma abordagem repetível para a criação de soluções de IA. O recurso das operações de machine learning cria o pipeline e a arquitetura de ponta a ponta que ajudam os cientistas de dados, engenheiros de ML e outros desenvolvedores a experimentar e implementar rapidamente modelos na produção. Ele cria uma cultura de engenharia de software e integração contínua e princípios de entrega contínua (CI/CD) para ajudar as organizações a dimensionar as soluções de IA para a produção. A estrutura robusta de governança de modelos definida pelo recurso das MLOps garante a confiança em torno dos modelos em produção e seu impacto sobre os clientes.
O cenário da IA está mudando rapidamente. À medida que a próxima geração de inteligência artificial vem à tona, a importância das MLOps aumenta. Somente as organizações com capacidade avançada de MLOps podem tirar proveito dos algoritmos de IA mais procurados. Os dados mostram a forte motivação das organizações para explorar abordagens mais complexas de inteligência artificial, como técnicas de deep learning, como a aprendizagem por reforço e modelos generativos, para obter fontes de valor antes inexploradas. Da amostra, 41% planejam usar modelos generativos no próximo ano e 42% planejam usar a aprendizagem por reforço. À medida que surgem novas técnicas e algoritmos, surgem também os casos de uso e o valor em potencial para as organizações.
Nossa pesquisa identificou várias barreiras que as organizações precisam superar para dimensionar a inteligência artificial. A superação desses desafios permitirá que as organizações aumentem seus recursos de IA.
Dominando a transformação e o gerenciamento de dados
A transformação de dados é um aspecto essencial do machine learning. Para implementar totalmente o ML, os dados precisam estar no formato correto. O ML requer grandes quantidades de dados para ser eficaz, e a coleta, o gerenciamento e o armazenamento desses dados consomem muito tempo. De fato, a maioria dos entrevistados indicou que as dimensões de IA que exigem mais esforço são o desenvolvimento de modelos, a transformação de dados e o gerenciamento e monitoramento de modelos.
Os modelos de IA exigem dados de alta qualidade, bem governados e devidamente transformados, o que pode ser um desafio na prática. Muitas vezes, empresas bem estabelecidas, como as do setor de serviços financeiros, têm quantidades significativas de dados armazenados em formatos legados. Isso dificulta a integração e o uso em modelos modernos de ML.
Por exemplo, as formas tradicionais de dados corporativos em bancos de dados, arquivos e sistemas com texto não estruturado são difíceis de utilizar[5]. Os dados usados para modelos de machine learning são complexos e confusos em algumas organizações, com valores ausentes, outliers e outras anomalias. A transformação de dados envolve a limpeza e o pré-processamento desses dados, o que pode consumir muito tempo.
A natureza potencialmente sensível dos dados pode agravar esse problema, pois as organizações precisam tomar medidas adicionais para garantir que a governança de dados seja adequada. Quando os dados são confidenciais, as organizações precisam equilibrar a necessidade de desempenho com a segurança e a confidencialidade. O desenvolvimento, o treinamento e a manutenção de modelos também exigem esforço e consomem muito tempo no caso de grandes conjuntos de dados ou modelos complexos. O monitoramento do desempenho do modelo é uma etapa essencial, mas demorada, para avaliar continuamente a precisão e a confiabilidade.
As organizações precisam de conhecimento especializado para projetar a solução e apoiar a cultura
As MLOps são um campo novo, e muitas organizações não dispõem de pessoal com os conjuntos de habilidades necessários. A demanda por talentos técnicos provavelmente persistirá nos próximos cinco anos, e espera-se que a demanda por engenheiros de operações de machine learning, e arquitetos de TI em todos os setores seja particularmente alta.
Nossos dados mostram que 26% das organizações estão sentindo falta de engenheiros de MLOps e 28% precisam de mais arquitetos de TI. Isso demonstra uma lacuna nos conjuntos de habilidades técnicas necessárias para desenvolver as MLOps para dimensionar os recursos de IA.
As organizações devem reconhecer as habilidades especializadas necessárias. A adesão dos negócios foi identificada como um obstáculo para atingir a meta de taxa de maturidade da IA de uma organização. No entanto, 85% dos participantes da pesquisa que consideraram isso um obstáculo, não selecionaram os desafios orçamentários como um obstáculo.
Isso sugere que os problemas de adesão que as organizações entrevistadas estão enfrentando são predominantemente não financeiros. Também indica que as organizações maduras de IA com melhor desempenho e maior receita têm uma forte cultura em torno das MLOps e um entendimento compartilhado do sucesso e do valor que elas podem trazer.
É necessária uma mudança cultural entre os líderes empresariais para redesenhar as práticas de negócios a fim de incorporar a capacidade das operações de machine learning em todos os aspectos das operações de negócios, e não apenas em casos de uso único. A compreensão do valor das MLOps deve abranger todos aqueles que ocupam cargos técnicos e de liderança.
Os líderes do C-level devem reconhecer o potencial ilimitado de aumentar as capacidades humanas com o ML por meio do desenvolvimento das MLOps. Os líderes devem se concentrar no dimensionamento da inteligência artificial para atingir níveis mais altos de maturidade e aproveitar o vasto potencial de aplicativos comerciais e de clientes. Uma força de trabalho altamente qualificada e colaborativa é essencial para liberar as possibilidades.
A falta de investimento prejudica as tecnologias das MLOps em organizações sem infraestrutura adequada
Muitas tecnologias estão disponíveis para as organizações que desejam investir na capacidade das MLOps. Apesar do amplo uso de serviços em nuvem entre as organizações, a implementação de outras tecnologias, como plataformas multifuncionais e outras plataformas especializadas em operações de machine learning, também está sendo explorada. No entanto, elas ainda estão aquém da taxa de adesão necessária, já que a maioria dos entrevistados se concentra em IA.
A maioria dos entrevistados continua a investir em tecnologias das MLOps nativas da nuvem, pois a nuvem já está incorporada com os recursos das operações de machine learning existentes. No entanto, observamos uma mudança no sentido de investir em tecnologias especializadas de MLOps.
As organizações estão planejando, em sua maioria, investir mais em uma ampla gama de tecnologias no futuro próximo. A pesquisa observou desvios entre as posições, sugerindo que os entrevistados da liderança são mais ambiciosos com seus prazos de investimento. Os executivos da cúpula têm 14% mais chances do que os que ocupam cargos altamente técnicos de planejar investir em hardware de MLOps nos próximos três anos. Isso destaca a necessidade de alinhar as prioridades de investimento entre as funções.
Os requisitos das MLOps estão aumentando à medida que a IA e o ML avançam
Os algoritmos de IA mais procurados que os entrevistados planejam usar no próximo ano são técnicas de deep learning, como aprendizagem por reforço e modelos generativos. Essa maior complexidade no uso da tecnologia de IA exige recursos de infraestrutura cada vez mais complexos.
Apesar da grande ambição e do otimismo, as organizações precisam garantir simultaneamente que sua infraestrutura – e os recursos atuais de MLOps – possam lidar com essa evolução. Dos entrevistados que planejam usar algoritmos mais novos no próximo ano, em média, 28% afirmaram que sua infraestrutura de ML não atende atualmente aos seus requisitos técnicos. O investimento adequado e a evolução da infraestrutura e do recurso de operações de machine learning são necessários para resolver esse atraso.
No entanto, a maioria dos entrevistados classificou a infraestrutura de tecnologia de legado como um dos três principais desafios, atrás dos limites técnicos e de dados e dos altos custos de investimento. Isso foi particularmente notável no setor de tecnologia, mídia e telecomunicações (TMT), que tem o maior uso atual de IA de última geração, com 51%, portanto, essa é uma barreira generalizada em todos os setores. A transição para fora de um sistema legado pode ser cara e demorada, mas é necessária para evoluir para uma organização mais madura em IA.
Isso é significativo porque as organizações não reconhecem a importância fundamental de ter a infraestrutura necessária não apenas para implementar a inteligência artificial, mas também para evitar uma falha no sistema de IA. Uma falha no sistema pode ter consequências significativas. Embora 73% dos entrevistados digam que o impacto material de uma falha no sistema de IA é importante, 27% reconhecem que sua infraestrutura atual de inteligência artificial não atende às demandas necessárias das MLOps.
O setor mais afetado por isso é o de governo e serviços públicos. Um número significativo de 36% desse setor afirma que sua infraestrutura atual não atende aos requisitos técnicos atuais das MLOps – a maior proporção de respostas registradas.
Nos serviços financeiros, duas em cada três grandes organizações (>US$ 5 bilhões) informam que sua infraestrutura atual não atende aos requisitos. As grandes organizações de serviços financeiros precisam atualizar sua infraestrutura de ML para evitar uma falha no sistema que poderia ter consequências materiais e danos à reputação. No entanto, as vantagens e as oportunidades de crescimento das MLOps são para todas as organizações, independentemente do tamanho.
Não subestime o ambiente regulatório
As regulamentações sobre IA e machine learning estão evoluindo rapidamente, e os líderes empresariais precisam estar cientes da importância do compliance. A pesquisa constatou que um dos obstáculos menos comumente selecionados e menos classificados para atingir o estado-alvo de maturidade da IA entre os entrevistados foi o ambiente regulatório – este foi o sétimo obstáculo menos classificado quando medido pela média ponderada.
Isso sugere que as organizações estão muito mais preocupadas com os custos técnicos e os desafios relacionados a recursos do que com o ambiente regulatório e não veem esse obstáculo como significativo quando se trata de atingir seu estado de maturidade de IA desejado. No entanto, com a mudança do cenário regulatório – incluindo a proposta da Lei de IA da União Europeia (UE), a estratégia nacional de IA do Reino Unido e a Lei de Proteção de Dados e Informações Digitais – qualquer estratégia de MLOps deve reconhecer a importância do ambiente regulatório.
Isso promove uma IA confiável, incorpora governança e confiança em todos os estágios e garante que a capacidade das MLOps implemente uma inteligência artificial ética e justa para reduzir os riscos. O cenário regulatório é uma parte crucial da tomada de decisões estratégicas para o compliance e para evitar que a regulamentação sufoque a inovação.
O gerenciamento do ambiente regulatório por meio de uma estrutura de MLOps tem o potencial de estimular novos casos de uso e, ao mesmo tempo, estabelecer salvaguardas para os consumidores, a sociedade e as organizações. A adesão regulatória robusta pode ser simplificada com o uso de MLOps e aumentar a confiança e reduzir os riscos para os investidores.
Oportunidades de investimento em MLOps e dimensionamento de recursos de IA
É difícil exagerar os ganhos disponíveis com o investimento em MLOps. Os benefícios do investimento em recursos de operações de machine learning se refletem em todos os aspectos, desde a melhoria da produtividade dos funcionários e o fornecimento de melhores produtos e serviços até a redução do tempo e dos custos de produção e, por fim, um retorno financeiro sobre o investimento (ROI, na sigla em inglês). As organizações que implementam e aplicam MLOps têm duas vezes mais chances de atingir suas metas[6].
Um dos ganhos mais substanciais da implementação do recurso de operações de machine learning é que ele forma a espinha dorsal que permite que as organizações utilizem as mais recentes tecnologias de ML. De muitas maneiras, as organizações são limitadas apenas por sua imaginação – os avanços tecnológicos têm o potencial de reformular radicalmente a forma como trabalhamos e criamos conhecimento. As MLOps são essenciais para liberar esse poder.
O recurso de MLOps também pode reduzir as preocupações éticas e regulatórias relacionadas ao uso do ML. Um dos maiores desafios que cercam o machine learning é a falta de explicabilidade. Ao utilizar ferramentas de ML explicáveis e monitorar modelos, as ferramentas de MLOps podem ajudar a determinar o motivo pelo qual um resultado específico foi gerado e reduzir o “efeito caixa preta”. Isso é importante para os casos em que há viés nos dados. O recurso de operações de machine learning pode ajudar a determinar como um resultado específico foi gerado, permitindo que o sistema seja alterado de acordo e incorporando a governança.
De forma significativa, a capacidade de MLOps pode evitar falhas no sistema, pois é capaz de fazer a triagem e encontrar uma solução imediatamente. A maior parte da amostra na pesquisa indicou que uma falha no sistema de IA seria importante, mas disse não possuir uma infraestrutura que atenda às demandas necessárias de operações de machine learning. As MLOps são essenciais para evitar falhas nos sistemas – dada a possível magnitude de uma falha, fica clara a importância de tomar todas as medidas para atenuá-las.
Os dados também sugerem que a inteligência artificial pode ajudar os funcionários em suas funções e aumentar a eficiência. Dos entrevistados, 69% relatam que a produtividade dos funcionários aumentou. As organizações dispostas a investir os recursos para implementar uma estrutura robusta de MLOps com uma força de trabalho treinada desfrutarão de um futuro não limitado, mas aberto às possibilidades da próxima geração de tecnologias de IA.
A capacidade das MLOps também pode melhorar a experiência do cliente e, ao mesmo tempo, criar novas oportunidades de crescimento. Os dados revelaram que 66% dos entrevistados sugeriram que os relacionamentos com clientes e consumidores são fortalecidos e 70% relataram ganhos com MLOps por meio de produtos e serviços recém-criados ou aprimorados.
Essas vantagens acabam se manifestando em um ROI significativo. O ROI médio do investimento em tecnologia de MLOps é de 28% na amostra, mas pode chegar a 149%. Notavelmente, não houve variação significativa na aceitação do ROI das tecnologias de operações de machine learning entre os entrevistados de organizações com receita mais baixa e com receita mais alta, destacando a importância do investimento em MLOps, independentemente da receita anual.
Além disso, os entrevistados de organizações com receitas menores relataram uma porcentagem maior de realização de ROI em curto prazo do que os entrevistados com receitas maiores. Quase a metade das respostas das categorias de US$ 250 milhões ou menos responderam que sua organização realizou o ROI em dois anos. Dada a escalabilidade dos sistemas MLOps, é provável que, uma vez que uma organização tenha implementado as MLOps para um uso, os casos de uso futuros terão um ROI mais rápido.
Conclusão
A IA está se desenvolvendo rapidamente, e as tecnologias emergentes serão aproveitadas por organizações ambiciosas, prontas para dimensionar seus recursos de inteligência artificial e enfrentar o desafio com as MLOps. As organizações devem ter como objetivo desenvolver a maior capacidade possível de operações de machine learning, superando as principais barreiras de transformação de dados, infraestrutura defasada e falta de investimento.
As organizações também devem reconhecer a importância do ambiente regulatório, com as MLOps minimizando os riscos e, consequentemente, aumentando a confiança dos consumidores e investidores. A experiência e o talento em ML são vitais para se beneficiar dos muitos ganhos, mas as organizações devem agir agora. As MLOps são a chave para liberar o enorme potencial da IA e levar as organizações ao crescimento futuro.
Agradecimentos
Os autores gostariam de agradecer a Eddy Webb, Karen Tsang, Richard Horton, Shubham Gupta e Sara Sikora por suas contribuições para este artigo.
[1] Deloitte, The part of MLOps less talked about: Successful operationalisation of machine learning at scale requires more than just technology, accessed 3 April 2023. View in Article
[2] Bergur Thormundssen, “Business value created by artificial intelligence (AI) technology worldwide from 2017 to 2025 (in trillion US dollars), by type,” Statista, 17 May 2022.View in Article
[3] Deloitte Dbriefs Webcast, “Designing emotionally intelligent human experiences,” Deloitte, 9 January 2020. View in Article
[4] Deloitte Insights, Tech Trends 2023: The technology forces shaping tomorrow, accessed 3 April 2023. View in Article
[5] Deloitte, “Tech Trends 2021: Lead with confidence,” accessed 3 April 2023. View in Article
[6] Deloitte, The part of MLOps less talked about. View in Article