Title: Análise de Dados / Machine Learning Operations - MLOps
Tags: Inteligência_Artificial Resumo

front: (CEBRASPE (CESPE)/Ana (BACEN)/BACEN/Tecnologia da Informação/2024) A automação do ciclo de produção de modelos de aprendizado de máquina percorre diversas etapas, desde a ingestão de dados até a implantação, e inclui atividades como pré-processamento, treinamento de modelos e validação.
response: Certo
comment: A automação do ciclo de produção de modelos de aprendizado de máquina abrange diversas etapas, desde a ingestão dos dados até a implantação do modelo. Essa abordagem, comum no MLOps, geralmente é dividida em três fases interligadas: Design: Nesta fase inicial, são definidas as necessidades do negócio, os casos de uso, os requisitos e a estratégia de deployment. Aqui, atividades como a definição da arquitetura e dos testes necessários para validar o modelo já são planejadas. Experimentação: Envolve a execução iterativa de experimentos, onde são realizadas atividades como pré-processamento dos dados, seleção e treinamento de algoritmos, engenharia de dados e validação contínua dos resultados. Essa etapa visa garantir que o modelo seja estável e de alta qualidade para ser considerado para produção. Operação: Após a experimentação, o modelo é preparado para implantação em ambiente de produção, utilizando práticas de DevOps como testes rigorosos, documentação de versões, entrega contínua e monitoramento do desempenho, para que o modelo possa ser ajustado ou re-treinado conforme necessário. Portanto, a automação engloba todas essas etapas essenciais para garantir que o modelo seja desenvolvido, validado e implantado de forma eficaz e alinhada aos objetivos do negócio.
tldr: - Produção é mais difícil que experimentação
- Exige integração com o ecossistema de TI da empresa (sistemas enviando dados e consumindo predições)
- Opera em ambiente real: grande volume de dados, agilidade, precisão e impacto direto no negócio
- Depende do tripé Dados → Modelo → Código
- Mudanças em qualquer parte afetam o todo (“Changing Anything Changes Everything”)
- Fatores que degradam modelos em produção
- Qualidade dos dados: inconsistência, incompletude e semântica inadequada prejudicam o desempenho
- Decaimento do modelo (drift): dados do mundo real mudam e o modelo perde performance, exigindo re-treino
- Localidade: modelos podem não generalizar para novos públicos/demografias/clientes
- O que é MLOps
- Extensão de DevOps para ML: une desenvolvimento (Dev) e operações (Ops)
- Objetivo: padronizar e automatizar o ciclo de vida (dados, treino, deploy, monitoramento)
- Mantém desempenho alinhado às expectativas do negócio com mudanças controladas
- Fases gerais em MLOps
- Design: entender problema, usuários, requisitos, arquitetura, estratégia de serving e testes
- Experimentação/Desenvolvimento: PoCs, engenharia de dados, seleção/treino iterativo e validações
- Operação: testes rigorosos, documentação/versionamento, deploy automatizado e monitoramento
- Princípios e práticas de MLOps
- Automação (maturidade)
  - Processo manual (notebooks)
  - Automação do pipeline (treino/validação automatizados)
  - Automação completa com CI/CD (build, testes e deploy automatizados)
- Continuous X
  - CI: testes automáticos para mudanças em código/dados/scripts
  - CD: pipeline para colocar o modelo em produção
  - CT: re-treinamento automático conforme mudanças nos dados
  - CM: monitoramento contínuo de métricas técnicas e de negócio
- Versionamento: rastreio de código, dados e modelos (auditabilidade e reprodutibilidade)
- Experiment Tracking: registrar hiperparâmetros/métricas/resultados (ex.: Git/DVC, wandb)
- Testes
  - Para dados/features: schema, importância, conformidade (LGPD/GDPR), unit tests de feature code
  - Para modelo: treino alinhado ao negócio, staleness, comparação com baselines, justiça/viés, validação
  - Para infraestrutura: reprodutibilidade, stress/API, integração, canary, consistência treino vs produção
- Monitoramento
  - Drift de dados, invariantes/esquema, consistência de features, estabilidade numérica, performance computacional
  - Obsolescência do modelo e degradação da qualidade preditiva
  - Gatilhos para re-treino, fine-tuning, A/B e fallback
- CRISP-ML(Q) (processo com garantia de qualidade)
- Business & Data Understanding: objetivos, viabilidade, coleta e verificação de qualidade dos dados
- Data Preparation: seleção, limpeza, construção/engenharia, augmentation, padronização/normalização
- Modeling: pesquisa/baselines, métricas além de acurácia (robustez, escalabilidade, explicabilidade etc.), treino
- Evaluation: evitar vazamento, testar robustez/explicabilidade, comparar com critérios de sucesso
- Deployment: escolha de hardware/cloud/on-prem, implantação incremental, aceitação do usuário, planos de fallback
- Monitoring & Maintenance: monitorar entradas/saídas, atualizar/re-treinar, cuidado com feedback loops
- Ferramentas citadas
- run.ai (gestão de cluster/GPU)
- Amazon SageMaker, Azure Machine Learning (plataformas gerenciadas de ML/MLOps)
- MLflow (tracking, reprodutibilidade, deploy)
- TFX (pipeline end-to-end para TensorFlow)
- Kubeflow (orquestração de ML sobre Kubernetes)
link: https://documentacao.online/estudos/8dvn.html
title: Machine Learning Operations - MLOps
Other fields (not shown on cards):
back: Certo - A automação do ciclo de produção de modelos de aprendizado de máquina abrange diversas etapas, desde a ingestão dos dados até a implantação do modelo. Essa abordagem, comum no MLOps, geralmente é dividida em três fases interligadas: Design: Nesta fase inicial, são definidas as necessidades do negócio, os casos de uso, os requisitos e a estratégia de deployment. Aqui, atividades como a definição da arquitetura e dos testes necessários para validar o modelo já são planejadas. Experimentação: Envolve a execução iterativa de experimentos, onde são realizadas atividades como pré-processamento dos dados, seleção e treinamento de algoritmos, engenharia de dados e validação contínua dos resultados. Essa etapa visa garantir que o modelo seja estável e de alta qualidade para ser considerado para produção. Operação: Após a experimentação, o modelo é preparado para implantação em ambiente de produção, utilizando práticas de DevOps como testes rigorosos, documentação de versões, entrega contínua e monitoramento do desempenho, para que o modelo possa ser ajustado ou re-treinado conforme necessário. Portanto, a automação engloba todas essas etapas essenciais para garantir que o modelo seja desenvolvido, validado e implantado de forma eficaz e alinhada aos objetivos do negócio.

front: (CEBRASPE (CESPE)/Ana (BACEN)/BACEN/Tecnologia da Informação/2024) Em MLOps, o controle de versão abrange o monitoramento das mudanças nos ativos de aprendizado de máquina, visando assegurar a reprodutibilidade e a auditabilidade dos treinamentos desses modelos.
response: Certo
comment: O controle de versão em MLOps abrange o monitoramento das mudanças nos ativos de aprendizado de máquina, garantindo que os scripts de treinamento, os modelos e os conjuntos de dados sejam rastreados por sistemas de versionamento, assegurando reprodutibilidade, auditabilidade e integração com pipelines de CI/CD, além de facilitar a revisão e manutenção do código.
tldr: - Produção é mais difícil que experimentação
- Exige integração com o ecossistema de TI da empresa (sistemas enviando dados e consumindo predições)
- Opera em ambiente real: grande volume de dados, agilidade, precisão e impacto direto no negócio
- Depende do tripé Dados → Modelo → Código
- Mudanças em qualquer parte afetam o todo (“Changing Anything Changes Everything”)
- Fatores que degradam modelos em produção
- Qualidade dos dados: inconsistência, incompletude e semântica inadequada prejudicam o desempenho
- Decaimento do modelo (drift): dados do mundo real mudam e o modelo perde performance, exigindo re-treino
- Localidade: modelos podem não generalizar para novos públicos/demografias/clientes
- O que é MLOps
- Extensão de DevOps para ML: une desenvolvimento (Dev) e operações (Ops)
- Objetivo: padronizar e automatizar o ciclo de vida (dados, treino, deploy, monitoramento)
- Mantém desempenho alinhado às expectativas do negócio com mudanças controladas
- Fases gerais em MLOps
- Design: entender problema, usuários, requisitos, arquitetura, estratégia de serving e testes
- Experimentação/Desenvolvimento: PoCs, engenharia de dados, seleção/treino iterativo e validações
- Operação: testes rigorosos, documentação/versionamento, deploy automatizado e monitoramento
- Princípios e práticas de MLOps
- Automação (maturidade)
  - Processo manual (notebooks)
  - Automação do pipeline (treino/validação automatizados)
  - Automação completa com CI/CD (build, testes e deploy automatizados)
- Continuous X
  - CI: testes automáticos para mudanças em código/dados/scripts
  - CD: pipeline para colocar o modelo em produção
  - CT: re-treinamento automático conforme mudanças nos dados
  - CM: monitoramento contínuo de métricas técnicas e de negócio
- Versionamento: rastreio de código, dados e modelos (auditabilidade e reprodutibilidade)
- Experiment Tracking: registrar hiperparâmetros/métricas/resultados (ex.: Git/DVC, wandb)
- Testes
  - Para dados/features: schema, importância, conformidade (LGPD/GDPR), unit tests de feature code
  - Para modelo: treino alinhado ao negócio, staleness, comparação com baselines, justiça/viés, validação
  - Para infraestrutura: reprodutibilidade, stress/API, integração, canary, consistência treino vs produção
- Monitoramento
  - Drift de dados, invariantes/esquema, consistência de features, estabilidade numérica, performance computacional
  - Obsolescência do modelo e degradação da qualidade preditiva
  - Gatilhos para re-treino, fine-tuning, A/B e fallback
- CRISP-ML(Q) (processo com garantia de qualidade)
- Business & Data Understanding: objetivos, viabilidade, coleta e verificação de qualidade dos dados
- Data Preparation: seleção, limpeza, construção/engenharia, augmentation, padronização/normalização
- Modeling: pesquisa/baselines, métricas além de acurácia (robustez, escalabilidade, explicabilidade etc.), treino
- Evaluation: evitar vazamento, testar robustez/explicabilidade, comparar com critérios de sucesso
- Deployment: escolha de hardware/cloud/on-prem, implantação incremental, aceitação do usuário, planos de fallback
- Monitoring & Maintenance: monitorar entradas/saídas, atualizar/re-treinar, cuidado com feedback loops
- Ferramentas citadas
- run.ai (gestão de cluster/GPU)
- Amazon SageMaker, Azure Machine Learning (plataformas gerenciadas de ML/MLOps)
- MLflow (tracking, reprodutibilidade, deploy)
- TFX (pipeline end-to-end para TensorFlow)
- Kubeflow (orquestração de ML sobre Kubernetes)
link: https://documentacao.online/estudos/8dvn.html
title: Machine Learning Operations - MLOps
Other fields (not shown on cards):
back: Certo - O controle de versão em MLOps abrange o monitoramento das mudanças nos ativos de aprendizado de máquina, garantindo que os scripts de treinamento, os modelos e os conjuntos de dados sejam rastreados por sistemas de versionamento, assegurando reprodutibilidade, auditabilidade e integração com pipelines de CI/CD, além de facilitar a revisão e manutenção do código.

front: (CEBRASPE (CESPE)/Tecno P2 (CTI)/CTI/Tecnologias Habilitadoras/Inteligência Artificial e Ciência de Dados/2024) A gestão eficiente de recursos como CPU e memória não é uma consideração crítica em pipelines de aprendizado de máquina, pois os recursos podem ser alocados dinamicamente, conforme necessário.
response: Errado
comment: Questão meio genérica, sem parecer focar em algum dos temas importantes de MLOps. De qualquer forma, a gestão eficiente de CPU e memória é sempre crucial em pipelines de aprendizado de máquina (e de sistemas no geral), porque está diretamente envolvida aos custos de manutenção do ambiente de tecnologia.
tldr: - Produção é mais difícil que experimentação
- Exige integração com o ecossistema de TI da empresa (sistemas enviando dados e consumindo predições)
- Opera em ambiente real: grande volume de dados, agilidade, precisão e impacto direto no negócio
- Depende do tripé Dados → Modelo → Código
- Mudanças em qualquer parte afetam o todo (“Changing Anything Changes Everything”)
- Fatores que degradam modelos em produção
- Qualidade dos dados: inconsistência, incompletude e semântica inadequada prejudicam o desempenho
- Decaimento do modelo (drift): dados do mundo real mudam e o modelo perde performance, exigindo re-treino
- Localidade: modelos podem não generalizar para novos públicos/demografias/clientes
- O que é MLOps
- Extensão de DevOps para ML: une desenvolvimento (Dev) e operações (Ops)
- Objetivo: padronizar e automatizar o ciclo de vida (dados, treino, deploy, monitoramento)
- Mantém desempenho alinhado às expectativas do negócio com mudanças controladas
- Fases gerais em MLOps
- Design: entender problema, usuários, requisitos, arquitetura, estratégia de serving e testes
- Experimentação/Desenvolvimento: PoCs, engenharia de dados, seleção/treino iterativo e validações
- Operação: testes rigorosos, documentação/versionamento, deploy automatizado e monitoramento
- Princípios e práticas de MLOps
- Automação (maturidade)
  - Processo manual (notebooks)
  - Automação do pipeline (treino/validação automatizados)
  - Automação completa com CI/CD (build, testes e deploy automatizados)
- Continuous X
  - CI: testes automáticos para mudanças em código/dados/scripts
  - CD: pipeline para colocar o modelo em produção
  - CT: re-treinamento automático conforme mudanças nos dados
  - CM: monitoramento contínuo de métricas técnicas e de negócio
- Versionamento: rastreio de código, dados e modelos (auditabilidade e reprodutibilidade)
- Experiment Tracking: registrar hiperparâmetros/métricas/resultados (ex.: Git/DVC, wandb)
- Testes
  - Para dados/features: schema, importância, conformidade (LGPD/GDPR), unit tests de feature code
  - Para modelo: treino alinhado ao negócio, staleness, comparação com baselines, justiça/viés, validação
  - Para infraestrutura: reprodutibilidade, stress/API, integração, canary, consistência treino vs produção
- Monitoramento
  - Drift de dados, invariantes/esquema, consistência de features, estabilidade numérica, performance computacional
  - Obsolescência do modelo e degradação da qualidade preditiva
  - Gatilhos para re-treino, fine-tuning, A/B e fallback
- CRISP-ML(Q) (processo com garantia de qualidade)
- Business & Data Understanding: objetivos, viabilidade, coleta e verificação de qualidade dos dados
- Data Preparation: seleção, limpeza, construção/engenharia, augmentation, padronização/normalização
- Modeling: pesquisa/baselines, métricas além de acurácia (robustez, escalabilidade, explicabilidade etc.), treino
- Evaluation: evitar vazamento, testar robustez/explicabilidade, comparar com critérios de sucesso
- Deployment: escolha de hardware/cloud/on-prem, implantação incremental, aceitação do usuário, planos de fallback
- Monitoring & Maintenance: monitorar entradas/saídas, atualizar/re-treinar, cuidado com feedback loops
- Ferramentas citadas
- run.ai (gestão de cluster/GPU)
- Amazon SageMaker, Azure Machine Learning (plataformas gerenciadas de ML/MLOps)
- MLflow (tracking, reprodutibilidade, deploy)
- TFX (pipeline end-to-end para TensorFlow)
- Kubeflow (orquestração de ML sobre Kubernetes)
link: https://documentacao.online/estudos/8dvn.html
title: Machine Learning Operations - MLOps
Other fields (not shown on cards):
back: Errado - Questão meio genérica, sem parecer focar em algum dos temas importantes de MLOps. De qualquer forma, a gestão eficiente de CPU e memória é sempre crucial em pipelines de aprendizado de máquina (e de sistemas no geral), porque está diretamente envolvida aos custos de manutenção do ambiente de tecnologia.

front: (CEBRASPE (CESPE)/Tecno P2 (CTI)/CTI/Tecnologias Habilitadoras/Inteligência Artificial e Ciência de Dados/2024) MLflow é uma ferramenta exclusiva para uma única tarefa, como treinamento ou implantação de modelos, proporcionando funcionalidades para experimentação, rastreamento de parâmetros e métricas, reprodução de modelos, empacotamento e implantação.
response: Errado
comment: O MLflow não é uma ferramenta exclusiva para uma única tarefa, como treinamento ou implantação. Trata-se de um projeto open source do Databricks que abrange as diversas etapas do ciclo de vida dos modelos de Machine Learning, incluindo: Tracking de experimentos: Permite registrar parâmetros, métricas e resultados dos experimentos de forma sistemática, garantindo rastreabilidade. Reprodutibilidade e compartilhamento: Utiliza a tecnologia de “projects” para empacotar o código em containers, facilitando a replicação e o compartilhamento dos experimentos. Empacotamento e implantação: Possui funcionalidades para empacotar e implantar modelos, além de integrar facilmente com outras ferramentas e sistemas. Portanto, o MLflow é uma solução integrada que facilita o gerenciamento completo do ciclo de vida dos modelos de ML, e não apenas uma tarefa isolada.
tldr: - Produção é mais difícil que experimentação
- Exige integração com o ecossistema de TI da empresa (sistemas enviando dados e consumindo predições)
- Opera em ambiente real: grande volume de dados, agilidade, precisão e impacto direto no negócio
- Depende do tripé Dados → Modelo → Código
- Mudanças em qualquer parte afetam o todo (“Changing Anything Changes Everything”)
- Fatores que degradam modelos em produção
- Qualidade dos dados: inconsistência, incompletude e semântica inadequada prejudicam o desempenho
- Decaimento do modelo (drift): dados do mundo real mudam e o modelo perde performance, exigindo re-treino
- Localidade: modelos podem não generalizar para novos públicos/demografias/clientes
- O que é MLOps
- Extensão de DevOps para ML: une desenvolvimento (Dev) e operações (Ops)
- Objetivo: padronizar e automatizar o ciclo de vida (dados, treino, deploy, monitoramento)
- Mantém desempenho alinhado às expectativas do negócio com mudanças controladas
- Fases gerais em MLOps
- Design: entender problema, usuários, requisitos, arquitetura, estratégia de serving e testes
- Experimentação/Desenvolvimento: PoCs, engenharia de dados, seleção/treino iterativo e validações
- Operação: testes rigorosos, documentação/versionamento, deploy automatizado e monitoramento
- Princípios e práticas de MLOps
- Automação (maturidade)
  - Processo manual (notebooks)
  - Automação do pipeline (treino/validação automatizados)
  - Automação completa com CI/CD (build, testes e deploy automatizados)
- Continuous X
  - CI: testes automáticos para mudanças em código/dados/scripts
  - CD: pipeline para colocar o modelo em produção
  - CT: re-treinamento automático conforme mudanças nos dados
  - CM: monitoramento contínuo de métricas técnicas e de negócio
- Versionamento: rastreio de código, dados e modelos (auditabilidade e reprodutibilidade)
- Experiment Tracking: registrar hiperparâmetros/métricas/resultados (ex.: Git/DVC, wandb)
- Testes
  - Para dados/features: schema, importância, conformidade (LGPD/GDPR), unit tests de feature code
  - Para modelo: treino alinhado ao negócio, staleness, comparação com baselines, justiça/viés, validação
  - Para infraestrutura: reprodutibilidade, stress/API, integração, canary, consistência treino vs produção
- Monitoramento
  - Drift de dados, invariantes/esquema, consistência de features, estabilidade numérica, performance computacional
  - Obsolescência do modelo e degradação da qualidade preditiva
  - Gatilhos para re-treino, fine-tuning, A/B e fallback
- CRISP-ML(Q) (processo com garantia de qualidade)
- Business & Data Understanding: objetivos, viabilidade, coleta e verificação de qualidade dos dados
- Data Preparation: seleção, limpeza, construção/engenharia, augmentation, padronização/normalização
- Modeling: pesquisa/baselines, métricas além de acurácia (robustez, escalabilidade, explicabilidade etc.), treino
- Evaluation: evitar vazamento, testar robustez/explicabilidade, comparar com critérios de sucesso
- Deployment: escolha de hardware/cloud/on-prem, implantação incremental, aceitação do usuário, planos de fallback
- Monitoring & Maintenance: monitorar entradas/saídas, atualizar/re-treinar, cuidado com feedback loops
- Ferramentas citadas
- run.ai (gestão de cluster/GPU)
- Amazon SageMaker, Azure Machine Learning (plataformas gerenciadas de ML/MLOps)
- MLflow (tracking, reprodutibilidade, deploy)
- TFX (pipeline end-to-end para TensorFlow)
- Kubeflow (orquestração de ML sobre Kubernetes)
link: https://documentacao.online/estudos/8dvn.html
title: Machine Learning Operations - MLOps
Other fields (not shown on cards):
back: Errado - O MLflow não é uma ferramenta exclusiva para uma única tarefa, como treinamento ou implantação. Trata-se de um projeto open source do Databricks que abrange as diversas etapas do ciclo de vida dos modelos de Machine Learning, incluindo: Tracking de experimentos: Permite registrar parâmetros, métricas e resultados dos experimentos de forma sistemática, garantindo rastreabilidade. Reprodutibilidade e compartilhamento: Utiliza a tecnologia de “projects” para empacotar o código em containers, facilitando a replicação e o compartilhamento dos experimentos. Empacotamento e implantação: Possui funcionalidades para empacotar e implantar modelos, além de integrar facilmente com outras ferramentas e sistemas. Portanto, o MLflow é uma solução integrada que facilita o gerenciamento completo do ciclo de vida dos modelos de ML, e não apenas uma tarefa isolada.