Stack Tecnologias ads

Airflow Gerenciado na AWS!! O Amazon MWAA Serverless chegou e isso aqui é demais pra quem quer evitar dor de cabeça com a infra do Airflow. Você não precisa mais ficar preso à capacidade provisionada — agora paga só pelo que realmente roda. Isso é incrível, quando seu fluxo de dados oscila ou tem picos fora do comum... Ele cuida de tudo: escala tasks com ECS Fargate e ainda facilita permissões com IAM direto no nível do workflow. Dá pra rodar DAGs em YAML ou converter Python para YAML com a lib python-to-yaml-dag-converter-mwaa-serverless. Imagina rodar pipelines robustos sem se preocupar com cluster. O que você ganha: - Segurança no nível da tarefa - Zero overhead de gestão de ambiente - Pay-per-use real 💡 Se você quer ficar por dentro de todas as novidades da AWS para plataformas modernas de dados eu farei um webinário gratuito no dia 04/12 e você não pode perder. Para participar basta se inscrever no link aqui nos comentários. Te vejo lá. #dataengineering

Esta é uma arquitetura que desenhamos para um projeto de utilização de agentes de AI para cobrança. Basicamente é preciso comunicar com clientes através do Whatsapp para realizar cobranças e negociações. Neste caso o WhatsApp, Amazon S3 e Zendesk são usados para capturar dados e centralizar chamados. Lambda para execução dos códigos e orquestração com Step Functions. Tudo serverless. Para os agentes implementamos com o Amazon Bedrock que intercepta as mensagens e faz as interações em linguagem natural OpenSearch para RAG, garantindo respostas contextuais e regras de negócio que hoje são textuais. No futuro podemos usar o S3 Vectors para armazenar os embeddings e reduzir custos. DynamoDB guarda o status das conversas e a memória dos agentes. Para observabilidade, segurança e governança usamos o CloudWatch, IAM e Secrets Manager. No fim o QuickSight vai renderizar os insights e KPIs da operação. Esse projeto pensamos na arquitetura bem como a implementação pela Stack Tecnologias Os pontos de destaque são: - Interações gerenciadas automaticamente. - Orquestração serverless. - Inteligência contextual com RAG. - Segurança e compliance robustas. - Monitoramento completo e relatórios. - Custos sob demanda e escalabilidade na prática. No dia 04/12 irei falar em detalhes desta arquitetura em nosso webinario gratuito sobre GenAI e Engenharia de Dados moderna na AWS. Você não pode perder, o link está nos comentários desse post. #aws #bedrock #ai #ia #aiagents

Quinta, 04/12, às 19h, vai rolar um evento online sobre soluções avançadas de Dados e IA na AWS. Eu e o Felipe Santana vamos falar de: - Como modernizar plataforma de dados com soluções AWS nativas. - GenAI com Amazon Bedrock (Knowledge Bases, Guardrails e Agents). - Governança e compliance em dados. - Como otimizar custos e aumentar a eficiência do seu ambiente. Além do conteúdo técnico, vamos mostrar estudos de caso de quem já subiu de nível em dados. Você vai entender como uma boa infraestrutura ajuda a tirar projetos do papel... E como plataformas de dados modernas são o que muda o jogo pra acelerar inovação de verdade. Mostraremos arquiteturas reais de soluções que contam com produtos e serviços da AWS como: - S3 Tables - Amazon EMR - AWS EKS - Amazon Bedrock - S3 Vectors - Sagemaker AI Vai ser um conteúdo de muito valor. Se você não quer ficar de fora é só fazer a sua inscrição no link dos comentários. Te vejo lá.

Plataforma de dados moderna está em evolução constante. Isso para Data Engineering e para GenAI. Se você quer saber o que existe de mais moderno e como usar soluções para implementar GenAI ou modernizar sua plataforma de engenharia de dados não pode perder esse Webinário. Este será um evento gratuito onde eu e o Felipe Santana iremos mostrar soluções da AWS para você implementar em sua empresa. Vejo você lá, se cadastre gratuitamente no link aqui dos comentários. #IA #GenAI #dataengineering

Eu lembro que há uns anos atrás a #AWS não era boa para dados! Quando você pensava em dados, logo vinha à cabeça o Google por causa do BigQuery ou o Azure, que também era muito forte ali por causa do BI. Hoje, na minha visão, a AWS está bem superior a todas as outras clouds para soluções de Dados e IA. Hoje você consegue trabalhar muito bem com Data Engineering na AWS com soluções extremamente robustas a um custo justo. Toda semana vejo evoluções significativas na cloud que favorecem times de dados. No início do ano vimos a chegada do #S3Tables. Isso é incrível para a gestão de tabelas Apache Iceberg. Depois veio o Amazon SageMaker Unified Studio, a plataforma de dados da AWS que está crescendo e ficando a cada dia mais robusta. Agora, a capacidade do #Redshift de escrever e ler tabelas Iceberg explodiu minha cabeça 🤯. Imagina suas tabelas sendo gerenciadas pelo S3 Tables e você transformando dados com SQL no dbt apontando para o motor do Redshift? Sem silos, sem cópia de dados? Surreal! Legal, né? Novidades como essa e muitas outras eu vou falar no nosso webinário sobre plataformas de dados modernas na AWS. Você não pode perder! Será gratuito e, para participar, basta se inscrever no link aqui nos comentários. Te vejo lá :)

Essa stack é usada para um projeto bem interessante de GenAI na #AWS. O objetivo é construir um agente inteligente que interaje com clientes via WhatsApp, consulta informações no data lake e, caso precise, busca aprovação de um humano de alguns processos. Pelo volume de dados e pela quantidade de requisições, precisamos de uma arquitetura escalável na AWS. Aqui está a função de cada componente da arquitetura: ➡️ Amazon API Gateway: Usado para criar endpoints e webhooks para integrar com a API do WhatsApp Business, recebendo e enviando mensagens. ➡️ AWS Lambda: Funções serverless para processar mensagens recebidas do WhatsApp, orquestrar fluxos de cobrança e invocar o Bedrock. ➡️ Amazon Bedrock: Criação de agentes que utilizam LLMs (como modelos da Anthropic ou Amazon Titan) para gerar respostas personalizadas, consultar dados do cliente e gerenciar interações de cobrança via WhatsApp. ➡️ Bedrock Guardrails: Aplicado para filtrar conteúdos sensíveis, garantir conformidade em mensagens de cobrança e prevenir respostas inadequadas. ➡️ Amazon S3: Armazenamento dos dados do data lake, incluindo informações de clientes e históricos de interações. ➡️ AWS Glue: Catálogo de dados com definições de negócio para as tabelas e colunas, útil para consultas estruturadas para o Bedrock. ➡️ Amazon Athena: Para consultas SQL em dados no S3, permitindo que o agente Bedrock acesse informações de clientes de forma eficiente sem mover dados. ➡️ Amazon DynamoDB: Banco de dados NoSQL para armazenar estados de sessões de conversa e metadados de clientes em tempo real, integrando com Lambda para respostas rápidas. Se você quer conhecer mais sobre GenAI e sobre como usar tecnologias para projetos com este eu te convido para participar do nosso Workshop de GenAI. Este será um webinário gratuito onde iremos explicar tecnologias e soluções como estas destacadas neste post. Para participar basta se inscrever gratuitamente no link aqui nos comentários. Te vejo lá. #AI #AIengineering