Episódio 024: Engenharia de Dados... e põe dados nisso!

Pizza de Dados

Nesse episódio conversamos com o Ricardo Paiva, engenheiro de dados que trabalha com com dados que acumulam mais rápido que aviões supersônicos! Venha entender o que faz um engenheiro de dados, o que difere essa profissão de um cientista de dados e quando uma otimização de alguns porcentos pode gerar um lucro imenso quando se lida com milhões de dados por segundo!

Agradecimento especial aos nossos Parceiros

Esse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário.

Os padrinhos desse episódio

Esse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente.

Tópicos abordados neste episódio

• Quem é e o que faz o nosso convidado?
• Quais são os principais problemas de trabalhar com um volume de dados gigantesco?
• O que faz um time de engenharia de dados?
• Como se organizam os times de engenharia em um ambiente de muitos dados?
• O que diferencia um Engenheiro de Dados e um Cientista de Dados?
• O que uma pessoa precisa estudar para trabalhar com engenharia de dados?

Escute agora

Pessoas nesse episódio Leticia Portella Twitter Jessica Temporal Twitter Gustavo Coelho Twitter Ricardo Paiva Canal do YouTube Apoie o pizza:

Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.

Apoiar o Pizza

Links

Coisas que mencionamos durante esse episódio:

• #PerguntaProPizza
• Telegram do Pizza
• Python Brasil
• Conferência Web.br
• Blog do Rladies
• Paco Nathan - Passado e Futuro da AI
• Engenharia de Dados
• Curso Online de Big Data do Ricardo
• Big Data
• Criteo
• Pipeline
• Ingestão de Dados
• HDFS
• Hbase
• E-commerce
• Excel
• SQL
• Cluster
• Hadoop
• Big Data
• Data Lake
• JSON
• Schema
• Protobuff
• Aprendizado de máquina / Machine Learning
• Sampling - Amostragem
• Join ou União de Dados
• Banco de Dados
• Petabytes
• Kafka
• Javascript
• XML
• Formatos binários
• Avro
• Buffer
• Barramento / Filas
• Bancos de Dados Relacional
• DBA
• Governança de Dados
• Inteligência Artificial
• Empresa de Capital Aberto
• Universidade de Sorbonne
• Parquet
• Ciência de Dados
• SRE - Site Reliability Engineering
• Otimização
• Spark
• PySpark
• Análise Ad-Hoc
• Latência
• Resiliência
• Aplicação Web
• Métricas
• Logs
• Post Mortem
• Data Centers
• VPN
• Iterações
• Hive
• Prestor
• Streaming
• Processamento em lote ou Processamento em batch
• Framework
• Flink
• Kafka Stream
• Scala
• Oracle Database
• MySQL
• Linguagem R
• Python
• YARN
• JVM
• AliBaba
• Spark Streaming
• Análise Assintótica
• Série de Taylor
• Great Expectations
• Teste A/B
• RegEx
• Instituto InfNet
• RegexR
• Regex101
• Serenata

Pérolas?! Temos muitas

• Queijo aqui é uma ciência! Não é pra amador
• Só de escutar uma tabela de excel crescendo assim eu já travei!
• É big data MESMO
• Data Reliability Engineering!
• Dá até um ruim só de pensar
• O cara que contava o quanto a gente já tinha perdido com aquele incidente!
• Estou sofrendo e nem é comigo
• Acho que é um pouco melhor que o médico!
• Consegue dormir o sono dos justos!
• De tudo o que você falou, o que mais me impressionou é que você ainda tem telefone fixo
• Se processou o dado e coube na memória… não é big data
• A complexidade dos coisinhos que você tá fazendo
• Você não pode olhar regex de longe, se olhar de longe de assusta!

Edição

Esse episódio foi editado pelo Johnny. Valeu Johnny!

Escute: