Fique off-line com o app Player FM !
Episódio 009: Sobre Crawlers e Scrapers
Manage episode 210383352 series 2284052
O que são crawlers, spiders e scraping? Nesse incrível episódio nossos lindos convidados Valdir Stumm Junior e Elias Dorneles vão nos ensinar algumas coisas sobre esse mundo de coleta de dados! Esse é o primeiro episódio com dois convidados, será que vai dar certo? Agradecemos ao Data Bootcamp pelo apoio e patrocínio desse episódio!
Agradecimento especial aos nossos ParceirosEsse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário.
Os padrinhos desse episódioEsse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente.
Tópicos abordados neste episódio
- Quem são e o que fazem nossos convidados
- Definição de Crawler (Rastejador)
- Diferença entre crawling e scrapping (rastejar e raspar)
- Frameworks de raspagem
Pessoas nesse episódio Leticia Portella Twitter Jessica Temporal Twitter Gustavo Coelho Twitter Valdir Stumm Júnior Twitter Elias Dorneles Email
Apoie o pizza:
Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.
Links
Coisas que mencionamos durante esse episódio:
- #PerguntaProPizza
- Canal do Pizza no Youtube
- Data Bootcamp
- Visidata
- Histogramas interativos
- API da Marvel
- IMDB
- Crawler
- API
- HTML
- JSON
- OCR
- Captcha
- Bot do Google
- Archive.org
- SEO
- Grafos
- Requests
- URLlib
- BeautifulSoup
- lxml
- Scrapy
- Apache Nutch
- Expressões Regulares Regex
- Parsing
- XPath
- CSS
- Seletores CSS como Game
- Seletores CSS
- Tutorial “bão” de XPath
- Como “pensar” em XPath
- Middlewares do Selenium para Scrapy
- Generators
- parsel
- Selenium
- Headless
- AJAX
- Eu acho que o arrastão tem mais… pulsância!
- A gente passou um passo na frente da língua inglesa
- Tive meu momento de scrapear, crawlear
- Acho que eu já incomodei todo mundo que tá aqui com isso
- Tem essa bagunça completa que é a web
- Atenção crianças essa foi uma explicação sobre o uso avançado de ferramentas
- É muito abre-te sésamo tá ligado?
- Achou que o pizza ia ser fácil?
- Só agora que eu entendi veih
Esse episódio foi editado pelo Johnny. Valeu Johnny!
Escute:
57 episódios
Manage episode 210383352 series 2284052
O que são crawlers, spiders e scraping? Nesse incrível episódio nossos lindos convidados Valdir Stumm Junior e Elias Dorneles vão nos ensinar algumas coisas sobre esse mundo de coleta de dados! Esse é o primeiro episódio com dois convidados, será que vai dar certo? Agradecemos ao Data Bootcamp pelo apoio e patrocínio desse episódio!
Agradecimento especial aos nossos ParceirosEsse episódio não seria possível sem o apoio especial dos nossos parças do Data Bootcamp, o maior bootcamp de Data Science do Brasil! Aprenda a organizar, extrair e interpretar os dados da sua empresa com as tecnologias mais avançadas usadas no mercado. Confira as datas dos próximos cursos no calendário.
Os padrinhos desse episódioEsse episódio não teve padrinhos. Se você quiser apadrinhar episódios do Pizza manda um e-mail pra gente.
Tópicos abordados neste episódio
- Quem são e o que fazem nossos convidados
- Definição de Crawler (Rastejador)
- Diferença entre crawling e scrapping (rastejar e raspar)
- Frameworks de raspagem
Pessoas nesse episódio Leticia Portella Twitter Jessica Temporal Twitter Gustavo Coelho Twitter Valdir Stumm Júnior Twitter Elias Dorneles Email
Apoie o pizza:
Nós também temos uma campanha de financiamento recorrente para ajudar a pagar a edição dos episódios. Se você gosta do nosso trabalho considere doar.
Links
Coisas que mencionamos durante esse episódio:
- #PerguntaProPizza
- Canal do Pizza no Youtube
- Data Bootcamp
- Visidata
- Histogramas interativos
- API da Marvel
- IMDB
- Crawler
- API
- HTML
- JSON
- OCR
- Captcha
- Bot do Google
- Archive.org
- SEO
- Grafos
- Requests
- URLlib
- BeautifulSoup
- lxml
- Scrapy
- Apache Nutch
- Expressões Regulares Regex
- Parsing
- XPath
- CSS
- Seletores CSS como Game
- Seletores CSS
- Tutorial “bão” de XPath
- Como “pensar” em XPath
- Middlewares do Selenium para Scrapy
- Generators
- parsel
- Selenium
- Headless
- AJAX
- Eu acho que o arrastão tem mais… pulsância!
- A gente passou um passo na frente da língua inglesa
- Tive meu momento de scrapear, crawlear
- Acho que eu já incomodei todo mundo que tá aqui com isso
- Tem essa bagunça completa que é a web
- Atenção crianças essa foi uma explicação sobre o uso avançado de ferramentas
- É muito abre-te sésamo tá ligado?
- Achou que o pizza ia ser fácil?
- Só agora que eu entendi veih
Esse episódio foi editado pelo Johnny. Valeu Johnny!
Escute:
57 episódios
Todos os episódios
×Bem vindo ao Player FM!
O Player FM procura na web por podcasts de alta qualidade para você curtir agora mesmo. É o melhor app de podcast e funciona no Android, iPhone e web. Inscreva-se para sincronizar as assinaturas entre os dispositivos.