))
Pre-training LLMs: One Model To Rule Them All? with Talfan Evans, DeepMind
Manage episode 418936584 series 3514761
Conteúdo fornecido por Daniel Reid Cahn. Todo o conteúdo do podcast, incluindo episódios, gráficos e descrições de podcast, é carregado e fornecido diretamente por Daniel Reid Cahn ou por seu parceiro de plataforma de podcast. Se você acredita que alguém está usando seu trabalho protegido por direitos autorais sem sua permissão, siga o processo descrito aqui https://pt.player.fm/legal.
Talfan Evans is a research engineer at DeepMind, where he focuses on data curation and foundational research for pre-training LLMs and multimodal models like Gemini. I ask Talfan:
- Will one model rule them all?
- What does "high quality data" actually mean in the context of LLM training?
- Is language model pre-training becoming commoditized?
- Are companies like Google and OpenAI keeping their AI secrets to themselves?
- Does the startup or open source community stand a chance next to the giants?
Also check out Talfan's latest paper at DeepMind, Bad Students Make Good Teachers.
22 episódios
Compartilhar
