Artwork

Conteúdo fornecido por Joe Carlsmith. Todo o conteúdo do podcast, incluindo episódios, gráficos e descrições de podcast, é carregado e fornecido diretamente por Joe Carlsmith ou por seu parceiro de plataforma de podcast. Se você acredita que alguém está usando seu trabalho protegido por direitos autorais sem sua permissão, siga o processo descrito aqui https://pt.player.fm/legal.
Player FM - Aplicativo de podcast
Fique off-line com o app Player FM !

Is Power-Seeking AI an Existential Risk?

3:21:02
 
Compartilhar
 

Manage episode 424655590 series 3402048
Conteúdo fornecido por Joe Carlsmith. Todo o conteúdo do podcast, incluindo episódios, gráficos e descrições de podcast, é carregado e fornecido diretamente por Joe Carlsmith ou por seu parceiro de plataforma de podcast. Se você acredita que alguém está usando seu trabalho protegido por direitos autorais sem sua permissão, siga o processo descrito aqui https://pt.player.fm/legal.

Audio version of my report on existential risk from power-seeking AI. Text here: https://arxiv.org/pdf/2206.13353.pdf. Narration by Type III audio.

  continue reading

Capítulos

1. Is Power-Seeking AI an Existential Risk? (00:00:00)

2. Abstract (00:00:13)

3. 1 Introduction (00:02:31)

4. 1.1 Preliminaries (00:06:30)

5. 1.2 Backdrop (00:10:40)

6. 1.2.1 Intelligence (00:11:10)

7. 1.2.2 Agency (00:13:14)

8. 1.2.3 Playing with fire (00:14:38)

9. 1.2.4 Power (00:17:04)

10. 2 Timelines (00:20:49)

11. 2.1 Three key properties (00:21:13)

12. 2.1.1 Advanced capabilities (00:21:32)

13. 2.1.2 Agentic planning (00:23:28)

14. 2.1.3 Strategic awareness (00:30:22)

15. 2.2 Likelihood by 2070 (00:31:56)

16. 3 Incentives (00:34:22)

17. 3.1 Usefulness (00:38:49)

18. 3.2 Available techniques (00:46:11)

19. 3.3 Byproducts of sophistication (00:47:28)

20. 4 Alignment (00:49:39)

21. 4.1 Definitions and clarifications (00:50:05)

22. 4.2 Power-seeking (00:57:32)

23. 4.3 The challenge of practical PS-alignment (01:13:15)

24. 4.3.1 Controlling objectives (01:14:32)

25. 4.3.1.1 Problems with proxies (01:16:41)

26. 4.3.1.2 Problems with search (01:21:34)

27. 4.3.1.3 Myopia (01:27:08)

28. 4.3.2 Controlling capabilities (01:30:17)

29. 4.3.2.1 Specialization (01:31:15)

30. 4.3.2.2 Preventing problematic improvements (01:36:01)

31. 4.3.2.3 Scaling (01:37:43)

32. 4.3.3 Controlling circumstances (01:39:11)

33. 4.4 Unusual difficulties (01:42:41)

34. 4.4.1 Barriers to understanding (01:44:10)

35. 4.4.2 Adversarial dynamics (01:47:38)

36. 4.4.3 Stakes of error (01:49:40)

37. 5 Deployment (01:53:40)

38. 5.1 Timing of problems (01:57:08)

39. 5.2 Decisions (02:01:06)

40. Image: assessment of expected value of deployment (02:05:19)

41. 5.3 Key risk factors (02:07:33)

42. 5.3.1 Externalities and competition (02:08:02)

43. 5.3.2 Number of relevant actors (02:12:27)

44. 5.3.3 Bottlenecks on usefulness (02:15:25)

45. 5.3.4 Deception (02:20:40)

46. 5.4 Overall risk of problematic deployment (02:23:48)

47. 6 Correction (02:25:38)

48. 6.1 Take-off (02:26:32)

49. 6.2 Warning shots (02:29:10)

50. 6.3 Competition for power (02:34:37)

51. 6.4 Corrective feedback loops (02:48:21)

52. 6.5 Sharing power (02:54:50)

53. 7 Catastrophe (02:56:13)

54. Marker 53 (02:58:31)

55. 8 Probabilities (03:01:21)

56. Acknowledgments (03:19:56)

54 episódios

Artwork
iconCompartilhar
 
Manage episode 424655590 series 3402048
Conteúdo fornecido por Joe Carlsmith. Todo o conteúdo do podcast, incluindo episódios, gráficos e descrições de podcast, é carregado e fornecido diretamente por Joe Carlsmith ou por seu parceiro de plataforma de podcast. Se você acredita que alguém está usando seu trabalho protegido por direitos autorais sem sua permissão, siga o processo descrito aqui https://pt.player.fm/legal.

Audio version of my report on existential risk from power-seeking AI. Text here: https://arxiv.org/pdf/2206.13353.pdf. Narration by Type III audio.

  continue reading

Capítulos

1. Is Power-Seeking AI an Existential Risk? (00:00:00)

2. Abstract (00:00:13)

3. 1 Introduction (00:02:31)

4. 1.1 Preliminaries (00:06:30)

5. 1.2 Backdrop (00:10:40)

6. 1.2.1 Intelligence (00:11:10)

7. 1.2.2 Agency (00:13:14)

8. 1.2.3 Playing with fire (00:14:38)

9. 1.2.4 Power (00:17:04)

10. 2 Timelines (00:20:49)

11. 2.1 Three key properties (00:21:13)

12. 2.1.1 Advanced capabilities (00:21:32)

13. 2.1.2 Agentic planning (00:23:28)

14. 2.1.3 Strategic awareness (00:30:22)

15. 2.2 Likelihood by 2070 (00:31:56)

16. 3 Incentives (00:34:22)

17. 3.1 Usefulness (00:38:49)

18. 3.2 Available techniques (00:46:11)

19. 3.3 Byproducts of sophistication (00:47:28)

20. 4 Alignment (00:49:39)

21. 4.1 Definitions and clarifications (00:50:05)

22. 4.2 Power-seeking (00:57:32)

23. 4.3 The challenge of practical PS-alignment (01:13:15)

24. 4.3.1 Controlling objectives (01:14:32)

25. 4.3.1.1 Problems with proxies (01:16:41)

26. 4.3.1.2 Problems with search (01:21:34)

27. 4.3.1.3 Myopia (01:27:08)

28. 4.3.2 Controlling capabilities (01:30:17)

29. 4.3.2.1 Specialization (01:31:15)

30. 4.3.2.2 Preventing problematic improvements (01:36:01)

31. 4.3.2.3 Scaling (01:37:43)

32. 4.3.3 Controlling circumstances (01:39:11)

33. 4.4 Unusual difficulties (01:42:41)

34. 4.4.1 Barriers to understanding (01:44:10)

35. 4.4.2 Adversarial dynamics (01:47:38)

36. 4.4.3 Stakes of error (01:49:40)

37. 5 Deployment (01:53:40)

38. 5.1 Timing of problems (01:57:08)

39. 5.2 Decisions (02:01:06)

40. Image: assessment of expected value of deployment (02:05:19)

41. 5.3 Key risk factors (02:07:33)

42. 5.3.1 Externalities and competition (02:08:02)

43. 5.3.2 Number of relevant actors (02:12:27)

44. 5.3.3 Bottlenecks on usefulness (02:15:25)

45. 5.3.4 Deception (02:20:40)

46. 5.4 Overall risk of problematic deployment (02:23:48)

47. 6 Correction (02:25:38)

48. 6.1 Take-off (02:26:32)

49. 6.2 Warning shots (02:29:10)

50. 6.3 Competition for power (02:34:37)

51. 6.4 Corrective feedback loops (02:48:21)

52. 6.5 Sharing power (02:54:50)

53. 7 Catastrophe (02:56:13)

54. Marker 53 (02:58:31)

55. 8 Probabilities (03:01:21)

56. Acknowledgments (03:19:56)

54 episódios

Todos os episódios

×
 
Loading …

Bem vindo ao Player FM!

O Player FM procura na web por podcasts de alta qualidade para você curtir agora mesmo. É o melhor app de podcast e funciona no Android, iPhone e web. Inscreva-se para sincronizar as assinaturas entre os dispositivos.

 

Guia rápido de referências