深度学习 与 概率图模型

发表于 |

CMU博士、MIT博士后及vision.ai联合创始人Tomasz Malisiewicz

人工智能领域三大范式

  1. 逻辑学
  2. 概率方法
  3. 深度学习
    的演变历程

    概率方法：

  • 概率图模型是图论与概率方法的结合产物，2000年代中期它们都曾在机器学习研究人员中风靡一时。
  • 概率图模型的计算方法介绍（视频和PPT下载）Dato CEO，Carlos Guestrin教授
    如果你觉得深度学习能够解决所有机器学习问题，真得好好看看上面的视频。如果你正在构建一套推荐系统，一个健康数据分析平台，设计一个新的交易算法，或者开发下一代搜索引擎，图模型都是完美的起点。

深度学习

强调了如今那些成功的机器学习算法中的网络架构。这些方法都是基于包含很多隐藏层的“深”多层神经网络

我真的十分好奇Yann究竟是如何早在1998年就把他的深度模型折腾出一些东西。毫不奇怪，我们大伙儿还得再花十年来消化这些内容。

两者结合

MIT的deep learning书中part 3从Chap 16 - 20的内容，介绍的都是如何把概率图模型的方法应用在deep learning上。 附上书的链接web版: Deep Learning, github上整合得pdf文件:GitHub - HFTrader/DeepLearningBook: MIT Deep Learning Book in PDF format.

deep learning也是一种图模型，有向图。
其实个人觉得还是bayesian有前途。
推荐bayesian的原因是，这玩意即可以和dl结合作为研究热点，本身坑又多，你看搞MCMC的有几篇，搞VI的文章也有几篇，研究高斯过程的还有，不算这些，直接带bayesian字样的就有十篇嘛

选图模型，深度学习根本不难，就是堆硬件。
概率图直接解释事物本质联系，完爆深度学习。
就目前来说，图模型在理论成熟程度上更好一点，深度学习理论并不深，更多是工程方面的trick与启发性的idea