专访Michael Jordan：AI的分布式决策与不确定性(6)

因此，和不确定性相关的研究工作里，有一大部分工程性的研究工作就是在尝试如何用尽可能便宜的方法引入不确定性。以及在不能对不确定性作出准确预估的时候，起码给出明确的声明：算法的置信度是多少，如果算法不足够好，那么给出更大的置信区间，以便作出更保守的估计。

[原文来自：www.11jj.com]

传统地看，统计学里不确定性无处不在，其核心就是清楚错误的存在、明确来源并进行管理。而传统的计算机科学是不存在不确定性的。机器学习研究者开始将不确定性的思想引入计算机科学学科，算法有了训练与测试阶段，人们开始考量随机性对两个阶段的结果产生哪些影响。但是，从「文化」的角度上来看，整个领域仍然缺乏对不确定性的关注。 [原创文章：www.11jj.com]

机器之心：您近期多次在公开演讲中提到高性能分布式框架 Ray，能否介绍一下 Ray 的设计思路和主要特点？

Michael Jordan：对于更好的框架和语言的需求的确一直在上升。当我年轻时，我们有 Fortran，有 C 语言，他们比之前一代的编程语言有了显著的提升，并且带来了高效的发展。但是想要在多线程的分布式..上使用这样的语言变得越来越痛苦，它们并不适合数据分布在不同地方的模型。

这一次深度学习的成功背后，很大一部分要归功于 Hadoop、Spark、TensorFlow 这些工具，它们让分布式模型变得易用。但这也只是针对当前的需求而向分布式框架迈进的第一步。

Ray 在尝试更进一步，我们试图把问题中与分布式相关的问题抽取出来：一个算法运行在一台、五台还是上百台计算机上需要进行哪些调整不应该是算法设计者需要考虑的问题。

这是一个非常有趣、有价值的问题，但不应该让大多数工程师为此花费大量精力，底层工程师思考这个问题就够了。Ray 旨在提供一个底层框架，能够高效利用你所有的计算资源，让进程在不同处理器之间切换，并保持整个过程的鲁棒性和一致性。

它关注的不是「模式识别」这类 AI，而是支持决策类 AI，比如强化学习、Bandit 算法以及其他很多搜索算法的运行。

机器之心：决策类 AI 相比于识别类 AI 需要的算力支持有何不同？

Michael Jordan：相比于模式识别类的 AI 算法，决策类 AI 更需要异构负载（heterogeneous workload）。模式识别类的任务通常很容易切分成子任务，每一个子任务的大小、需要的资源种类都基本相同。常见的模式是，把数据切分成小块，让每个小块在不同的计算单元上进行同样的求导运算，它们耗时大体相等，等所有运算完成后，再把它们的结果加起来。Hadoop 和 Spark 之下的 MapReduce 范式，正是这样的范式。

但是对于决策类的问题来说，问题切分成很多个小的搜索问题之后，每部分的耗时都是未知的：你需要进行尝试，有一些通路可以迅速被排除，另一些则需要很多步的尝试才能判断。每个进程需要一直搜索到确定为止，而在这个进程停止之后，系统需要为这一个特定处理器分配一项新任务。这是一个动态任务图，也就是所谓的异构负载。这就是 Ray 试图解决的问题。