BigDL是英特尔开源的分布式深度学习库, 运行在 Apache Spark 集群上, 可简化从 Hadoop 的大数据集的数据加载。 特点: 提供全面的深度学习支持,包括数值计算(通过 Tensor)和高层面的神经网络;此外,用户还可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。为了实现高性能,BigDL 在每一个 Spark 任务中都使用了 Intel MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon(与主流 GPU 媲美)上能够实现比当…
继续阅读