BigDL是英特尔开源的分布式深度学习库, 运行在 Apache Spark 集群上, 可简化从 Hadoop大数据集的数据加载。

特点:

提供全面的深度学习支持,包括数值计算(通过 Tensor)和高层面的神经网络;此外,用户还可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。

极高的性能。为了实现高性能,BigDL 在每一个 Spark 任务中都使用了 Intel MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon(与主流 GPU 媲美)上能够实现比当前开源的 Caffe、Torch 或 TensorFlow 快几个数量级的表现。

有效的扩展。BigDL 可以利用 Apache Spark(一种超快的分布式数据处理框架)以及同步 SGD 的有效实现和在 Spark 上的 all-reduce 通信来进行有效地扩展,从而可在「大数据规模」上执行数据分析。

相关文档:

Linux 或 macOS 上安装和编译 BigDL:https://github.com/intel-analytics/BigDL/wiki/Build-Page

运行 BigDL 程序(作为本地 Java 程序或 Spark 程序):https://github.com/intel-analytics/BigDL/wiki/Getting-Started

EC2 上运行BigDL:https://github.com/intel-analytics/BigDL/wiki/Running-on-EC2

使用 BigDL 快速创建一个实用的神经网络:https://github.com/intel-analytics/BigDL/wiki/Tutorials

Github

intel-analytics / BigDL

BigDL: Distributed Deep Learning Library for Apache Spark

 

下载信息

  • 名称:更多文档

点击下载