Tag archives for Hadoop

开源News

英特尔分布式深度学习库BigDL

BigDL是英特尔开源的分布式深度学习库, 运行在 Apache Spark 集群上, 可简化从 Hadoop 的大数据集的数据加载。 特点: 提供全面的深度学习支持,包括数值计算(通过 Tensor)和高层面的神经网络;此外,用户还可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。为了实现高性能,BigDL 在每一个 Spark 任务中都使用了 Intel MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon(与主流 GPU 媲美)上能够实现比当…
继续阅读
开源软件

开源Hadoop的作业平台Zeus

Zeus(宙斯)是阿里巴巴技术团队开源的一个完整Hadoop作业平台, 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期。 功能支持: Hadoop MapReduce任务的调试运行 Hive任务的调试运行 Shell任务的运行 Hive元数据的可视化查询与数据预览 Hadoop任务的自动调度 完整的文档管理 参考文档: 文档首页 安装指导文档 用户入门手册 用户进阶手册 管理员配置手册  
继续阅读

开源搜索引擎Nutch

Nutch 是一个开源的、Java 实现的搜索引擎。它提供了运行自己的搜索引擎所需的全部工具。是一个应用程序,可以以 Lucene 为基础实现搜索引擎应用。Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。 下载地址:
继续阅读