Tag archives for 大数据

开源软件

开源的大数据查询引擎Presto

Presto是 Facebook 开源的大数据分布式 SQL 查询引擎,可对从数 G 到数 P 的大数据进行交互式的查询,查询的速度达到商业数据仓库的级别。支持查询包括 Hive、Cassandra 以及某些商业的数据存储产品。单个 Presto 查询可合并来自多个数据源的数据进行统一分析。Presto 不使用 MapReduce ,只需要 HDFS。 Facebook 在内部已经在多个数据存储中使用 Presto 交互式查询,包括 300PB 的数据仓库,超过 1000 个 Facebook 员工每天在使用 Pr…
继续阅读
开源News

英特尔分布式深度学习库BigDL

BigDL是英特尔开源的分布式深度学习库, 运行在 Apache Spark 集群上, 可简化从 Hadoop 的大数据集的数据加载。 特点: 提供全面的深度学习支持,包括数值计算(通过 Tensor)和高层面的神经网络;此外,用户还可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。为了实现高性能,BigDL 在每一个 Spark 任务中都使用了 Intel MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon(与主流 GPU 媲美)上能够实现比当…
继续阅读
开源News

Apache NiFi 1.0.0 发布,大数据管理分析工具

Apache NiFi 是一款简单易用且功能强大,非常可靠的处理和分发数据系统。Apache NiFi 是为数据流而存在的,支持高度可配置的数据路由、转换和系统调度逻辑直观图。 主要特性:   基于 Web 的用户界面 高度可配置 数据来源 可扩展设计 安全 SSL, SSH, HTTPS, 加密内容等等 多租户认证,内部认证/策略管理  Apache NiFi 主页: 其他相关资料:NSA(美国国土安全局)宣布与Apache软件基金会合作,在Apache许可证下开源数据分析工具Niagarafiles …
继续阅读
开源News

LinkedIn 开源其数据发现和管理工具 WhereHows

LinkedIn 近期开源了一个元数据中心工具 WhereHows,已经在 LinkedIn 内部长期使用。WhereHows 方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。 WhereHows 是 LinkedIn 构建的数据发现和大数据宗系工具,集成了所有主要的数据处理系统,可以进行目录收集和元数据操作。 WhereHows 遵循 Apache 开源授权协议,提供在 GitHub: WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值…
继续阅读