端到端数据科学生命周期
覆盖数据集成、数据清洗、特征工程、机器学习模型训练、部署与服务化。
Apache SystemDS
Apache SystemDS:面向端到端数据科学生命周期的开源机器学习系统Apache SystemDS 覆盖从数据集成、清洗和特征工程,到高效的本地或分布式机器学习模型训练,再到部署与服务化的完整数据科学流程。系统提供采用 R 风格语法的声明式语言,并将高级脚本编译为混合执行计划,支持本地内存中的 CPU 与 GPU 运算以及基于 Apache Spark 的分布式运算。
通过声明式语言和混合执行计划,Apache SystemDS 为不同技术经验的用户提供数据科学任务支持,并连接本地与分布式计算环境。
覆盖数据集成、数据清洗、特征工程、机器学习模型训练、部署与服务化。
提供面向不同数据科学任务和不同技术经验用户的声明式语言栈。
将高级脚本编译为本地内存 CPU、GPU 及分布式运算组成的混合执行计划。
支持本地计算环境,并可通过 Apache Spark 执行分布式机器学习运算。
查看 Apache SystemDS 的稳定版本、发行说明、路线图和社区参与入口。
项目为体现对端到端数据科学生命周期的关注,将 SystemML 更名为 SystemDS。
官方网站提供 Apache SystemDS 3.4.0 稳定版本及对应发行说明。
项目提供 Roadmap 入口,用于了解 Apache SystemDS 的后续规划。
从安装指南和文档开始使用 Apache SystemDS,也可以通过问题跟踪、源代码和开发者邮件列表参与项目。