当前位置:

首页 > 硬件相关 > FATE v1.10重磅更新:开发更易用,指令集加速集成

FATE v1.10重磅更新:开发更易用,指令集加速集成

题图摄于广州花城广场在《2022中国开源发展白皮书》中,中国开源软件推进联盟指出,开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE(FederatedAITechnologyEnabler)作为全球首个联邦学习工业级开源框架,提供了一种基于数据隐私保护的安全计算框架,支持机器学习、深度学习和迁移学习算法的安全计算。今年8月,FATE作为最新孵化级项目加入了LFAI&Data基金会,与其他项目一起推动人工智能和数据开源项目的可持续

FATE v 1.10重磅发布:开发易用性显著提升,硬件指令集加速集成题图摄于广州花城广场

在《2022中国开源发展白皮书》中,中国开源软件推进联盟指出,开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE(Federated AI Technology Enabler)作为全球首个联邦学习工业级开源框架,提供了一种基于数据隐私保护的安全计算框架,支持机器学习、深度学习和迁移学习算法的安全计算。

今年8月,FATE作为最新孵化级项目加入了LF AI & Data基金会,与其他项目一起推动人工智能和数据开源项目的可持续生态建设。根据LF AI & Data的数据,自2019年以来,FATE开源项目的贡献者增加了377%,总提交数量增长了494.92%。

截至2022年底,FATE开源社区已覆盖全球超过1200家知名企业和400家高校,GitHub上Stars数量达4700,Fork数量达1400,成为联邦学习领域最大的技术开源社区。

FATE及社区的高速发展,得益于“开源开放、共力创新”的愿景,在开发专委会的协调下,4000多名开发者群策群力,各成员单位共同建设。

FATE开源项目已迭代30余个版本,联邦算法组件发展至30余个,实现了工业场景算法与主流安全计算协议的全覆盖,其先发优势、技术积累及应用广度获得产学研用的实际验证和一致认可。近日,FATE / KubeFATE v1.10版本正式发布,这是2022年的第三次升级迭代。用户可通过以下网址获取v1.10的发布版:

FATE: https://github.com/FederatedAI/FATE/releases/tag/v1.10.0

KubeFATE: https://github.com/FederatedAI/KubeFATE/releases/tag/v1.10.0

与此同时,FATE 2.0版本将顺应开源开放的趋势,推进隐私平台互联互通的能力,提供灵活集成和标准接口的能力,促进异构平台实现互操作性。FATE 2.0 Alpha版本计划于2023年1月推出,正式版预计在2023年第二季度发布,欢迎用户使用和在互联互通方面的合作。有兴趣的用户和开发者可参加FATE开发专委会定期的社区例会,参与相关功能的讨论和实施工作。

1

FATE v1.10版本亮点概述

FATE v1.10版本的发布,显著提升了开发易用性,并集成了硬件指令集加速。整体上,FATE在功能、性能、生产完备性、互联互通等多方面得到了完善和提升。其亮点包括以下四点:

重构了横向和纵向神经网络联邦框架,支持用户自定义神经网络和数据集,降低了深度学习算法接入联邦机制的开发成本;集成了英特尔IPCL Paillier加密库,支持英特尔处理器的最新AVX512/IFMA指令集加速;新增了联邦半监督学习PU-Learning算法;KubeFATE增加了对FATE-Flow的依赖分发和高可用等功能的支持。

2

各模块新版本特色功能一览

此次发布的FATE v1.10版本,对FATE进行了全面升级,开发易用性显著提升,硬件指令集加速集成。此外,新版本对FederatedML、KubeFATE、Fate-Flow、Fate-Board等多个模块进行了更新和改进,各模块的改进点如下:

FederatedML

?横向神经网络基于Pytorch进行了全面升级与重构,支持灵活的模型定制:

支持对复杂训练模型的定制,可直接使用业界主流的pytorch模型,如DeepFM、ResNet、BERT、yolo等;支持多种数据集,可基于pytorch Dataset进行数据集定制化;支持对训练Loss的自定义;支持对整个训练流程的定制化:用户可自行开发client端流程代码与server端聚合逻辑;提供接口支持Aggregator的开发。

?纵向联邦神经网络升级,支持定制化模型以及使用多类型数据集:

支持对top, bottom模型更复杂的定制化需求,可直接使用各类pytorch模型;支持对训练Loss的自定义;支持多种数据集,可基于pytorch Dataset进行数据集定制化。

?横向联邦框架重构升级,适配横向所有算法,更易于开发和定制化算法。

?新增联邦半监督学习PU-Learning算法。

?集成了Intel IPCL同态加密加速库,支持在纵向联邦逻辑回归以及纵向联邦SecureBoost上使用。

?支持基于椭圆曲线的多方安全求交方案。

?支持多方安全计算交集基数的方案。

?纵向联邦特征分箱支持展示最优分箱gini、ks、卡方指标。

?纵向联邦特征分箱支持host方通过model loader加载自定义WOE分箱模型。

?纵向联邦特征分箱支持通过参数配置指定分箱点。

?采样组件支持指定列权重进行采样。

KubeFATE

?支持FATE v1.10.0,FATE-Serving v2.1.6的安装部署。

?支持为FATE-Flow启用依赖分发(dependent_distribution)功能,以更好地适配外部Spark集群。

?支持为部署的Jupyter Notebook设置访问密码以增强安全性。

?更好的支持管理由KubeFATE部署的StatefulSet资源。

?添加更灵活的配置选项以更好的支持和引入外部Pulsar引擎支持。

?支持FATE-Flow的高可用模式。

?解决了定义储存时existingClaim在nodemanager组件上可能失效的问题。

?解决了若干其他已知Bug。

FATE-Flow

?新增连通性检测接口。

?grpc传输数据量限制可配置化。

?修复model deploy按需复制组件问题。

FATE-Board

?sbt树状图叶子节点分流数据展示。

?sample组件新模式数据展示支持。

?新增半监督学习组件展示支持。

?binning组件最优分箱表格数据展示优化。

?针对模型数据请求进行优化过滤。

?样式库优化调整。

?日志展示高度适配优化。

FATE-Client

?flow cli集成最小化测试用例。

?pipeline支持data bind接口,方便用户本地开发调试。

?pipeline支持预测任务重设role和model_id\model_version参数,支持集群party_id变更后的预测使用场景。

FedLCM

根据社区的反馈,v0.2版本的FedLCM中新增了多个重大功能。其中,图形化建模与管理服务Site Portal从这个版本开始可以单独通过docker-compose部署和运行,不再仅能通过Lifecycle Manager来在Kubernetes上部署,并且在v0.2版本中加入了纵向联邦学习的支持。另一方面,生命周期管理服务Lifecycle Manager中对Site Portal的支持进一步增强,同时缩减了操作Kubernetes所需的权限要求,使用典型的仅Namespace的操作权限即可部署KubeFATE和FATE。除此之外,v0.2版本的FedLCM还包括了如下的更新,来进一步方便用户以图形化的方式部署FATE系统和FATE联邦任务,欢迎社区用户使用并提供进一步的反馈。

Lifecycle Manager服务新增了如下功能:

?支持部署1.9版本的KubeFATE、FATE和FATE Exchange;

?自动配置由其部署的Site Portal服务与FML Manager服务的TLS链接;

?支持使用某个或某几个namspace的管理权限来操作Kubernetes;

?在部署FATE系统时可以指定使用外部已存在的基础引擎服务;

?当FedLCM本身运行在Kubernetes上时,不用显示指定kubeconfig即可管理当前集群。

Site Portal服务新增了如下功能:

?Site Portal可以直接通过docker-compose单独部署使用,而不需要必须通过LCM服务部署;

?可以与使用Spark或Eggroll等不同基础引擎的FATE系统集成;

?可使用纵向联邦学习的HeteroLR和HeteroSBT来发起训练任务和预测任务;

?可以纳管已存在于FATE系统的存储引擎Table;

?支持将Site Portal从FML Manager和整个联邦中注销。

欢迎更多的用户和开发者加入FATE开源社区,开源社区的精神在于协作与共赢,社区成员不仅能够获得项目发展带来的成果,也可以通过参与项目贡献回馈社区,形成良性循环,推动整个社区的健康发展。

3

参与FATE开源社区

FATE开源社区是一个开放、平等、包容的学习社区,在这里你不仅可以从众多贡献者处获得技术帮助,还可以通过技术贡献的方式丰富社区资源并帮助其他用户。FATE开源社区欢迎更多开发者和用户加入社区建设并提出反馈意见!

建议关注FATE开源社区的公众号,并加入开源社区用户组:

https://groups.io/g/Fate-FedAI

您可以通过以下方式联系FATE开源社区: 官网:

https://fedai.org/

Github:

https://github.com/FederatedAI/FATE

公众号:

FATE开源社区

开源社区用户组:

Fate-FedAI @groups.io

开源社区维护者:

FedAI-maintainers @groups.io

开发专委会:

fate-dev-core @groups.io

运营专委会:

FATE-operation @groups.io

安全专委会:

FATE-security @groups.io

欢迎加入FATE联邦学习官方交流群,添加FATE小助手微信号(FATEZS001)即可。

【github直达】:阅读原文或复制链接https://github.com/FederatedAI/FATE即可,点击star,方便下次使用。

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
硬件相关
相关文章 更多
荣耀MagicOS 11发布计划与Agent Harness架构解析
荣耀MagicOS 11发布计划与Agent Harness架构解析

荣耀MagicOS 11定于9月15日发布,作为行业首个商用系统级Agent Harness架构的操作系统,Magic 9系列将首发搭载。新版YOYO支持最长上百步长程任务及40余项条件触发,10月开启Beta预览版招募。

华强北手机全线涨价:涨幅400-1500元,存储成本推高售价
华强北手机全线涨价:涨幅400-1500元,存储成本推高售价

华强北销售商反馈,年初以来主流手机品牌基本全线涨价,涨幅最低400元,最高达1000-1500元。涨价主因是全球存储芯片及电容等元器件成本上升,运行内存与机身存储价格涨幅超100%。尽管整体市场承压,国产折叠屏手机1-8月销量约450万台(新形态超135万台,同比增29%),AI手机成为厂商发力重点。

索尼WH-1000XM4C发布:复刻经典折叠设计并升级现代接口
索尼WH-1000XM4C发布:复刻经典折叠设计并升级现代接口

索尼发布WH-1000XM4C头戴式降噪耳机,复刻了XM4的经典四向折叠便携设计。该机型在保留QN1处理器和30小时续航的基础上,全面升级了USB-C高速充电、无损音频直连、蓝牙多点连接及AI降噪通话功能,旨在满足对便携性有极高要求的用户群体。

OpenAI GPT-6 Astra 自主通关《传送门》:技术原理与实验成本解析
OpenAI GPT-6 Astra 自主通关《传送门》:技术原理与实验成本解析

OpenAI GPT-6 Astra 模型通过 MCP 协议与 SourcePauseTool 控制《传送门》游戏,完成 3336 次工具调用并自主通关。实验耗时约 24 小时,API 成本约 571 美元,展示了多模态 AI 在 3D 解谜领域的突破性进展。

AI重构企业业务架构:超聚变“智企”范式核心解析
AI重构企业业务架构:超聚变“智企”范式核心解析

本文解析超聚变在2026数博会发布的“智企”范式,重点阐述如何通过Token生产平台(Token Factory)与企业业务本体建模,实现从简单AI工具调用到企业应用架构系统性重构的演进。文章详细拆解了智能体编排、数字孪生及生态协同等关键技术路径,为AI时代企业数字化转型提供可落地的参考方案。

南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破
南邮光擎智算团队:GaN基Micro-LED光计算芯片从理论到流片的突破

南京邮电大学“光擎智算”团队联合南京大学,攻克GaN基Micro-LED器件技术,成功搭建实验室级光计算验证系统。团队自主研发的5×5 Micro-LED光电计算阵列芯片已进入流片封装阶段,实现了图像识别等算力任务验证,推动光计算技术从理论走向工程落地。

微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案
微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案

微软于9月5日推出Project Zenith,旨在为Windows 11开发者提供更高效的AI开发体验。该项目目前仅支持配备超过64GB统一内存及250GB/s内存带宽的特定硬件,首发适配AMD Ryzen AI Halo设备。通过此项目,开发者可在本地运行参数超过300亿的AI模型,后续将分阶段扩展至更多合作伙伴设备。

贵州省住建厅与贝壳集团签署旅居战略合作:五大维度落地方案解析
贵州省住建厅与贝壳集团签署旅居战略合作:五大维度落地方案解析

9月3日,贵州省住建厅与贝壳集团在贵阳签署《旅居产业发展战略合作框架协议》,旨在打造全国旅居样板。合作涵盖平台建设、标准共建、人才培育、存量资产盘活及品牌推广五大维度,依托贝壳近600家门店及4000余名经纪人资源,强化贵州旅居服务供给,促进房地产市场平稳健康发展。

上海链家安住APP:业主主动卖房功能与成交数据解析
上海链家安住APP:业主主动卖房功能与成交数据解析

本文解析上海链家推出的“安住APP”功能,该工具允许业主在贝壳/链家挂牌后主动管理房源。通过实时查看销售进展、发送看房邀约及获取AI策略,业主可缩短成交周期。数据显示试点期间平均成交7天,最短1天。适用于希望提高信息透明度、主动参与卖房过程的业主。

打破流量垄断,让平台经济释放普惠红利
打破流量垄断,让平台经济释放普惠红利

2026年6月工信部等七部门印发《促进平台经济大中小企业协同发展行动方案》,明确平台经济是数字技术赋能的实体经济。针对流量垄断与“数字租金”问题,专家主张治理重心应从静态整改转向推动平台能力向中小企业外溢,通过算法透明、接口开放及数据可迁移,打破封闭生态,实现创新与规范并重的高质量发展。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。