上科大 l 采用深度强化学习算法优化增材制造镍基高温合金工艺的探索

l  上海科技大学 l

l  智造系统工程中心（CASE） l

根据3D科学谷，工业制造经常采用严格的质量标准来确保组件的一致性和性能。由于AM-增材制造流程通常用于制造单个或小批量零件，因此达到与传统制造流程相同的统计质量保证变得昂贵且困难。增材制造的质量控制仍然是阻碍高价值行业进一步采用这类工艺的突出问题。

随着人工智能技术的快速发展，国内外学者们开始尝试采用机器学习、强化学习算法进行DED定向能量沉积增材制造过程中实时信号分析、工艺优化、闭环控制等方面的研究。上海科技大学智造系统工程中心（CASE）的翟梓融课题组提出了一种基于深度强化学习算法的工艺参数与加工路径相匹配的综合优化框架。

▲Fig.  https://doi.org/10.1016/j.jmapro.2024.05.001

人工智能软件可以添加到数字设计平台的优势是能够在现有的仿真工具中工作，并减少计算所涉及的每个微分方程的需要。虽然机器学习肯定有利于任何类型的制造工艺，但由于3D打印这项技术的数字化天然属性，人工智能可能与增材制造 (AM) 最具互补性。机器学习可以充分探索增材制造设计与制造空间，识别适用于特定组件的每种物理类型的真正极限。这释放了增材制造的独特能力，可以提供极具加工挑战的复杂几何设计，从而为困难的工程挑战提供最具创意和成本效益的解决方案。更重要的是，某些3D打印-增材制造系统制造商也认识到这种能力对于改进自己设备的价值——节省时间、提高性能并微调3D打印的准确性。

3D科学谷

3D科学谷白皮书

研究背景

由于沉积速度快、工艺灵活性高，定向能量沉积（Directly Energy Deposition，DED）技术，作为增材制造（Additive Manufacturing, AM）大家庭中的重要成员，已经在复杂零件再制造领域广泛应用。其基本制备工艺过程是，将原材料以金属粉末或丝材形式输送至聚焦的激光束、电子束或等离子/电弧能量源下的基板上，熔化后形成小熔池，并按照预先设计的路径逐层连续沉积材料，最后形成零件。

在零件制备过程中，工艺参数与加工路径的匹配是影响零件性能和成型质量的重要因素。随着人工智能技术的快速发展，国内外学者们开始尝试采用机器学习、强化学习算法进行DED过程中实时信号分析、工艺优化、闭环控制等方面的研究。考虑到DED过程中零件反复经历快速加热-冷却循环，局部温差会导致零件收缩变形，需采取工艺参数与加工路径同时调整的策略。

▲图：深度强化学习算法优化增材制造镍基高温合金工艺参数整体流程图。利用深度强化学习智能体的探索能力在高效的仿真环境中进行大量交互，根据奖励函数的设定完成相应策略的学习，将最优策略部署到真实环境中测试与打印。

内容简介

智造系统工程中心（CASE）的翟梓融课题组提出了一种基于深度强化学习算法的工艺参数与加工路径相匹配的综合优化框架。通过修正Rosenthal方程从而快速求解DED加工过程中每层的温度场，在毫秒级计算出不同扫描策略的单层温度场；并针对20种不同镍基高温合金，利用近端策略优化（Proximal Policy Optimization，PPO）生成降低层间温度场变化的定制化综合控制策略。通过对比IN718合金的打印结果发现，与基于速度控制或功率控制的往返路径相比，综合控制策略助力样品成形精度提高约35%，样品水平和垂直方向的硬度分散性分别降低31.8%和27.1%。此项研究表明深度强化学习算法在定向能量沉积领域的参数优化方面具有应用潜力，能够显著改善产品质量分散性。

▲图：定向能量沉积（Directly Energy Deposition，DED）过程中温度场快速仿真器。Rosenthal方程给出单道激光移动过程中的温度场分布，修正计算道间与层间切换导致的热量损失，利用偏微分求解完成数据的快速采样。

该项成果以 “An intelligent process parameters optimization approach for directed energy deposition of nickel-based alloys using deep reinforcement learning”为题发表在制造领域的国际著名期刊《Journal of Manufacturing Processes》上，上海科技大学是该研究的第一完成单位，CASE的2021级硕士研究生石帅为第一作者，翟梓融为通讯作者。

▲图：定向能量沉积过程中工艺参数控制的深度强化学习框架。DED仿真环境给定当前的奖励值与状态信息，深度强化学习框架选取当前工艺参数动作更新环境，直到累积奖励值最大完成策略学习。

▲图：深度强化学习策略与常规单因子往返策略的对比分析。深度强化学习策略能够有效控制温度在目标区间，控制温度质心相对均衡分布。

▲图：不同打印策略的样品硬度分散性对比。由等高线图对比发现深度强化学习策略样品平均硬度相对较高，硬度分散性显著降低，整体控形能力较强，相对符合打印预期。

研究亮点

1. 通过修正Rosenthal方程快速求解DED加工过程中每层的温度场，在毫秒级计算出不同扫描策略的单层温度场，为后续深度强化学习算法提供了高效的采样仿真器。

2. 提出了一种基于深度强化学习算法的工艺参数与加工路径相匹配的综合优化框架，利用近端策略优化（Proximal Policy Optimization，PPO）生成降低层间温度场变化的定制化综合控制策略，显著改善产品质量分散性。

3. 通过对比IN718合金的打印结果发现，综合控制策略助力样品成形精度提高约35%，样品水平和垂直方向的硬度分散性分别降低31.8%和27.1%。

论文：https://doi.org/10.1016/j.jmapro.2024.05.001

谷.专栏

前沿科学 l 无限可能