论文标题：Soft Actor-Critic Reinforcement Learning Improves Distillation Column Internals Design Optimization

论文链接: https://www.mdpi.com/2305-7084/9/2/34

期刊名：ChemEngineering

期刊主页：https://www.mdpi.com/journal/ChemEngineering

文章导读

在基于计算机的化学过程建模和仿真软件包在商业应用中，加速化学过程设计和分析取得进展的同时，设计优化中的某些环节，如蒸馏塔内部设计，仍因这些软件包固有的功能局限，仍然成为制约效率的瓶颈。本研究展示了如何利用SAC强化学习（RL）技术实现多级板式蒸馏塔最优设计的自动化决策。设计环境通过AspenPlu软件及RadFrac模块构建，用于塔内件的严格建模。RL计算工作通过开发可连接AspenPlus的Python程序包实现，并在OpenAI的Gymnasium模块中构建了状态与动作变量的学习空间。

图文摘要

研究方法

本研究采用化学工程领域广泛应用的乙醇-水二元体系作为研究对象，基于AspenPlus®流程模拟软件平台构建筛板式蒸馏塔模型，并选用其RadFrac模块进行模拟计算。研究首先对乙醇-水混合物在筛板式蒸馏塔中进行蒸馏，同时优化塔内构件设计。其中，塔内液泛程度作为关键状态变量，以液泛百分比量化表征，这是评价蒸馏塔内件尺寸设计优劣的重要性能指标之一。

为了消除创建我们自定义 RL 环境的需求，本研究采用OpenAI开发的"Gymnasium"强化学习模块，该模块实现了定义变量空间和高效动作空间采样机制所需的算法和函数，以确保 RL 模型接触到各种场景，从而提高学习性能。Python 代码基于先前的工作，这些工作实现了 RL 策略梯度方法的代码实现。通过变量设置、奖励机制和硬件配置，对SAC模型进行强化学习训练，并系统收集分析实验数据。

由于AspenPlus的蒸馏塔模拟和SAC强化学习训练均具有高度数据密集的特性，本研究重点采集能够有效评估SAC RL在内件设计性能方面的关键数据。具体保存并分析以下变量数据集：动作变量水平、状态变量水平、奖励变量水平以及每次迭代的运行时间。这些数据的自动保存机制通过编程实现，既避免了人为操作误差，又简化了后续数据分析流程。

研究结论

通过使用 Python 编写的代码，实现了 SAC 强化学习与 AspenPlus 模型优化的集成，允许蒸馏塔模型 AspenPlus 与 PyTorch 中的 SAC 模型进行循环交互。作为案例研究的具体化学系统是乙醇和水的二元混合物，使用 AspenPlus 中的 RadFrac 模块来实现严格的塔内件设计。结果明确支持以下发现：(1) SAC 强化学习作为蒸馏塔内件设计的自动化方法有效；(2) SAC 模型中的奖励机制显著影响 SAC 性能；(3) 塔径是影响液泛条件下实现塔内件设计规格的重要约束；(4) SAC 超参数对 SAC 性能具有不同影响。

这项研究还证明，未经训练的 SAC RL 模型能够快速学习如何优化精馏塔的设计。这意味着该算法可以作为一次性 RL 应用于塔内件设计。这对未来将该技术作为计算机化学过程建模的组成部分进行实施具有重大意义，例如，如果该技术成为 AspenPlus 软件（及其他类似计算机软件包）的一部分。也就是说，无需将预训练的 SAC RL 模型安装到将使用该技术的基于计算机的化学过程模拟软件包中。