界面操作指令生成方法、电子设备、存储介质及程序产品

本申请实施例提供一种界面操作指令生成方法、电子设备、存储介质及程序产品。涉及人机交互领域、以及计算机视觉技术领域，该方法包括：基于操作界面的视觉特征，以及用户指令的当前语义特征，得到融合特征；依据融合特征，采用区域框回归模块，生成当前界面元素对应的目标区域框，当前界面元素为操作界面中可交互的元素，目标区域框用于表示当前界面元素的可交互区域，区域框回归模块为基于标注了参考区域框的参考界面元素训练得到的；生成基于目标区域框执行操作的操作指令。本申请实施例的技术方案中，本申请解决了相关技术中存在界面元素识别不准确，导致自动操作执行准确性不理想的技术问题。