数据难清洗？试试ThinkJSON奖励算法，让DeepSeek-R1驱动Multi-Agent实现

为什么结构化输出如此重要？

在实际应用中，我们常常需要模型输出具有严格结构的数据，比如生物制药生产记录、金融交易报告或医疗健康档案等。这种结构化输出的需求在生物制造、金融服务、医疗健康等严格监管的领域尤为重要。

随着DeepSeek走入社会各界，AI应用对结构化数据的要求也越来越高，没有结构化数据，构建AI应用是不可想象的。目前很多企业都面临数据清洗的难题。以生物制药行业为例，生产记录通常以多种格式存在：

• 手写的文本记录
• 电子表格数据
• 半结构化的表格
• 混合格式的文档

这些记录需要被转换为标准的数字化格式以满足监管要求和数据分析需求。传统的LLM虽然能够理解这些记录的内容，但在保持输出格式的严格一致性方面往往表现不佳。您也可以看下：

2024 Article

微软和麻省理工权威发布：Prompt格式显著影响LLM性能，JSON比Markdown准确性高42%

重磅惊雷，用结构化RAG约束JSON响应格式化，复合AI系统输出成功率高达82.55%

本文将详细介绍一种新的解决方案——ThinkJSON，这是一种基于强化学习和监督微调的创新方法，能够显著提高LLM结构化输出的准确性和可靠性。

技术原理：思维驱动的结构化生成

ThinkJSON的核心理念是将结构化输出视为一个推理过程，而不是简单的文本生成任务。这种方法首先通过合成数据构建训练集，然后利用迭代式LLM推理来确保模式符合性。整个系统的流水线如图1所示：

该流水线包含以下关键步骤：

1. 数据准备阶段：

- 使用Qwen 14B/32B模型生成合成的JSON训练数据

- 构建初始数据集，包含非结构化文本、模式规则和结构化JSON的三元组

2. 模型训练阶段：

- 对R1-Zero模型进行强化学习训练，使用Qwen 2.5 + GRPO方法

- 实现自定义奖励机制，优化模型输出质量

3. 模式映射阶段：

- 使用DeepSeek R1 Qwen 32B进行JSON字段映射

- 加入推理能力，提高字段匹配准确性

4. 监督微调阶段：

- 在R1 Zero基础上使用Qwen进行SFT

- 使用增强的推理数据集提升模型性能

5. 最终优化：

- 通过推理增强进一步改进模型

- 生成最终的结构化输出模型

这种端到端的流水线设计确保了模型能够:

- 理解不同格式的输入数据

- 进行准确的字段映射和提取

- 生成符合预定义模式的JSON输出

- 通过持续优化提高处理质量

根据以上方法，我写了一个多Agent协同架构，用于该架构包含以下关键组件：

图片由修猫创作

1.多Agent协同架构：

• DataGeneratorAgent：负责生成多格式的训练数据
• ThinkJSONAgent：核心处理引擎，负责结构化转换
• ReportAgent：负责结果分析和性能评估

2.多维度奖励机制：

• JSON完整性评估
• 字段存在性验证
• 数据类型正确性检查
• 格式转换难度系数

3.格式自适应处理：

• 支持CSV、表格、文本和混合格式
• 针对不同格式设计专门的提取策略
• 使用难度系数调整奖励计算

训练数据生成的关键技术

在生成训练数据时，研究者采用了精心设计的prompt模板。以下是关键的prompt设计：

1. 结构化数据生成prompt：

You are an expert in building a hierarchical JSON schema andobjectfor the domain {DOMAIN}.

Your task is to create:

1. A multi-level JSON Schema describing:

- ROOT (level 0),

- SECTION (level 1),

- SUBSECTION (level 2),

- $DETAIL_{N}$ (level 3+).

Each level may contain tables and checkbox elements,

with nested components reflecting complex structures.

2. A JSON Object that strictly matches this schema.

Formatting Requirements:

- Escape all quotes (\"), replace newlines with \\n

- No trailing commas, single quotes, or extra data

2. 非结构化文本生成prompt：

You are an expert in generating hierarchical text documents from JSON Object data points.

Task: Convert the JSON Object into an unstructured, paragraph-based document.

Layout References:

- Layout options for components/levels

- Table styles

- Checkbox styles: [ ], YES, NO, N/A, etc.

RULES:

1. Map every JSON level, component, and attribute to the correct layout/style.

2. Surround JSON data points with additional words/sentences.

3. Include all data (title, variables, metadata, content).

4. Add filler paragraphs for context.

这些prompt设计确保了生成数据的质量和多样性，为模型训练提供了坚实的基础。

实现方法：从强化学习到监督微调

ThinkJSON的实现过程分为两个主要阶段：

第一阶段：基于GRPO的强化学习

使用DeepSeek R1作为基础模型，通过群组相对策略优化（GRPO）进行训练。这个阶段的关键特点包括：

1. 使用DataGeneratorAgent生成的多格式训练数据
2. 将多维度奖励整合到GRPO框架中
3. 使用格式难度系数调整学习策略

训练配置示例：

training_config = {

'base_model': 'deepseek-r1',

'batch_size': 32,

'learning_rate': 2e-5,

'warmup_steps': 100,

'max_steps': 10000,

'gradient_accumulation_steps': 4,

'max_grad_norm': 1.0,

'group_size': 8

}

reward_weights = {

'json_completeness': 0.3,

'field_existence': 0.2,

'type_correctness': 0.2,

'format_difficulty': 0.3

}

训练循环的核心逻辑：

deftrain_step(batch, model, optimizer):

# 生成多个候选输出

outputs = []

for _ inrange(training_config['group_size']):

output = model.generate(batch['input'])

outputs.append(output)

# 计算奖励

rewards = []

for output in outputs:

json_reward = compute_json_reward(output, batch['target'])

format_reward = compute_format_reward(output)

combined_reward = (reward_weights['json_reward'] * json_reward +

reward_weights['format_reward'] * format_reward)

rewards.append(combined_reward)

# 计算相对优势

advantages = compute_relative_advantages(rewards)

# 更新模型

loss = compute_grpo_loss(outputs, advantages)

loss.backward()

optimizer.step()

return loss.item()

第二阶段：监督微调的精确调整

在强化学习建立基础能力后，通过监督微调（SFT）进行最终的任务特定优化：

1. 使用真实的生物制药生产记录
2. 针对不同格式设计专门的处理策略
3. 优化奖励计算机制

性能评估：与顶级模型的对比

ThinkJSON在结构化数据提取基准测试中展现出优异性能：

1. 平均匹配率达到62.41%，超过包括原始DeepSeek R1（671B）在内的所有对比模型
2. 平均噪声率仅为0.27%，是所有模型中最低的
3. 在有效JSON覆盖率方面表现稳定

这些结果证明了ThinkJSON在保持输出质量的同时，能够有效确保结构化格式的准确性。

在6.5K条测试数据上的详细评估结果：

性能分析

1. 准确性：ThinkJSON在平均匹配率上显著优于其他模型，即使与参数量远大于它的模型相比也是如此。这证明了思维驱动方法的有效性。
2. 噪声控制：0.27%的平均噪声率远低于其他模型，表明输出的高度可控性。
3. 稳定性：98.5%的有效JSON覆盖率说明模型能够稳定地生成有效的结构化输出。
4. 效率：与大型模型相比，ThinkJSON的推理时间显著更短，这对于实际应用很重要。

应用场景：从理论到实践

ThinkJSON的应用场景广泛，特别适合以下领域：

生物制造质量控制

在生物制造领域，需要将大量遗留生产记录转换为结构化的数字格式以满足合规要求。ThinkJSON能够：

1. 准确解析非结构化的生产日志
2. 生成符合预定义模式的结构化记录
3. 确保数据完整性和可追溯性

金融服务自动化

在金融服务领域，大量的文档需要进行结构化处理：

1. 自动提取合同关键信息
2. 生成标准化的交易报告
3. 处理监管合规文档

医疗健康数据管理

医疗记录的数字化转换需要严格的格式控制：

1. 将病历记录转换为结构化数据
2. 生成标准化的医疗报告
3. 确保患者数据的准确性和一致性

实际案例分析

某生物制药公司使用ThinkJSON处理历史生产记录。系统采用Agent架构，包含以下组件：

1. DataGeneratorAgent: 负责生成不同格式的生产记录
2. ThinkJSONAgent: 负责结构化处理和奖励计算
3. ReportAgent: 负责生成处理报告和性能分析

系统支持处理四种不同格式的生产记录：

• CSV格式：结构化的逗号分隔数据
• 表格格式：使用ASCII字符绘制的表格
• 文本格式：自然语言描述
• 混合格式：表格和文本的组合

系统使用多维度的奖励计算机制评估处理质量：

1. JSON完整性 (30%权重)：检查必要字段的存在性
2. 字段存在性 (20%权重)：验证每个字段的完整性
3. 数据类型正确性 (20%权重)：确保数据类型符合要求
4. 格式转换难度 (30%权重)：根据原始格式的复杂度调整分数

不同格式的处理难度系数：

• 文本格式：0.6（需要更多的解析工作）
• CSV格式：0.8（相对结构化）
• 表格格式：0.9（最接近目标结构）
• 混合格式：0.7（需要处理多种情况）

实施效果：

• 处理成功率：100%
• 平均奖励分数：0.796
• 不同格式的平均奖励：
• 文本格式：0.880
• CSV格式：0.740
• 表格格式：0.770
• 混合格式：0.710

系统的主要优势：

1. 支持多种输入格式的自动识别和处理
2. 提供详细的处理过程日志和性能指标
3. 采用多维度的奖励计算确保输出质量
4. 使用Agent架构实现模块化和可扩展性

工程实践指南

对于想要实施ThinkJSON的工程师，以下是一些关键建议：

数据准备

1. 确保训练数据覆盖足够多的场景和格式变体
2. 仔细设计JSON模式，避免过度复杂或过于简单
3. 建立有效的数据验证机制

模型训练

1. 根据实际需求调整奖励函数的权重
2. 监控训练过程中的关键指标
3. 定期评估模型性能并进行必要的调整

部署优化

1. 实施有效的缓存策略
2. 建立错误处理机制
3. 设计合理的回退策略

最佳实践

1.数据预处理：

defpreprocess_data(raw_text):

# 清理文本

cleaned_text = remove_special_chars(raw_text)

# 标准化格式

normalized_text = normalize_format(cleaned_text)

# 分段处理

sections = split_into_sections(normalized_text)

return sections

defvalidate_json_schema(json_obj, schema):

try:

jsonschema.validate(json_obj, schema)

returnTrue

except jsonschema.exceptions.ValidationError as e:

logger.error(f"Schema validation failed: {e}")

returnFalse

2. 性能优化：

# 缓存策略

from functools import lru_cache

@lru_cache(maxsize=1000)

defprocess_document(doc_id):

# 处理文档并返回结构化数据

pass

# 批处理优化

defbatch_process(documents, batch_size=32):

results = []

for i inrange(0, len(documents), batch_size):

batch = documents[i:i+batch_size]

batch_results = process_batch(batch)

results.extend(batch_results)

return results

3. 错误处理：

classStructuredOutputError(Exception):

pass

defsafe_process(text):

try:

# 首次尝试处理

result = model.process(text)

ifnot validate_output(result):

# 失败后的重试策略

result = fallback_process(text)

return result

except Exception as e:

logger.error(f"Processing failed: {e}")

raise StructuredOutputError(f"Failed to process text: {str(e)}")

ThinkJSON

ThinkJSON通过创新的思维驱动方法，成功解决了LLM结构化输出的关键挑战。它不仅展现了优异的性能，还提供了一个可扩展的框架，能够适应不同领域的需求。对于正在开发AI产品的工程师来说，这种方法提供了一个既实用又高效的解决方案，值得在实际项目中尝试和应用。

文章来自于“AI修猫Prompt”，作者“AI修猫Prompt”。