超级应用（Super App）竞逐：全模态输出 + 小应用生成

# 基于用户意图自动生成小应用的简化逻辑
import json
from transformers import AutoModelForSequenceClassification, AutoTokenizer
from nlu_intent_recognizer import IntentRecognizer  # 自定义NLU工具类
from template_manager import TemplateManager  # 模板管理类
from ui_renderer import UIRenderer  # UI渲染类

class MiniAppGenerator:
    def __init__(self):
        # 初始化组件：NLU模型、模板库、UI渲染器
        self.intent_recognizer = IntentRecognizer()
        self.template_manager = TemplateManager()
        self.ui_renderer = UIRenderer()
        # 加载预训练意图分类模型
        self.tokenizer = AutoTokenizer.from_pretrained("superapp-intent-model")
        self.intent_model = AutoModelForSequenceClassification.from_pretrained("superapp-intent-model")
        # 定义意图-模板映射表
        self.intent_template_map = {
            "expense_tracking": "expense_tracker_template.json",  # 支出记录模板
            "fitness_record": "fitness_log_template.json",       # 健身记录模板
            "bill_management": "bill_manager_template.json"      # 账单管理模板
        }

    def parse_user_input(self, user_input, multimodal_data=None):
        """
        解析用户输入：融合文本与多模态数据，识别核心意图
        :param user_input: 文本输入
        :param multimodal_data: 多模态数据（图像、语音等）
        :return: 结构化意图信息
        """
        # 1. 多模态数据预处理（示例：提取图像中的文字信息补充意图）
        if multimodal_data and "image" in multimodal_data:
            ocr_text = self.intent_recognizer.extract_ocr_text(multimodal_data["image"])
            user_input += f" 补充信息：{ocr_text}"
        
        # 2. 意图识别
        inputs = self.tokenizer(user_input, return_tensors="pt", truncation=True, padding=True)
        intent_score = self.intent_model(**inputs).logits.argmax(dim=1).item()
        intent = self.intent_recognizer.get_intent_by_id(intent_score)
        
        # 3. 提取关键参数（如金额、时间、分类）
        parameters = self.intent_recognizer.extract_parameters(user_input, intent)
        return {"intent": intent, "parameters": parameters}

    def match_template(self, intent):
        """匹配对应小应用模板"""
        if intent not in self.intent_template_map:
            raise ValueError(f"无对应模板：{intent}")
        template_path = self.intent_template_map[intent]
        return self.template_manager.load_template(template_path)

    def generate_miniapp(self, user_input, multimodal_data=None):
        """核心生成流程"""
        # 1. 解析用户意图与参数
        intent_info = self.parse_user_input(user_input, multimodal_data)
        intent = intent_info["intent"]
        parameters = intent_info["parameters"]
        
        # 2. 匹配模板并填充参数
        template = self.match_template(intent)
        template["config"]["title"] = self._generate_title(intent, parameters)
        template["data"] = self._fill_parameters(template["data"], parameters)
        
        # 3. UI渲染与代码生成
        miniapp_code = self.ui_renderer.render(template, render_type="h5_miniapp")
        # 4. 生成应用元数据（供主平台接入）
        miniapp_meta = {
            "app_id": f"auto_gen_{intent}_{hash(json.dumps(parameters))}",
            "intent": intent,
            "create_time": self._get_current_time(),
            "support_modalities": ["text", "voice", "touch"]  # 支持的交互模态
        }
        return {"meta": miniapp_meta, "code": miniapp_code, "preview_url": self._generate_preview(miniapp_code)}

    def _generate_title(self, intent, parameters):
        """生成小应用标题"""
        title_map = {
            "expense_tracking": f"{parameters.get('category', '日常')}支出记录工具",
            "fitness_record": f"{parameters.get('fitness_type', '健身')}日志助手"
        }
        return title_map.get(intent, "智能小应用")

    def _fill_parameters(self, template_data, parameters):
        """填充模板参数"""
        for key in template_data:
            if key in parameters:
                template_data[key] = parameters[key]
        return template_data

# 实例化与测试
if __name__ == "__main__":
    generator = MiniAppGenerator()
    # 用户输入："生成一个记录咖啡支出的工具，支持按周统计"
    user_input = "生成一个记录咖啡支出的工具，支持按周统计"
    # 模拟多模态数据（如拍摄的咖啡账单照片）
    multimodal_data = {"image": "coffee_bill_image_path.jpg"}
    result = generator.generate_miniapp(user_input, multimodal_data)
    print(f"生成小应用ID：{result['meta']['app_id']}")
    print(f"预览链接：{result['preview_url']}")