微调

什么是微调 (AI)？

机器学习中的微调包括以下步骤：

• 预训练模型：选择一个在大数据集上训练过并在相关任务或领域中表现良好的模型。此类模型包括自然语言处理（如 BERT、GPT）、计算机视觉（如 ResNet、VGG）和其他学科中的模型。
• 确定目标任务：指定要为其微调模型的任务或数据集。此时需要考虑情绪分析、图片分类或命名实体识别。
• 数据准备：收集和处理新的任务相关数据集。将数据划分为训练集、验证集和测试集，并相应准备好。
• 微调模型：使用梯度下降方法，在新数据集上初始化/重新训练预先训练的模型。调整超参数和学习率以避免过度拟合或拟合不足。
• 评估和验证：在验证集上跟踪微调后模型的性能以进行修改。性能微调可能需要进行多次训练和评估。
• 测试和部署：在测试集上测试微调后的模型，以确定其泛化能力。最后，将微调后的推理模型应用到实际中。
• 按照上述步骤进行微调后，可使预先训练的模型适应新的任务或数据集，提高模型跨众多机器学习应用的性能和适应性。

与 HPE 携手，您可以使用其机器学习数据架构 (MLDES) 平台、生成式 AI 服务以及面向生成式 AI 的企业计算解决方案进行微调。其中每一组件都能促进微调：

• HPE MLDES：MLDES 负责管理和处理海量的机器学习数据集。它简化了 ML 模型微调操作的数据准备、模型训练和部署工作。MLDES 将数据源、版本控制和协作无缝集成起来，简化微调操作。
  
• HPE AI Services — Gen AI：HPE 生成式 AI 解决方案为企业提供高精尖的分析和 AI 服务。这些服务包括自然语言处理、计算机视觉以及预测性分析工具和技术。组织可以利用生成式 AI 服务来获得经过预先训练的模型和框架，以便根据任务或数据集进行定制。

面向生成式 AI 的 HPE 企业计算：HPE 企业计算解决方案支持多种 AI 工作负载，包括微调。这些解决方案包括 HPC 基础设施、可扩展存储和 AI 优化云服务。HPE 提供的企业计算功能使企业能够扩展微调操作，满足不断变化的需求并优化 AI 模型性能。