非结构化数据 什么是非结构化数据？
非结构化数据，在数据存储的背景下，是指格式和内容差异很大的信息。它包括文件和对象数据，在人工智能 (AI) 中发挥着重要作用。由于这种类型的数据并不完全适合预定义的数据模型，存储、检索和分析难度较大。非结构化数据通常为定性数据，具有诸如电子邮件、社交媒体帖子、文章、照片、图形、录音、播客、电影、日志和物联网 (IoT) 流等各种格式，而且一般以原始格式存储。非结构化数据在全球数据中占很大一部分，需要自然语言处理 (NLP)、图像识别和采用 AI 技术的分析等先进工具来获得富有意义的洞见。
- 非结构化数据有哪些示例？
- 非结构化数据有哪些 AI 机会？
- HPE 如何帮助处理非结构化数据？
非结构化数据有哪些示例？
信息若没有格式或组织框架，便很难在典型数据库中进行存储和处理。这种多样化数据具有多种来源和形式：
电子邮件、社交媒体帖子、博客文章、客户评论、聊天记录、PDF 以及 Word 和 Excel 文件：这些数据可以揭示实用洞见，但需要借助 NLP 技术来检查。
多媒体：包括照片、YouTube 视频、播客和录音。在图像识别、视频分析和语音到文本转录中，这些格式越来越常见。
传感器和物联网设备：示例包括健身追踪器、智能家居温度和活动传感器以及工业设备机器记录。这些数据通常需要实时处理和执行复杂分析。
互联网：包括 HTML 页面、点击流导航模式和网络抓取数据。这些来源用于监控用户行为、优化网站或获得市场洞见。
联系中心记录、开放式调查答复以及法律文件：这些数据对于客户服务、市场研究和法律分析至关重要，但需要采用复杂算法来进行分析。
非结构化数据有哪些 AI 机会？
非结构化数据约占全球数据的 80%，AI 为解读非结构化数据提供了广阔的前景。AI 可以从无法通过标准数据库管理的文本、照片、音频和视频数据中发掘洞见。
自然语言处理 (NLP) 可以分析文档、社交媒体和消费者反馈，以辨别情绪、总结材料和识别基本要素。这些功能支持聊天机器人、虚拟助手和内容分类，有助于改善公司沟通和工作流程。
AI 可以实现面部识别、物体识别和视频概要，以用于监控、医学成像和内容控制。同样的技术将口头语句转换为文本，实现自动转录和语音识别，并分析语调以获得情感洞察。
AI 还非常擅长整理概念之间的链接并从非结构化材料中提取元数据以创建知识图谱。这些策略提高了可搜索性，使语义搜索引擎能够提供更准确、更符合上下文的搜索结果。非结构化数据用于根据用户偏好、评论和多媒体上传来定制推荐内容。
AI 通过从医学图片和临床论文中提取信息来帮助诊疗患者。客户支持分析软件检查聊天记录，发现反馈趋势并改善服务。预测性分析利用 AI 技术来揭示有助于欺诈检测和市场分析决策的趋势和异常。AI 可以检测文本和视觉偏见，并监控通信数据中是否存在监管违规行为，从而提高合规性和道德性。这些应用倡导规范和公平原则，从而帮助 AI 获得富有意义的洞见，使企业能够制定可行的计划并推动创新。
HPE 如何帮助处理非结构化数据？
HPE 针对非结构化数据提供多种产品和服务，具体包括：
- HPE Alletra Storage MP X10000：利用可扩展、高性能且易于管理的快速对象数据存储解决方案释放非结构化数据的潜能，推动创新并缩短价值实现时间。
- HPE Greenlake for File Storage： 一种文件数据存储解决方案，可加速人工智能和其他数据密集型工作负载，具有企业级性能、简便性和更高的效率，所有这一切都在人工智能规模内实现。该解决方案为文件数据存储和管理提供了端到端 HPE GreenLake 体验。
- HPE Ezmeral：一种处理和分析非结构化数据的集成平台。它支持数据湖架构、高级分析和机器学习工作流，以便从文本、图像和视频数据等各种来源发掘实用洞见。
- HPE GreenLake：HPE GreenLake 凭借其即服务模式，提供类似云的可扩展解决方案来管理非结构化数据。它提供存储、分析和 AI 驱动型处理服务，让企业能够灵活且经济高效地处理数据。
- HPE AIOps 与 Data Services Cloud Console：一种统一管理控制平台，具备采用 AI 技术的预测性分析功能，用于管理和优化结构化数据。该平台通过主动识别和解决潜在问题，帮助企业确保其数据存储系统的可靠性、性能和效率。
- HPE StoreOnce：HPE StoreOnce 通过高效的备份、恢复和重复数据删除功能为非结构化数据提供全面的数据保护，其内置的加密和访问控制可确保敏感信息的安全性和完整性。
- HPE 与 AI 生态系统公司的合作关系：HPE 与 Apache Hadoop、TensorFlow 和 Spark 等领先的 AI 框架合作以增强其平台。这种合作使企业能够为图像识别、自然语言处理和客户洞察等应用构建先进的 AI 模型。
得益于强大的产品阵容和合作伙伴关系，HPE 提供用于存储、管理、分析和保护非结构化数据的端到端解决方案，帮助企业充分发挥其数据的价值。
非结构化数据与结构化数据
功能 | 非结构化数据 | 结构化数据 |
|---|---|---|
| 格式 | 缺乏预定义的格式或组织结构 | 以预定义模式进行整理（例如，数据库中的行和列） |
| 存储 | 存储在数据湖、NoSQL 数据库或文件或对象存储系统中 | 存储在关系数据库（例如 SQL）中 |
| 示例 | - 社交媒体贴子 - 图片、视频、音频文件 - 电子邮件内容 | - CRM 中的客户数据（姓名、年龄、电子邮件） - Excel 中的库存数据 |
| 查询 | 需要文件或对象存储系统以及 AI、NLP 或机器学习等专用工具进行分析 | 使用 SQL 或类似工具轻松查询 |
| 卷 | 通常规模较大，文件和/或对象数量增长迅速 | 通常规模较小且更易于管理 |
| 分析 | 需要采用先进的分析技术，包括 AI 和机器学习 | 使用传统 BI 工具直接进行分析 |
| 应用 | 情绪分析、图像识别、视频分析、趋势预测 | 财务报告、库存管理、运营数据库 |
| 灵活性 | 相当灵活：可以处理多样化、不断演变的数据格式 | 不灵活：架构变更需要进行重大调整 |
| 数据源 | 社交媒体平台、物联网设备、电子邮件、多媒体内容 | 交易系统、结构化调查 |
