杉岩MOS对象存储双引擎,加速智能应用的助推器

大数据分析手段的广泛应用促进了数据的快速增长,存储形式经历了从传统存储到大数据存储1.0再到大数据存储2.0的变化,以应对海量数据的挑战。1.0时代解决了海量存储的问题,数据可以通过分布式架构和软件定义来存储。在2.0时代,解决了管理方便的问题,企业可以通过多协议访问、生命周期管理、异构存储管理、混合云管理很好地管理数据。

存储引擎+智能引擎:更强大的MOS对象存储

企业花费资金存储数据,最终是为了利用数据的价值创造经济效益。如果存储仍然是& ldquo傻盒子& rdquo,只能存储而不能感知数据,不能满足企业的真实需求。企业对数据价值利用的强烈需求推动大数据存储进入3.0时代。这就要求存储具有足够的智能性,能够实现基于数据感知的数据处理和智能调度,基于应用感知的加速访问,通过存储本身的智能操作和维护,减少对人力的依赖。这样,企业就可以很好地利用数据,构建以智能存储为数字基础的面向未来的IT基础设施。而山彦MOS海量对象存储的智能数据处理引擎则承载着这一使命。

图1。海量数据的增长导致存储模式的改变

从杉山的产品策略来看,海量存储核心引擎和智能数据处理引擎支持更强大的MOS对象存储。前者依靠分布式体系结构、多样化的管理策略和全面的企业级特征来满足企业存储和管理海量数据的需求;后者依托开放的平台和强大的数据处理能力,实现基于数据感知的智能调度,满足智能数据处理和数据价值挖掘的需求。双引擎驱动使MOS对象存储集海量数据存储、管理和价值挖掘于一体,无疑是企业应对大数据挑战的绝佳选择。

图2: MOS双引擎驱动智能应用

智能数据处理引擎:加速智能应用,释放数据价值

随着数字化的到来,大数据和人工智能的发展已经超出预期,其在各个行业的应用也逐渐普及。企业使用AI挖掘数据价值的需求不言而喻。在传统模式下,挖掘数据库文件等结构化数据的价值相对容易,而挖掘图像、音频、视频等非结构化数据的价值则比较困难。

MOS的智能数据处理引擎就是为此而诞生的。通过对非结构化数据的多维标注和结构化处理,可以更容易地找到有价值的数据,实现更高效的价值挖掘。有了智能数据处理引擎,数据处理能力就融入了存储。通过与海量存储核心引擎的高效联动和基于数据感知的智能调度,大大简化了业务流程,提高了业务效率。

图3。智能数据处理引擎的工作流程

目前,智能数据处理引擎已经帮助许多行业客户实现了高效的数据价值挖掘,增加了收入。

智能管理10亿份文档,帮助广发证券构建内容管理平台

GF证券的原始档案管理往往需要业务员的眼睛筛选,耗时且容易出错,档案查询不够准确。采用智能数据处理引擎后,在存储客户的电子文件时,通过身份证识别插件提取并标注客户的姓名、出生日期、身份证号等信息。后续营业厅工作人员可以通过文件检索界面直接根据标签信息进行文件检索,也可以自定义检索模板,方便快捷。此外,为了满足合规性要求,合同文件(Word文件)需要转换为PDF文件并加水印后才能归档。本项目对相关文件设置生命周期策略,自动调用智能数据处理引擎的文档格式转换(Word到PDF)和水印功能。处理后的文件自动转移到目标桶,整个流程基于生命周期策略自动触发,无需人工干预,大大提高了业务效率。

图4。智能数据处理引擎处理身份证照片和文件

智能存储有助于提高质量检测效率,并帮助UTAC节省20%的存储空间空

UTAC是世界十大芯片封装和测试制造商之一。在其芯片封装测试生产线上,采用工业相机拍摄芯片高清图像(BMP格式,单张30MB以上)进行智能质检,日数据增量80TB,月文件增量1.3亿,存储3-4个月。估计需要PB级存储空。经过进一步沟通,了解到有些图片前三天只需要高清格式,方便人工审核,三天后才存档检索,或者直接删除。利用智能数据处理引擎,将BMP图片转换成JPG图片(每张10MB以内),基于图片标签实现自动生命周期管理(如到期后自动删除图片,转码后在冷池存档)。该方案帮助用户节省20%的存储空,数据处理效率比传统方案提高30%,整体成本降低60%以上。

图5。智能数据处理引擎自动处理图像文件

智能数据处理引擎在机器学习场景中的应用

在机器学习场景中,训练材料主要是图片。如果原始素材是视频文件,可以通过MOS智能数据处理引擎从存储器中提取视频,提取后生成的图片用于训练推理。如果有特殊需要,可以对提取的帧进行二次处理或者自定义标签,然后用于推理训练,可以显著提高训练效率。

打开生态,搭建强大的智能处理平台

和应用市场一样,山彦MOS智能数据处理引擎是一个开放的平台,可以集成丰富的第三方插件,比如身份证识别和票据识别插件,微模公司人脸识别和车辆识别插件。用户可以根据需要添加插件来扩展他们的数据处理能力。

目前MOS智能数据处理引擎支持图像转码、图像裁剪、水印、身份证识别、人脸识别、车牌识别、票据识别、文档识别、语音识别、内容提取、文件格式转换等20多种处理功能。,为用户提供更强大的智能处理平台,满足不同场景的数据处理需求。

智能数据处理引擎的使用有多容易?请戳一下视频,快速看一下

智能数据处理引擎是对山彦数据大数据存储发展趋势的回应。在海量存储和方便管理的基础上,存储& ldquo了解& rdquo数据,实现基于数据感知的数据预处理和智能调度,简化业务流程;基于应用感知实现访问加速,快速响应业务需求;依靠智能运维降低人力依赖,打造更强的智能数字基础,为未来打造智能IT基础设施。

为您推荐

发表评论

电子邮件地址不会被公开。