选择正确人工智能数据存储的6个注意事项

  企业如果采用错误的存储人工智能平台可能会产生严重影响,因此需要了解可能影响产品选择和策略的6个注意事项。

  人工智能和机器学习将成为帮助企业利用其核心数字资产创造竞争优势的两个最重要的工具。但在采用人工智能数据存储之前,企业必须考虑一系列基于机器学习平台如何获取、处理和保留数据的需求。

  首先,企业需要检查机器学习软件使用的数据的生命周期,因为这可以帮助企业了解为人工智能选择存储时应考虑的事项。最初,企业必须获取数据来训练机器学习或人工智能算法。这些是处理数据以学习任务的软件工具,例如识别对象、处理视频和跟踪运动。数据可以从多种来源产生,并且通常本质上是非结构化的,例如对象和文件。

  人工智能的训练过程需要使用数据资产,并使用机器学习或人工智能软件创建算法,以处理未来的数据源。在训练或开发算法时,人工智能软件将处理源数据,以开发一个模型,该模型可以创建企业需要获得的洞察力或收益。

  开发机器学习算法很少作为一个单一的过程来完成。随着企业积累新的数据,其算法得到了改进和完善。这意味着很少的数据被丢弃,相反,它会随着时间的推移而增长并重新处理。

  购买人工智能数据存储的标准

  在企业为人工智能平台选择存储之前,必须首先考虑以下注意事项:

  1.成本。人工智能数据存储的成本是企业考虑的关键因素。显然,企业管理层和参与采购决策的管理人员都希望其存储尽可能具有成本效益,并且在许多情况下,这将影响企业的产品选择和策略。

  2.可扩展性。在此需要强调收集、存储和处理大量数据以创建机器学习或人工智能模型的必要性。机器学习算法要求源数据呈指数增长,以实现精度的线性提高。创建可靠和准确的机器学习模型可能需要数百TB甚至PB的数据,而且这只会随着时间的推移而增加。

  构建PB级存储系统通常意味着使用对象存储或横向扩展文件系统。现代对象存储当然可以解决人工智能工作负载的容量需求,但是它们可能无法满足其他标准,例如高性能。横向扩展文件系统可以提供高性能和良好的可扩展性,但是将整个数据集存储在单个平台上可能会很昂贵。由于可扩展性要求和大容量产品的成本,块存储通常不是机器学习或人工智能的正确选择,因为高容量产品的可扩展性要求和成本。这里唯一的例外是在公共云中。

  存储成本的变化引入了分层或使用多种存储类型来存储数据的思想。例如,对象存储是存储大量非活动人工智能数据的良好目标。当需要处理数据时,可以将其移动到高性能文件存储集群或为高性能而设计的对象存储中的节点,并且在处理完成后可以将数据移回。

  3.性能。人工智能数据的存储性能包括三个方面。首先可能也是最重要的是延迟。这定义了软件发出的每个I/O请求的处理速度。低延迟很重要,因为改善延迟会直接影响创建机器学习或人工智能模型所需的时间。复杂的模型开发可能需要数周或数月的时间才能运行。通过缩短此开发周期,企业可以更快地创建和完善模型。在检查延迟功能时,由于对象访问的数据流特性,对象将引用时间存储到第一个字节,而不是单个I/O请求的延迟。

  存储性能的另一个方面是吞吐量,这是可以将数据写入存储平台或从存储平台读取数据的速度。系统吞吐量很重要,因为人工智能培训会处理大量数据集,通常会反复读取和重新读取相同的数据以准确地开发模型。机器学习和人工智能数据的来源(例如自动驾驶汽车上的传感器)每天可以产生数TB的新数据。所有这些信息都必须添加到现有数据存储中,并且对任何现有处理的影响最小。

  正确设置存储平台至关重要,因为涉及的数据量非常大。

  存储性能的最后一个方面是并行访问。机器学习和人工智能算法并行处理数据,运行多个任务,这些任务可以多次读取同一数据,并跨越多个并行任务。对象存储擅长并行读取I/O处理,因为没有对象锁定或属性可管理。文件服务器跟踪内存中打开的I/O请求或文件句柄。因此,I/O请求的数量取决于平台上可用的内存。

  机器学习的数据可以由大量的小文件组成。在这个领域,文件服务器可以提供比对象存储更好的性能。向人工智能存储供应商提出的一个关键问题是,其产品的性能特征将如何在大文件类型和小文件类型之间发生变化。

  4.可用性和耐用性。机器学习和人工智能学习模型可以长期连续运行。通过训练开发算法可能需要几天或几周的时间。在此期间,存储系统必须启动并持续可用。这意味着任何升级、技术更换或系统扩展都需要在不停机的情况下进行。

  在大型系统中,部件故障是正常的,必须按此处理。这意味着用于人工智能工作的任何平台都应该能够从设备(例如HDD硬盘或SSD硬盘)和节点或服务器故障中恢复。对象存储使用擦除编码在多个节点上广泛分布数据,并将组件故障的影响降到最低。有擦除编码技术可以扩展文件系统以提供同等的弹性级别。擦除编码方案的效率非常重要,因为它直接关系到读写I/O的性能,特别是对于小文件。

  由于大多数大型对象存储太大而无法定期备份,因此可靠的擦除编码成为人工智能存储平台的基本功能。

  5.公共云。开发机器学习和人工智能算法既需要高性能的存储又需要高性能的计算。许多人工智能系统都基于GPU(例如Nvidia DGX),可以减轻开发精确算法所涉及的许多复杂数学计算的负担。

  公共云服务提供商已开始提供可用于机器学习的GPU加速虚拟实例。在公共云中运行机器学习工具可以降低构建机器学习开发基础设施的投资和成本,同时提供扩展开发机器学习模型所需基础设施的能力。

  使用公共云计算面临的挑战是如何以经济高效和实用的方式将数据导入公共云。基于云计算的对象存储速度太慢,无法满足机器学习的I/O需求;因此,必须使用本地块存储。每延迟一分钟传输数据以及执行机器学习的延迟,就意味着增加运行基础设施的成本。

  公共云的另一个问题是数据出口的成本。尽管云计算服务提供商不收取将数据移动到其平台的费用,但他们确实会收取从其平台之外的公共网络访问的任何数据的费用。因此,尽管公共云在计算方面提供了灵活性,但以一种及时且经济高效的方式在云中进出数据并不总是那么简单。

  供应商正在开发存储产品,以在其内部部署和公共云中运行其产品。这些产品可以有效地复制数据或将数据移至云中,并且只在完成后才将结果移回。这些复制技术具有高带宽效率,使在本地存储数据并导入到云中进行分析工作变得切实可行。

  6. 整合。在本文中,将机器学习和人工智能的存储方面与计算隔离开来。构建人工智能数据存储可能很困难,因为存储网络和调整存储必须考虑其他因素才能与机器学习应用程序一起工作。

  产品的预包装使供应商能够在将产品交付给客户之前对其产品进行测试和优化。如今,有一些存储产品将流行的人工智能软件、通用CPU和GPU等计算、网络和存储设备结合在一起,以提供支持人工智能的平台。在部署这些系统之前,许多详细的调整工作已完成。尽管成本可能是一个问题,但对于许多客户而言,预包装的系统可以减少采用人工智能存储的障碍。

  显然,选择合适的人工智能数据存储平台是性能、可扩展性和成本等指标的平衡。正确使用存储平台至关重要,因为涉及的数据量很大。选择错误的产品可能是一个代价高昂的错误。与任何存储产品决策一样,重要的是与供应商沟通,以准确了解他们的产品如何满足人工智能和机器学习的需要。该参与过程应该包括演示和评估,并作为企业采购决策的前奏。

用户喜欢...

澳大利亚墨尔本85岁老奶奶斯威本大学读博研究人工智能

中新网9月30日电 据澳洲网30日报道,大多数人到了老年,都在慢慢地享受退休生活,但来自澳大利亚墨尔本的85岁奶奶斯科特(Anne Scott)仍在学习,并成为斯威本大学最年长的博士生,向学校里的...


宝安:AI赋能 铸梦未来—人工智能发展论坛圆满落幕

人工智能技术自20世纪50年代出现以来,已不断渗透入市场各个行业,但回归实际,如何有效利用人工智能技术提升企业效率和竞争力,实现人工智能技术与实体经济的深度融合?如何借力人工智...


人工智能可以增强人类能力的四种方式

根据调研机构Gartner公司的调查,到2021年,全球各地的组织将通过人工智能创造将近3万亿美元的商业价值。 有些人表示,人工智能技术有朝一日可能完全取代工作场所中的人类。至少在可预见...


三星人工智能家庭机器人设计专利外观图公布:采用球形设计 可移动

三星人工智能家庭机器人设计专利外观图公布:采用球形设计 可移动 据Letsgodigital报道,近日三星一款人工智能家庭机器人设计专利外观图公布,采用球形设计,可以进行移动。 据了解,201...


任正非:历史会证明人工智能、5G将给人类创造财富

任正非和华为公司战略部总裁张文林对话美国著名计算机科学家Jerry Kaplan和英国皇家工程院院士Peter Cochrane。在对话中,主持人问到为什么人们对华为和华为所做的事情有这么多的不信任呢?对...


阿里巴巴首次公布人工智能调用规模:每天调用超1万亿次 服务全球10亿人

在今天的2019云栖大会上,阿里巴巴首次公布人工智能调用规模:每天调用超1万亿次,服务全球10亿人,日处理图像10亿张、视频120万小时、语音55万小时及自然语言5千亿句。阿里表示,其已经...


谷歌公司实施人工智能的6个步骤

一个专家团队在各种实际项目中的人工智能应用中学到了知识和经验,他们为采用人工智能的企业首席信息官提出了六个步骤的建议。 人工智能(AI)是提高人类解决问题能力的关键,但与人工智...


应用案例:大狼屋酒店的人工智能可以准确识别住客的情绪

酒店和娱乐业正在实施人工智能以扫描客人的评论,这是在重大IT现代化过程中改善客户服务的基石。 大狼屋酒店(GWL)正在使用人工智能软件,以更好地了解住客在其以冒险为主题的小屋中的体...


阿里人工智能实验室:天猫精灵销量连续两年中国第一、全球第三

阿里巴巴人工智能实验室暨天猫精灵秋季发布会今天下午举行,在发布会上宣布,天猫精灵销量连续两年中国第一、全球第三,另外精灵联盟可连接的AIoT设备达到了2.35亿台。 阿里表示,机器...


华为在伦敦开设人工智能研究实验室 谷歌英国总部就在对面

据外媒报道,华为在英国伦敦悄悄开设了一个新的人工智能研究实验室,而谷歌英国总部就在对面。 据悉,华为的这座新办公室位于伦敦的国王十字区附近的黄金地段,拥有约60名完全专注于...


华为投资类脑人工智能公司 认缴出资额约为48.56万元

天眼查数据显示,近日,深思考人工智能的运营主体深思考人工智能机器人科技(北京)有限公司发生工商变更,新增股东为哈勃科技投资有限公司,认缴出资额约为48.56万元,持股比例为3.67%。...


百度与人民日报共建人工智能媒体实验室

9月19日,百度与人民日报联合成立人工智能媒体实验室。人工智能媒体实验室将基于百度大脑的核心能力,支持与满足媒体工作中的关键操作性需求。第一期的研究方向是利用百度成熟的语音...


华为网络人工智能引擎(NAIE)正式商用发布 主要基于公有云模式

在HUAWEI CONNECT 2019期间,华为正式商用发布网络人工智能引擎(NAIE)。据了解华为网络人工智能引擎主要基于公有云模式,提供数据治理相关的数据湖服务,以及模型开发相关的模型训练等服务,...


人工智能到底能做什么 今天带你全方面了解

电子垃圾 利用人工智能和物联网实现环境可持续发展有助于最大限度地发挥当前的环境保护作用。根据英特尔2018年的一份报告,200个环保企业中有74%同意人工智能有助于解决环境问题。 每年...


人工智能统计调查:AI普及让1.2亿劳动者需要接受再培训

最近一些人工智能的健康和进展状况相关调查、研究、预测和其他定量评估凸显出重新培训员工的必要性;人工智能在8年级科学考试的评分从F提高到A;以及AI市场将在2023年达到979亿美元的预测。...


人工智能有朝一日真的能取代人类教师吗?

中国在人工智能应用于教育领域方面逐渐占据优势。 从人脸识别、新兴企业到医疗教育,中国在人工智能领域的雄心壮志显而易见。中国的体制可能在人工智能融入社会的速度上确实占据优势...