开放存取
问题 |
E3S网页汇编
卷积4122023
现代应用科学、环境、能源和地球研究创新国际会议 |
|
---|---|---|
文章号 | 01091 | |
页数 | 九九 | |
多尔市 | https://doi.org/10.1051/e3sconf/202341201091 | |
在线发布 | 2023年8月17日 |
必威主页
41201091 (2023年)
hadoop多试管系统分布存储优化
计算机科学系、计算机研究实验室LARI科学学院,Ibn Tofail大学,摩洛哥Kenitra
理解数据从中提取信息是数据科学的主要目标,特别是在大数据方面。要实现这些目标,就必须收集并处理大规模数据集,以高速以不同格式到达系统大数据时代给我们带来了数据存储管理方面的新挑战,现有最先进数据存储处理工具准备迎接挑战,同时对下一代数据构成挑战大数据存储优化对通过最大限度地利用存储资源提高大数据系统总体效率至关重要。降低大数据系统耗能,实现财政节约、环境保护和提高系统性能hadoop为存储和分析大量数据提供解决方案Hadoop因其分布性和管理大量数据而可能遇到存储管理问题系统需要智能管理存储系统多试剂系统使用为高效管理HDFS热冷数据提供了一个大有希望的方法系统提供灵活分布式解决方案解决复杂问题这项工作建议一种基于多代理系统的方法,该多代理系统能收集HDFS集群数据存取活动信息使用此信息,它按温度分类数据(热或冷)并依据分类对数据复制作出决定此外,它压缩未用数据以高效管理资源并减少存储空间使用
关键字 :大数据/能耗/环境保护/存储/hadoop/HDFS/多代理系统
必威西汉姆赞助2023年EDP科学出版
开存文章分发创用CC授权4.0允许在任何介质上不受限制使用、分发和复制,只要原创作品正确引用
当前用法度量显示文章视图累积计数(全文文章视图包括HTML视图、PDF和ePub下载,根据可用数据)和Vision4Press平台摘要视图
数据对应2015年后板状使用当前使用量度自在线发布后48-96小时提供并按周日每日更新
初始下载度量器可能花点时间