期刊文献+
任意字段
题名或关键词
题名
关键词
摘要
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到547篇文章
< 1 2 … 28 >
每页显示 20 50 100
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于HBase的海量空间数据快速可视化技术研究 认领 引用
1
作者 张浩 刘杰 《测绘与空间地理信息》 2026年第4期53-55,59,共3页
为了解决海量空间数据的高效管理、快速响应数据查询检索和快速传输渲染,针对江苏省千万级的建筑物数据的三维场景快速可视化,本文提出了基于Hadoop大数据框架,利用HBase实现海量建筑物矢量数据的分布式存储和快速读取。通过对空间数据... 为了解决海量空间数据的高效管理、快速响应数据查询检索和快速传输渲染,针对江苏省千万级的建筑物数据的三维场景快速可视化,本文提出了基于Hadoop大数据框架,利用HBase实现海量建筑物矢量数据的分布式存储和快速读取。通过对空间数据降维处理即二维经纬度降为一维字符串,构建行键索引和分布式空间索引,提高了数据获取的效率;通过创新矢量切片构建方法,减少了网络传输的数据量,提高了建筑物白模数据加载效率,实现了全省千万级建筑物白模数据在浏览器端多尺度下秒级加载显示。本文主要从海量数据的分布式存储、分布式空间数据索引创建、空间数据多尺度表达和海量数据渲染等方面展开研究,已取得初步研究成果。 展开更多
关键词 HBase 海量 分布式空间索引 矢量切片 多尺度表达
暂未订购 下载PDF
HBase Shell与Java API使用HBase过滤器的比较与实现 认领 引用
2
作者 胡彩凤 《齐鲁工业大学学报》 CAS 2025年第3期64-71,共8页
HBase是Hadoop生态圈中的热门技术,实现了实时、随机地读写大规模数据集。过滤器是HBase中的一个重要功能,用于在检索数据时对结果进行筛选。为了区分HBase Shell和Java API在操作过滤器时的用法及特点,便于选择合适途径实现筛选HBase... HBase是Hadoop生态圈中的热门技术,实现了实时、随机地读写大规模数据集。过滤器是HBase中的一个重要功能,用于在检索数据时对结果进行筛选。为了区分HBase Shell和Java API在操作过滤器时的用法及特点,便于选择合适途径实现筛选HBase中的数据。采用实验研究法,以股票信息为样本数据,在伪分布式集群上通过设计股票数据表模式、添加股票数据、设计应用需求,编写关键代码等,实现了HBase Shell和Java API两种方式操作HBase过滤器的对比研究,并在此基础上总结了两种方式的优势和区别,为进一步理解HBase过滤器的用法提供有益参考。 展开更多
关键词 HBase 过滤器 HBaseShell Java API 大数据
暂未订购 下载PDF
基于HBase和WEB的企业绩效海量数据关联存储系统设计 认领 引用 被引量：1
3
作者 高静 李星 《电子设计工程》 2025年第20期177-181,共5页
为确保数据的安全性和可靠性,该文设计基于HBase和WEB的企业绩效海量数据关联存储系统。使用爬虫技术采集企业绩效海量数据,采用MapReduce并行计算技术将企业绩效海量数据输入到支持向量机内,经过模型特征学习并分类,输出不同主题类型... 为确保数据的安全性和可靠性,该文设计基于HBase和WEB的企业绩效海量数据关联存储系统。使用爬虫技术采集企业绩效海量数据,采用MapReduce并行计算技术将企业绩效海量数据输入到支持向量机内,经过模型特征学习并分类,输出不同主题类型的企业绩效海量数据,使用K-means聚类算法对企业绩效海量数据进行聚类处理,并利用HBase建立属性数据存储模型,按照属性序列号存储企业绩效海量数据,设计二级索引结构实现企业绩效海量数据关联存储。实验结果表明,该系统存储企业绩效海量数据安全性较强,且存储空间占用较小,应用效果较佳。 展开更多
关键词 HBase 海量数据 关联存储 聚类算法 索引结构
暂未订购 下载PDF
基于HBase的医疗信息安全存储系统设计与应用研究 认领 引用
4
作者 郑永明 《科技与健康》 2025年第24期17-20,共4页
针对传统医疗信息安全存储系统存在数据存储量较少、医疗信息数据服务效率低下的问题,开展基于HBase的分布式医疗信息安全存储系统设计与应用研究。首先采用分布式、高可用的集群架构进行硬件设计,满足海量医疗数据的高并发、低延迟存... 针对传统医疗信息安全存储系统存在数据存储量较少、医疗信息数据服务效率低下的问题,开展基于HBase的分布式医疗信息安全存储系统设计与应用研究。首先采用分布式、高可用的集群架构进行硬件设计,满足海量医疗数据的高并发、低延迟存取以及安全冗余需求。软件层面采用等宽分箱算法对异构医疗数据进行离散化处理,统一数据格式以提升存储效率;建立基于多维度参数的热度评分模型,实现数据智能分级,解决数据混杂导致的存储资源浪费问题;最后基于HBase构建包含存储紧迫度和节点负载能力的多指标决策,设计安全存储节点,实现医疗信息安全存储。测试结果表明,在相同时间窗口内,该系统的存储数据量较多,同时医疗信息存储服务的平均响应时间缩短至7.55 ms,较传统存储系统的性能提升约76%,应用效果显著。 展开更多
关键词 HBase 医疗 信息 安全 存储
暂未订购 下载PDF
基于HBase整合Hive的查询性能研究 认领 引用 被引量：1
5
作者 李雅楠 庞慧 《河北建筑工程学院学报》 CAS 2021年第2期155-158,共4页
HBase可以实现海量数据的查询,但是在数据定位方面具有先天劣势。引入Hive对HBase进行优化,搭建了一个基于“HBase存储+Hive查询”的整合框架。通过对美国新冠肺炎的部分数据分别使用HBase与HBase+Hive整合框架进行数据统计并且记录查... HBase可以实现海量数据的查询,但是在数据定位方面具有先天劣势。引入Hive对HBase进行优化,搭建了一个基于“HBase存储+Hive查询”的整合框架。通过对美国新冠肺炎的部分数据分别使用HBase与HBase+Hive整合框架进行数据统计并且记录查询时间,可证明HBase+Hive整合框架的查询性能优于HBase原生访问,并且随着数据量的增加,两种方案查询性能的差距更加明显。 展开更多
关键词 HBase Hive HBase+Hive整合框架
暂未订购 下载PDF
面向HBase的大数据脱敏技术实践 认领 引用
6
作者 王明 张海洋 +1 位作者 王步放 付征 《电子技术与软件工程》 2019年第19期164-167,共4页
本文主要从技术角度讨论民航海量旅客敏感信息在当下最流行的分布式的、面向列的开源大数据数据库HBase的脱敏技术实践,介绍了HBase脱敏的过程中如何解决性能、权限等一系列问题,最终在兼顾了算法、性能和易用性的诸多要求下圆满完成脱... 本文主要从技术角度讨论民航海量旅客敏感信息在当下最流行的分布式的、面向列的开源大数据数据库HBase的脱敏技术实践,介绍了HBase脱敏的过程中如何解决性能、权限等一系列问题,最终在兼顾了算法、性能和易用性的诸多要求下圆满完成脱敏任务的过程。 展开更多
关键词 旅客敏感数据 数据保护 数据脱敏 HBase HBase脱敏
暂未订购 下载PDF
HiBase:一种基于分层式索引的高效HBase查询技术与系统 认领 引用 被引量：57
7
作者 葛微 罗圣美 +6 位作者 周文辉 赵頔 唐云 周娟 曲文武 袁春风 黄宜华 《计算机学报》 EI CAS CSCD 北大核心 2016年第1期140-153,共14页
大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主... 大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍. 展开更多
关键词 HBase 非主键索引 查询处理 分层式索引 缓存替换策略 大数据
暂未订购 下载PDF
基于HBase的空间矢量数据存储模型设计与优化 认领 引用 被引量：22
8
作者 谢鹏 杨春成 +2 位作者 熊顺 何列松 周校东 《测绘学报》 EI CSCD 北大核心 2020年第10期1365-1373,共9页
数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则... 数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。 展开更多
关键词 HBase 关系型数据库 空间矢量数据 存储模型 反范式化
暂未订购 下载PDF
基于HBase的矢量空间数据存储与查询方法及其应用 认领 引用 被引量：16
9
作者 李朝奎 王露瑶 +3 位作者 周新邵 唐炉亮 张新长 李扬 《地理科学》 CSSCI CSCD 北大核心 2022年第7期1146-1154,共9页
研究了HBase存储机制,针对现有存储查询方法效率低等缺陷,设计了HBase矢量空间数据存储表模式,如行键、过滤列族、几何列族及非几何列族等,以MapReduce算法为基础改进了原有的区域查询方法,上述改进有效提高了HBase中矢量空间数据查询... 研究了HBase存储机制,针对现有存储查询方法效率低等缺陷,设计了HBase矢量空间数据存储表模式,如行键、过滤列族、几何列族及非几何列族等,以MapReduce算法为基础改进了原有的区域查询方法,上述改进有效提高了HBase中矢量空间数据查询效率。以某地近100 a地质灾害数据进行实验,结果表明:设计的存储模型可行,查询算法与传统查询算法相比效率更高;由于MapReduce运行过程中的通信等原因,当数据量小于5万级时,算法优势并不明显;当数据量大于10万级时,算法查询时间低于原来的1/2,而数据量达到100万级时,算法查询时间仅为算法改进前查询时间的1/20。数据量越大,并行化处理优势越明显。 展开更多
关键词 HBase 矢量空间数据 存储与查询 MapReduce 算法设计
暂未订购 下载PDF
一种基于HBase的智能电网时序大数据处理方法 认领 引用 被引量：17
10
作者 王远 陶烨 +1 位作者 袁军 何卫 《系统仿真学报》 CAS CSCD 北大核心 2016年第3期559-568,共10页
随着物联网关键技术与理论的发展,物联网应用受到了越来越多的关注。智能电网是一类典型的物联网应用,遍布全网的传感器收集及产生了大量反映关键设备运行状态的时序数据。如何利用时序数据确保智能电网的安全以及稳定运行是当前的研究... 随着物联网关键技术与理论的发展,物联网应用受到了越来越多的关注。智能电网是一类典型的物联网应用,遍布全网的传感器收集及产生了大量反映关键设备运行状态的时序数据。如何利用时序数据确保智能电网的安全以及稳定运行是当前的研究热点之一。针对智能电网时序数据设备多、数据规模大、产生速度快等特点,提出了一种基于HBase的海量时序数据存储处理方法,着重介绍了如何利用策略驱动技术实现时序数据的灵活存储与处理。通过构建HBase集群,验证了该方法的有效性。 展开更多
关键词 大数据 物联网 HBase 时序数据 性能优化
暂未订购 下载PDF
HOS:一种基于HBase的分布式存储系统设计与实现 认领 引用 被引量：17
11
作者 季一木 张宁 +4 位作者 尧海昌 李奎 李航 刘尚东 王汝传 《南京邮电大学学报（自然科学版）》 北大核心 2019年第5期63-71,共9页
大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分... 大数据时代,数据快速增长,迫切需要寻找有效的数据存储方案,HBase系统具有分布式、列式存储的特点,为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引,对于非主键查询效率低下,难以满足实时需求。为此,提出一种分层式索引查询模型,该模型基于HBase建立持久性索引层,基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表,提高查询效率,后者基于Redis在内存中存储热点索引,降低磁盘访问开销,进一步提高查询效率。最终,依据此模型实现了分层式索引查询系统HOS,基于Imagenet图片数据集对HOS进行实验,实验结果表明,HOS数据查询性能优于标准HBase。 展开更多
关键词 HBase 查询处理 分层式索引 分布式存储
暂未订购 下载PDF
基于Hbase的地震大数据存储研究 认领 引用 被引量：15
12
作者 刘坚 李盛乐 +4 位作者 戴苗 陈晓琳 康凯 刘珠妹 郭啟倩 《大地测量与地球动力学》 CSCD 北大核心 2015年第5期890-893,共4页
提出一种基于Hbase的地震大数据存储方法,通过搭建测试平台、Java语言开发测试程序,并与MySQL在存储、查询结构化与非结构化数据方面进行性能对比。结果表明,Hbase存取地震数据耗时更低,在数据量多时,其性能更加显著。
关键词 大数据 存储模式 NoSQL数据库 Hbase
暂未订购 下载PDF
HBase在智能电网异构数据同步中的应用 认领 引用 被引量：15
13
作者 孟祥萍 周来 +1 位作者 王晖 纪秀 《电力系统保护与控制》 CSCD 北大核心 2015年第24期122-128,共7页
未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以... 未来的智能电网在运行中将会产生海量的多态、异构数据,对这些数据的可靠获取、实时分析、同步及处理会给电网信息系统带来前所未有的压力。因此,把电网大数据迁移到云端—数据中心,来实现异构数据的精准、实时同步则显得尤为必要。以解决未来智能电网大数据处理问题为出发点,通过对电网数据中心相关功能需求进行细致分析,对比传统的关系型数据库建模基础,提出了基于Hbase架构的智能电网数据中心的解决方案。最后通过对比MySQL性能进行模拟测试,得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步,达到电网大数据的实时共享、监测及准确分析、处理的目的,在未来智能电网信息管理系统中具有广阔的应用前景。 展开更多
关键词 智能电网 异构数据 应用 HBase
暂未订购 下载PDF
基于HBase的矢量空间数据分布式存储研究 认领 引用 被引量：40
14
作者 范建永 龙明 熊伟 《地理与地理信息科学》 CSCD 北大核心 2012年第5期39-42,共4页
分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处... 分析了分布式数据库HBase的存储模型;结合对HBase集群技术的研究,设计了基于HBase的矢量空间数据存储模型和一种基于MapReduce的并行构建网格空间索引方法,使得海量空间矢量数据的网格索引构建分配到各子节点进行,大大加快索引构建的处理速度;最后,利用HBase集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率。 展开更多
关键词 Hadoop HBase 矢量数据 存储模型 分布式存储 MapReduce
暂未订购 下载PDF
一种基于HBase的高效空间关键字查询策略 认领 引用 被引量：33
15
作者 张榆 马友忠 孟小峰 《小型微型计算机系统》 CSCD 北大核心 2012年第10期2141-2146,共6页
随着移动定位技术的发展以及智能手机的普及,互联网中空间文本对象的数量正在急速增长,如何在规模庞大且动态增长的空间文本对象中进行高效的空间关键字查询成为了许多空间关键字查询应用所关心的问题.现有的方法通常利用基于R树和倒排... 随着移动定位技术的发展以及智能手机的普及,互联网中空间文本对象的数量正在急速增长,如何在规模庞大且动态增长的空间文本对象中进行高效的空间关键字查询成为了许多空间关键字查询应用所关心的问题.现有的方法通常利用基于R树和倒排索引的混合索引结构来处理空间关键字查询,然而,面对数量巨大而且不断增长的空间文本对象,这些方法往往难以为空间关键字查询的高效性和扩展性提供支持.对此,提出一种基于HBase的空间文本数据索引结构SK-HBase.SK-HBase以HBase作为数据存储,通过有效的数据分配策略对空间文本对象的空间信息和文本信息同时进行索引.在SK-HBase的基础上,本文提出了两种空间关键字查询算法,以保证不同空间范围下的空间关键字查询的高效性和可扩展性.实验证明,我们的方法能够在海量数据下进行高效的空间关键字查询并具有良好的可扩展性. 展开更多
关键词 空间文本对象 空间关键字查询 HBase 高效性 可扩展性
暂未订购 下载PDF
基于协处理器的HBase内存索引机制的研究 认领 引用 被引量：11
16
作者 朱松杰 娄渊胜 +2 位作者 叶枫 李凌 陈勇 《计算机工程与应用》 CSCD 北大核心 2020年第1期98-105,共8页
为了实现对海量数据的高效存储和查询,众多NoSQL数据库被开发出来,HBase是其中之一。但原生的HBase数据库在进行数据查询时只支持主键索引,对非主键数据只能通过全表扫描的方式进行查询,极大降低了HBase的多条件查询速度。为此,提出了... 为了实现对海量数据的高效存储和查询,众多NoSQL数据库被开发出来,HBase是其中之一。但原生的HBase数据库在进行数据查询时只支持主键索引,对非主键数据只能通过全表扫描的方式进行查询,极大降低了HBase的多条件查询速度。为此,提出了基于协处理器的HBase内存索引构建方案,通过协处理器实现对二级索引的快速构建并可根据HBase表的变化自动更新索引。同时,将建立的索引进行持久化操作,在使用时通过内存计算,极大地提高了索引数据检索速度,保证了索引的可用性和容错性。实验结果表明,该方案相比原生数据库的条件检索速度有了极大提升,相比于基于Solr和HiBase的二级索引方案检索速度也有所提升。 展开更多
关键词 HBase 内存索引 HT树 持久化
暂未订购 下载PDF
基于HBase的路网移动对象时空索引方法 认领 引用 被引量：11
17
作者 冯钧 李顶圣 +1 位作者 陆佳民 张立霞 《计算机应用》 CSCD 北大核心 2018年第6期1575-1583,1590,共9页
在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架(RM-HBase)。首先,对... 在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架(RM-HBase)。首先,对原生HBase索引框架的上层HMaster和下层HRegion Server进行改进,解决分布式集群数据的热点分布问题,提高空间数据的查询效率;其次,提出路网移动索引——RN-tree,解决空间划分中的"死空间"问题,同时提高空间中路段的查询效率;然后,基于上述对HBase的索引改进,分别设计了时空范围查询、时空K最近邻(KNN)查询和移动对象轨迹查询的查询算法;最后,实验选用了同样是基于HBase分布式数据库而提出的时空HBase索引(STEHIX)框架作为对比对象,分别从索引框架的性能和算法的查询效率两个方面对RM-HBase的性能进行分析。实验结果表明,所提的RM-HBase在数据的均衡分布性能和时空查询算法的查询性能方面都优于STEHIX框架,有助于提升海量路网移动对象数据的时空索引效率。 展开更多
关键词 路网环境 移动对象 HBase 时空索引 查询算法
暂未订购 下载PDF
基于HBase的交通流数据实时存储系统 认领 引用 被引量：26
18
作者 陆婷 房俊 乔彦克 《计算机应用》 CSCD 北大核心 2015年第1期103-107,135,共5页
交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进... 交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。实验结果表明：该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能。 展开更多
关键词 流数据 多源缓冲区 数据切分 一致性哈希算法 实时存储 HBase
暂未订购 下载PDF
面向海量交通数据的HBase时空索引 认领 引用 被引量：9
19
作者 房俊 李冬 +1 位作者 郭会云 王嘉怡 《计算机应用》 CSCD 北大核心 2017年第2期311-315,共5页
针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了... 针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。 展开更多
关键词 海量交通数据 HBase Geohash 时空索引 区域查询
暂未订购 下载PDF
基于HBase的气象地面分钟数据分布式存储系统 认领 引用 被引量：25
20
作者 陈东辉 曾乐 +1 位作者 梁中军 肖卫青 《计算机应用》 CSCD 北大核心 2014年第9期2617-2621,共5页
针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气... 针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。 展开更多
关键词 分钟数据 分布式存储 Hadoop solr HBase 辅助索引
暂未订购 下载PDF
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 28 下一页 到第 页
在线咨询 使用帮助 返回顶部 意见反馈