编辑:[db:作者] 时间:2024-08-25 05:28:18
但当你拿到一个几十万行的Excel文件,该怎么办呢?Excel毕竟只是桌面运用,处理的数据量有限,2003版只能处理6.5万行数据,2007/2010/2013支持100万行,但在实际运用中,当数据量变大后,Excel 的性能剧降,打开文件可能就须要几分钟。
大数据时期,Smartbi为数据剖析师供应了新的武器,它内置了列存储数据库infobright,这是TB级别的数据库,支持亿、十亿条数据,用它来处理几十万行数据,自然不是问题。在前端操作界面上,Smartbi xQuery自助剖析模块供应了浏览器版的数据透视表,操作方法和Excel类似。
下面以美国金融机构投诉数据剖析为例,比较一下两个软件。数据来源于消费者金融保护局(Consumer Financial Protection Bureau),数据量37万条,数据韶光超过2011年12月至2015年4月。数据项目有投诉编号、投诉产品、子产品、问题、州、投诉韶光、投诉公司等。
打开数据的速率
Excel文件大小约45M,在一台高配置电脑(四代酷睿I5+8G+SSD),Excel 2010打开文件约需30秒韶光。
Smartbi须要先将Excel文件导入系统,首次导入步骤须要花费3-4分钟,但之后利用数据均无需任何韶光。
界面比较
Excel数据透视表和smartbi的界面很靠近,不同点在于Excel采取了目录型的构造,Smartbi采取了表格模式。当层次构造多时,Excel目录构造不太好,但可以通过设置布局调度为表格模式。
重打算速率
Excel在添加、删除维度后,重新打算的过程略显迟滞,Smartbi相对较快。30万行数据的差距不大,相信在更大数据量下,Smartbi的上风会更明显。
添加打算字段
原始数据只有日期字段,剖析时须要按年度、月度进行汇总,以是须要添加打算字段,Excel在原始数据中插入两列,分别用Year()、Month()函数获取。
Smartbi可以新建打算字段,同样用函数提前年份、月份。
排序比较
Excel的排序功能较为暗藏,尤其涉及多级排序时,须要多次选择排序字段。
Smartbi供应了分级排序功能,剖析多层次数据时很方便。
数据筛选
Excel采取下拉框的办法来选择筛选项,对付小数据非常方便,但如果选择项目很多时略显难用。筛选项的数量上限是1万个。
Smartbi采取了对话框来选择筛选项,较适宜大数据量,筛选项的数量没有上限。
交叉表
Excel交叉表的默认界面不会折行显示列标签,会把列撑的很宽,不太好看。当然你可以调度列宽,但操作上显的繁芜。
Smartbi的默认行宽是固定的,数据会折行显示,界面更加友好。
总结:
Excel数据透视表确实强大,但当它碰到大数据的时候,就会创造它也有不爽之处:性能问题、界面细节问题、排序问题等等。Smartbi通过前端界面及后端存储方面的创新,对付大数据的剖析显然更具上风。
本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除,如需转载请保留原文地址:http://www.baanla.com/bgl/140816.html
下一篇:返回列表
Copyright 2005-20203 www.baidu.com 版权所有 | 琼ICP备2023011765号-4 | 统计代码
声明:本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:123456789@qq.com