【WPS畅聊趴】新的一年给WPS换上新"装备",千万级别数据秒汇总





Lv.3 优质创作者
📢分享那些为WPS「提效」的强力装备📢
彩蛋🦄在文中看看谁能发现😮
说说你用WPS表格处理过的最大数据量是多少?1千?2千?1万?10万?还是100万的数据量?
在新的一年里我们挑战一下极限,我们这次处理5000万行数据,你没听错,是5000万行的数据!功能听到这个数字你会疑惑,WPS表格(xlsx)格式的上限不是才100W(单个工作表)行吗?所以我们采用的是csv格式的文件
测试数据
这次我们采用Python脚步生成了一份5000万行的销售数据作为我们的测试文件,这次的文件约5个G的大小,数据量就是5000万行~
实现效果
由于数据一般都用在分析场景,这次我们选定的是一个简单的透视环境,实现为将5000万条数据进行数据透视,实现效果如下
WPS表格
DuckDbQuery函数实现法
函数介绍
如下图所示可以看出DuckDbQuery分别有三个参数,分别为【SQL表达式】、【数据文件】和【数据区域】
=DuckDbQuery(SQL语句,数据文件,数据区域)函数内核
这里看出函数内核为「V1.3.2」,简单说就是它调用的为DuckDB 1.3.2版本了~
实现效果
如下图所示为效果图,可以看出及时是千万级的数据,也能在秒级的时间里输出结果~
| ⭐ | 由于为畅聊帖,今天就不展开了,下面给一个彩蛋,是否还在为JSON格式转换而烦恼?下面给出这个函数的又一特性(虽然这是基于duckdb数据库能力的体现) |
WPS Query实现法
选择以透视表的方式导出,结果触碰到了1048576行的上限了(此处是bug莫非?也可能是因为性能原因做了限制)
为了对比我们搬出了微软的EXCEL的PQ作为对比,可以看出微软对此是没有限制,但是也足足花费了大半个小时才出结果,中途会出现无响应的情况
| 💡 | 看了以上对比是不是发现有了新“装备”加持的WPS强大不是一星半点,新“装备”下的几十秒对比行业大佬的PQ也要40来分钟,性能效率提高肉眼可见~当然以上这么大数量级的数据一般都不会在表格中处理,以上纯属是半娱乐性质的压力测试了~ |
看到新"装备"如此强大,WPS官方会考虑将这个变成自身的能力吗?
大家期待这种「提效」能力的加入吗?
📢说出大家知道强力“装备",后续成为WPS自身的固有能力📢
下一个强大的能力由大家共创
WPS📢:「畅聊趴」也可以有技术干货
| ⭐ | 本贴奖励由【福利官】全力赞助🎁,封面图片由WPS灵犀全力生成🐬 |
Lv.4 核心创作者
Lv.1新人创作者
Lv.3 优质创作者
Lv.2潜力创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.1 新人创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.1 新人创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.2潜力创作者
Lv.3 优质创作者
Lv.3 优质创作者
Lv.3 优质创作者