Vaex：秒开大数据、比pandas更快更好的Python库

大家好，欢迎来到IT知识分享网。

1 说明：

=====

1.1 Vaex：一种具有超级字符串功能的DataFrame Python库。

1.2 一种更快、更安全、更方便的方法，可以使用几乎任意大小的数据进行数据研究分析，适合大数据，比如秒开100G。

1.3 与Pandas（Python生态系统中最受欢迎的DataFrame库）相比，四核笔记本电脑上的字符串操作速度提高了约30-100倍，而32核设备上的字符串操作速度提高了1000倍。

1.4 Vaex使用ApacheArrow数据结构和C++，几乎所有Pandas的字符串操作都受支持，并且内存使用率几乎为零，因为延迟计算是以块的形式完成的。

2 准备：

=====

2.1 官网：

https://github.com/vaexio/vaex #每天都在更新和维护 http://vaex.io/ https://pypi.org/project/vaex/ https://vaex.readthedocs.io/en/latest/

2.2 环境：

华为笔记本电脑、深度deepin-linux操作系统、谷歌浏览器、python3.8和微软vscode编辑器。

2.3 安装：

pip install vaex #本机安装，国内源 sudo pip3.8 install -i https://mirrors.aliyun.com/pypi/simple vaex

3 打开数据文件方式：

===============

3.1 代码样式：

import vaex #自带数据集 df = vaex.example() #注意自带数据集，需要安装hdf5 #打开本地：不同文件格式的方法很简单 df1 = vaex.open("somedata.hdf5") df2 = vaex.open("somedata.fits") df2 = vaex.open("somedata.arrow") df4 = vaex.open("somedata.csv")

3.2 hdf5安装：本机deepin-linux操作系统

===============================

3.2.1 官网：

https://support.hdfgroup.org/HDF5/

3.2.2 下载：

https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.12/hdf5-1.12.0/src/ #下载源码安装

hdf5 – 1.12.0.tar.gz #下载速度很慢，这是一个坑，可以跳过，不用自带的数据集vaex.example

建议采用终端的：

#-c：断点续传，如果下载中断，那么连接恢复时会从上次断点开始下载。 wget -c https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.12/hdf5-1.12.0/src/hdf5-1.12.0.tar.gz

3.2.3 安装：注意本机是deepin-linux操作系统：

sudo mv /home/xgj/hdf5-1.12.0.tar.gz /opt cd /opt #xgj@xgj-PC:/opt$ sudo tar -xvf hdf5-1.12.0.tar.gz cd hdf5-1.12.0/ #xgj@xgj-PC:/opt$ cd hdf5-1.12.0/ #xgj@xgj-PC:/opt/hdf5-1.12.0$ #依次执行 sudo ./configure --prefix=/usr/local/hdf5 sudo make sudo make check #这一步有点慢 sudo make install #转换文件夹 cd /usr/local/hdf5/share/hdf5_examples/c sudo ./run-c-ex.sh sudo h5cc -o h5_extend h5_extend.c sudo ./h5_extend

4 读取hdf5数据：

===========

4.1 代码：

#%% import numpy as np import vaex as vx import pylab as plt #%% df = vx.open("/home/xgj/Desktop/vaex/io/sample_names_2.hdf5") df

4.2 图：

5 读取csv数据：

===========

5.1 代码：

#%% import numpy as np import vaex as vx import pylab as plt #%% df = vx.open("/home/xgj/Desktop/vaex/gdp_per_capita.csv") df

5.2 图：

===数据可视化部分基本与pandas类似===

===自己整理并分享出来===

喜欢的人，请点赞、关注、评论、转发和收藏。