大家好,欢迎来到IT知识分享网。
作者: Dario Radečić 翻译:王可汗校对:张达敏 本文约1200字,建议阅读5分钟本文介绍了一种运行速度大大提高的数据格式。
csv会浪费您的时间、磁盘空间和金钱。是时候结束了。
csv并不是唯一的数据存储格式,甚至可能是你最后才考虑使用的格式。如果你不打算手动编辑数据,使用csv是在浪费时间和金钱。
想象一下——你收集了大量的数据并将它们存储在云端。你没有对文件格式做太多的研究,所以选择了csv。你的开销会爆炸!如果不追求更多,一个简单的调整可以减少一半开销。这个调整就是——你已经猜到了——选择一种不同的文件格式。
Feather到底是什么?
简单地说,它是一种用于存储数据帧(DataFrame)的数据格式(想想Pandas)。它围绕一个简单的前提设计——尽可能高效地将数据帧输入和输出内存。它最初是为Python和R之间的快速通信而设计的,但您并不局限于这个用例。
不过Feather并不只能用与Python和R,你可以通过任何一个主流编程语言使用Feather文件。
这种数据格式不是为长期存储而设计的。最初的目的是R和Python程序之间的快速交换,以及一般的短期存储。没有人能阻止您将Feather文件转储到磁盘,并将它们保存多年,但有比Feather更有效的格式。
在Python中,您可以通过Pandas或专用库使用Feather。本文将向您展示如何使用这两种方法。首先您将需要安装feather-format来继续。以下是代码:
# Pip pip install feather-format # Anaconda conda install -c conda-forge feather-format
有了这些你就可以开始使用Feather了。打开JupyterLab或任何其他数据科学IDE,下一节将涵盖Feather的基础知识。
如何在Python中使用Feather?
让我们从导入库和创建相对较大的数据集开始。你将用到Feature,Numpy和Pandas。该数据集有一千万*5个随机数:
import feather import numpy as np import pandas as pd np.random.seed=42 df_size = 10_000_000 df = pd.DataFrame ({ ‘a’: np.random.rand (df_size), ‘b’: np.random.rand (df_size), ‘c’: np.random.rand (df_size), ‘d’: np.random.rand (df_size), ‘e’: np.random.rand (df_size) }) df.head ()
数据集大概长这样:
接着把它保存到本地。你可以调用Pandas使用下面的命令来保存DataFrame到Feature格式:
df.to_feather('1M.feather')
下面是如何用Feather库进行同样的操作:
feather.write_dataframe(df, ‘1M.feather’)
差别不大。这两个文件现在都保存在本地。你可以在Pandas或专用库阅读它们。下面是Pandas的语法:
df = pd.read_feather(‘1M.feather')
使用Feather库:
df = feather.read_dataframe('1M.feather')
以上涵盖了你需要知道的东西。下面的部分将介绍与CSV文件格式在文件大小、读取和写入时间上的比较。
CSV vs. Feather -你应该使用哪一个?
如果不需要动态更改数据,答案很简单——用Feather。不过,让我们先做一些测试。
下面的图表显示了把上一节的DataFrame保存到本地所需的时间:
这是一个巨大的差异——原生Feather大约比CSV快150倍。使用Pandas来处理Feather文件并不会有太大的影响,但是与CSV相比,Feather在速度上的提高是显著的。
接下来,让我们比较读取时间——读取相同数据集的不同格式需要多长时间:
CSV又一次被完爆。和Feather相比,CSV的读取速度更慢,占用更多的磁盘空间,但具体是多少呢?
这就是下一个可视化的答案:
正如您所见,CSV文件占用的空间是Feather文件的两倍多。
如果您每天存储几个G的数据, 选择正确的文件格式是至关重要的。Feature在这方面完胜了CSV。如果你需要更多的压缩,你应该尝试Parquet。我发现这是迄今为止最好的格式。
总之,从to_csv()到to_feather(),从read_csv()到read_feather()可以节省大量时间和磁盘空间。考虑一下在下一个项目中试试Feather吧。
原文标题:
Stop Using CSVs for Storage — This File Format Is 150 Times Faster
原文链接:
https://towardsdatascience.com/stop-using-csvs-for-storage-this-file-format-is-150-times-faster-158bde
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/85172.html