什么是Python中的Dask，它如何扶植你进行数据分析？
发布时间：2021-06-04 20:16:36 所属栏目：大数据 来源：互联网
导读：什么是Dask Dask是一个开源项目，它允许开发者与scikit-learn、pandas和NumPy合作开发他们的软件。它是一个非常通用的工具，可以处理各种工作负载。 这个工具包括两个重要的部分;动态任务调度和大数据收集。前面的部分与Luigi、芹菜和气流非常相似，但它是专
|
什么是Dask
Dask是一个开源项目，它允许开发者与scikit-learn、pandas和NumPy合作开发他们的软件。它是一个非常通用的工具，可以处理各种工作负载。
这个工具包括两个重要的部分;动态任务调度和大数据收集。前面的部分与Luigi、芹菜和气流非常相似，但它是专门为交互式计算工作负载优化的。
后一部分包括数据帧、并行数组和扩展到流行接口(如pandas和NumPy)的列表。
事实上，Dask的创建者Matthew Rocklin先生确认Dask最初是为了并行化Pandas和NumPy而创建的，尽管它现在提供了比一般的并行系统更多的好处。
Dask的数据帧非常适合用于缩放pandas工作流和启用时间序列的应用程序。此外，Dask阵列还为生物医学应用和机器学习算法提供多维数据分析。
可扩展性
Dask如此受欢迎的原因是它使Python中的分析具有可扩展性。
这个工具的神奇之处在于它只需要最少的代码更改。该工具在具有1000多个核的弹性集群上运行!此外，您可以在处理数据的同时并行运行此代码，这将简化为更少的执行时间和等待时间!
什么是Python中的Dask，它如何帮助你进行数据分析？
该工具完全能够将复杂的计算计算调度、构建甚至优化为图形。这就是为什么运行在10tb上的公司可以选择这个工具作为首选的原因。
Dask还允许您为数据数组构建管道，稍后可以将其传输到相关的计算资源。总之，这个工具不仅仅是一个并行版本的pandas。
如何工作
现在我们已经理解了Dask的基本概念，让我们看一个示例代码来进一步理解：
import dask.array as da
f = h5py.File('myfile.hdf5')
x = da.from_array(f['/big-data'],
chunks=(1000, 1000))
对于那些熟悉数据帧和数组的人来说，这几乎就是你放置数据的地方。
在本例中，您已经将数据放入了Dask版本中，您可以利用Dask提供的分发特性来运行与使用pandas类似的功能。
 （编辑：阿坝站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
