Python/Numpy 性能优化

栏目: Python · 发布时间: 7年前

内容简介:将 Python 翻译成 c/c++ 再编译执行。比原生 Python 快 1.5 倍左右。比原生 Python 快 10 倍左右。

Cython

Python 翻译成 c/c++ 再编译执行。

比原生 Python 快 1.5 倍左右。

Numpy

比原生 Python 快 10 倍左右。

numexpr

import numpy as np
import numexpr as ne
N = 10 ** 5
a = np.random.uniform(-1, 1, N)
b = np.random.uniform(-1, 1, N)
ne.evaluate('a ** 2 + b ** 2')

比 Numpy 快 2 到 10 倍。

多线程与多进程并发

concurrent.futures.ThreadPoolExecutor(cpu_count)
# 或者
concurrent.futures.ProcessPoolExecutor(cpu_count)

CuPy

使用 CUDA 计算,直接将 numpy 替换成 cupy。

比原生 Python 快 250 倍左右。

多显卡

使用 cupy.cuda.Device(cuda_index) 切换显卡设备:

with cupy.cuda.Device(1):
    x_on_gpu1 = cupy.array([1, 2, 3, 4, 5])

这里 x_on_gpu1 将在 GPU 1 上分配。

使用 Chainer 简化主存/显存切换

本小节内容摘自在Chainer中使用GPU,更多详细信息请参考原文。

Chainer将CuPy的默认分配器更改为内存池,因此用户可以直接使用CuPy的功能而不需要处理内存分配器。

Chainer提供了一些方便的功能来自动切换和选择设备。例如,chainer.cuda.to_gpu()函数将numpy.ndarray对象复制到指定的设备:

x_cpu = np.ones((5, 4, 3), dtype=np.float32)
x_gpu = cuda.to_gpu(x_cpu, device=1)

它相当于使用CuPy的以下代码:

x_cpu = np.ones((5, 4, 3), dtype=np.float32)
with cupy.cuda.Device(1):
    x_gpu = cupy.array(x_cpu)

更多并发骚操作,参考 Python并行编程

Over


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Twitter Power

Twitter Power

Joel Comm / Wiley / 2009-02-17 / USD 24.95

"Arguably, one of the best tomes...Twitter Power is jam-packed with clever ways to start and dominate a marketplace." (Brandopia.typepad.com, March 23rd 2009) “For months I......一起来看看 《Twitter Power》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具