Cuda Streams的概述（二）


Cuda Streams

Streams介绍：

  • 流可以看成是在设备上work的一个队列，host端将work加入队列，然后继续添加。设备在资源free时，开始调度streams里面的work。
  • CUDA的操作也是在流里面，比如Kernel的启动，内存的拷贝。
  • 在同一个流里面的操作是有序的（FIFO），不可以重叠了。
  • 在不同的流里面的操作是无序的，可以重叠。

Streams基本操作：

1
2
3
cudaStream_t stream; //声明一个stream
cudaStreamCreate(&stream); //分配stream
cudaStreamDestroy(stream); //取消分配的stream，在stream中的work完成后同步host端。

在Kernel中插入stream

1
kernel<<< blocks , threads, smem, stream>>>();

在一些API中插入stream

1
cudaMemcpyAsync( dst, src, size, dir, stream);

DEFAULT STREAM

除非是特别指定了stream，所有的调用都放在默认流里。这个默认流通常指的是“Strewam 0”。
Stream 0有特殊的同步规则：

  • 所有的流一起同步，在stream 0中的操作不能和其他的流中操作重叠。

设置非阻塞标志的stream：

1
cudaStreamCreateWithFlags(&stream,cudaStreamNonBlocking) //用于使并发不受人为控制（如MPI）

Kernel并发

  • 假设foo利用50%的GPU。
1
2
3
//默认stream
foo<<<blocks,threads>>>();
foo<<<blocks,threads>>>();

在这里插入图片描述

1
2
3
4
5
6
//默认流和用户自己的设置stream
cudaStream_t stream1;
cudaStreamCreate(&stream1);
foo<<<blocks,threads>>>();
foo<<<blocks,threads,0,stream1>>>();
cudaStreamDestroy(stream1);

在这里插入图片描述

1
2
3
4
5
6
//默认和用户自己设置stream(使用cudaStreamCreateWithFlags)
cudaStream_t stream1;
cudaStreamCreateWithFlags (&stream1,cudaStreamNonBlocking);
foo<<<blocks,threads>>>();
foo<<<blocks,threads,0,stream1>>>();
cudaStreamDestroy(stream1);

在这里插入图片描述

1
2
3
4
5
6
7
8
//用户自己设置stream
cudaStream_t stream1, stream2;
cudaStreamCreate(&stream1);
cudaStreamCreate(&stream2);
foo<<<blocks,threads,0,stream1>>>();
foo<<<blocks,threads,0,stream2>>>();
cudaStreamDestroy(stream1);
cudaStreamDestroy(stream2);

在这里插入图片描述

回顾

  • 主机端和kenel启动是自动异步的。
  • 使用stream来控制异步：
    • 在一个stream里是有序的（FIFO）
    • 和其他stream是无序的
    • 默认stream和所有的stream同步。