CUDA programming 책

CUDA programming 책이네. CUDA 는 먼옛날 Caffe 사용할 때 일부는 C 로 일부는 CUDA 로 짜여져 있어서 잠깐 살펴볼 일만 있었음.

메인은 BLAS 인데 image 는 224x224 처럼 행렬이므로 이를 더했다 뻈다 하는 연산을 해주는 것. 원래 Atlas / OpenBlas / Mkl 등으로 했는데 CUDA 에서는 cuBLAS. 이를 neural network 에 쓰기 좋게 만든게 cuDNN. 여기에 상응하는 것을 intel 에서 자기들의 mkl 을 이용해서 mkldnn 을 만들고 이게 onednn 으로 현재까지 이어짐.

NVIDIA 가 AI 를 꽉잡고 있는 이유는 CUDA 와 CUDNN 등 소프트웨어적인 요소가 큼. 더 빠르다고 되는게 아니고 cudnn, cufft 등 여러 CUDA 산하의 library 로 만들어 놓은게 많아서 NVIDIA 것 아니면 다 새로 만들어야 함. 추가적으로 GPU driver 가 이제는 정말 복잡해졌는지, NVIDIA 것만 해도 이것저것 버그가 많았다. 새로 만든 것이 안정적으로 돌아가기를 기대하기 힘듬.

 

https://www.facebook.com/Bjpublic.co.kr/posts/pfbid023RPCbXjDSk9s5cCzGuVhAq7PP2y87n2ZxKw52gQwqhmpcRgRrHwUZ7HP7DAyXsQbl