分享最新新版本的英偉達NVIDIA CUDA驅動同步載，CUDA是NVIDIA發明了一種并行計算平臺和編程模型。通過利用圖形處理單元（GPU）的功能，可以顯著提高計算性能。歡迎下載體驗。

 CUDA™是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。 它包含了CUDA指令集架構(ISA)以及GPU內部的并行計算引擎。 開發人員現在可以使用C語言來為CUDA™架構編寫程序，C語言是應用最廣泛的一種高級編程語言。所編寫出的程序于是就可以在支持CUDA™的處理器上以超高性能運行。CUDA3.0已經開始支持C++和FORTRAN。

NVIDIA CUDA驅動基本簡介

CUDA的開發考慮了幾個設計目標：

提供對標準編程語言（例如C）的一小部分擴展，這些擴展可實現并行算法的直接實現。使用CUDA C / C ++，程序員可以專注于算法的并行化任務，而不必花時間在其實現上。

在應用程序同時使用CPU和GPU的情況下支持異構計算。應用程序的串行部分在CPU上運行，并行部分被卸載到GPU。這樣，CUDA可以增量地應用于現有應用程序。CPU和GPU被視為具有各自內存空間的單獨設備。此配置還允許在CPU和GPU上同時進行計算，而不會爭用內存資源。

具有CUDA功能的GPU具有數百個內核，這些內核可以共同運行數千個計算線程。這些內核具有共享資源，包括寄存器文件和共享內存。片上共享內存允許在這些內核上運行的并行任務共享數據，而無需通過系統內存總線發送數據。

NVIDIA CUDA驅動使用方法

評估
對于現有項目，第一步是評估應用程序，以找到負責大部分執行時間的代碼部分。有了這些知識，開發人員可以平行評估這些瓶頸，并開始研究GPU加速。
開發人員可以通過了解最終用戶的要求和約束，并應用阿姆達爾定律和古斯塔夫森定律來確定性能改進的上限。
平行化
開發人員在確定熱點并完成設定目標和期望的基本實踐后，需要并行處理代碼。根據原始代碼，它可以像調用現有的GPU優化庫一樣簡單，如立方玻璃、傅立葉變換、推力或向并行編譯器添加一些預處理器指令。
另一方面，一些應用程序的設計需要進行一些重構，以暴露其固有的并行性。CUDA并行編程語言家族(CUDAC++、CUDAFortran等)旨在盡可能簡單地表達這種并行性，因為甚至CPU架構也需要公開并行性來提高或簡單地維護順序應用程序的性能。同時，在支持CUDA的GPU上啟用這些GPU設計，以實現最大并行吞吐量。
優化
在完成每一輪應用程序并行化后，開發人員可以開始優化以提高性能。充分了解應用程序的需求可以幫助使過程盡可能順利，因為可以考慮許多可能的優化。然而，像整個應用程序OD一樣，程序優化是一個重復的過程（確定優化機會、應用程序和測試優化，驗證實現的加速和重復），這意味著程序員在看到良好的加速效果之前不需要花很多時間來記住所有可能的優化策略。相反，它們可以在學習策略時逐漸應用。
從重疊數據傳輸到計算再到微調浮點計算序列，優化可應用于各級。可用的概要分析工具對指導這一過程非常有用，因為它們可以幫助建議開發人員優化工作的最佳方案，并為指南優化部分的相關部分提供參考。
部署
在完成應用程序中一個或多個組件的GPU加速后，結果可以與原始預期進行比較。回顧過去，初始評估步驟允許開發人員通過加速給定的熱點來確定潛在加速的上限。
在解決其他熱點以提高整體速度之前，開發人員應考慮并行實現，并將其付諸實踐。這是非常重要的，有很多原因；例如，它允許用戶盡快從他們的投資中獲利（加速可能是部分的，但仍然有價值），并通過向開發人員提供一組漸進的變化，而不是革命性的變化，將開發人員和用戶的風險降到最低。應用程序。

NVIDIA CUDA驅動軟件組成

GPU加速庫

CUDA-X庫

IndeX框架（IndeX）

語言解決方案

OpenACC編譯器指令

NVIDIA CUDA C / C ++編譯器（NVCC）

參考資料

CUDA C / C ++代碼示例

CUDA文檔

開發工具

NVTAGS

DIGITS深度學習培訓系統

Nsight集成開發環境

可視分析器

CUDA-GDB命令行調試器

CUDA-MEMCHECK內存分析儀
 

CUDA工具包官方介紹：

開發、優化和部署經 GPU 加速的應用
NVIDIA® CUDA® 工具包提供了開發環境，可供創建經 GPU 加速的高性能應用。借助 CUDA 工具包，您可以在經 GPU 加速的嵌入式系統、臺式工作站、企業數據中心、基于云的平臺和 HPC 超級計算機中開發、優化和部署應用。此工具包中包含多個 GPU 加速庫、多種調試和優化工具、一個 C/C++ 編譯器以及一個用于在主要架構（包括 x86、Arm 和 POWER）上構建和部署應用的運行時庫。

借助多 GPU 配置中用于分布式計算的多項內置功能，科學家和研究人員能夠開發出可從單個 GPU 工作站擴展到配置數千個 GPU 的云端設施的應用。