前言 在AI模型的部署中，如何高效地編譯與優化模型以便在不同硬體上進行推理是近年來熱門的話題。尤其是如何將神經網路模型利用 GPU、NPU、TPU 等加速器高效運算。其中 ONNX-MLIR 和 TVM 是兩個在此領域備受矚目的工具，儘管它們有一些相似之處，但在設計目標、應用場景和優化能力上也存在顯著差異。本篇文章將深入比較 ONNX-MLIR 和 TVM，幫助讀者更好地理解它們的特性及應用場景。
前言 隨著深度學習模型的應用日益普及，如何有效地在資源受限的設備上運行這些模型成為了一個重要的課題。ONNX（Open Neural Network Exchange）作為一種開源的神經網絡模型交換格式，逐漸被廣泛採用，其標準化的格式使得各類深度學習框架能夠互相兼容與共享。然而，儘管 ONNX Runtime 提供了一個相對簡便的方法來部署 ONNX 模型，其體積和運行時依賴性可能對某些運算資源有限的硬體系統造成挑戰。
前言 隨著人工智慧（AI）技術的迅速發展，AI 模型的應用場景越來越多樣化，這也導致對硬體性能和計算效率的需求日益增加。在這樣的背景下，AI 編譯器的概念逐漸受到重視。AI 編譯器的出現，為如何更有效率地運行 AI 模型提供了一種嶄新的解決方案。本篇文章將帶您了解 AI 編譯器的基本原理與設計，並探討其重要性以及與傳統編譯器的不同之處。
前言 本文將詳細介紹如何在樹莓派上使用 C++ 實現共享記憶體的讀寫，並透過 Node.js 從共享記憶體中讀取數據，實現跨語言、跨進程的數據交互。我們將利用 POSIX 共享記憶體（shm_open 和 mmap）來實現進程間通訊，並使用 Node.js 的 ffi-napi 和 ref-napi 模組呼叫 C 標準庫函數，從共享記憶體中讀取數據。
前言 在軟體開發流程中，利用 GitLab CI/CD 的自動化 Pipeline，可以大幅提高編譯與發布的效率。本篇文章將介紹如何針對 C++ 專案設置 .gitlab-ci.yml 文件，以實現多平台自動化編譯與發布。我們將展示五種情境，包含：
Get Started Quickly with Cloud GPU Computing and Build Your Own AI Services! With the recent surge in artificial intelligence, especially the popularity of large language models (LLMs), the demand for computational resources has skyrocketed. For many people interested in entering the AI field, one major hurdle is the costly and challenging task of acquiring and managing GPU resources. Building your own high-performance GPU workstation involves significant upfront costs and hidden expenses, including ongoing maintenance, electricity costs, and data center management.
前言 當進行 CI/CD 流程自動化時，許多人會選擇使用 Jenkins 來執行測試任務，而 GitLab 則作為程式碼版本控制系統及 CI/CD Pipeline 平台。本文將詳細介紹如何設置一個流程，使得 GitLab 的 Push 事件觸發 Jenkins 執行單元測試，並在測試成功後，由 Jenkins 進一步觸發 GitLab 的 Pipeline。
前言 在軟體開發過程中，經常需要不斷進行測試和程式更新。然而，面對需求變更甚至新功能的開發，如何讓工程師能夠更專注於「coding」，並節省測試和人工部署的時間呢？因此，近年來軟體業界提出了「CI / CD」的概念，透過自動化的方式來減少開發過程中的成本，降低人工操作的負擔。本篇文章將介紹如何使用「GitLab-CI」作為自動化工具，並撰寫 GitLab-CI 腳本，在每次 Push Commit 時觸發 CI 事件，實現網頁服務的自動建置與部署。