1. [論文導讀] Informer: 基於長時間序列預測的Transformer架構模型

    前言 此篇論文 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 獲得了 AAAI 2021 的最佳論文。其背景主要是解決長序列預測的問題,以實際的電力變壓器數據進行未來長時間的連續預測。長序列預測通常具有大量的歷史數據,隨著 LSTM 模型預測的輸出越長其運算速度將會越慢且錯誤越大。導致在有限的資源運算下會有比較有長時間的預測。因此本篇論文基於 self-attention 的優點,並改善 Attention 架構所面臨的三大瓶頸並提出了 Informer 模型。

    2021/07/24 AI

  2. [機器學習] 交叉驗證 K-fold Cross-Validation

    前言 交叉驗證又稱為樣本外測試,是資料科學中重要的一環。透過資料間的重複採樣過程,用於評估機器學習模型並驗證模型對獨立測試數據集的泛化能力。在本文中我們細部來介紹每一種 K-Fold 的變型。

    2021/07/09 AI

  3. [機器學習] 交叉驗證 Cross-Validation 簡介

    前言 在解釋交叉驗證之前我們先來討論一下將資料集切分為訓練集、測試集和驗證集的問題。在一般狀況下我們會將資料先切割成兩等份,分別為訓練集和測試集。其中在模型訓練時,模型只會對訓練集進行擬和。另外測試集的資料並未參與訓練,因此可以拿來當作最終評估模型的好壞。

    2021/07/08 AI

  4. CatBoost: 機器學習 boosting 神器介紹

    前言 近日在 Kaggle 打比賽偶然看見有人使用 CatBoost 方法取得不錯的成績,於是就來撰寫文章順便來瞧瞧它與其他 boosting 演算法不同之處。其中最特別的地方是 CatBoost 能夠處理非數值型態的資料,也就是説無需對數據特徵進行任何的預處理就可以將類別轉換爲數字。CatBoost 採用決策樹梯度提升方法並宣稱在效能上比 XGBoost 和 LightGBM 更加優化,同時支援 CPU 和 GPU 運算。與其他 boosting 方法相比 CatBoost 是一種相對較新的開源機器學習算法。該演算法是由一間俄羅斯的公司 Yandex 於 2017 年所提出,同時在 arxiv 有一篇 CatBoost: unbiased boosting with categorical features 的論文,文中作者有說明 CatBoost 的方法與優點。

    2021/07/06 AI

  5. Python TensorFlow2 儲存自定義 Graph 模型並轉成 tfjs

    前言 筆者最近有個專案使用 PyTorch 搭建自定義網路訓練模型,但最近業主想要模型在網頁上推論。這裡提供常見兩種做法:

    2021/06/07 AI

  6. [Python 新手村] 進階用法整理

    前言

    2021/05/29 Python

  7. Python range() 函數介紹

    前言 如果你需要 For 迴圈疊代一個數列的話,使用內建 range() 函式就很方便。如果需要建立一個有序的數列(ex: 1, 2, 3…)。就不適合用內建 range() 函式。那兩者關係為何?本篇文章就會帶給你一些對於 range 的基礎觀念。

    2021/05/28 Python

  8. [CSS學習筆記] flex-direction 排列方法

    前言 Flex 可以將內容物的所有元素並排成一列,使用時機是在父元素加上 display: flex;。接著內元件的排版就會以 X 軸方向由左至右排列,如果我們想將內容排序方式顛倒變成由右至左,或是由上往下,都可以透過 flex-direction 來設定。

    2021/05/27 CSS