前言 GitHub 官方在 2020 年 7 月宣布從 2021 年 8 月 13 起必須透過 token 機制進行 Git 的相關操作。這意味著從即刻起使用者使用終端機進行 Git 操作無法再透過帳號密碼的方式進行存取。基於資安考量此種方式的確可以見少帳密被竊取問題，相對的使用者必須花些時間進行設定。
Decoder Decoder 最常見有兩種，首先我們先來看 Autoregressive 的 Decoder。以下以語音辨識做範例，所謂的語音辨識就是輸入一段聲音輸出一串文字。首先輸入語音訊號進入 Encoder 後，輸出是一排向量。接下來就進入 Decoder 運作，Decoder 的任務就是產生輸出。Decoder 該如何產生文字呢？首先給予一個開始的符號(Begin, BOS) 並用 one-hot 來表示起始字元。接著 Decoder 吃到起始符號後會吐出一個向量，他的長度跟你的詞彙長度是一樣的，也就是所謂字典數量。然後每一個中文字會對應到一個數值，因為有通過 softmax 因此輸出的向量加總等於一，同時代表每個字詞的機率。因此分數最高的那個字就是最終的輸出，以下範例第一個輸出為機。接下來再把機當作是 Decoder 新的輸入，此時將會有兩個輸入一個是起始符號以及機。再來就會根據這兩個輸入，得到一個輸出向量以此類推。
前言 Transformer 跟 Bert 很有關係，他是用來處理自然語言的模型。簡單來說 Transformer 就是一個 Seq2seq 的模型。輸入是一個 sequence，輸出是一個未知的長度 sequence 由機器自行判斷。常見的例子有:
前言 Transformer 完全基於 Attention 注意力機制的架構。Attention 原先是被應用在 RNN，之後 Google 所提出的 Transformer 保留了原先 Attention 的優勢並移除了 RNN 的架構。Transformer 是一個蠻新的模型，最先由 2017 年被 Google 所提出一篇叫 Attention is all you need 的論文。
前言 此篇論文 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 獲得了 AAAI 2021 的最佳論文。其背景主要是解決長序列預測的問題，以實際的電力變壓器數據進行未來長時間的連續預測。長序列預測通常具有大量的歷史數據，隨著 LSTM 模型預測的輸出越長其運算速度將會越慢且錯誤越大。導致在有限的資源運算下會有比較有長時間的預測。因此本篇論文基於 self-attention 的優點，並改善 Attention 架構所面臨的三大瓶頸並提出了 Informer 模型。
前言 交叉驗證又稱為樣本外測試，是資料科學中重要的一環。透過資料間的重複採樣過程，用於評估機器學習模型並驗證模型對獨立測試數據集的泛化能力。在本文中我們細部來介紹每一種 K-Fold 的變型。
前言 在解釋交叉驗證之前我們先來討論一下將資料集切分為訓練集、測試集和驗證集的問題。在一般狀況下我們會將資料先切割成兩等份，分別為訓練集和測試集。其中在模型訓練時，模型只會對訓練集進行擬和。另外測試集的資料並未參與訓練，因此可以拿來當作最終評估模型的好壞。
前言 筆者最近有個專案使用 PyTorch 搭建自定義網路訓練模型，但最近業主想要模型在網頁上推論。這裡提供常見兩種做法:
第15屆iT邦幫忙鐵人賽 AI & Data 組 [佳作]
第13屆iT邦幫忙鐵人賽 AI & Data 組
第12屆iT邦幫忙鐵人賽 影片教學組 [優選]