前言 在程式開發的時候往往希望有良好的排版，開發者也看得舒服。慶幸的是 VSCode 編輯器有提供不錯的一鍵排版功能就是 Prettier - Code formatter。由於筆者是撰寫 Node.js 以 JavaScript 為基底的後端語言，通常搭配 ESLint 來檢視程式風格。最近發現一鍵調整排版後出現一些破壞原先設定風格的內容，例如原本的單引號(‘)自動變成雙引號(“)、或是物件型態的變數內容尾段都會自動補上逗號(,)。以下文章就教導各位如何關閉這些設定吧。
前言 當你的 TensorFlow 程式使用 GPU 訓練模型。程式執行期間若開啟其他含有 GPU 存取的程式將會發生下面錯誤訊息：
前言 如果在雲端伺服器開發的時候，並無提供 GUI 介面來播放各種類型影片。僅有一個 Jupyter Lab 的視窗。如果要查看影片的時候通常都要將影片下載下來至本機中播放實在是非常的麻煩。因此本文將介紹幾個方法，使用者可以直接使用 Ipython notebook 當作播放影片的媒介。
前言 GitHub 官方在 2020 年 7 月宣布從 2021 年 8 月 13 起必須透過 token 機制進行 Git 的相關操作。這意味著從即刻起使用者使用終端機進行 Git 操作無法再透過帳號密碼的方式進行存取。基於資安考量此種方式的確可以見少帳密被竊取問題，相對的使用者必須花些時間進行設定。
Decoder Decoder 最常見有兩種，首先我們先來看 Autoregressive 的 Decoder。以下以語音辨識做範例，所謂的語音辨識就是輸入一段聲音輸出一串文字。首先輸入語音訊號進入 Encoder 後，輸出是一排向量。接下來就進入 Decoder 運作，Decoder 的任務就是產生輸出。Decoder 該如何產生文字呢？首先給予一個開始的符號(Begin, BOS) 並用 one-hot 來表示起始字元。接著 Decoder 吃到起始符號後會吐出一個向量，他的長度跟你的詞彙長度是一樣的，也就是所謂字典數量。然後每一個中文字會對應到一個數值，因為有通過 softmax 因此輸出的向量加總等於一，同時代表每個字詞的機率。因此分數最高的那個字就是最終的輸出，以下範例第一個輸出為機。接下來再把機當作是 Decoder 新的輸入，此時將會有兩個輸入一個是起始符號以及機。再來就會根據這兩個輸入，得到一個輸出向量以此類推。
前言 Transformer 跟 Bert 很有關係，他是用來處理自然語言的模型。簡單來說 Transformer 就是一個 Seq2seq 的模型。輸入是一個 sequence，輸出是一個未知的長度 sequence 由機器自行判斷。常見的例子有:
前言 Transformer 完全基於 Attention 注意力機制的架構。Attention 原先是被應用在 RNN，之後 Google 所提出的 Transformer 保留了原先 Attention 的優勢並移除了 RNN 的架構。Transformer 是一個蠻新的模型，最先由 2017 年被 Google 所提出一篇叫 Attention is all you need 的論文。
前言 此篇論文 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 獲得了 AAAI 2021 的最佳論文。其背景主要是解決長序列預測的問題，以實際的電力變壓器數據進行未來長時間的連續預測。長序列預測通常具有大量的歷史數據，隨著 LSTM 模型預測的輸出越長其運算速度將會越慢且錯誤越大。導致在有限的資源運算下會有比較有長時間的預測。因此本篇論文基於 self-attention 的優點，並改善 Attention 架構所面臨的三大瓶頸並提出了 Informer 模型。