Windows環境下的ELK及MongoDB的介接測試

本篇延續「於Windows環境下安裝ELK及其介接SQL Server測試」,使用MongoDB作為資料來源,使用Logstash服務驅動mongodb的連線,透過jdbc mongodb driver將MongoDB的資料加入至ElasticDB,並於Kibana上檢視。

MongoDB工具:Robo 3T

Logstash:7.5.1

Mongo JDBC:1.6

Mongo Java JDBC:3.11.2

...繼續閱讀 »

[MongoDB]使用ROBO 3T測試mongodb的CRUD存取-以學生成績表為例

於ROBO 3T的shell中使用js搭配mongodb語法,來分析學生的成績(國文、英文、數學、理化、社會),實作以下內容:

  • 亂數產生全班39個學生的成績
  • 全班各科的平均計算
  • 學生個別成績總和及平均
  • 各成績級距人數統計

Robo 3T工具的介紹,可點擊以下圖片連結

「robo 3T」的圖片搜尋結果"

...繼續閱讀 »

[MSSQL]搭配TempTable While vs Cursor分別做1,000,000資料逐筆新增的效能測試

  • 2939
  • 0
  • SQL
  • 2020-01-30

本範例刻意將很簡單的Insert into Select寫法,分別改成Temp Table While寫法(本文將其簡稱While寫法)與Cursor寫法,使用測試兩者的執行速度及效能。

兩者做的事情是一樣的:

  • 先於Employee資料表中產生1,000,000筆員工資料 (為了能明顯看出兩者效能差異)
  • Employee資料表(共4個欄位)中Sex = 'F' 的資料寫入Female資料表(共3個欄位)
...繼續閱讀 »

於Windows環境下安裝ELK及其介接SQL Server測試

本文是按照「使用 Elasticsearch 為 SQL Server 完成專案的純文字搜尋功能(一)- 安裝 ElasticSearch」所做的測試,

期望可透過Logstash服務來驅動JDBC,將資料儲存至Elasticsearch,並於Kibana站台上讀取SQL Server 資料表中的資料(DB Log)

ELK包的版本:

elasticsearch-7.4.2

kibana-7.4.2-windows-x86_64

sqljdbc_4.2

執行環境:WIN10、SQL SERVER 2014

本文不加以介紹ELK(可參考ELK介紹及架構),僅著重於安裝及操作設定。

...繼續閱讀 »

[Javascript]使用leaflet.js地圖來標記GPS位置、設定PopUp及繪製圖樣

  • 3037
  • 0

Leaflet.js是一套適用於各種平台的 JavaScript 輕量地圖繪製工具,可以呈現類似 Google 地圖的效果,跟Google地圖相比,其API及擴充套件更加豐富及美觀。由於目前要使用有效的Google Api key需付費,否則會直接在Google地圖上顯示開發用的浮水印,詳見「Google Maps API 開始收費了?解析 Google 地圖費用與規則!」。因此另尋免費又好用的地圖工具Leaflet.js來進行開發。

案例情境:本專案使用特定社區資料(社區名稱、GPS座標、地址、序號、標記顏色等),將其位置標記於leaflet地圖上。

...繼續閱讀 »

[R]使用ggplot2套件進行EXCEL資料分析繪製長條圖-以醫療機構與人員基本資料為例

案例情境:下載政府資料開放平台的「醫療機構與人員基本資料」,內為2019年全台灣醫療機構的清單,資料量約2萬2000多筆,用以模擬EXCEL的樞紐分析表,查出各縣市的醫療機構數量,並繪製成長條圖。

...繼續閱讀 »

[C#]使用Dapper工具測試執行帶有TVP型態參數的預存程序的資料寫入

  • 1711
  • 0
  • C#
  • 2019-11-11

本文延伸 [SQL]於預存程序中使用「使用者定義資料表類型」進行多筆資料新增,利用ORM套件Dapper來實作TVP(Table Value Parameters)參數的傳值並執行SQL命令。

範例說明:本範例的專案為主控台應用程式(Console Application),用來實作車輛資訊刪除、新增,並顯示查詢結果。

程式說明:

Program類別-程式執行的起點

CarBLL類別-業務邏輯層

CarDAL類別-資料存取層

...繼續閱讀 »

[SQL]於預存程序中使用「使用者定義資料表類型」進行多筆資料新增

  • 3026
  • 0
  • SQL
  • 2019-11-11

案例情境:當使用者於系統前端操作資料的新增時,資料會由WEB層進入AP層存取資料庫,來完成資料寫入的動作。單筆資料的新增,預存程序端可透過傳統的資料型別來接資料;但當前端資料來源為多筆資料時,傳統的做法會造成AP層至DB端的Connection次數過多,增加AP層存取資料庫的負荷量。因此可使用資料表類型的物件,將多筆資料以資料表的方式傳遞(TVP)給預存程序,來達到一次性的傳輸處理並回傳,減輕伺服器負擔。本範例為一個車輛資料表(CarType)的存取:透過預存程序SP_CAR_TYPE_INFO進行資料新增,其中輸入參數的型態為「使用者定義資料表類型」(DataInfo),於預存程序中進行逐筆資料的重複性檢查並寫入CarType資料表。

...繼續閱讀 »

[SQL]於預存程序中進行單筆及多筆交易資料的insert案例測試

案例情境:在開發實務上有時,需要使用呼叫預存程序A的方式來執行交易,當碰上多筆同時寫入的狀況,可以在設計一個新的預存程序B,來呼叫預存程序A,需考量例外拋回以及資料回復動作。本篇使用一個名為SP_Division的預存程序,來進行除法運算,並將結果寫入DivisionResult資料表,又設計另一個預存程序SP_Multi_Division來進行多筆的除法運算的處理。

...繼續閱讀 »

[R]讀取sav檔產生SPSS的KMO及Bartlett球形檢定

本文範例出處來自 俞洪亮等人(2012)「商管研究資料分析:SPSS的應用」,使用R語言來模擬SPSS報表產生的結果。

quality.sav檔內容為高鐵設施的意見調查(共175件樣本)、其問項因子有五:

  • 高鐵車站的動線標示清楚 (X1 )。
  •  高鐵車廂乾淨清潔 (X2 )。
  • 高鐵服務人員服裝賞心悅目 (X3 )。
  • 高鐵服務人員的態度輕切 (X4 )。
  • 乘坐高鐵非常舒適 (X5 )。 •

以李克特5點尺度為量度(5為非常滿意,1為非常不滿意)。

 

...繼續閱讀 »

[R]安裝Keras及Tensorflow套件進行功能測試

Keras為使用Python語言開發的神經網路套件,可透過各種資料集訓練開發者建立的深度學習模型,開發者操作API較容易上手,文件說明完整且方便查閱,但其缺點為容易於程式執行階段時,常產生成GPU記憶體溢位現象,也因此造成在存取資料集時,在使用大量內存的情況,使執行速度變得緩慢。其常用內建的資料集(DataSet)包含:(本文使用MNIST資料集進行測試)

  • CIFAR10:小型圖像
  • IMDB:電影評論分類
  • MNIST:手寫數字集
  • Fashion-MNIST:時尚品項資料
  • Boston:房價回歸資料

Tensorflow也是一套由Google發佈的的機器學習框架,使用python及C++語言開發而成,支援多種程式語言,業界主要用於文字、語音、圖片、影片等媒體媒體格式的辨識處理,本文就直接在R開發環境使用Tensorflow套件。

...繼續閱讀 »

使用Jenkins執行Visual Studio專案建置及單元測試

  • 988
  • 0
  • 2019-07-31

本文介紹可以透過CI工具Jenkins來執行原本可在Visaul Studio上執行的「建置方案」及「執行測試單元」兩項動作,未來當專案程式規模擴大,有助於在部署前簡化DevOps的工作。

※前置作業須完成:

1.Jenkins安裝(參考:https://dotblogs.com.tw/echo/2018/03/14/jenkins_installation_windows_newjob)

2.自行準備欲進行單元測試的Visual Studio的主專案(本文是使用VS2017開發)

...繼續閱讀 »