[SQL Server][Machine Learning]建模時發生記憶體不足(failure to allocate requested memory)

2017-11-12

1742
0
R Language

最近想把某個問題的答題方式從線性迴歸改用決策樹演算法，使用sp_execute_external_script呼叫revoscaler下的rxDTree演算法建模時，出現了外部指令碼錯誤 : failure to allocate requested memory訊息，相同的資料量，線性模型rxFastLinear卻可以處理，筆記偵錯之路。

錯誤訊息

觀察錯誤訊息，毫無懸念的是記憶體不足，之前還在SQL 2016 CTP階段時，曾透過修改SQL Bin目錄下的組態檔案rlauncher.config (MEMORY_LIMIT_PERCENT=20)，但這次組態檔找不到這組參數可以修改，硬加上組態後反而影響Launchpad.exe運作。

執行rxDTree時，R引擎已經載入9,656,993筆資料了

呼叫rxDTree建模時出現以下錯誤訊息

SQL Server與R執行的架構圖

https://docs.microsoft.com/zh-tw/sql/advanced-analytics/r/new-components-in-sql-server-to-support-r

這次出問題的是BxlServer.exe(Microsoft R Server engine)，在步驟4-6。。

其他偵錯資訊

同一個環境，改成輸入少量的100筆資料，很快就把模型建好了: rxDTree使用的參數或是語法沒問題

同一個環境，Microsoftml中的線性迴歸(rxFastLinear)也正常: 這個資料量看起來記憶體應該夠。

但訊息依舊顯示failure to allocate requested memory，除了假設水星逆行，只能先假設記憶體不足，從SQL Server端檢查記憶體開始。

檢查伺服器設定:

伺服器組態: 沒限制

Rlauncher.config也沒有限制

兩個都沒限制，難道碰巧剛剛執行時記憶體真的不夠?(傷腦筋)

觀察執行rxDTree時，Mircosoft R Server Engine吃到10GB左右就Abend

明明還有記憶體

資源管理員(Resource Governor)

得想個辦法讓Launchpad.exe可以吃好吃滿記憶體，很快很快，閱讀了stackoverflow的討論，找到要設定資源管理員(Resource Governor)的解答:

就像SQL 2016 CTP的限制，外部資源只能使用20%記憶體，只是之前設定在組態檔案，現在整合進資源管理員了。

看看SQL2014(還沒有外部資源管理)

管理 > 資源管理員 > 資源集區 > Default

右鍵屬性

再看看SQL2016，果然多了外部資源集區

管理 > 資源管理員 > 資源集區 > Default

最大記憶體限制是20%，的確剛剛看到跑到這台機器的20%記憶體量(10-12GB)左右發生Abend!

設定資源管理員(Resource Governor)-外部資源使用

USE [master]
GO

/****** Object:  ExternalResourcePool [default]    Script Date: 2017/11/11 下午 03:07:01 ******/
ALTER EXTERNAL RESOURCE POOL [default] WITH (
AFFINITY CPU = AUTO
, MAX_MEMORY_PERCENT = 80
)
GO

ALTER  RESOURCE GOVERNOR RECONFIGURE

指令執行後:資源管理員啟用