Azure OpenAI Service 12 - GPT-4 Turbo with Vision 簡介及增強模式實做

OpenAI 在上個月 DevDay 上 公布了新的模型 GPT-4 Turbo with Vision,它可以讓 GPT4 模型可以認得圖片,可以讓 GPT-4 的應用場景又變的更多元了,而微軟也在本週也把此模型上到 Azure 上了,而且可以搭配 Azure AI Vision (Azure Computer Vision) 達成辨識影片的功能,後面就來介紹實際建置要注意的點和測試的結果。

...繼續閱讀 »

透過條件式存取設定 Windows 365 Cloud PC 限制 IP 存取

  • 164
  • 0

最近在評估和測試微軟推出的 Windows 365 Cloud PC,它可以快速的為企業建置雲端電腦,且也可以方便的管理,公司有授權的員工就可以在何時何地連上去處理工作,對於會需要再外面跑業務或是 WFH 的員工只需要有電腦就可以連上去,這時候要特別注意的當然就是安全性,必須適當的限制,不然何時何地跟不限機器都可以連上也等於開很大一個洞在那邊等人家連,這時候就可以透過條件式存取來設定,而本文要介紹的就是針對 IP 來限制存取,只有指定的 IP 才可以連的上。

...繼續閱讀 »

Azure OpenAI Service 10 - 使用 BetterChatGPT 在 Azure 部署私有的 ChatGPT 站台

OpenAI 有提供獨立的 ChatGPT 服務,那如果我們想要使用 Azure OpenAI Service ,又想要有類似 ChatGPT 一樣的站台,這時候就可以用 BetterChatGPT 這一個開源的 UI來架設自己的 ChatGPT 站台,並且使用自己的 ChatGPT 模型來執行,雖然也是可以直接用已架設好的服務直接使用,但是透過 App Service 架設自己的站台,還可以加上一些驗證或是防火牆設定等,才可以達到我們要的私有站台,後面就來說明如何建構自己的私有站台囉!

...繼續閱讀 »

[筆記] 實做 BearerTokenCredential 來用 Token 建立 DefaultAzureCredential

  • 111
  • 0

在之前文章「App Service 實做身份識別存取 KeyVault (二)」有針對 DefaultAzureCredential 做介紹,最近遇到一個情境是我已經用其他方式取得了 AccessToken,想直接轉成驗證的類別,但是內建的實做卻沒有一個是單純用 Token 來建立 AzureCredential,剛好有找到解法,就做一下記錄,避免之後還會用到。

...繼續閱讀 »

在 ASP.Net Core Web Api 新增版本管理

  • 489
  • 0

現在開發上習慣 Api First,久了之後難免會修改原本的 Api 方法或是推出新的版本,這時候如果要維持方法的名稱一樣,透過傳入版號來決定要執行的版本,目前常見的方式是網址會帶版號 (ex: /api/v1/sample) 或是在 Query String 加上版號參數 (ex: /api/sample?v=1.0),而這些要如何實做,找了一下發現到一個方便的套件,可以很快速的完成這一個需求,後面就來簡單介紹一下這個套件的用法。

...繼續閱讀 »

Azure OpenAI Service 09 - Function Calling 介紹和實做串接

OpenAI 在前陣子公布了新的模型版本 (gpt-4-0613gpt-3.5-turbo-0613 ) 以及新增了 Function Calling 的功能,Function Calling 這個功能可以讓我們預先定義好函示名稱和回傳的參數結果,模型會判斷聊天內容是否符合設定的函示,是的話就會把聊天內容取出函示所需要的參數並且回傳 Json 格式的資料,方便我們接收到之後可以給函示來處理,使用 Function Calling 的好處在於不需要針對每個對話的提示詞多加上說明要回傳的格式,也只會回傳 Json 格式的結果,不會包含多於文字,變成我們要另外處理才可以正確取出要的 Json 內容,如此一來我們寫聊天機器人或是外掛程式的時候就不用針對使用的傳的訊息預先判斷再加上特定提示詞來保證回傳結果,可以完全透過模型的判斷即可。而 Azure OpenAI Service 雖然沒第一時間就支援,但是也在稍晚也推出新版的模型,後面就來說明要如何實做以及測試的結果。

...繼續閱讀 »

Azure OpenAI Service 07 - 在 Azure OpenAI 使用自己的資料集

上個月 OpenAI 宣布了 ChatGPT 支援外掛,因此讓 ChatGPT 可以瀏覽網頁或是使用不同的資料來源來加強回應的結果,而在前幾天微軟也在 Azure OpenAI Service 上推出了新的功能,讓我們可以使用自己的資料集,背後就是透過 Azure 認知搜尋 (Azure Cognitive Search) 這一個服務,它可以針對我們的資料來源做索引,然後提供搜尋的服務,因此我們可以做出自己的知識庫之後,提供給 Azure OpenAI Service 使用,讓回覆的結果更精確。

...繼續閱讀 »

Azure 成本管理 05 - 使用 Azure Advisor 來察看成本相關建議

前面介紹過使用 Cost Management 這服務來察看服務費用和分析,也陸續針對常見的服務分別介紹了定價層和如何選擇以及和成本相關的注意事項,再來就要介紹一個免費的服務 Azure Advisor,它會針對所有 Azure 資源做健檢並給出評分,健檢的內容包含了成本、安全性、可靠性、效能等項目,而其中成本的項目會幫我們分析服務的使用並給出合適的建議和調整。

...繼續閱讀 »

Azure 成本管理 04 - Virtual Machine 費用解析和選擇定價層

在雲端上最多人使用的服務應該就是  VM 了,初期將服務上雲,最簡單的方式還是把現有地端環境的 VM 複製備份到雲端是最快速的方式了,加上避免大幅度調整程式配合雲端 Paas 服務,大部分人還是會選擇使用 VM,所以本篇文章來介紹 VM 的費用解析和如何挑選合適的機器。

...繼續閱讀 »

Azure OpenAI Service 06 - Open AI 費用說明和計算

OpenAI 可以讓我們很方便快速的串接跟做出一些相關的應用,用使用的很開心之餘,還是要面對一下費用,不然一不小心可能就讓費用超出預算太多了,比如前陣子一個熱門的專案 Auto-GPT 只需要給它初始的目標,它就會自動的對話然後產生出結果,因為它會自動的一直呼叫 API 來產生最後的結果,所以可能一次的結果就呼叫了很多次的 API 導致產生的費用超出想像,所以還是瞭解一下計算方式以及費用,就比較容易在成本和預算的考量下挑選出最適合的模型。

...繼續閱讀 »

Azure OpenAI Service 05 - 透過 Azure OpenAI client library for .NET 實做串接 OpenAI Api

雖然微軟或 OpenAI 都有提供 PlayGround 可以方便我們測試 OpenAI ,但是最後還是得串接 API 來客制化或整合 OpenAI 到現有程式或產品中,一開始在常識的過程都只能直接呼叫 REST API 或是只有 Python 套件,身為懶惰的開發人員當然不想自己包套件去呼叫 REST Api,最近在找資料過程發現微軟也終於推出 prerelease 版的 SDK 套件 Azure OpenAI client library for .NET,雖然還在 Preview 階段,但是還是記錄一下使用的經驗

...繼續閱讀 »

Azure OpenAI Service 04 - 使用 Azure OpenAI Studio 來測試模型部署

前面介紹了如何申請和建立服務以及建立模型的部署,都完成之後,我們就可以正式的來使用 OpenAI 了,本文將會透過 Azure OpenAI Studio 來測試我們建立的模型部署,Azure OpenAI Studio 是微軟針對 OpenAI 提供的 GUI 介面,讓我們可以方便快速的測試和使用 OpenAI,在測試完成之後後續可以再透過 API 來整合或是開發相關的應用,就可以加快驗證想法的可行性和調整 Prompt 的內容。

...繼續閱讀 »

Azure 成本管理 03 - SQL Database 費用解析和選擇定價層

在 Azure 上面要使用 DB,如果原本是使用 SQL Server 的話,就要介紹到 SQL Database 這一個 PAAS 服務了,使用 SQL Database 可以讓我們很方便的去存取和使用 SQL Server ,假設可以支援有用到的 SQL 指令和功能的話,程式基本上只需要改連線字串就可以改用雲端的 SQL 資料庫了,而 SQL Database 不同的計費模式和定價層,本文就來整理和說明。

...繼續閱讀 »