使用Azure AI Studio（國際版）負責任地開發(fā)和部署生成式智能應用

在過去的一年里，不論是身邊人的閑聊，還是技術論壇上的深入討論，生成式人工智能技術的話題無處不在。生成式人工智能技術，正在改變企業(yè)思考產品的方式、開發(fā)軟件的方式以及利用技術提高生產力的方式。

2023年，全球各地的公司都在這項技術上投入資源，以充分了解其能力和適用性。然而，隨著深入了解，大家意識到一個新問題：如果生成式人工智能技術不受約束，它極有可能會犯錯。它可能會生成不存在的URL、編造數據、發(fā)布不必要的道歉，甚至修改某些重要比賽的結果。

因此，企業(yè)開始追求質量提升。他們采用了新的持續(xù)集成/持續(xù)交付（CI/CD）和回歸測試方法，減少了不適當智能響應的難題。他們還在生產環(huán)境中加強了對人工智能解決方案的監(jiān)控——這是一個類似于傳統(tǒng)軟件開發(fā)的復雜過程，但由于生成式人工智能技術的不可預測性，使得這個過程變得更加復雜。

在2024年，已知的錯誤類型包括基礎性、流暢性、輸出長度和不可預測延遲等，所有這些都需要在合并到主分支之前進行回歸測試。此外，確保生成的文本和數字媒體內容合規(guī)也至關重要，它需要通過嚴格的測試以防止生成仇恨言論、不恰當的或與事實不符的內容。此外，還需要采取其他措施，防止有人試圖操縱或"越獄"系統(tǒng)。測試和監(jiān)控是需要持續(xù)進行的，對單個請求和整體系統(tǒng)都需要，以防止隨著時間的推移出現任何偏差。

要創(chuàng)建支持高級用例的負責任的、真正具有變革性的、定制的、可用于生產的Copilot智能副駕駛?，需要將多個互操作API與模型、提示和基礎數據相結合，并進行微調、測試和大規(guī)模部署。為此，開發(fā)者需要合適的工具。

01

Azure AI Studio（國際版）

現已全面在全球上市

我們非常高興地宣布Azure AI Studio（國際版）現已全面上市，作為您開發(fā)和部署生成式智能應用的首選平臺，無論您的生成式智能用例是什么，Azure AI Studio（國際版）都能加速整個生成式智能開發(fā)生命周期，使開發(fā)者能夠利用人工智能構建和塑造未來。

Azure AI Studio（國際版）是微軟Copilot智能副駕駛?平臺的重要組成部分。它是一個專業(yè)代碼平臺，提供完全自定義和具有配置生成式智能應用的能力，此外它還具有Azure級的安全性、隱私性和合規(guī)性。靈活且集成的可視化和代碼優(yōu)先工具，以及預構建的快速入門模板，可簡化和加速使用Azure AI（國際版）服務和工具實現創(chuàng)建Copilot智能副駕駛?的過程，它還對基礎設施有完全的控制權。

它通過簡單的設置、管理和API支持，簡化了從概念到生產的轉化過程，同時還幫助開發(fā)者解決安全和質量問題。該平臺包括Azure AI（國際版）服務，如Azure OpenAI（國際版）服務和Azure AI（國際版）搜索，以及來自Azure機器學習的開發(fā)者熟知的工具，如用于快速原型設計的提示流。它支持代碼優(yōu)先的SDK和CLI，并與Azure開發(fā)者（AZD）CLI和Visual Studio Code的智能工具包集成，以在需求增長時提供所需的可擴展性。

02

API和模型選擇

探索適合您用例的最佳人工智能服務和模型

無論何種用例，開發(fā)者都可以利用開箱即用的可定制模型和API（如語言、語音、內容安全等）構建智能的多模態(tài)、多語言智能副駕。

通過模型目錄，您可以找到來自微軟和其他提供商的600多個模型，包括GPT 4 Turbo with Vision和微軟的小語言模型（SLM）Phi3，以及來自Core42和Nixtla的新模型。Bria AI、Gretel、NTT DATA、Stability AI、AI21和Cohere Rerank的模型將在不久之后推出。Azure AI（國際版）提供最廣泛的部署模型，經過打包和優(yōu)化，可在Azure AI平臺上運行。同時，Hugging Face系列提供了數百個模型，使用戶能夠根據需要選擇最適合的模型。

Azure AI Studio（國際版）的模型基準儀表板，允許開發(fā)者對各種行業(yè)標準數據集的模型性能進行比較，以了解特定模型的最佳性能?；鶞蕼y試使用準確性、一致性、流暢性和GPT相似性等指標對模型進行評估。用戶可以通過儀表板圖形和列表格式查看基準結果，從而對模型進行并排比較。

模型目錄提供兩種部署模型的方法：模型即服務（MaaS）和模型即平臺（MaaP）。模型即服務提供按令牌付費的定價方式；模型即平臺則提供部署在專用虛擬機（VM）上的模型，它按每小時VM計費。

Azure AI Studio（國際版）還會在模型加入Azure AI（國際版）集合之前掃描開源模型，檢測它們是否存在安全威脅和漏洞，并在模型卡中提供驗證信息，以便開發(fā)者可以放心的部署模型。

03

完整的人工智能工具鏈

Azure AI Studio（國際版）提供協(xié)作和全面的工具，以支持開發(fā)生命周期，可使您的應用與眾不同。

設置您的Hub和項目

Azure AI Studio（國際版）可加速基于團隊的人工智能開發(fā)，其中央hub可跨項目共享資源，幫助消除IT瓶頸。開發(fā)者還可以通過啟動腳本或使用studio UI啟動項目。腳本一旦執(zhí)行，就會生成一個.env文件，其中包括對連接資源的引用以及所需的訪問密鑰。

每個hub可連接任意數量的項目，這些項目可繼承hub的安全配置。Hub和項目都是具有安全意識的實體。在Hub內可以指定管理員，以管理人工智能資源并控制項目成員的訪問權限。Azure AI Studio（國際版）的連接框架旨在驗證和集成來自微軟生態(tài)系統(tǒng)和外部提供商的各種資源。

在playground中試驗prompts

在AI Studio（國際版）中，為開發(fā)者配備了一套友好的Playground，包括聊天機器人、助手、圖像生成和文本補全等。這種靈活的沙盒環(huán)境允許開發(fā)者使用各種模型進行實驗，通過迭代測試優(yōu)化系統(tǒng)提示，使用自己的數據集進行模型定制，以獲得滿足特定需求的結果。此外，開發(fā)者還可以試驗安全系統(tǒng)消息。

使用Azure AI（國際版）搜索進行數據檢索

Azure AI Studio（國際版）原生支持Azure AI搜索，用于檢索增強生成（RAG）場景，使開發(fā)者能夠利用數據檢索方法，基于安全的客戶特定數據作出響應。該平臺可與眾多數據源輕松集成，包括Microsoft Fabric中的OneLake、Azure Blob Storage和Azure Files。由于數據資產可以集成到模型工作流中，因此這種連接集成使用戶能夠開發(fā)出更智能、更具感知上下文的Copilot智能副駕駛?。

微調

在開發(fā)生成式人工智能應用時，RAG（檢索增強生成）應用于需要外部知識的任務，而微調則適用于將預先訓練好的模型調整為具有特定標記數據的任務。監(jiān)督微調對于定制模型至關重要，因為專業(yè)任務通常需要大模型的推理能力，但其特定任務的范圍相對較窄。在Azure AI Studio（國際版）中，用戶可以對Babbage、Davinci、GPT-35-Turbo、GPT-4以及Llama 3和Phi-3系列等模型進行微調。

基于代理的編排

隨著開發(fā)者逐漸認識到LLM和SLM的潛力，他們正在推動復雜的實際應用開發(fā)。他們利用代理系統(tǒng)，如Azure OpenAI（國際版）服務助手API、基于功能的應用和AutoGen框架，來解決更復雜、更具開放的問題。正如預期的那樣，這一轉變帶來了新的挑戰(zhàn)，尤其是由于所應用編排的開放性。

追蹤和調試

追蹤對于了解Copilot智能副駕駛?的工作方式至關重要，尤其是在復雜的工作流中，傳統(tǒng)的IDE（集成開發(fā)環(huán)境）斷點可能無法有效發(fā)揮作用。許多操作都是異步進行的，或者涉及流式數據，導致同一行代碼對單個用戶查詢執(zhí)行多次。Azure AI Studio（國際版）的追蹤功能可幫助開發(fā)者使用簡單的代碼工具，通過提示流SDK調試這些場景。追蹤功能有助于追蹤延遲問題、LLM錯誤、令牌使用、函數調用和依賴關系不匹配等問題。

對于注重代碼體驗的用戶，可以使用提示流SDK啟動本地Playground。這樣就可以進行全面的單元測試，同時將追蹤日志無縫地記錄到云端的Azure AI Studio（國際版）或本地存儲庫中。該服務可以通過命令行啟動，也可以在追蹤開始時自動啟動。

追蹤可以通過簡單的裝飾器來完成。模型調用會自動被捕獲。

用戶可以通過集成開發(fā)環(huán)境執(zhí)行"pf flow test--flow"命令，啟動本地測試環(huán)境。該命令利用提示流SDK創(chuàng)建一個交互式的Playground，并為每次交互啟用追蹤功能，從而方便用戶對其應用進行交互式測試。

追蹤功能可捕獲并詳細記錄Copilot智能副駕駛?請求過程的每一步，從而提高系統(tǒng)健康狀況的可見性，并簡化了復雜或非確定性問題的調試過程。利用OpenTelemetry，提示流追蹤與Azure Monitor集成，可使用連接字符串簡化監(jiān)控設置，實現無縫配置。

評估

除了開發(fā)和生產過程中的可觀察性工具外，Azure AI Studio（國際版）還提供了系統(tǒng)評估生成輸出的準確性、質量和安全性的工具。手動評估，即手動審查和對應用生成的輸出進行評分，這對于追蹤一組目標優(yōu)先事項的進展特別有用。例如，開發(fā)者或領域專家可能會查看不同應用變體的基礎響應情況，并將結果進行比較，為下一次迭代提供參考。

自動評估有助于大規(guī)模衡量應用的質量和安全性，從而提供更全面的評估結果。開發(fā)者可以使用預先構建的指標進行自動評估，也可以使用studio UI或提示流SDK針對特定的關注點，定制和構建自己的指標。

雖然客戶可以自帶測試數據集，但是AI Studio（國際版）解決了多數客戶的一個主要困擾，即缺乏高質量的對抗測試數據，以評估應用的輸出內容風險或易受攻擊的可能性。為了大規(guī)模測試應用的安全性，Azure AI Studio（國際版）將自動生成對抗性輸入，并對應用進行角色扮演攻擊，以生成提示和響應的測試數據集，供評估使用。開發(fā)者可以使用最終分數和測試結果，來了解他們的應用是否可以發(fā)布，或者仍需要做更多工作，以降低風險。

評估器可幫助開發(fā)者進一步實現自定義和擴展。用戶可以定義一個評估器來評估自己定義的屬性。例如，如果零售商希望客服機器人體現其品牌屬性，可以設計一個評估器來評估輸出的基礎性（預置指標）和禮貌度（自定義指標）。評估器可以進行版本控制并在組織內共享，因此零售商可以選擇在每次自動評估時運行自定義評估器，以提高項目間的一致性。開發(fā)者可以使用提示流SDK在本地運行評估器并將結果記錄在云中，也可以在Azure AI Studio（國際版）UI中作為自動評估的一部分運行評估器。

04

負責任的人工智能工具與實踐

使用可配置的過濾器和控件，保護人工智能應用

一旦客戶部署他們的解決方案，Azure AI內容安全（Azure AI Content Safety）會通過各種分類模型運行輸入提示和輸出完成，從而保護應用端點。內置安全度量指標旨在幫助識別和防御有害、有偏見、無根據和不適當的內容，以及對維護對用戶信任所需的關鍵提示進行的攻擊。在Build大會上，我們發(fā)布了自定義類別，這樣用戶就可以在所提供的默認過濾器之外，創(chuàng)建和使用自定義內容過濾器。

05

企業(yè)級規(guī)模的生產

開發(fā)者可以將他們的智能創(chuàng)新，部署和擴展到Azure Web應用程序，以便在網站和應用中使用，或作為容器化模型進行本地部署。他們還可以自動執(zhí)行工作流和警報，以便及時解決問題。

開發(fā)者通過跨組織資源管理保持敏捷性。他們可以使用Microsoft Entra ID安全管理在線終端，同時Azure提供了企業(yè)級的安全性、隱私性和合規(guī)性，適用于規(guī)模化的治理。

06

客戶案例

迄今為止，Azure AI為超過53,000家客戶推動創(chuàng)新，而且這一數字還在不斷增長?？蛻敉ㄟ^企業(yè)聊天提供多模式知識挖掘，并通過先進的數據和語音分析改善客戶互動和服務。他們還能更高效地生成內容，同時通過個性化服務，為銷售和營銷戰(zhàn)略賦能。

Sweco公司使用GPT

Sweco是歐洲一家建筑和工程公司，該公司開發(fā)了SwecoGPT，以幫助其顧問查找關鍵項目信息、創(chuàng)建和分析文檔，并利用節(jié)省下來的時間為客戶提供更加個性化的服務。通過Azure AI Studio（國際版），他們能夠快速部署，突顯了Azure AI的彈性和強大性。

借助Azure AI Studio（國際版），我們能夠快速開發(fā)POC，以了解SwecoGPT的操作界面以及如何使我們的顧問和我們的業(yè)務整體受益。這充分展示了Azure AI的強大功能和可擴展性。

——David Hunter

Sweco人工智能與自動化主管

對于我們來說，Azure AI Studio（國際版）的潛力，以及我們可以為客戶做的，都是無限的。

——Shah Muhammad

Sweco AB人工智能創(chuàng)新負責人

Parloa的人工智能對話平臺

Parloa使用Azure AI Studio（國際版）創(chuàng)建了多語言AI Copilot智能副駕駛?，可簡化跨通信渠道的客戶服務。

我們認為Azure AI Studio（國際版）是一個強大的、全新的開發(fā)者平臺，可以幫助我們?yōu)槲磥淼闹悄苈摻j中心平臺，開發(fā)AI代理。

——Ciaran O'Reilly

Parloa對話式人工智能工程負責人

H&R Block的人工智能稅務助手

H&R Block是Azure AI的長期客戶。他們的最新創(chuàng)新產品——AI稅務助手，是一個簡化報稅流程的人工智能代理。

有了Azure AI Studio（國際版），我們的開發(fā)者可以更快地編寫代碼，因此他們有時間進行'實驗'，對一些功能進行微調。比如允許個人根據需要進行對話式提問，以及能夠重新訪問以前的對話記錄。我們將繼續(xù)采用這種方法，推動創(chuàng)新，提供最佳體驗。

——Aditya Thadani

H&R Block人工智能平臺副總裁

Azure AI Studio（國際版）的客戶創(chuàng)新不僅突顯了該平臺的強大功能，還證明了它在推動各行各業(yè)實現事半功倍方面所發(fā)揮的作用。

07

進入下一代人工智能，從現在開始

Azure AI Studio（國際版）正在重塑人工智能應用開發(fā)方式，提供了一個周到且強大的平臺，將創(chuàng)新與責任相結合。在微軟技術的支持下，開發(fā)團隊擁有各種工具，可以自信地探索生成式人工智能的可能性，并部署可用于生產的Copilot智能副駕駛。立即體驗Azure AI Studio（國際版）的尖端功能，自信、輕松地開始構建、測試和部署!