使用Azure AI Studio（國(guó)際版）負(fù)責(zé)任地開發(fā)和部署生成式智能應(yīng)用

在過去的一年里，不論是身邊人的閑聊，還是技術(shù)論壇上的深入討論，生成式人工智能技術(shù)的話題無處不在。生成式人工智能技術(shù)，正在改變企業(yè)思考產(chǎn)品的方式、開發(fā)軟件的方式以及利用技術(shù)提高生產(chǎn)力的方式。

2023年，全球各地的公司都在這項(xiàng)技術(shù)上投入資源，以充分了解其能力和適用性。然而，隨著深入了解，大家意識(shí)到一個(gè)新問題：如果生成式人工智能技術(shù)不受約束，它極有可能會(huì)犯錯(cuò)。它可能會(huì)生成不存在的URL、編造數(shù)據(jù)、發(fā)布不必要的道歉，甚至修改某些重要比賽的結(jié)果。

因此，企業(yè)開始追求質(zhì)量提升。他們采用了新的持續(xù)集成/持續(xù)交付（CI/CD）和回歸測(cè)試方法，減少了不適當(dāng)智能響應(yīng)的難題。他們還在生產(chǎn)環(huán)境中加強(qiáng)了對(duì)人工智能解決方案的監(jiān)控——這是一個(gè)類似于傳統(tǒng)軟件開發(fā)的復(fù)雜過程，但由于生成式人工智能技術(shù)的不可預(yù)測(cè)性，使得這個(gè)過程變得更加復(fù)雜。

在2024年，已知的錯(cuò)誤類型包括基礎(chǔ)性、流暢性、輸出長(zhǎng)度和不可預(yù)測(cè)延遲等，所有這些都需要在合并到主分支之前進(jìn)行回歸測(cè)試。此外，確保生成的文本和數(shù)字媒體內(nèi)容合規(guī)也至關(guān)重要，它需要通過嚴(yán)格的測(cè)試以防止生成仇恨言論、不恰當(dāng)?shù)幕蚺c事實(shí)不符的內(nèi)容。此外，還需要采取其他措施，防止有人試圖操縱或"越獄"系統(tǒng)。測(cè)試和監(jiān)控是需要持續(xù)進(jìn)行的，對(duì)單個(gè)請(qǐng)求和整體系統(tǒng)都需要，以防止隨著時(shí)間的推移出現(xiàn)任何偏差。

要?jiǎng)?chuàng)建支持高級(jí)用例的負(fù)責(zé)任的、真正具有變革性的、定制的、可用于生產(chǎn)的Copilot智能副駕駛?，需要將多個(gè)互操作API與模型、提示和基礎(chǔ)數(shù)據(jù)相結(jié)合，并進(jìn)行微調(diào)、測(cè)試和大規(guī)模部署。為此，開發(fā)者需要合適的工具。

01

Azure AI Studio（國(guó)際版）

現(xiàn)已全面在全球上市

我們非常高興地宣布Azure AI Studio（國(guó)際版）現(xiàn)已全面上市，作為您開發(fā)和部署生成式智能應(yīng)用的首選平臺(tái)，無論您的生成式智能用例是什么，Azure AI Studio（國(guó)際版）都能加速整個(gè)生成式智能開發(fā)生命周期，使開發(fā)者能夠利用人工智能構(gòu)建和塑造未來。

Azure AI Studio（國(guó)際版）是微軟Copilot智能副駕駛?平臺(tái)的重要組成部分。它是一個(gè)專業(yè)代碼平臺(tái)，提供完全自定義和具有配置生成式智能應(yīng)用的能力，此外它還具有Azure級(jí)的安全性、隱私性和合規(guī)性。靈活且集成的可視化和代碼優(yōu)先工具，以及預(yù)構(gòu)建的快速入門模板，可簡(jiǎn)化和加速使用Azure AI（國(guó)際版）服務(wù)和工具實(shí)現(xiàn)創(chuàng)建Copilot智能副駕駛?的過程，它還對(duì)基礎(chǔ)設(shè)施有完全的控制權(quán)。

它通過簡(jiǎn)單的設(shè)置、管理和API支持，簡(jiǎn)化了從概念到生產(chǎn)的轉(zhuǎn)化過程，同時(shí)還幫助開發(fā)者解決安全和質(zhì)量問題。該平臺(tái)包括Azure AI（國(guó)際版）服務(wù)，如Azure OpenAI（國(guó)際版）服務(wù)和Azure AI（國(guó)際版）搜索，以及來自Azure機(jī)器學(xué)習(xí)的開發(fā)者熟知的工具，如用于快速原型設(shè)計(jì)的提示流。它支持代碼優(yōu)先的SDK和CLI，并與Azure開發(fā)者（AZD）CLI和Visual Studio Code的智能工具包集成，以在需求增長(zhǎng)時(shí)提供所需的可擴(kuò)展性。

02

API和模型選擇

探索適合您用例的最佳人工智能服務(wù)和模型

無論何種用例，開發(fā)者都可以利用開箱即用的可定制模型和API（如語言、語音、內(nèi)容安全等）構(gòu)建智能的多模態(tài)、多語言智能副駕。

通過模型目錄，您可以找到來自微軟和其他提供商的600多個(gè)模型，包括GPT 4 Turbo with Vision和微軟的小語言模型（SLM）Phi3，以及來自Core42和Nixtla的新模型。Bria AI、Gretel、NTT DATA、Stability AI、AI21和Cohere Rerank的模型將在不久之后推出。Azure AI（國(guó)際版）提供最廣泛的部署模型，經(jīng)過打包和優(yōu)化，可在Azure AI平臺(tái)上運(yùn)行。同時(shí)，Hugging Face系列提供了數(shù)百個(gè)模型，使用戶能夠根據(jù)需要選擇最適合的模型。

Azure AI Studio（國(guó)際版）的模型基準(zhǔn)儀表板，允許開發(fā)者對(duì)各種行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)集的模型性能進(jìn)行比較，以了解特定模型的最佳性能?；鶞?zhǔn)測(cè)試使用準(zhǔn)確性、一致性、流暢性和GPT相似性等指標(biāo)對(duì)模型進(jìn)行評(píng)估。用戶可以通過儀表板圖形和列表格式查看基準(zhǔn)結(jié)果，從而對(duì)模型進(jìn)行并排比較。

模型目錄提供兩種部署模型的方法：模型即服務(wù)（MaaS）和模型即平臺(tái)（MaaP）。模型即服務(wù)提供按令牌付費(fèi)的定價(jià)方式；模型即平臺(tái)則提供部署在專用虛擬機(jī)（VM）上的模型，它按每小時(shí)VM計(jì)費(fèi)。

Azure AI Studio（國(guó)際版）還會(huì)在模型加入Azure AI（國(guó)際版）集合之前掃描開源模型，檢測(cè)它們是否存在安全威脅和漏洞，并在模型卡中提供驗(yàn)證信息，以便開發(fā)者可以放心的部署模型。

03

完整的人工智能工具鏈

Azure AI Studio（國(guó)際版）提供協(xié)作和全面的工具，以支持開發(fā)生命周期，可使您的應(yīng)用與眾不同。

設(shè)置您的Hub和項(xiàng)目

Azure AI Studio（國(guó)際版）可加速基于團(tuán)隊(duì)的人工智能開發(fā)，其中央hub可跨項(xiàng)目共享資源，幫助消除IT瓶頸。開發(fā)者還可以通過啟動(dòng)腳本或使用studio UI啟動(dòng)項(xiàng)目。腳本一旦執(zhí)行，就會(huì)生成一個(gè).env文件，其中包括對(duì)連接資源的引用以及所需的訪問密鑰。

每個(gè)hub可連接任意數(shù)量的項(xiàng)目，這些項(xiàng)目可繼承hub的安全配置。Hub和項(xiàng)目都是具有安全意識(shí)的實(shí)體。在Hub內(nèi)可以指定管理員，以管理人工智能資源并控制項(xiàng)目成員的訪問權(quán)限。Azure AI Studio（國(guó)際版）的連接框架旨在驗(yàn)證和集成來自微軟生態(tài)系統(tǒng)和外部提供商的各種資源。

在playground中試驗(yàn)prompts

在AI Studio（國(guó)際版）中，為開發(fā)者配備了一套友好的Playground，包括聊天機(jī)器人、助手、圖像生成和文本補(bǔ)全等。這種靈活的沙盒環(huán)境允許開發(fā)者使用各種模型進(jìn)行實(shí)驗(yàn)，通過迭代測(cè)試優(yōu)化系統(tǒng)提示，使用自己的數(shù)據(jù)集進(jìn)行模型定制，以獲得滿足特定需求的結(jié)果。此外，開發(fā)者還可以試驗(yàn)安全系統(tǒng)消息。

使用Azure AI（國(guó)際版）搜索進(jìn)行數(shù)據(jù)檢索

Azure AI Studio（國(guó)際版）原生支持Azure AI搜索，用于檢索增強(qiáng)生成（RAG）場(chǎng)景，使開發(fā)者能夠利用數(shù)據(jù)檢索方法，基于安全的客戶特定數(shù)據(jù)作出響應(yīng)。該平臺(tái)可與眾多數(shù)據(jù)源輕松集成，包括Microsoft Fabric中的OneLake、Azure Blob Storage和Azure Files。由于數(shù)據(jù)資產(chǎn)可以集成到模型工作流中，因此這種連接集成使用戶能夠開發(fā)出更智能、更具感知上下文的Copilot智能副駕駛?。

微調(diào)

在開發(fā)生成式人工智能應(yīng)用時(shí)，RAG（檢索增強(qiáng)生成）應(yīng)用于需要外部知識(shí)的任務(wù)，而微調(diào)則適用于將預(yù)先訓(xùn)練好的模型調(diào)整為具有特定標(biāo)記數(shù)據(jù)的任務(wù)。監(jiān)督微調(diào)對(duì)于定制模型至關(guān)重要，因?yàn)閷I(yè)任務(wù)通常需要大模型的推理能力，但其特定任務(wù)的范圍相對(duì)較窄。在Azure AI Studio（國(guó)際版）中，用戶可以對(duì)Babbage、Davinci、GPT-35-Turbo、GPT-4以及Llama 3和Phi-3系列等模型進(jìn)行微調(diào)。

基于代理的編排

隨著開發(fā)者逐漸認(rèn)識(shí)到LLM和SLM的潛力，他們正在推動(dòng)復(fù)雜的實(shí)際應(yīng)用開發(fā)。他們利用代理系統(tǒng)，如Azure OpenAI（國(guó)際版）服務(wù)助手API、基于功能的應(yīng)用和AutoGen框架，來解決更復(fù)雜、更具開放的問題。正如預(yù)期的那樣，這一轉(zhuǎn)變帶來了新的挑戰(zhàn)，尤其是由于所應(yīng)用編排的開放性。

追蹤和調(diào)試

追蹤對(duì)于了解Copilot智能副駕駛?的工作方式至關(guān)重要，尤其是在復(fù)雜的工作流中，傳統(tǒng)的IDE（集成開發(fā)環(huán)境）斷點(diǎn)可能無法有效發(fā)揮作用。許多操作都是異步進(jìn)行的，或者涉及流式數(shù)據(jù)，導(dǎo)致同一行代碼對(duì)單個(gè)用戶查詢執(zhí)行多次。Azure AI Studio（國(guó)際版）的追蹤功能可幫助開發(fā)者使用簡(jiǎn)單的代碼工具，通過提示流SDK調(diào)試這些場(chǎng)景。追蹤功能有助于追蹤延遲問題、LLM錯(cuò)誤、令牌使用、函數(shù)調(diào)用和依賴關(guān)系不匹配等問題。

對(duì)于注重代碼體驗(yàn)的用戶，可以使用提示流SDK啟動(dòng)本地Playground。這樣就可以進(jìn)行全面的單元測(cè)試，同時(shí)將追蹤日志無縫地記錄到云端的Azure AI Studio（國(guó)際版）或本地存儲(chǔ)庫中。該服務(wù)可以通過命令行啟動(dòng)，也可以在追蹤開始時(shí)自動(dòng)啟動(dòng)。

追蹤可以通過簡(jiǎn)單的裝飾器來完成。模型調(diào)用會(huì)自動(dòng)被捕獲。

用戶可以通過集成開發(fā)環(huán)境執(zhí)行"pf flow test--flow"命令，啟動(dòng)本地測(cè)試環(huán)境。該命令利用提示流SDK創(chuàng)建一個(gè)交互式的Playground，并為每次交互啟用追蹤功能，從而方便用戶對(duì)其應(yīng)用進(jìn)行交互式測(cè)試。

追蹤功能可捕獲并詳細(xì)記錄Copilot智能副駕駛?請(qǐng)求過程的每一步，從而提高系統(tǒng)健康狀況的可見性，并簡(jiǎn)化了復(fù)雜或非確定性問題的調(diào)試過程。利用OpenTelemetry，提示流追蹤與Azure Monitor集成，可使用連接字符串簡(jiǎn)化監(jiān)控設(shè)置，實(shí)現(xiàn)無縫配置。

評(píng)估

除了開發(fā)和生產(chǎn)過程中的可觀察性工具外，Azure AI Studio（國(guó)際版）還提供了系統(tǒng)評(píng)估生成輸出的準(zhǔn)確性、質(zhì)量和安全性的工具。手動(dòng)評(píng)估，即手動(dòng)審查和對(duì)應(yīng)用生成的輸出進(jìn)行評(píng)分，這對(duì)于追蹤一組目標(biāo)優(yōu)先事項(xiàng)的進(jìn)展特別有用。例如，開發(fā)者或領(lǐng)域?qū)＜铱赡軙?huì)查看不同應(yīng)用變體的基礎(chǔ)響應(yīng)情況，并將結(jié)果進(jìn)行比較，為下一次迭代提供參考。

自動(dòng)評(píng)估有助于大規(guī)模衡量應(yīng)用的質(zhì)量和安全性，從而提供更全面的評(píng)估結(jié)果。開發(fā)者可以使用預(yù)先構(gòu)建的指標(biāo)進(jìn)行自動(dòng)評(píng)估，也可以使用studio UI或提示流SDK針對(duì)特定的關(guān)注點(diǎn)，定制和構(gòu)建自己的指標(biāo)。

雖然客戶可以自帶測(cè)試數(shù)據(jù)集，但是AI Studio（國(guó)際版）解決了多數(shù)客戶的一個(gè)主要困擾，即缺乏高質(zhì)量的對(duì)抗測(cè)試數(shù)據(jù)，以評(píng)估應(yīng)用的輸出內(nèi)容風(fēng)險(xiǎn)或易受攻擊的可能性。為了大規(guī)模測(cè)試應(yīng)用的安全性，Azure AI Studio（國(guó)際版）將自動(dòng)生成對(duì)抗性輸入，并對(duì)應(yīng)用進(jìn)行角色扮演攻擊，以生成提示和響應(yīng)的測(cè)試數(shù)據(jù)集，供評(píng)估使用。開發(fā)者可以使用最終分?jǐn)?shù)和測(cè)試結(jié)果，來了解他們的應(yīng)用是否可以發(fā)布，或者仍需要做更多工作，以降低風(fēng)險(xiǎn)。

評(píng)估器可幫助開發(fā)者進(jìn)一步實(shí)現(xiàn)自定義和擴(kuò)展。用戶可以定義一個(gè)評(píng)估器來評(píng)估自己定義的屬性。例如，如果零售商希望客服機(jī)器人體現(xiàn)其品牌屬性，可以設(shè)計(jì)一個(gè)評(píng)估器來評(píng)估輸出的基礎(chǔ)性（預(yù)置指標(biāo)）和禮貌度（自定義指標(biāo)）。評(píng)估器可以進(jìn)行版本控制并在組織內(nèi)共享，因此零售商可以選擇在每次自動(dòng)評(píng)估時(shí)運(yùn)行自定義評(píng)估器，以提高項(xiàng)目間的一致性。開發(fā)者可以使用提示流SDK在本地運(yùn)行評(píng)估器并將結(jié)果記錄在云中，也可以在Azure AI Studio（國(guó)際版）UI中作為自動(dòng)評(píng)估的一部分運(yùn)行評(píng)估器。

04

負(fù)責(zé)任的人工智能工具與實(shí)踐

使用可配置的過濾器和控件，保護(hù)人工智能應(yīng)用

一旦客戶部署他們的解決方案，Azure AI內(nèi)容安全（Azure AI Content Safety）會(huì)通過各種分類模型運(yùn)行輸入提示和輸出完成，從而保護(hù)應(yīng)用端點(diǎn)。內(nèi)置安全度量指標(biāo)旨在幫助識(shí)別和防御有害、有偏見、無根據(jù)和不適當(dāng)?shù)膬?nèi)容，以及對(duì)維護(hù)對(duì)用戶信任所需的關(guān)鍵提示進(jìn)行的攻擊。在Build大會(huì)上，我們發(fā)布了自定義類別，這樣用戶就可以在所提供的默認(rèn)過濾器之外，創(chuàng)建和使用自定義內(nèi)容過濾器。

05

企業(yè)級(jí)規(guī)模的生產(chǎn)

開發(fā)者可以將他們的智能創(chuàng)新，部署和擴(kuò)展到Azure Web應(yīng)用程序，以便在網(wǎng)站和應(yīng)用中使用，或作為容器化模型進(jìn)行本地部署。他們還可以自動(dòng)執(zhí)行工作流和警報(bào)，以便及時(shí)解決問題。

開發(fā)者通過跨組織資源管理保持敏捷性。他們可以使用Microsoft Entra ID安全管理在線終端，同時(shí)Azure提供了企業(yè)級(jí)的安全性、隱私性和合規(guī)性，適用于規(guī)模化的治理。

06

客戶案例

迄今為止，Azure AI為超過53,000家客戶推動(dòng)創(chuàng)新，而且這一數(shù)字還在不斷增長(zhǎng)?？蛻敉ㄟ^企業(yè)聊天提供多模式知識(shí)挖掘，并通過先進(jìn)的數(shù)據(jù)和語音分析改善客戶互動(dòng)和服務(wù)。他們還能更高效地生成內(nèi)容，同時(shí)通過個(gè)性化服務(wù)，為銷售和營(yíng)銷戰(zhàn)略賦能。

Sweco公司使用GPT

Sweco是歐洲一家建筑和工程公司，該公司開發(fā)了SwecoGPT，以幫助其顧問查找關(guān)鍵項(xiàng)目信息、創(chuàng)建和分析文檔，并利用節(jié)省下來的時(shí)間為客戶提供更加個(gè)性化的服務(wù)。通過Azure AI Studio（國(guó)際版），他們能夠快速部署，突顯了Azure AI的彈性和強(qiáng)大性。

借助Azure AI Studio（國(guó)際版），我們能夠快速開發(fā)POC，以了解SwecoGPT的操作界面以及如何使我們的顧問和我們的業(yè)務(wù)整體受益。這充分展示了Azure AI的強(qiáng)大功能和可擴(kuò)展性。

——David Hunter

Sweco人工智能與自動(dòng)化主管

對(duì)于我們來說，Azure AI Studio（國(guó)際版）的潛力，以及我們可以為客戶做的，都是無限的。

——Shah Muhammad

Sweco AB人工智能創(chuàng)新負(fù)責(zé)人

Parloa的人工智能對(duì)話平臺(tái)

Parloa使用Azure AI Studio（國(guó)際版）創(chuàng)建了多語言AI Copilot智能副駕駛?，可簡(jiǎn)化跨通信渠道的客戶服務(wù)。

我們認(rèn)為Azure AI Studio（國(guó)際版）是一個(gè)強(qiáng)大的、全新的開發(fā)者平臺(tái)，可以幫助我們?yōu)槲磥淼闹悄苈?lián)絡(luò)中心平臺(tái)，開發(fā)AI代理。

——Ciaran O'Reilly

Parloa對(duì)話式人工智能工程負(fù)責(zé)人

H&R Block的人工智能稅務(wù)助手

H&R Block是Azure AI的長(zhǎng)期客戶。他們的最新創(chuàng)新產(chǎn)品——AI稅務(wù)助手，是一個(gè)簡(jiǎn)化報(bào)稅流程的人工智能代理。

有了Azure AI Studio（國(guó)際版），我們的開發(fā)者可以更快地編寫代碼，因此他們有時(shí)間進(jìn)行'實(shí)驗(yàn)'，對(duì)一些功能進(jìn)行微調(diào)。比如允許個(gè)人根據(jù)需要進(jìn)行對(duì)話式提問，以及能夠重新訪問以前的對(duì)話記錄。我們將繼續(xù)采用這種方法，推動(dòng)創(chuàng)新，提供最佳體驗(yàn)。

——Aditya Thadani

H&R Block人工智能平臺(tái)副總裁

Azure AI Studio（國(guó)際版）的客戶創(chuàng)新不僅突顯了該平臺(tái)的強(qiáng)大功能，還證明了它在推動(dòng)各行各業(yè)實(shí)現(xiàn)事半功倍方面所發(fā)揮的作用。

07

進(jìn)入下一代人工智能，從現(xiàn)在開始

Azure AI Studio（國(guó)際版）正在重塑人工智能應(yīng)用開發(fā)方式，提供了一個(gè)周到且強(qiáng)大的平臺(tái)，將創(chuàng)新與責(zé)任相結(jié)合。在微軟技術(shù)的支持下，開發(fā)團(tuán)隊(duì)擁有各種工具，可以自信地探索生成式人工智能的可能性，并部署可用于生產(chǎn)的Copilot智能副駕駛。立即體驗(yàn)Azure AI Studio（國(guó)際版）的尖端功能，自信、輕松地開始構(gòu)建、測(cè)試和部署!