AI Gateway正式發(fā)布：用于管理和擴(kuò)展生成式AI工作負(fù)載的統(tǒng)一界面

在2024年4月的Developer Week期間，我們宣布Workers AI正式發(fā)布，今天，我們很高興地宣布AI Gateway也正式發(fā)布。自2023年9月生日周期間推出測(cè)試版以來，我們已代理了超過5億個(gè)請(qǐng)求，現(xiàn)在已準(zhǔn)備好供您在生產(chǎn)中使用它。

AI Gateway是一個(gè)AI操作平臺(tái)，提供統(tǒng)一的界面來管理和擴(kuò)展生成型AI工作負(fù)載。從本質(zhì)上講，它充當(dāng)您的服務(wù)和推理提供程序之間的代理，無(wú)論您的模型在哪里運(yùn)行。只需一行代碼，您就可以解鎖一組專注于性能、安全性、可靠性和可觀察性的強(qiáng)大功能，您可以將其視為AI操作的控制平面。這僅僅只是一個(gè)開始——我們制定了路線圖，將在不久的將來推出一系列令人興奮的功能，任何想要從AI工作負(fù)載中獲得更多收益的組織都會(huì)使用AI Gateway。

為什么要添加代理以及為什么選擇Cloudflare？

AI領(lǐng)域發(fā)展迅速，似乎每天都有新的模型、提供商或框架。鑒于如此高的變化頻率，很難對(duì)AI進(jìn)行跟蹤，當(dāng)您使用多個(gè)模型或提供商時(shí)則尤為如此。這是Cloudflare推出AI Gateway的驅(qū)動(dòng)因素之一——我們希望為您的所有模型和工具提供一個(gè)一致的控制平面，即使它們每天都在發(fā)生變化，也可從同一個(gè)控制平面進(jìn)行控制。

我們已經(jīng)與許多構(gòu)建AI應(yīng)用程序的開發(fā)人員和組織進(jìn)行了交談，有一點(diǎn)很明確：他們希望圍繞AI操作提供更多的可觀察性、控制力和工具。這是許多AI提供商所缺乏的，因?yàn)樗麄兎浅ｊP(guān)注模型開發(fā)，而不是平臺(tái)功能。

為什么選擇Cloudflare作為您的AI Gateway？從某些方面來說，這是天作之合。在過去10多年里，我們通過運(yùn)行全球最大的網(wǎng)絡(luò)之一來幫助構(gòu)建更好的互聯(lián)網(wǎng)，為世界各地的客戶提供性能、可靠性和安全性——Cloudflare被近20%的網(wǎng)站用作反向代理。憑借我們的專業(yè)知識(shí)，這感覺就像是一個(gè)自然的進(jìn)展：只需更改一行代碼，我們就可以幫助您提高AI應(yīng)用程序的可觀察性、可靠性和控制能力，所有這些都在一個(gè)控制平面中，而您則可以重新專注于構(gòu)建。

下面是使用OpenAI JS SDK時(shí)的一行代碼更改。歡迎查看我們的文檔，了解其他提供商、SDK和語(yǔ)言的情況。

目前包含哪些功能？

與客戶交談后，我們明確了一點(diǎn)，即我們需要先關(guān)注一些基本功能，然后再轉(zhuǎn)向一些更高級(jí)的功能。雖然我們對(duì)將要推出的功能非常期待，但以下是GA版本目前提供的主要功能：

分析：聚合來自多個(gè)提供商的指標(biāo)。查看流量模式和使用情況，包括一段時(shí)間內(nèi)的請(qǐng)求數(shù)、令牌數(shù)和成本。

實(shí)時(shí)日志：在構(gòu)建過程中深入了解請(qǐng)求和錯(cuò)誤。

緩存：?jiǎn)⒂米远x緩存規(guī)則并使用Cloudflare的緩存來處理重復(fù)請(qǐng)求，而不是訪問原始模型提供商API，從而幫助您節(jié)省成本并減少延遲。

速率限制：通過限制應(yīng)用程序接收的請(qǐng)求數(shù)量來控制應(yīng)用程序的擴(kuò)展，以控制成本或防止濫用。

支持您最喜歡的提供商：截至2024年5月中旬，AI Gateway已經(jīng)原生支持Workers AI以及10個(gè)最受歡迎的提供商，包括Groq和Cohere。

通用端點(diǎn)：如果出現(xiàn)錯(cuò)誤，可以通過定義到另一個(gè)模型或推理提供程序的請(qǐng)求回退來提高恢復(fù)能力。

后續(xù)計(jì)劃

我們從開發(fā)人員那里得到了很多反饋，一些顯而易見的功能即將推出，例如持久日志和自定義元數(shù)據(jù)——這些基礎(chǔ)功能將有助于在未來釋放真正的魔力。

但讓我們退后一步，分享一下我們的愿景。在Cloudflare，我們相信我們的平臺(tái)作為一個(gè)統(tǒng)一的整體比作為由各個(gè)部分組成的集合更為強(qiáng)大。將這種理念應(yīng)用到我們的AI產(chǎn)品，則意味著它們應(yīng)該易于使用、組合和協(xié)調(diào)運(yùn)行。

讓我們想象一下接下來的旅程：您最初加入Workers AI是為了使用最新的開源模型進(jìn)行推理；接下來，您啟用AI Gateway，以獲得更好的可見性和控制，并開始存儲(chǔ)持久日志；然后您想要開始調(diào)整推理結(jié)果，于是您利用持久日志、我們的提示管理工具和內(nèi)置評(píng)估功能；現(xiàn)在您正在做出分析決策以改進(jìn)推理結(jié)果，隨著每一次數(shù)據(jù)驅(qū)動(dòng)的改進(jìn)，您都想要獲得更多；因此，您實(shí)施我們的反饋API，幫助注釋輸入/輸出，本質(zhì)上是構(gòu)建結(jié)構(gòu)化數(shù)據(jù)集；此時(shí)，您離可以立即部署到我們?nèi)蚓W(wǎng)絡(luò)的一鍵微調(diào)只有一步之遙，而且還不止于此-隨著您繼續(xù)收集日志和反饋，您可以不斷重建微調(diào)適配器，以便為最終用戶提供最佳結(jié)果。

目前這只是一個(gè)“完美的構(gòu)想“，但這也正是我們對(duì)AI Gateway和整個(gè)AI套件的未來的設(shè)想。您應(yīng)該能夠從最基本的設(shè)置開始，逐步進(jìn)入更高級(jí)的工作流程，全程無(wú)需離開Cloudflare的AI平臺(tái)。最后，它看起來可能與上面描述的不完全一樣，但可以確信的是我們將致力于提供最好的AI操作工具，將Cloudflare打造成AI的最佳平臺(tái)。

如何開始？

AI Gateway已經(jīng)可以在所有用戶計(jì)劃中啟用。如果您尚未使用AI Gateway，請(qǐng)查看我們的開發(fā)人員文檔并立即開始使用。AI Gateway現(xiàn)已免費(fèi)提供核心功能，只需一個(gè)Cloudflare帳戶和一行代碼即可開始使用。未來，我們還將提供更多高級(jí)功能，例如持久日志記錄和秘密管理（但需付費(fèi)使用）。