Google集成BigQuery與Document AI簡化文件數(shù)據(jù)截取工作

Google現(xiàn)在讓開發(fā)者可以更方便從文件數(shù)據(jù)截取資訊，并用于構建新的大型語言模型應用程序，這項新功能依賴BigQuery與Document AI集成。此功能允許BigQuery用戶創(chuàng)建Document AI自定義截取器，運用基礎模型對文件和元數(shù)據(jù)進行自訂，用戶能夠直接從BigQuery調用這些自訂模型，實現(xiàn)從文件中截取并存儲結構化數(shù)據(jù)的目標。

過去用戶要創(chuàng)建獨立的Document AI工作管線，需要手動管理截取邏輯和模式，因為缺乏原生的集成功能，需要自己開發(fā)定制化基礎設施，同步和維護數(shù)據(jù)的一致性，這使得用戶需要投入大量的資源在文件分析上。而現(xiàn)在Google推出BigQuery與Document AI的集成，用戶可以在BigQuery中，創(chuàng)建用于Document AI自定義截取器的遠程模型，進行大規(guī)模文件分析和生成式人工智能應用。

首先用戶需要先在Document AI中創(chuàng)建自定義截取器，借由選擇樣本文件，并基于Document AI基礎模型訓練截取器模型。而Document AI也提供現(xiàn)成的截取器，可用于處理各種常見文件類型，像是發(fā)票或是身份證件等。

接著，Document AI自定義截取器便可于BigQuery中使用，通過SQL在BigQuery中注冊遠程模型，調用并使用自定義截取器，來分析文件截取相關字段數(shù)據(jù)。從文件截取出來的資訊，可以進行文本分析、摘要生成和創(chuàng)建各種創(chuàng)新應用。

BigQuery ML支持訓練和部署多種文本模型，可以用來識別客戶服務通話中的情緒，或是Python開發(fā)者也可使用BigQuery DataFrames for pandas，和類似scikit-learn的API來分析數(shù)據(jù)。用戶也能運用PaLM 2大型語言模型對文件進行摘要，甚至將文件元數(shù)據(jù)和存儲在BigQuery表格中的其他結構化數(shù)據(jù)集成，開發(fā)創(chuàng)新應用。