BigQuery現(xiàn)在原生支持半結(jié)構(gòu)化資料

Google宣布開始在其云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)BigQuery，支持原生JSON資料類型，而這項(xiàng)新功能讓用戶可以在BigQuery中，存儲(chǔ)和分析半結(jié)構(gòu)化資料。官方提到，通過支持新的JSON存儲(chǔ)類型，以及高端功能，諸如JSON點(diǎn)記法（Dot Notation）、適應(yīng)性資料類型變更、新的JSON函數(shù)，以及半結(jié)構(gòu)化資料，BigQuery用起來更主動(dòng)，用戶能以原生格式進(jìn)行查詢。

構(gòu)建資料工作管線，需要考量許多方面，包括資料截取來源，或是應(yīng)用程序要以批次或是流媒體方式使用資料，以及表格設(shè)計(jì)的方式等，Google解釋，因?yàn)檫@些配置通常需要在構(gòu)建資料工作管線之前決定，所以當(dāng)后來不敷使用時(shí)，常需要花菲戈昂成本，或是繁瑣地過程進(jìn)行修改。

為了處理這類事件，用戶過去需要構(gòu)建復(fù)雜的自動(dòng)化處理機(jī)制，也可能得暫停資料截取，由人工手動(dòng)介入，或是將預(yù)期之外的資料，寫入到包山包海的字符串字段中，并在后期使用時(shí)，對(duì)該字段進(jìn)行額外解析。但Google提到，這些方法都會(huì)增加成本、復(fù)雜性，并且降低用戶操作資料的能力。

JSON是一種受到廣泛使用的格式，由于不要求架構(gòu)，因此能夠處理半結(jié)構(gòu)化資料，這使得用戶能獲得更大的靈活度，存儲(chǔ)和查詢非總是遵循固定模式和資料類型的資料。以JSON資料類型截取半結(jié)構(gòu)化資料，BigQuery可獨(dú)立編碼和處理JSON字段，并且通過點(diǎn)記法單獨(dú)查詢JSON資料字段的數(shù)值。

因此在BigQuery中，支持半結(jié)構(gòu)化資料，能夠給用戶更大的自由度，并且減少處理相關(guān)問題的成本。Google提到，相較于從字符串字段截取JSON元素，需要處理整個(gè)人信息料區(qū)塊，來得有效率許多，更具成本效益，而且即便是現(xiàn)有的資料表，也能應(yīng)用這項(xiàng)新功能。