豐田互聯(lián)基于AWS打造的中國(guó)數(shù)據(jù)湖項(xiàng)目,可以存儲(chǔ)、處理上千萬(wàn)輛汽車每天行駛過(guò)程中產(chǎn)生的TB級(jí)數(shù)據(jù),為豐田汽車在中國(guó)的生產(chǎn)廠、經(jīng)銷商和用戶提供完整的車聯(lián)網(wǎng)解決方案
2020年11月5日,近期,豐田互聯(lián)(北京)科技開發(fā)有限公司(豐田互聯(lián))基于亞馬遜云服務(wù)(AWS)開發(fā)的數(shù)據(jù)湖——Toyota Big Data Center China正式上線。它可以存儲(chǔ)、處理上千萬(wàn)輛豐田汽車每天在行駛過(guò)程中產(chǎn)生的數(shù)十TB數(shù)據(jù),推動(dòng)豐田汽車的車聯(lián)網(wǎng)解決方案在中國(guó)市場(chǎng)大規(guī)模落地。通過(guò)對(duì)海量數(shù)據(jù)的存儲(chǔ)、分析,Toyota Big Data Center China可以為用戶提供各種創(chuàng)新的服務(wù),例如,幫助駕駛員更安全地使用汽車,依據(jù)駕駛行為數(shù)據(jù)幫助車主獲得汽車保險(xiǎn)折扣等。在AWS技術(shù)專家團(tuán)隊(duì)的幫助下,豐田互聯(lián)在5個(gè)月內(nèi)完成了這一項(xiàng)目的開發(fā)及部署,并借助AWS強(qiáng)大的云服務(wù)和功能大大降低了云資源使用成本。
從2019年開始,豐田汽車希望在中國(guó)市場(chǎng)全面推廣車聯(lián)網(wǎng)服務(wù),為所有新上市的汽車標(biāo)配了車載數(shù)據(jù)通信模塊(DCM),成功實(shí)現(xiàn)在用戶同意的情況下將車輛數(shù)據(jù)全部傳輸?shù)胶笈_(tái)的車聯(lián)網(wǎng)系統(tǒng)。車聯(lián)網(wǎng)服務(wù)的全面落地,首當(dāng)其沖面臨的就是海量數(shù)據(jù)的存儲(chǔ)、處理和分析問(wèn)題。豐田汽車2019年在中國(guó)全年銷量超過(guò)162萬(wàn)輛,中國(guó)市場(chǎng)保有量超過(guò)1115萬(wàn)輛。行駛的車輛每天不斷地生成新數(shù)據(jù),隨著聯(lián)網(wǎng)汽車數(shù)量不斷增長(zhǎng),這些汽車每天將產(chǎn)生數(shù)十億條消息,生成TB級(jí)的數(shù)據(jù)。為了給用戶提供更好的車聯(lián)網(wǎng)服務(wù),豐田互聯(lián)希望通過(guò)搭建數(shù)據(jù)湖,構(gòu)建一個(gè)能夠?qū)崟r(shí)存儲(chǔ)、處理、分析數(shù)據(jù)的管理平臺(tái),為穩(wěn)定、可靠、高效的車聯(lián)網(wǎng)服務(wù)系統(tǒng)打好基礎(chǔ)。
AWS在大數(shù)據(jù)方面有一套完整的解決方案,可以存儲(chǔ)任意規(guī)模的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),并對(duì)原始數(shù)據(jù)進(jìn)行查詢、處理、實(shí)時(shí)分析和機(jī)器學(xué)習(xí)等,幫助企業(yè)利用數(shù)據(jù)做出更好的決策。Amazon Simple Storage Service(Amazon S3)是AWS數(shù)據(jù)湖方案的核心,具有優(yōu)異的可伸縮性、高可用性。Amazon S3為實(shí)現(xiàn)99.999999999%的持久性而設(shè)計(jì),可以快速、低成本地?cái)z取和存儲(chǔ)各種數(shù)據(jù)。豐田互聯(lián)還采用了Amazon Kinesis實(shí)時(shí)數(shù)據(jù)流服務(wù)、AWS Lambda無(wú)服務(wù)器計(jì)算服務(wù)、Amazon Elastic MapReduce大規(guī)模并行處理服務(wù)等,安全、靈活、高效地完成從實(shí)時(shí)數(shù)據(jù)注入、解碼到分析、應(yīng)用的全流程。
同時(shí),豐田汽車的車聯(lián)網(wǎng)項(xiàng)目是全球性的,中國(guó)數(shù)據(jù)湖系統(tǒng)的架構(gòu)和平臺(tái)也需與全球統(tǒng)一。豐田汽車和AWS正在開展全球協(xié)作,采用AWS龐大的云服務(wù)組合擴(kuò)展豐田的行駛服務(wù)平臺(tái),幫助豐田工程師開發(fā)、部署和管理下一代數(shù)據(jù)驅(qū)動(dòng)的行駛服務(wù)。豐田在AWS中國(guó)區(qū)域可以選用與AWS海外區(qū)域相同的數(shù)據(jù)湖解決方案,因此AWS成為豐田互聯(lián)構(gòu)建數(shù)據(jù)湖系統(tǒng)的理想選擇。
此外,AWS的云原生和托管服務(wù)也使豐田互聯(lián)可以把更多精力放在應(yīng)用創(chuàng)新上,縮短項(xiàng)目上線時(shí)間,減少開發(fā)和運(yùn)維的成本。豐田互聯(lián)的成本節(jié)省主要體現(xiàn)在兩個(gè)方面:其一是云資源使用成本的節(jié)省。利用AWS豐富的功能建立起成本優(yōu)化模型,豐田互聯(lián)極大地降低了云資源的使用成本。例如,通過(guò)制定數(shù)據(jù)生命周期策略,在指定持續(xù)時(shí)間之后將數(shù)據(jù)從Amazon S3移動(dòng)到Amazon S3 Glacier,從而將數(shù)據(jù)存儲(chǔ)成本降低了6倍,更進(jìn)一步地將數(shù)據(jù)從Amazon S3 Glacier移動(dòng)到Amazon S3 Glacier Deep Archive,成本又降低了4倍。另一方面,采用AWS無(wú)服務(wù)器架構(gòu)等技術(shù),實(shí)現(xiàn)了架構(gòu)的自動(dòng)靈活擴(kuò)展,降低成本。其二是系統(tǒng)的運(yùn)維成本大幅度降低,基于AWS構(gòu)建的業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)了高度自動(dòng)化運(yùn)維。
豐田互聯(lián)副總經(jīng)理光武小葉子介紹說(shuō),“數(shù)據(jù)已經(jīng)成為企業(yè)的血液,善用數(shù)據(jù),車聯(lián)網(wǎng)將引領(lǐng)未來(lái)出行方式的變革。依托AWS豐富而強(qiáng)大的大數(shù)據(jù)分析服務(wù),Toyota Big Data Center China能夠簡(jiǎn)化開發(fā),快速進(jìn)入市場(chǎng),實(shí)現(xiàn)實(shí)時(shí)接收、存儲(chǔ)和處理PB級(jí)的關(guān)系及非關(guān)系型數(shù)據(jù),助力豐田汽車為中國(guó)用戶提供一流的車聯(lián)網(wǎng)服務(wù)。我們也將借助豐田在全球與AWS針對(duì)未來(lái)出行技術(shù)的進(jìn)一步探索,不斷深化與AWS在中國(guó)的合作,攜手加速創(chuàng)新,更好地服務(wù)中國(guó)用戶?!?/p>
“AWS在與全球車聯(lián)網(wǎng)、自動(dòng)駕駛等領(lǐng)域的客戶的合作中形成了深厚的積累。我們看到,全球的汽車行業(yè)客戶正在利用云、大數(shù)據(jù)、人工智能和機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)等技術(shù)改變其運(yùn)營(yíng)模式,并通過(guò)數(shù)據(jù)加速產(chǎn)品開發(fā)、優(yōu)化制造流程和改善客戶體驗(yàn)?!盇WS大中華區(qū)企業(yè)業(yè)務(wù)拓展部總經(jīng)理凌琦表示,“利用AWS的全球優(yōu)勢(shì),我們?cè)谥袊?guó)也在加大投入,深耕汽車行業(yè),助力客戶進(jìn)行數(shù)字化轉(zhuǎn)型和創(chuàng)新。豐田互聯(lián)借助AWS廣泛而深入的云服務(wù)在車聯(lián)網(wǎng)領(lǐng)域的創(chuàng)新探索,對(duì)整個(gè)汽車行業(yè)以及眾多其它行業(yè),都有著重要的借鑒意義?!?/p>