近日，理想汽車宣布基于端到端及VLM視覺語言模型和世界模型的全新一代理想智能駕駛正式開啟萬人體驗(yàn)團(tuán)招募，新一代產(chǎn)品將進(jìn)入有監(jiān)督（L3級(jí)別及以下）自動(dòng)駕駛的新階段，理想汽車自動(dòng)駕駛產(chǎn)品面向車主免費(fèi)。
特斯拉是最早在智能駕駛上應(yīng)用端到端大模型的企業(yè)。今年7月份，特斯拉公司CEO埃隆·馬斯克表示，將在歐洲和中國(guó)申請(qǐng)監(jiān)管批準(zhǔn)以實(shí)施監(jiān)督下的FSD，預(yù)計(jì)在今年年底前獲得批準(zhǔn)。而今年以來，理想、小鵬等多家車企力推端到端，這一技術(shù)方案較為火熱。
信達(dá)證券發(fā)布的一份研報(bào)顯示，“端到端”是指一端輸入圖像等環(huán)境數(shù)據(jù)信息，中間經(jīng)歷類似“黑箱”的多層神經(jīng)網(wǎng)絡(luò)模型，另一端直接輸出轉(zhuǎn)向、制動(dòng)、加速等駕駛指令。與傳統(tǒng)規(guī)則驅(qū)動(dòng)的分模塊架構(gòu)相比，端到端的實(shí)現(xiàn)將帶來一系列優(yōu)勢(shì)：完全基于數(shù)據(jù)驅(qū)動(dòng)進(jìn)行全局任務(wù)優(yōu)化，具備更好、更快的糾錯(cuò)能力；能進(jìn)一步減少模塊間信息的有損傳遞、延遲和冗余，避免誤差累積，提升計(jì)算效率；泛化能力更強(qiáng)，由Rule-based算法轉(zhuǎn)向Learning-based，具備零樣本學(xué)習(xí)能力，面對(duì)未知場(chǎng)景具備更強(qiáng)決策能力。
和傳統(tǒng)的基于規(guī)則控制的智能駕駛輔助系統(tǒng)不同，端到端的自動(dòng)駕駛解決方案意味著從感知到規(guī)控的全過程都通過先進(jìn)的算法和深度學(xué)習(xí)技術(shù)進(jìn)行處理。端到端技術(shù)在自動(dòng)駕駛上的應(yīng)用，把原本感知、預(yù)測(cè)、規(guī)劃等多個(gè)模型組合的架構(gòu)，變成了“感知決策一體化”的單模型架構(gòu)。通俗來說，過去自動(dòng)駕駛路線就好比多個(gè)人開一輛車，而端到端技術(shù)是單人開車，更加接近真實(shí)的人類駕駛。
“相比于以前模塊化的模型，端到端更本質(zhì)的方法是減少了各種信息的冗余。端到端的模型需要規(guī)則，有分模塊的數(shù)據(jù)和分模塊的策略任務(wù)。”理想汽車智能駕駛高級(jí)算法專家詹錕對(duì)記者表示，理想汽車的端到端本身想解決中間信息的損失，如果中間加了人為的信息消化過程，可能效率不是那么高或能力上限受到約束，所以一體化的端到端是更本質(zhì)的端到端，其訓(xùn)練難度比分模塊架構(gòu)要大，包括數(shù)據(jù)配比和訓(xùn)練方法等方面都需要深入探索和挖掘。
理想汽車的端到端模型用于處理常規(guī)的駕駛行為，從傳感器輸入到行駛軌跡輸出只經(jīng)過一個(gè)模型，信息傳遞、推理計(jì)算和模型迭代更高效，駕駛行為更擬人；VLM視覺語言模型具備強(qiáng)大的邏輯思考能力，可以理解復(fù)雜路況、導(dǎo)航地圖和交通規(guī)則，應(yīng)對(duì)高難度的未知場(chǎng)景。同時(shí)，自動(dòng)駕駛系統(tǒng)將在基于世界模型構(gòu)建的虛擬環(huán)境中進(jìn)行能力學(xué)習(xí)和測(cè)試。
“過去的智駕方案，不管是輕圖還是無圖，底層技術(shù)架構(gòu)都是有人為設(shè)計(jì)成分的，如果想將一年四季各種情況都跑一遍，沒有一兩年時(shí)間是不可能實(shí)現(xiàn)。所以我們迭代了端到端+VLM技術(shù)架構(gòu)，本質(zhì)上是人工智能方案。”理想汽車智能駕駛研發(fā)副總裁郎咸朋對(duì)記者表示，自動(dòng)駕駛研發(fā)的核心競(jìng)爭(zhēng)在于是否有更多更好的數(shù)據(jù)和與之配套的算力去訓(xùn)練模型。而算力和數(shù)據(jù)的獲取，需要看花多少錢、投入多少資源去做，同時(shí)需要投資算力。他透露，理想汽車當(dāng)前訓(xùn)練算力達(dá)到5.39EFLOPS，預(yù)計(jì)到2024年底將超過8EFLOPS。目前每年在訓(xùn)練算力的投入超過10億元，今年要消耗20億元。
國(guó)信證券研報(bào)顯示，當(dāng)前汽車智能化已經(jīng)具備端到端大模型的技術(shù)底層突破，國(guó)內(nèi)市場(chǎng)遠(yuǎn)期具有近3000億元的市場(chǎng)空間，智能駕駛奇點(diǎn)時(shí)刻漸近。不過，智駕領(lǐng)域需要大量的研發(fā)投入。不久前，極越汽車CEO夏一平在極越端到端AI智駕發(fā)布會(huì)上表示，200億元曾被公認(rèn)是造車的資金門檻，現(xiàn)在企業(yè)沒有500億元也做不好智駕。
“未來智能駕駛進(jìn)入到L4階段，每年數(shù)據(jù)和算力都是呈指數(shù)級(jí)的增長(zhǎng)，這意味著每年至少需要10億美金，5年之后需要持續(xù)迭代。在這樣的量級(jí)下，一家企業(yè)的盈利和利潤(rùn)不能支撐投入的話是很困難的。所以，現(xiàn)在不需要關(guān)注投入多少億做自動(dòng)駕駛，而是從