雖然現在許多汽車公司都在投資開發自動駕駛汽車，但迄今為止，自動駕駛車輛還尚未達到大規模部署所需的安全水平。若要達到該水平，車輛需要能夠安全有效地應對道路上的各種挑戰。

據外媒報道，卡內基梅隆大學（carnegie mellon university）的研究人員開發出基于強化學習（rl）的框架，可以幫助提高自動駕駛汽車在匝道合并場景中的性能，即匝道上的車輛偏離主干道的情況，或將提高自動駕駛汽車的安全性，降低事故風險。

圖片來源：arxiv

開發該模型的研究人員之一soumith udatha表示：“此次研究關注的是高速公路并道，因為涉及高速車輛、不同風格的駕駛員以及各種不確定性。”

udatha及其同事致力于提高自動駕駛汽車的安全性。在最近的論文中，這些研究人員嘗試設計出一個框架，可以有效地捕捉匝道合并場景，并根據對任何不確定性和可能風險的分析來規劃車輛的行動。

udatha解釋說：“rl模型與環境交互并收集數據以優化它們的獎勵，但這種數據探索在部署到現實環境中時會遇到一些問題，部分原因是并非代理遇到的所有狀態都是安全的。我們用控制屏障功能（cbf）來約束我們的rl策略，以確保在指定距離內的安全。因此，在環境約束下，我們可以忽略不安全狀態，并增強系統學習導航的能力。”

cbf是一類相當新的計算方法，旨在增強自動駕駛系統的安全控制。cbf可以直接應用于不同的優化問題，包括斜坡合并。但cbf執行的優化并沒有考慮系統在探索環境時收集的數據，而rl方法可以幫助填補這一空白。

udatha表示：“我們發現，我們的算法可以擴展到離線和在線rl環境。由于我們現在擁有大量用于離線rl的數據，因此對離線數據集的訓練最終可以產生更好的模型。根據我們的指標，我們還發現將概率cbf作為約束包含在內可以提供更好的安全性，因為cbf在一定程度上考慮了駕駛員的不確定性。”

udatha及其同事在一系列測試中測試了他們的框架，使用的是由英特爾實驗室（intel labs）和巴塞羅那計算機視覺中心（computer vision center）的研究人員開發的在線版carla仿真器。在這些仿真中，基于rl的框架成果顯著，凸顯了其在匝道合并期間提高自動駕駛車輛安全性的可能價值。

udatha補充道：“我們現在計劃通過訓練模型來擴展研究，以在駕駛員不確定的場景中將自動駕駛汽車與多輛汽車合并。我們還發現目前缺少用于比較各種匝道合并方法的標準基準，因此我們正在同時嘗試為ngsim建立匝道合并基準，其中，ngsim是nhtsa在美國i-80和101高速公路上發布的高速公路數據集。”