强化学习与自动驾驶研究内容

行业标准
2021.7，《自动驾驶数据记录系统标准制定思路及进展》，中汽中心 汽车标准化研究所，http://www.catarc.org.cn/upload/202107/16/202107161009405028.pdf
《智能网联汽车 术语和定义》，国家标准，https://www.autothinker.net/editor/attached/file/20210908/20210908145058_67256.pdf
《汽车驾驶自动化分级》，国家标准，https://www.chinabuses.com/uploadfile/2020/0310/20200310123023480.pdf
《自动驾驶车辆测试安全员专业技能要求》，中国智能交通产业联盟，http://www.c-its.org.cn/Index/downloadnews/id/779.html
《自动驾驶出租汽车测试运营规范与安全管理要求》，中国智能交通产业联盟，http://www.c-its.org.cn/Uploads/ueditor/file/20210425/60853212789f2.pdf
《自动驾驶公交车 第 1 部分：车辆运营技术要求》，中国智能交通产业联盟，http://www.c-its.org.cn/Uploads/ueditor/file/20211028/617a4a3c9ac05.pdf
《车辆自动驾驶系统应用职业技能等级标准》，上海淞泓智能汽车科技有限公司，https://pvc-e7031f9b-6522-11e9-883f-fa163e9e2c22.obs.cn-north-1.myhuaweicloud.com/prod%2Fimage%2F2021-03-31%2F15f6337dc4964c4a9b5e693a2d92b5a4.pdf
白皮书
中国信通院
2022.1，《全球自动驾驶战略与政策观察——自动驾驶开启商业化元年》，36页，中国信息通信研究院和人工智能与经济社会研究中心，http://www.caict.ac.cn/kxyj/qwfb/ztbg/202201/P020220126549881872325.pdf

2021.12，《车联网白皮书》，44页，中国信息通信研究院，http://www.caict.ac.cn/kxyj/qwfb/bps/202112/P020211224634954242855.pdf

2020.12，《车联网白皮书（网联自动驾驶分册）》，44页，中国信息通信研究院，http://pg.jrj.com.cn/acc/Res/CN_RES/INDUS/2020/12/17/1019396a-208c-434e-b8b2-1a97e1648526.pdf

2019.12，《车联网白皮书（C-V2X白皮书）》，47页，中国信息通信研究院、国泰君安证券股份有限公司，http://www.caict.ac.cn/kxyj/qwfb/bps/201912/P020191226516585677051.pdf

2019.12，《车联网白皮书（2018年）》，35页，中国信息通信研究院、http://www.caict.ac.cn/kxyj/qwfb/bps/201812/P020181218510826089278.pdf

2017.9，《车联网白皮书（2017年）》，37页，中国信息通信研究院、华为技术有限公司、电信科学技术研究院，http://www.caict.ac.cn/kxyj/qwfb/bps/201804/P020170928592209280350.pdf

2017.9，《车联网网络安全白皮书（2017年）》，41页，中国信息通信研究院，http://www.caict.ac.cn/kxyj/qwfb/bps/201804/P020170921430215345026.pdf

IMT-2020(5G)推进组
2019.10，《C-V2X业务需求演进白皮书》，25页，IMT-2020(5G)推进组，http://www.caict.ac.cn/kxyj/qwfb/bps/201911/P020191104336556097939.pdf

2019.10，《车辆高精度定位白皮书》，23页，IMT-2020 (5G)推进组，http://www.caict.ac.cn/kxyj/qwfb/bps/201911/P020200911551988189402.pdf

2019.7，《LTE-V2X安全技术》，25页，IMT-2020 (5G)推进组，http://zhishi.sae-china.org/read/?id=1922#page=3

2019.1，《MEC与C-V2X融合 应用场景》，19页，IMT-2020 (5G)推进组，http://m.caict.ac.cn/yjcg/201901/P020190123572024553363.pdf

2018.6，《C-V2X》，33页，IMT-2020 (5G)推进组，http://www.caict.ac.cn/kxyj/qwfb/bps/201806/P020180621609834833905.pdf

移动
2021，《中国移动自动驾驶网络白皮书》，中国移动，https://kxlabs.10086.cn/files/1626350861865-520854.pdf
联通
2021，《5G+MEC+V2X 车联网解决方案 白皮书》，32页，中国联合网络通信集团有限公司、联想，http://www.future-forum.org/cn/leon/a/upfiles/file/202104/20210414164624972497.pdf
百度
2021.12，《自动驾驶汽车交通安全白皮书》，74页，中汽中心、同济大学、百度Apollo，https://apollo-open.bj.bcebos.com/20211215/%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E6%B1%BD%E8%BD%A6%E4%BA%A4%E9%80%9A%E5%AE%89%E5%85%A8%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf

2019，《自动驾驶安全第一白皮书》，157页，百度、安波福、宝马、奥迪等，https://www.bjhzhz.com/ueditor/php/upload/file/20210611/1623382005549714.pdf

华为
2021.7，《华为数据中心自动驾驶网络白皮书》，27页，华为，https://www.chenxiaofang.site/wp-content/uploads/2021/07/%E5%8D%8E%E4%B8%BA%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E7%BD%91%E7%BB%9C%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf

2021.6，《数据中心基础设施智能化分级（自动驾驶）》，32页，华为，https://www.eet-china.com/d/file/news/2021-06-09/2b6c4c1c8f18254c9e5fdd398e5b905a.pdf

2020，《自动驾驶网络解决方案白皮书》，80页，华为，https://carrier.huawei.com/~/media/CNBGV2/download/adn/Autonomous-Driving-Network-whitepaper-cn1.pdf

未来网络发展大会
2021.12，《未来网络白皮书——数据中心自动驾驶网络技术白皮书，2021版》，52页，第五届未来网络发展大会组委会，https://img1.sdnlab.com/wp-content/uploads/2021/06/21/whitepaper-%E6%9C%AA%E6%9D%A5%E7%BD%91%E7%BB%9C%E7%99%BD%E7%9A%AE%E4%B9%A6%E2%80%94%E2%80%94%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E7%BD%91%E7%BB%9C%E6%8A%80%E6%9C%AF%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf
中国智能网联汽车产业创新联盟
2021.5，《智能网联汽车高精度卫星定位白皮书》，152页，中国智能网联汽车产业创新联盟，http://www.china-icv.cn/upload/2021/07/12/16260536514901daijd.pdf

2021.5，《智能网联汽车高精地图白皮书》，147页，中国智能网联汽车产业创新联盟，http://www.china-icv.cn/upload/2021/07/12/16260536764054a4d6l.pdf

中国软件评测中心
2020.12，《车载智能计算平台功能安全白皮书》，152页，中国软件评测中心，https://www.cstc.org.cn/chezaizhinengjisuanpingtaigongnenganquanbaipishu.pdf
报告
2022.1.17，维多利亚运输政策研究所，Autonomous Vehicle Implementation Predictions：Implications for Transport Planning，48页。许多决策者和从业者都想知道，自动驾驶汽车(AVs)将如何影响未来的出行，进而影响对道路、停车设施和公共交通服务的需求，以及哪些公共政策可以将这些新技术的问题最小化，并使其效益最大化。本报告探讨了这些问题。https://www.vtpi.org/avip.pdf

2021，2021年全球自动驾驶汽车指南Global Guide to Autonomous Vehicles，http://www.thedriverlesscommute.com/wp-content/uploads/2021/02/Global-Guide-to-Autonomous-Vehicles-2021.pdf

2021.7，《车载计算平台标准化需求研究报告》，全国汽车标准化技术委员会、智能网联汽车分技术委员会，http://www.catarc.org.cn/upload/202109/22/202109221132155975.pdf

2021.3，《自动驾驶产业链全梳理》，西南证券研究发展中心，https://pdf.dfcfw.com/pdf/H3_AP202103111470672485_1.pdf?1615459588000.pdf

2021.1，《自动驾驶驶向何方？》：自动驾驶市场、技术路径、产业发展、投资建议，国金证券，http://qccdata.qichacha.com/ReportData/PDF/df94319e701b86a7594a93bfe1d498ce.pdf

2020.11.11，《ETC驶向V2X，智慧交通龙头“驾轻就熟”》，32页，开源证券，https://pdf.dfcfw.com/pdf/H3_AP202011151429330007_1.pdf?1605434112000.pdf

2020.5.24，《标准临近叠加新基建助力，C-V2X 产业元年开启 ——C-V2X 行业深度报告》，30页，光大证券，https://pdf.dfcfw.com/pdf/H3_AP202005241380177659_1.pdf?1590355566000.pdf

《2021-2022中国自动驾驶产业年度总结报告》，亿欧智库，https://www.dx2025.com/wp-content/uploads/2022/02/eu_billion_think_tank_annual_summary_report_of_chinas_aut.pdf

《国内外自动驾驶产业政策与监管规制对深圳产业发展的影响及借鉴研究报告》，深圳市标准技术研究院，https://www.sist.org.cn/fwzl/Biaozhun/szbzllyj/202009/P020200921514999607576.pdf

《全球自动驾驶战略与政策观察（2020）》，中国信通院，http://www.caict.ac.cn/kxyj/qwfb/ztbg/202012/P020201229617023251890.pdf

11.2020.12，《智能网联汽车预期功能安全前沿技术研究报告》，智能网联汽车汽车预期功能安全研究组，http://www.china-icv.cn/upload/2021/07/12/162605355915926xoid.pdf

《2020年中国无人驾驶行业概览（L4级别及以上）》，头豹研究院，https://pdf.dfcfw.com/pdf/H3_AP202012251443762578_1.pdf

《2021中国矿区自动驾驶研究报告》，亿欧智库，http://pg.jrj.com.cn/acc/Res/CN_RES/INDUS/2021/4/20/2a0c29d4-9034-4e31-8741-7c2fd1c666ba.pdf

《用多模感知技术打造智能网联汽车新体验》，科大讯飞 王兴宝，http://www.catarc.org.cn/upload/202107/16/202107161008096235.pdf

书籍
【干货书】人工智能自动驾驶，“AI FOR CARS”，129页pdf，https://www.zhuanzhi.ai/vip/7877bbe3da00899a2ca31df33d207e1b
综述
中文
2021.3，广西大学“面向自动驾驶的边缘计算技术研究综述”，19页，通信学报。介绍了基于边缘计算的自动驾驶汽车协同感知和任务卸载技术及相关挑战性问题，然后对协同感知和任务卸载技术的研究现状进行了分析总结。
论文原链接http://www.infocomm-journal.com/txxb/CN/article/downloadArticleFile.do?attachType=PDF&id=171291

2021.1，天津大学“自动驾驶智能系统测试研究综述”，22页，软件学报。本文调研了56 篇相关领域的学术论文，分别就感知模块、决策模块、综合功能模块及整车系统的测试技术、用例生成方法和测试覆盖度量等维度对目前已有的研究成果进行了梳理，并描述了自动驾驶智能系统测试中的数据集及工具集。
论文原链接https://jos.org.cn/jos/article/abstract/6266

英文
2022.1.19，科罗拉多州立大学，Object Detection in Autonomous Vehicles: Status and Open Challenges。
论文原链接https://arxiv.org/ftp/arxiv/papers/2201/2201.07706.pdf

2022.1，法国雷恩第一大学，Adversarial Example Detection for DNN Models: A Review and Experimental Comparison。
论文原链接https://arxiv.org/pdf/2105.00203v2.pdf
代码https://github.com/aldahdooh/detectors_review

2021.12，加拿大Alberta大学、华为发表自动驾驶可解释AI的综述论文，“Explainable Artificial Intelligence for Autonomous Driving: A Comprehensive Overview and Field Guide for Future Research Directions”，arXiv。该研究为开发自动驾驶车辆的可解释人工智能（XAI）方法提供了全面的信息。首先，概述了目前最先进的自动驾驶汽车行业在可解释方面存在的差距。然后，展示该领域中可解释和可解释受众的分类。第三，提出了一个端到端自动驾驶系统体系结构的框架，并论证了XAI在调试和调控此类系统中的作用。
论文原链接https://arxiv.org/pdf/2112.11561.pdf

2021.2，法国Navya无人驾驶公司，Deep reinforcement learning for autonomous driving: A survey， IEEE Transactions on Intelligent Transportation Systems。
论文原链接https://arxiv.org/pdf/2002.00444.pdf

2020.7，深度学习自动驾驶技术综述论文，“Autonomous Driving with Deep Learning: A Survey of State-of-Art Technologies”，28页，arXiv。研究了自动驾驶系统的主要领域，如感知、地图和定位、预测、规划和控制、仿真、V2X和安全等。重点分析几个关键领域，即感知中的二维/三维物体检测、摄像机深度估计、数据、特征和任务级的多传感器融合、车辆行驶和行人轨迹的行为建模和预测。
论文原链接https://arxiv.org/ftp/arxiv/papers/2006/2006.06091.pdf

2020.3，日本名古屋大学自动驾驶领域顶级专家（Senior Member, IEEE），“A Survey of Autonomous Driving: Common Practices and Emerging Technologies”，28页，IEEE Access。本文讨论了无人驾驶技术中尚未解决的问题，并对无人驾驶技术进行了综述。对目前的挑战、高级系统架构、新兴方法和核心功能(包括定位、映射、感知、规划和人机界面)的研究进行了全面回顾。此外，在自己的平台上实现了许多最先进的算法，并在真实世界的驾驶环境中进行了比较。最后概述了ADS开发中可用的数据集和工具。
论文原链接https://arxiv.org/pdf/1906.05113.pdf

关键技术（原文、代码、视频、数据集链接）
感知
2021.11，中山大学，“基于多对多生成对抗网络的非对称跨域迁移行人再识别”，自动化学报。
论文原链接http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190303

2021.10，广西大学，“无人驾驶汽车协同感知信息传输负载优化技术”，计算机学报。本文提出了一种视频感知数据的传输负载优化方法，主要思想是通过路边基础设施把视频帧中的静态背景与动态前景进行分离，仅在初始时传输一次静态背景，其余每次仅传输动态前景信息，这样可以使得传输负载大幅降低。
论文原链接http://cjc.ict.ac.cn/online/onlinepaper/lp-x-20211014145533.pdf

2021.5，中南大学，“基于可见光与红外热图像的行车环境复杂场景分割”，自动化学报。
论文原链接http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210029

2022.1.18，采埃孚印度技术中心，Contextual road lane and symbol generation for autonomous driving。
论文原链接https://arxiv.org/pdf/2201.07120.pdf

2022.1.18，法国南特大学，Attention-based Proposals Refinement for 3D Object Detection。
论文原链接https://arxiv.org/pdf/2201.07070.pdf

2022.1.17，加州大学欧文分校， HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception，13th ACM/IEEE International Conference on Cyber-Physical Systems (ICCPS 2022)。
论文原链接https://arxiv.org/pdf/2201.06644.pdf
代码https://github.com/aicps/hydrafusion

2021.10，麻省理工学院，Kimera: from SLAM to Spatial Perception with 3D Dynamic Scene Graphs，arxiv。
论文原链接https://arxiv.org/pdf/2101.06894.pdf ，
代码https://github.com/MIT-SPARK/Kimera ，
视频Video 1: https://youtu.be/-5XxXRABXJs，Video 2: https://youtu.be/SWbofjhyPzI。

2020.7，麻省理工学院，Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping，ICRA 2020。
论文原链接https://arxiv.org/pdf/1910.02490.pdf ，
代码https://github.com/MIT-SPARK/Kimera，https://paperswithcode.com/paper/kimera-an-open-source-library-for-real-time，
视频https://www.youtube.com/watch?v=-5XxXRABXJs

2020.6，麻省理工学院，3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans，Robotics: Science and Systems (RSS)。
论文原链接https://arxiv.org/pdf/2002.06289.pdf ，
代码https://paperswithcode.com/paper/3d-dynamic-scene-graphs-actionable-spatial，
视频https://www.youtube.com/watch?v=SWbofjhyPzI

2019.7，麻省理工学院，Incremental Visual-Inertial 3D Mesh Generation with Structural Regularities，ICRA 2019。
论文原链接https://arxiv.org/pdf/1903.01067.pdf ，
代码https://github.com/MIT-SPARK/Kimera，https://paperswithcode.com/paper/incremental-visual-inertial-3d-mesh
（论文7-10为同一作者成果）

2021.10，英国埃塞克斯大学、荷兰代尔夫特理工大学、昆士兰科技大学，VPR-Bench: An Open-Source Visual Place Recognition Evaluation Framework with Quantifiable Viewpoint and Appearance Change。
论文原链接https://arxiv.org/pdf/2005.08135v2.pdf
代码：https://github.com/MubarizZaffar/VPR-Bench

2021.10，韩国延世大学，Robust Lane Detection via Expanded Self Attention，IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2022。
论文原链接https://arxiv.org/pdf/2102.07037v3.pdf，
代码https://github.com/Hydragon516/ESA-official

2021.10，瑞典RISE研究院、瑞典隆德大学，Efficient and Effective Generation of Test Cases for Pedestrian Detection – Search-based Software Testing of Baidu Apollo in SVL，AITest 2021。
论文原链接https://arxiv.org/pdf/2109.07960v2.pdf，
代码https://github.com/ebadi/scenariogenerator

2021.9，哈尔滨工业大学（Senior Member, IEEE），Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes。
论文原链接https://arxiv.org/pdf/2101.06085v2.pdf ，
代码https://github.com/ydhongHIT/DDRNet

2021.8，爱丁堡大学，GRIT: Fast, Interpretable, and Verifiable Goal Recognition with Learned Decision Trees for Autonomous Driving，2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)。
论文原链接https://arxiv.org/pdf/2103.06113v3.pdf
代码https://github.com/uoe-agents/GRIT

2021.4，西班牙塞维利亚大学，Enhancing Object Detection for Autonomous Driving by Optimizing Anchor Generation and Addressing Class Imbalance，Neurocomputing (2021)。
论文原链接https://arxiv.org/pdf/2104.03888v1.pdf
代码https://github.com/carranza96/waymo-detection-optimization

2021.4，俄罗斯Evocargo LLC，Raindrops on Windshield: Dataset and Lightweight Gradient-Based Detection Algorithm。
论文原链接https://arxiv.org/pdf/2104.05078v1.pdf
代码https://github.com/EvoCargo/RaindropsOnWindshield

2021.3，多伦多大学机器人研究所，Categorical Depth Distribution Network for Monocular 3D Object Detection。
论文原链接https://arxiv.org/pdf/2103.01100v2.pdf ，
代码https://github.com/TRAILab/CaDDN

2021.3，香港科技大学，Video Deblurring by Fitting to Test Data。
论文原链接https://arxiv.org/pdf/2012.05228v2.pdf ，
代码https://github.com/xrenaa/Deblur-by-Fitting

2021.2，美国密歇根大学，LiDARTag: A Real-Time Fiducial Tag System for Point Clouds。
论文原链接https://arxiv.org/pdf/1908.10349.pdf，
代码https://github.com/UMich-BipedLab/LiDARTag。

2021.2，深圳市人工智能与机器人研究院、香港中文大学，Semantic Histogram Based Graph Matching for Real-Time Multi-Robot Global Localization in Large Scale Environment，IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION。
论文原链接https://arxiv.org/pdf/2010.09297v2.pdf ，
代码https://repository.tudelft.nl/islandora/object/uuid:af94d535-1853-4a6c-8b3f-77c98a52346a?collection=research，
数据集http://www.cvlibs.net/datasets/kitti/，https://synthia-dataset.net/，https://github.com/Microsoft/AirSim

2020.10，法国格勒诺布尔大学，GndNet: Fast Ground Plane Estimation and Point Cloud Segmentation for Autonomous Vehicles，IEEE/RSJ International Conference on Intelligent Robots and Systems。
论文原链接https://hal.inria.fr/hal-02927350/document
代码https://github.com/anshulpaigwar/GndNet

2020.8，清华大学，DXSLAM: A Robust and Efficient Visual SLAM System with Deep Features。
论文原链接https://arxiv.org/pdf/2008.05416v1.pdf ，
代码https://github.com/ivipsourcecode/dxslam

2020.7，香港科技大学，GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision，ECCV 2020。
论文原链接https://arxiv.org/pdf/2007.13124v1.pdf ，
代码https://github.com/lkeab/gsnet

2020.6，奔驰、乌尔姆大学、普林斯顿大学等，Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather，CVPR2020。
论文原链接https://arxiv.org/pdf/1902.08913.pdf ，
代码https://github.com/princeton-computational-imaging/SeeingThroughFog

2020.5，慕尼黑工业大学，Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM Extension，EVER2020。
论文原链接https://arxiv.org/pdf/2005.07429v1.pdf，
代码https://github.com/TUMFTM/orbslam-map-saving-extension

2020.4，武汉大学，Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks，IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY。
论文原链接https://arxiv.org/pdf/1903.02193v2.pdf，
代码https://github.com/qinnzou/Robust-Lane-Detection

2020.3，剑桥大学，PaRoT: A Practical Framework for Robust Deep Neural Network Training，22页，12th NASA Formal Methods Symposium。
论文原链接https://arxiv.org/pdf/2001.02152v3.pdf
代码https://github.com/fiveai/parot

2020.2，斯坦福大学，Slice-based Learning: A Programming Model for Residual Learning in Critical Data Slices，NeurIPS 2019。
论文原链接https://arxiv.org/pdf/1909.06349v2.pdf ，
代码https://github.com/snorkel-team/snorkel-tutorials

2020.2，德国戴姆勒公司、德国卡尔斯鲁厄理工学院，CNN-based Lidar Point Cloud De-Noising in Adverse Weather。
论文原链接https://arxiv.org/pdf/1912.03874v2.pdf ，
代码https://github.com/rheinzler/PointCloudDeNoising

2020.2，卡耐基梅隆大学，Learning to Move with Affordance Maps，ICLR 2020。
论文原链接https://arxiv.org/pdf/2001.02364v2.pdf
代码https://github.com/wqi/A2L

2020.1，中科院沈阳自动化研究所研究所、中国科学院机器人与智能制造研究所等RTM3D: Real-time Monocular 3D Detection from Object Keypoints for Autonomous Driving。
论文原链接https://arxiv.org/pdf/2001.03343v1.pdf ，
代码https://github.com/Banconxuan/RTM3D

2019.7，意大利博洛尼亚大学、帕尔马大学，Lane Detection and Classification using Cascaded CNNs。
论文原链接https://arxiv.org/pdf/1907.01294v2.pdf
代码https://github.com/fabvio/Cascade-LD，https://github.com/fabvio/TuSimple-lane-classes

2019.10，加拿大约克大学，PIE: A Large-Scale Dataset and Models for Pedestrian Intention Estimation and Trajectory Prediction，ICCV 2019。
论文原链接https://openaccess.thecvf.com/content_ICCV_2019/papers/Rasouli_PIE_A_Large-Scale_Dataset_and_Models_for_Pedestrian_Intention_Estimation_ICCV_2019_paper.pdf，
代码https://github.com/aras62/PIEPredict

2019.8，旷世研究院、清华大学等，Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection。
论文原链接https://arxiv.org/pdf/1908.09492v1.pdf ，
代码https://github.com/poodarchu/Class-balanced-Grouping-and-Sampling-for-Point-Cloud-3D-Object-Detection

2019.7，巴西圣埃斯皮里图联邦大学（Senior Member, IEEE），Cross-Domain Car Detection Using Unsupervised Image-to-Image Translation: From Day to Night。
论文原链接https://arxiv.org/pdf/1907.08719v1.pdf
代码https://github.com/LCAD-UFES/publications-arruda-ijcnn-2019

2019.5，乔治亚理工学院、英特尔，ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector。
论文原链接https://arxiv.org/pdf/1804.05810v3.pdf，
代码https://github.com/shangtse/robust-physical-attack

2017.5，高精地图，Highiy Efficient HD Map Creation: Acceierating Mapping Process with GPUs，40页PPT。
原链接https://on-demand.gputechconf.com/gtc/2017/presentation/s7656-shigeyuki-iwata-accelerating-hd-mapping.pdf

预测
2021.11，加州大学欧文分校，Spatio-Temporal Scene-Graph Embedding for Autonomous Vehicle Collision Prediction。
论文原链接https://arxiv.org/pdf/2111.06123v1.pdf
代码https://github.com/aicps/sg-collision-prediction

2021.10，阿德莱德大学，Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data。
论文原链接https://arxiv.org/pdf/2110.10966v1.pdf
代码https://github.com/MatthewHowe/WIBAM

2021.7，清华大学、北京国家信息科学技术研究中心，Human Trajectory Prediction via Counterfactual Analysis，ICCV 2021。
论文原链接https://arxiv.org/pdf/2107.14202v1.pdf
代码https://github.com/CHENGY12/CausalHTP

2021.6，意大利佛罗伦萨大学，MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction，CVPR2020。
论文原链接https://arxiv.org/pdf/2006.03340v2.pdf
代码https://github.com/Marchetz/MANTRA-CVPR20

2021.6，纽约州立大学石溪分校，A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention。
论文原链接https://arxiv.org/pdf/2106.10319v1.pdf
代码https://github.com/monjurulkarim/Crash_road_function_dataset

2021.6，北卡罗莱纳大学夏洛特分校，CARPe Posterum: A Convolutional Approach for Real-time Pedestrian Path Prediction，AAAI-21。
论文原链接https://arxiv.org/pdf/2005.12469v3.pdf 代码https://github.com/TeCSAR-UNCC/CARPe_Posterum

2021.4，英国利兹大学，Maneuver-Aware Pooling for Vehicle Trajectory Prediction。
论文原链接https://arxiv.org/pdf/2104.14079v1.pdf
代码https://github.com/m-hasan-n/pooling

2020.9，新加坡南洋理工大学（Senior Member, IEEE），Context Model for Pedestrian Intention Prediction using Factored Latent-Dynamic Conditional Random Fields，IEEE Transactions on Intelligent Transportation Systems。
论文原链接https://arxiv.org/pdf/1907.11881v4.pdf
代码https://github.com/satyajitneogiju/FLDCRF-for-sequence-labeling

2020.8，英属哥伦比亚大学、卡耐基梅隆大学，What-If Motion Prediction for Autonomous Driving。
论文原链接https://arxiv.org/pdf/2008.10587v1.pdf
代码https://github.com/wqi/WIMP

2020.5，美国理海大学，GRIP++: Enhanced Graph-based Interaction-aware Trajectory Prediction for Autonomous Driving。
论文原链接https://arxiv.org/pdf/1907.07792v2.pdf ，
代码https://github.com/xincoder/GRIP

2020.3，美国哥伦比亚大学，An LSTM-Based Autonomous Driving Model Using Waymo Open Dataset，Applied Sciences。
论文原链接https://arxiv.org/pdf/2002.05878v2.pdf
代码https://github.com/JdeRobot/BehaviorSuite ，https://github.com/JdeRobot/BehaviorMetrics

2020.3，加州大学，Explainable Object-induced Action Decision for Autonomous Vehicles。
论文原链接https://arxiv.org/pdf/2003.09405v1.pdf
代码https://github.com/Twizwei/bddoia_project

2019.9，卡内基梅隆大学、加州大学，PRECOG: PREdiction Conditioned On Goals in Visual Multi-Agent Settings，ICCV 2019。
论文原链接https://arxiv.org/pdf/1905.01296v3.pdf ，
代码https://github.com/nrhine1/precog

规则（人类先验知识）
2021.5，印度坎普尔理工学院、多伦多大学、英伟达等，Emergent Road Rules In Multi-Agent Driving Environments，ICLR 2021。
论文原链接https://arxiv.org/pdf/2011.10753v2.pdf ，
代码https://github.com/fidler-lab/social-driving

2021.2，俄亥俄州立大学、google，Driving Style Representation in Convolutional Recurrent Neural Network Model of Driver Identification。
论文原链接https://arxiv.org/pdf/2102.05843v1.pdf
代码https://github.com/sobhan-moosavi/DCRNN

规划
2022.1，西安交通大学人工智能与机器人研究所·薛建儒教授，“高速公路无人驾驶的分层抽样多动态窗口轨迹规划算法”，自动化学报。
论文原链接http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210673

2021.1，美国爱荷华州立大学，Visual Exploration and Energy-aware Path Planning via Reinforcement Learning。
论文原链接https://arxiv.org/pdf/1909.12217v4.pdf
代码https://github.com/AmirNiaraki/Visual-Exploration

2020.11，慕尼黑工业大学，Counterfactual Policy Evaluation for Decision-Making in Autonomous Driving， IROS 2020。
论文原链接https://arxiv.org/pdf/2003.11919v3.pdf ，
代码https://github.com/bark-simulator/bark ，https://github.com/bark-simulator/bark-ml

2020.11，香港理工大学、卡耐基梅隆大学，Trajectory Planning for Autonomous Vehicles Using Hierarchical Reinforcement Learning。
论文原链接https://arxiv.org/pdf/2011.04752v1.pdf
代码https://github.com/kalebbennaveed/Trajectory-Planning-for-Autonomous-Vehicles-Using-HRL

2020.10，加州大学伯克利分校，Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL。
论文原链接 https://arxiv.org/pdf/2011.00120v1.pdf
代码https://github.com/eugenevinitsky/decentralized_bottlenecks

2020.9，牛津大学、加州大学，Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?
论文原链接https://arxiv.org/pdf/2006.14911v2.pdf ，
代码https://github.com/OATML/oatomobile

端到端
2021.4，普朗克智能系统研究所、德国蒂宾根大学，Multi-Modal Fusion Transformer for End-to-End Autonomous Driving，CVPR2021。
论文原链接https://openaccess.thecvf.com/content/CVPR2021/papers/Prakash_Multi-Modal_Fusion_Transformer_for_End-to-End_Autonomous_Driving_CVPR_2021_paper.pdf
代码https://github.com/autonomousvision/transfuser

2021.11，图卢兹第三大学，StereoSpike: Depth Learning with a Spiking Neural Network。
论文原链接https://arxiv.org/pdf/2109.13751v2.pdf
代码https://github.com/urancon/stereospike

2021.8，加拿大维多利亚大学、波多黎各大学马亚奎兹分校（Senior Member, IEEE），Evaluating Adversarial Attacks on Driving Safety in Vision-Based Autonomous Vehicles。
论文原链接https://arxiv.org/pdf/2108.02940v1.pdf
代码https://github.com/DexterJZ/eval_driving_safety

2021.8，印度SRM科学技术研究所，Robust Behavioral Cloning for Autonomous Vehicles using End-to-End Imitation Learning，SAE International Journal of Connected and Automated Vehicles。
论文原链接https://arxiv.org/ftp/arxiv/papers/2010/2010.04767.pdf
代码https://github.com/Tinker-Twins/Robust_Behavioral_Cloning

2020.8，英伟达、多伦多大学，Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D。
论文原链接https://arxiv.org/pdf/2008.05711v1.pdf ，
代码https://github.com/nv-tlabs/lift-splat-shoot

2020.7，加州大学、清华大学，Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning。
论文原链接https://arxiv.org/pdf/2001.08726v3.pdf，
代码https://github.com/cjy1992/interp-e2e-driving ，
数据集https://carla.org/

2020.3，昆士兰科技大学，MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation。
论文原链接https://arxiv.org/pdf/2003.00667v1.pdf
代码https://github.com/mchancan/citylearn

2019.10，华盛顿大学，Attacking Vision-based Perception in End-to-End Autonomous Driving Models。
论文原链接https://arxiv.org/pdf/1910.01907v1.pdf ，
代码https://github.com/xz-group/AdverseDrive

安全
2021.5，加拿大西安大略大学，MTH-IDS: A Multi-Tiered Hybrid Intrusion Detection System for Internet of Vehicles，IEEE Internet of Things Journal。
论文原链接 https://arxiv.org/pdf/2105.13289v1.pdf ，
代码https://github.com/Western-OC2-Lab/Intrusion-Detection-System-Using-Machine-Learning
伦理
2021.11，中国人民大学法学院“自动驾驶法律准入问题研究：路线、挑战与方案”，中国人民大学学报。
论文原链接http://xuebao.ruc.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=13154

2021.3，暨南大学，“伦理智能体及其设计：现状和展望”，20页，计算机学报。伦理智能体是人工智能伦理的重要研究内容，本文从人工智能伦理的工程设计与实现角度，对伦理智能体及图灵测试、伦理智能体的设计范式、伦理智能体的逻辑程序设计、伦理智能体的形式化验证、伦理困境及分析等进行了介绍和讨论。同时，对伦理智能体及设计所面临的挑战和进一步研究方向进行了述评和展望。
论文原链接http://cjc.ict.ac.cn/online/onlinepaper/gtl-202128100804.pdf

2021.4，慕尼黑工业大学，Autonomous Driving Ethics: from Trolley Problem to Ethics of Risk，23页，Philosophy & Technology。
论文原链接https://link.springer.com/content/pdf/10.1007/s13347-021-00449-4.pdf

2021.1，代尔夫特理工大学，Ethical issues in focus by the autonomous vehicles industry，Transport Reviews。
论文原链接https://www.tandfonline.com/doi/pdf/10.1080/01441647.2020.1862355?needAccess=true

数据集
SYNTHIA数据集：SYNTHIA由一组从虚拟城市渲染的逼真的照片框架组成，并提供了13个类别的精确像素级语义注释:misc、天空、建筑、道路、人行道、栅栏、植被、柱子、汽车、标志、行人、自行车手、车道标记。https://synthia-dataset.net/

KITTI数据集：在中型城市卡尔斯鲁厄(Karlsruhe)、农村地区和高速公路上行驶时拍摄的。每张图片上可以看到多达15辆汽车和30个行人。除了以原始格式提供所有数据外，还为每个任务提取基准。提供一个评估指标和这个评估网站。http://www.cvlibs.net/datasets/kitti/

AirSim：AirSim是一个模拟无人机、汽车，建立在虚拟引擎(现在有一个实验性的Unity版本)。它是开源的，跨平台的，并支持软件在环仿真与流行的飞行控制器，如PX4和ArduPilot和硬件在环与PX4的物理和视觉逼真的模拟。它是作为一个虚幻插件开发的，可以简单地放入任何虚幻环境。https://github.com/Microsoft/AirSim

CARLA：提供开放的数字资产(城市布局、建筑、车辆)，可以自由使用。仿真平台支持传感器套件的灵活规格、环境条件、所有静态和动态参与者的完全控制、地图生成等。https://carla.org/

Waymo：由Waymo驾驶员在各种条件下驾驶的自动驾驶车辆收集的高分辨率传感器数据组成。Waymo开放数据集目前包含1950个片段。作者计划在未来增加这个数据集。目前的数据集包括:1950个20秒的片段，在不同的地理和条件下以10Hz(39万帧)的频率收集。该数据集来自研究成果CVPR 2020——Scalability in Perception for Autonomous Driving: Waymo Open Dataset（https://arxiv.org/pdf/1912.04838.pdf ）。数据集链接http://www.waymo.com/open

nuScenes：是一个大规模的自动驾驶数据集。该数据集有在波士顿和新加坡收集的1000个场景的3D边界框。每个场景时长20秒，以2Hz的频率进行注解。这样一来，总共有28130个样本用于培训，6019个样本用于验证，6008个样本用于测试。该数据集拥有全自动驾驶汽车数据套件:32波束激光雷达，6个摄像头和雷达，完全360°覆盖。3D物体检测挑战将评估10类车辆的性能：汽车、卡车、公共汽车、拖车、施工车辆、行人、摩托车、自行车、交通锥和障碍物。https://www.nuscenes.org/

SuperGLUE：是一个基准数据集，其设计目的是对语言理解进行比GLUE更严格的测试。SuperGLUE与GLUE有着相同的高级动机：提供一个简单的、难以实现的方法来衡量英语通用语言理解技术的进展。SuperGLUE遵循了GLUE的基本设计:它包含一个基于8个语言理解任务的公共排行榜，利用现有数据，附带一个数字性能指标，以及一个分析工具包。该数据集来自研究成果NeurIPS 2019 ——superGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems（https://arxiv.org/pdf/1905.00537v3.pdf ）。数据集链接https://super.gluebenchmark.com/

STF_dense_fog：一个具有挑战性的恶劣天气条件下的目标检测数据集，涵盖了现实世界驾驶场景中的12000个样本和雾室中受控天气条件下的1500个样本。该数据集包括雾、雪、雨等不同的天气条件，是在北欧行驶1万多公里后获得的。该数据集的主要贡献有：为广泛的算法提供了一个试验场，包括信号增强、域适应、目标检测或多模态传感器融合，重点是传感器之间的鲁棒冗余学习，特别是当它们在不同天气条件下不对称失效时。https://www.uni-ulm.de/en/in/driveu/projects/dense-datasets#c811669

Argoverse：是一个跟踪基准，在匹兹堡和迈阿密收集了超过30K个场景。每个场景都是一个以10hz采样的帧序列。每个序列都有一个有趣的对象叫做“agent”，任务是预测agent在未来3秒内的未来位置。序列分为训练集、验证集和测试集，分别有205942、39472和78143个序列。这些分割在地理上没有重叠。 https://www.argoverse.org/data.html

TuSimple：包含6408张美国高速公路上的道路图像。图像的分辨率为1280×720。该数据集由3,626个训练数据集、358个验证数据集和2,782个测试数据集组成，其中图像为不同天气条件下的TuSimple测试集。https://github.com/TuSimple/tusimple-benchmark

TuSimple Lane：是TuSimple数据集的扩展，具有14,336条Lane边界注释。数据集中的每个车道边界都使用7种不同的类别进行标注，如“单虚线”、“双虚线”或“单白连续”。https://github.com/fabvio/TuSimple-lane-classes

ImageNet：根据WordNet层次结构，ImageNet数据集包含14,197,122张带注释的图像。自2010年以来，该数据集被用于ImageNet大规模视觉识别挑战(ILSVRC)，这是图像分类和目标检测的基准。公开发布的数据集包含一组手工标注的训练图像。还发布了一组测试图像，保留了手工注释。https://image-net.org/index.php

HDD：本田研究所驾驶数据集(HDD)是一个用于研究在现实环境中学习驾驶行为的数据集。该数据集包含了真实人类在旧金山湾区104小时的驾驶经历，这些经历是通过配备不同传感器的仪表化车辆收集的。https://usa.honda-ri.com/hdd

Lyft Level 5 Prediction：用于运动预测的自动驾驶数据集，包含超过1000小时的数据。这是由20辆自动驾驶汽车组成的车队在加利福尼亚州帕洛阿尔托沿着一条固定路线收集的，耗时四个月。它由17万个场景组成，每个场景时长25秒，捕捉自动驾驶系统的感知输出，编码附近车辆、骑自行车者和行人的精确位置和动作。该数据集来自研究成果CoRL2020 ——One Thousand and One Hours: Self-driving Motion Prediction Dataset（https://arxiv.org/pdf/2006.14480v2.pdf https://arxiv.org/pdf/1905.00537v3.pdf）。数据集链接https://level-5.global/data/prediction/

教程课程
慕尼黑工业大学TUM
慕尼黑工业大学自动驾驶研究所线上自动驾驶软件工程与自动驾驶中的人工智能技术免费课程。涵盖讲解视频与PPT。本部分收录了相关讲解PPT与视频原链接。

人工智能技术Artificial Intelligence in Automotive Technology
本课程涵盖“人工智能”领域的所有相关方面，特别关注“机器学习”和“深度学习”技术。所有的理论内容将与汽车技术主题相关。

参与本课程后，将对人工智能和机器学习的方法有一个全面的概述。能够为各种问题选择合适的机器学习方法，然后用合适的代码实现它。此外，能够使用机器学习方法解决当前汽车技术(如自动驾驶)的问题。

01.引言
什么是智能?什么是人工智能?历史概述，机器学习主题概述，自动驾驶汽车。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/01_Introduction_Artificial_Intelligence.pptx
讲解视频：https://youtu.be/f_VvScVwBGU

感知
机器视觉，计算机视觉，图像处理，特征提取，颜色检测，Canny边缘检测，霍夫线，立体视觉。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/02_Computer_Vision_-_Kopie.pptx
讲解视频：https://www.youtube.com/watch?v=9fTCZ1QPLIg&t=5194s

03.有监督学习-线性回归
随机抽样与共识。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/03_Regression.pptx
讲解视频：https://www.youtube.com/watch?v=kgOessQts_Q

有监督学习-分类
决策tres，支持向量机，k近邻。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/04_Classification_ohne_videos.pptx
讲解视频：https://youtu.be/Ow_q7htvo-8

无监督学习-聚类
决策树，k-Means。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/05_Clustering.pptx
讲解视频：https://www.youtube.com/watch?v=eVpsqvdZrTE

寻径
导航，图论，A*等搜索算法。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/06_Pathfinding_ohneAnimationen.pptx
讲解视频：https://www.youtube.com/watch?v=d5lyM2or8cs

神经网络导论
感知器，损失函数，激活函数。
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/07_Introduction_Neural_Nets.pptx
讲解视频：https://www.youtube.com/watch?v=d5lyM2or8cs

深度神经网络
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/07_Introduction_Neural_Nets.pptx
讲解视频：https://www.youtube.com/watch?v=ksxzoG5YktY

卷积神经网络
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/9_Convolutional_Networks_OhneVideo.pptx
讲解视频：https://www.youtube.com/watch?v=3YccAgMwgRM

递归神经网络
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/10_Recurrent_Neural_Networks.pptx
讲解视频：https://www.youtube.com/watch?v=wX4qozViCnI&t=3s

强化学习
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/11_Reinforcement_Learning.pptx
讲解视频：https://www.youtube.com/watch?v=aGmVbAlicw0

AI开发
超参数调优，CPU和GPU培训，推理
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/12_AI-Development.pptx.pdf
讲解视频：https://www.youtube.com/watch?v=y31IMuHWvGU&feature=youtu.be

Rasmus Rothe教授讲座
讲解ppt：https://www.mos.ed.tum.de/fileadmin/w00ccp/ftm/05-Lehre/05-1-Vorlesungen_Wintersemester/00_AI_In_Automotive_Technology/13_Guest_Lecturer.pdf
讲解视频：https://www.youtube.com/watch?v=3uTFv6jEvFQ&t=907s

自动驾驶软件工程Autonomous Driving Software Engineering
本讲座涵盖了自动驾驶软件工程的所有相关方面，并展示了相应的实际应用。

介绍
历史回顾，驾驶任务级别，自动化程度，车辆通信，中间件。
讲解ppt：https://www.researchgate.net/publication/352321561_Autonomous_Driving_Software_Engineering_-_Lecture_01_Introduction_to_Autonomous_Driving
讲解视频：https://www.youtube.com/watch?v=ekOfzdQnPZw

感知一
地图与导航基础。
讲解ppt：https://www.researchgate.net/publication/352321825_Autonomous_Driving_Software_Engineering_-Lecture_02_Perception_I-_Basics_of_Mapping_and_Localization
讲解视频：https://youtu.be/ZBUJRsX5jq8

感知二
SLAM（即时定位与地图构建）。
讲解ppt：https://www.researchgate.net/publication/352321792_Autonomous_Driving_Software_Engineering_-Lecture_03_Perception_II-_SLAM
讲解视频：https://youtu.be/Ha3cwdnN0ow

感知三
探测：物体检测数据集、物体类型、相机、激光雷达、雷达检测、传感器融合。
讲解ppt：https://www.researchgate.net/publication/352322076_Autonomous_Driving_Software_Engineering_-Lecture_04_Perception_III-_Detection
讲解视频：https://www.youtube.com/watch?v=mffK5EbNLos

预测
预测级别，与规划的关系，基于规划和模式的方法，编码器-解码器算法。
讲解ppt：https://www.researchgate.net/publication/352321496_Autonomous_Driving_Software_Engineering_-_Lecture_05_Prediction
讲解视频：https://www.youtube.com/watch?v=3nZYBUTXx84

全局规划
全局路径规划导航任务、搜索方法。
讲解ppt：https://www.researchgate.net/publication/352350798_Autonomous_Driving_Software_Engineering_-Lecture_06_Planning_I-_Global_Planning
讲解视频：https://www.youtube.com/watch?v=5OVplZVy544

局部规划
局部路径与行为规划成本函数、决策函数、轨迹生成。
讲解ppt：https://www.researchgate.net/publication/352322244_Autonomous_Driving_Software_Engineering_-Lecture_07_Planning_II-_Local_Planning
讲解视频：https://www.youtube.com/watch?v=B3WuUnivDMg

控制
变量，经典控制器，MPC。
讲解ppt：https://www.researchgate.net/publication/352322266_Autonomous_Driving_Software_Engineering_-_Lecture_08_Control
讲解视频：https://www.youtube.com/watch?v=AxlcDWGuetk

安全评估
场景测试，虚拟保障，监督原则。
讲解ppt：https://www.researchgate.net/publication/352322387_Autonomous_Driving_Software_Engineering_-_Lecture_09_Safety_Assessment
讲解视频：https://www.youtube.com/watch?v=q26G-ok20-8

遥控驾驶
必要性、概念、连接建立、用户需求。
讲解ppt：https://www.researchgate.net/publication/352322590_Autonomous_Driving_Software_Engineering_-_Lecture_10_Teleoperated_Driving
讲解视频：https://www.youtube.com/watch?v=wuuyaRO5O6I

端到端
讲解ppt：https://www.researchgate.net/publication/352322925_Autonomous_Driving_Software_Engineering_-_Lecture_11_End-to-End_Combined_Modules
讲解视频：https://www.youtube.com/watch?v=XwZwkRPZn4g

人为因素
用户需求，驾驶舒适性，用户体验，接受度。
讲解ppt：https://www.researchgate.net/publication/352322960_Autonomous_Driving_Software_Engineering_-_Lecture_12_From_Driver_to_Passenger
讲解视频：https://www.youtube.com/watch?v=i9ndRWNVOk0

百度Apollo
帮助学习者从入门到进阶逐步构建完整系统的智能驾驶知识体系。本部分收录了百度Apollo智能驾驶相关讲解PPT与视频原链接。

模块学习
感知、高精地图与定位、决策规划、控制、系统、云服务、软件平台、硬件各模块学习资料：https://apollo.auto/developer/index_cn.html#/

课程学习
入门课程
入门文章：https://apollo.auto/developer/index_cn.html#/learning?id=9
入门视频：https://apollo.auto/devcenter/coursetable_cn.html?target=1

进阶课程
进阶文章：https://apollo.auto/developer/index_cn.html#/learning?id=10
进阶视频：https://apollo.auto/devcenter/coursetable_cn.html?target=2

开发平台文档
Apollo (阿波罗)是一个开放的、完整的、安全的平台，将帮助汽车行业及自动驾驶领域的合作伙伴结合车辆和硬件系统，快速搭建一套属于自己的自动驾驶系统。https://apollo.auto/document_cn.html?target=/Apollo-Homepage-Document/Apollo_Doc_CN_6_0/

麻省理工MIT
汇集了Lex friedman等人在麻省理工学院讲授的有关深度学习、深度强化学习、自动驾驶汽车和人工智能的课程原链接（视频与PPT）https://deeplearning.mit.edu/

【强化学习科普入门】作者-廖光明
● https://insights.thoughtworks.cn/reinforcement-learning/
【强化学习 入门教程】作者-周沫凡 Mofan Zhou
● 该课程较少涉及理论方面的知识，而侧重于强化学习算法的代码实现，注重实际应用
● 含讲解ppt、资料及讲解视频https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/
【深度强化学习 入门教程】作者-李宏毅
● 是强化学习的入门课程，对于初学者来说比较友好，老师上课举的例子很形象，很有趣，对于理解相关的概念知识非常有帮助。课程以讲述理论知识为主，关于强化学习方面的实际应用以及代码实现较少，可以考虑完成该课程布置的作业，以加深对算法的理解。
● 含讲解PPT、视频：https://speech.ee.ntu.edu.tw/~hylee/mlds/2018-spring.php
● 课程视频：https://www.bilibili.com/video/av24724071
【OpenAI强化学习教程】 量子位
● 教程简介https://zhuanlan.zhihu.com/p/49087870 ，对新手极度友好，代码简约易懂。从一套重要概念，到一系列关键算法实现代码，再到必读论文列表，最后到热身练习，每一步都以清晰简明为上，全程站在初学者视角。
● 教程在线https://spinningup.openai.com/en/latest/
【强化学习从入门到精通系列】 Ailin（ 公众号AI与强化学习）
● 作者讲解马尔科夫决策过程、动态规划、蒙特卡洛、时序差分及更多流行算法等内容，帮助大家从零开始理解强化学习的知识。
● https://mp.weixin.qq.com/s/BwaEAUbmeTrMyitZNHAdaQ
进阶教程/课程
《强化学习导论》经典课程10讲，DeepMind大神David Silver主讲
● 经典的10部分课程，虽然录制于2015年，但仍然是任何想要学习RL基础的同学所必需的资源。
● 专知链接（含课程PPT）https://www.zhuanzhi.ai/vip/a1d4eeb867d14cf59d98cbbed6e8f0bb
● 课程原链接https://deepmind.com/learning-resources/-introduction-reinforcement-learning-david-silver
● PDF笔记链接（初稿）（作者 叶强）
https://zhuanlan.zhihu.com/p/37690204 ，https://pan.baidu.com/s/14Jxp3AGPJFgoFkHa4gXgxA#list/path=%2F
《强化学习基础 2018》课程视频，37讲，北大张志华教授
● https://resource.pku.edu.cn/index.php?r=course/detail&id=303
● 主要讲支撑强化学习的数学基础
● 该课程提供的强化学习算法软件https://github.com/liber145/rlpack
【深度强化学习课程 2020年】UC Berkeley
● 含讲解PPT、视频：http://rail.eecs.berkeley.edu/deeprlcourse/，https://www.youtube.com/playlist?list=PL_iWQOsE6TfURIIhCrlt-wj9ByIVpbfGc
【斯坦福大学 强化学习2022课程】
● 讲稿：http://web.stanford.edu/class/cs234/modules.html
【上海交通大学 多智能体强化学习课程】
● 本教程中首先介绍机器意识的主题，然后介绍了强化学习的基本原理——博弈论。最后，讨论了先进的多智能体强化学习算法及其最新应用。
● 讲稿http://wnzhang.net/tutorials/marl2018/index.html
【卡耐基梅隆大学 深度强化学习与控制】
● 讲稿PPT https://katefvision.github.io/
干货书
【新书稿】Alekh Agarwal, Nan Jiang, Sham M. Kakade三位大师，“Reinforcement Learning: Theory and Algorithms（2022版）”（强化学习：理论与算法 2022版），205页pdf
● 来源https://alekhagarwal.net/ ，https://rltheorybook.github.io/
● 电子书2022版 https://rltheorybook.github.io/rltheorybook_AJKS.pdf
● 三位作者来自于强化学习研究团队，是强化学习研究界“牛顿”级人物，成果斐然。本书采用深入浅出，引人入胜的方法，介绍了当前RL所取得的最新成果，对于刚从事RL的学者，可谓及时雨，神笔之作。
【干货书】王树森 张志华，《深度强化学习（初稿）》，289页pdf
● 来源-张志华教授主页https://www.math.pku.edu.cn/teachers/zhzhang/
● 深度强化学习（初稿）https://www.math.pku.edu.cn/teachers/zhzhang/drl_v1.pdf
【干货书】强化学习教父 Richard Sutton 的经典教材《Reinforcement Learning：An Introduction》第二版，548页pdf
● 来源http://incompleteideas.net/book/the-book-2nd.html
● 电子版http://incompleteideas.net/book/RLbook2020.pdf
● 中文翻译https://zhuanlan.zhihu.com/studyRL
● 代码http://incompleteideas.net/book/code/code2nd.html
● 基础必读，有助于理解强化学习精髓
● 本书分为三大部分，共十七章，机器之心对其简介和框架做了扼要介绍，并附上了全书目录、课程代码与资料。
● 本书中我们提出了一种通过计算实现交互式学习的方法。没有直接理论化人类或动物的学习方式，而是探索理想的学习环境，评估不同学习方法的有效性。即，站在人工智能研究者或工程师的角度来解决问题。探讨了在解决科学或经济问题方面表现突出的机器的设计，通过数学分析或计算实验评估其设计。我们提出的这一方法称之为强化学习。相较于其他机器学习方法，它更专注于交互之中的目标导向性学习。
【干货书】亚利桑那大学Mihai Surdeanu，“A Gentle Introduction to Deep Learning for Natural Language Processing”深度学习自然语言处理简明导论，69页pdf
● http://clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf
● 本书旨在为自然语言处理的深度学习搭建理论和实践的桥梁。涵盖了必要的理论背景，并假设读者有最少的机器学习背景。目标是让任何上过线性代数和微积分课程的人都能跟上理论材料。为了解决实际问题，本书包含了用于讨论的较简单算法的伪代码，以及用于较复杂体系结构的实际Python代码。任何上过Python编程课程的人都应该能够理解这些代码。读完这本书后，希望读者能有必要的基础，立即开始构建真实世界的、实用的自然语言处理系统，并通过阅读有关这些主题的研究出版物来扩展他们的知识。
【干货书】O’REILLY，“Reinforcement Learning: Industrial Applications of Intelligent Agents”（强化学习工业应用），408页pdf
● https://rl-book.com/ ● 涵盖了从基本的模块到最先进的实践。您将探索RL的当前状态，关注工业应用，学习许多算法，并从部署RL解决方案到生产的专门章节中受益。这不是一本教谱; 不回避数学，并希望熟悉ML。
● 了解RL是什么，以及算法如何帮助解决问题，掌握RL的基本原理，包括马尔可夫决策过程、动态规划和时间差异学习，深入研究一系列的价值和策略梯度方法，运用先进的RL解决方案，如元学习、分层学习、多智能体和模仿学习，了解前沿的深度RL算法，包括Rainbow、PPO、TD3、SAC等，通过相应的网站获得实际的例子
【干货书】Leiden大学Aske Plaat教授，“Deep Reinforcement Learning”（深度强化学习），406页pdf
● https://deep-reinforcement-learning.net/
● https://arxiv.org/pdf/2201.02135.pdf
● 这本书的目的是呈现在一个单一的深度强化学习的最新见解，适合教学一个研究生水平一个学期的课程。除了涵盖最先进的算法，我们涵盖经典强化学习和深度学习的必要背景。我们还涵盖了自我游戏、多主体、层次和元学习方面的先进的、前瞻性的发展。
【干货书】Abhishek Nandy，Manisha Biswas，“Reinforcement Learning With Open AI TensorFlow and Keras Using Python”（使用Python与Open AI TensorFlow和Keras进行强化学习），174页pdf
● 电子版 https://pan.baidu.com/s/1nQpNbhkI-3WucSD0Mk7Qcg (提取码: av5p)
● 注重实战
【干货书】“Algorithms for Reinforcement Learning”（强化学习算法）
● 原链接https://sites.ualberta.ca/~szepesva/papers/RLAlgsInMDPs.pdf
● 较为精简，重视数学逻辑和严格推导
综述
中文
秦智慧, 李宁, 刘晓彤, 等. 无模型强化学习研究综述. 计算机科学, 2021, 48(3): 180-187.
余力, 杜启翰, 岳博妍, 等. 基于强化学习的推荐研究综述. 计算机科学, 48(10): 1-18.
刘潇, 刘书洋, 庄韫恺, 等. 强化学习可解释性基础问题探索和方法综述. 软件学报, 2021: 0-0.
孙长银, 穆朝絮. 多智能体深度强化学习的若干关键科学问题. 自动化学报, 2020, 46(7): 1301−1312
陈晋音, 章燕, 王雪柯, 蔡鸿斌, 王珏, 纪守领. 深度强化学习的攻防与安全性分析综述. 自动化学报, 2022, 48(1): 21−39
英文
【强化学习技术综述：策略、近期发展及未来发展方向】Mondal A K, Jamali N. A survey of reinforcement learning techniques: strategies, recent development, and future directions. arXiv preprint arXiv:2001.06921, 2020.
【自动强化学习综述】Parker-Holder J, Rajan R, Song X, et al. Automated Reinforcement Learning (AutoRL): A Survey and Open Problems. arXiv preprint arXiv:2201.03916, 2022.
【自动驾驶领域中的强化学习综述】Kiran B R, Sobh I, Talpaert V, et al. Deep reinforcement learning for autonomous driving: A survey. IEEE Transactions on Intelligent Transportation Systems, 2021.
【深度强化学习中的泛化研究综述】Kirk R, Zhang A, Grefenstette E, et al. A survey of generalisation in deep reinforcement learning. arXiv preprint arXiv:2111.09794, 2021.
【深度强化学习探索算法最新综述，近200篇文献揭示挑战和未来方向】Yang T, Tang H, Bai C, et al. Exploration in deep reinforcement learning: a comprehensive survey. arXiv preprint arXiv:2109.06668, 2021.
【多智能体深度强化学习：综述】Gronauer S, Diepold K. Multi-agent deep reinforcement learning: a survey. Artificial Intelligence Review, 2022, 55(2): 895-943.
【牛津大学发布60页最新《强化学习金融应用进展》综述论文】Hambly B, Xu R, Yang H. Recent Advances in Reinforcement Learning in Finance. arXiv preprint arXiv:2112.04553, 2021.
【UCL& UC Berkeley–深度强化学习中的泛化研究综述】Kirk R, Zhang A, Grefenstette E, et al. A survey of generalisation in deep reinforcement learning. arXiv preprint arXiv:2111.09794, 2021.
经典论文
Kaelbling L P, Littman M L, Moore A W. Reinforcement learning: A survey[J]. Journal of artificial intelligence research, 1996, 4: 237-285.
Sutton R S, Barto A G. Reinforcement learning: An introduction[M]. MIT press, 2018.
Wiering M A, Van Otterlo M. Reinforcement learning[J]. Adaptation, learning, and optimization, 2012, 12(3): 729.
Li Y. Deep reinforcement learning: An overview[J]. arXiv preprint arXiv:1701.07274, 2017.
Szepesvári C. Algorithms for reinforcement learning[J]. Synthesis lectures on artificial intelligence and machine learning, 2010, 4(1): 1-103.
Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.
Kober J, Bagnell J A, Peters J. Reinforcement learning in robotics: A survey[J]. The International Journal of Robotics Research, 2013, 32(11): 1238-1274.
Henderson P, Islam R, Bachman P, et al. Deep reinforcement learning that matters[C]//Proceedings of the AAAI conference on artificial intelligence. 2018, 32(1).
Lillicrap T P, Hunt J J, Pritzel A, et al. Continuous control with deep reinforcement learning[J]. arXiv preprint arXiv:1509.02971, 2015.
Sutton R S, Barto A G. Introduction to reinforcement learning[J]. 1998.
Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.
Mnih, V., Kavukcuoglu, K., Silver, D. et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 529-533.
Levine S, Finn C, Darrell T, et al. End-to-End Training of Deep Visuomotor Policies[J]. Journal of Machine Learning Research, 2015, 1-40.
Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 484-489.
Mnih V, Badia A, Mirza M, et al. Asynchronous methods for deep reinforcement learning[C]. In International Conference on Machine Learning, 2016, 1928-1937.
Silver D, Schrittwieser J, Simonyan K, et al. Mastering the game of go without human knowledge[J]. Nature, 2017, 354-359.
Silver D, Hubert T, Schrittwieser J, et al. Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm. arXiv: Artificial Intelligence, 2017.
Hutson M. AI takes on video games in quest for common sense[J]. Science, 2018.
Kalashnikov D, Irpan A, Pastor P, et al. Qt-opt: Scalable deep reinforcement learning for vision-based robotic manipulation[J]. arXiv preprint arXiv:1806.10293, 2018.
Shi J C, Yu Y, Da Q, et al. Virtual-taobao: Virtualizing real-world online retail environment for reinforcement learning[C]. Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33(01): 4902-4909.
Zeng A, Song S, Lee J, et al. TossingBot: Learning to Throw Arbitrary Objects with Residual Physics[J]. arXiv preprint arXiv:1903.11239, 2019.
OpenAI, https://www.theverge.com/2019/10/15/20914575/openai-dactyl-robotic-hand-rubiks-cube-one-handed-solve-dexterity-ai
Vinyals O, Babuschkin I, Czarnecki W M, et al. Grandmaster level in StarCraft II using multi-agent reinforcement learning[J]. Nature, 2019, 575(7782): 350-354.
Seita D, Florence P, Tompson J, et al. Learning to rearrange deformable cables, fabrics, and bags with goal-conditioned transporter networks[C]//2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021: 4568-4575.
进阶论文
【TPAMI2022–基于图神经网络实现强化的、增量和跨语言社会事件检测】Peng H, Zhang R, Li S, et al. Reinforced, Incremental and Cross-lingual Event Detection From Social Messages[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.
● 代码：https://github.com/RingBDStack/FinEvent
【AAAI2022–一种基于随机计划者-执行者-评论家模型的无监督图像柔性配准方法】Luo Z, Hu J, Wang X, et al. Stochastic Planner-Actor-Critic for Unsupervised Deformable Image Registration[J]. arXiv preprint arXiv:2112.07415, 2021.
【AAAI2022–一种基于状态扰动的鲁棒强化学习算法】Kuang Y, Lu M, Wang J, et al. Learning Robust Policy against Disturbance in Transition Dynamics via State-Conservative Policy Optimization[J]. arXiv preprint arXiv:2112.10513, 2021.
【AAAI2022–一种基于状态扰动的鲁棒强化学习算法】Wang Z, Wang J, Zhou Q, et al. Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic[J]. arXiv preprint arXiv:2112.10504, 2021.
【NeurIPS2021–首次揭示强化学习记忆池最优利用方法】Liu X H, Xue Z, Pang J, et al. Regret Minimization Experience Replay in Off-Policy Reinforcement Learning[J]. Advances in Neural Information Processing Systems, 2021, 34.
【CIKM2021–强化学习推荐模型的知识蒸馏探索之路】Xie R, Zhang S, Wang R, et al. Explore, Filter and Distill: Distilled Reinforcement Learning in Recommendation[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021: 4243-4252.
【Open AI、Google Brain大作–从多智能体自动程序中使用紧急工具】Baker B, Kanitscheider I, Markov T, et al. Emergent tool use from multi-agent autocurricula. arXiv preprint arXiv:1909.07528, 2019.
● 代码：https://github.com/openai/multi-agent-emergence-environments
【伯克利人工智能研究实验室–基于概率上下文变量的高效非策略元强化学习】Rakelly K, Zhou A, Finn C, et al. Efficient off-policy meta-reinforcement learning via probabilistic context variables//International conference on machine learning. PMLR, 2019: 5331-5340.
● 代码：https://github.com/katerakelly/oyster
【NeurIPS2019–探索在元学习阶段提供监督信息】Mendonca R, Gupta A, Kralev R, et al. Guided meta-policy search. Advances in Neural Information Processing Systems, 2019, 32.
【在强化学习中使用对数映射使较低的折扣因子】Van Seijen H, Fatemi M, Tavakoli A. Using a logarithmic mapping to enable lower discount factors in reinforcement learning. Advances in Neural Information Processing Systems, 2019, 32.
● 代码：https://github.com/microsoft/logrl
● 数据集：Arcade Learning Environment（https://github.com/mgbellemare/Arcade-Learning-Environment）
【分布式强化学习的有效探索】Mavrin B, Yao H, Kong L, et al. Distributional reinforcement learning for efficient exploration//International conference on machine learning. PMLR, 2019: 4424-4434.
● 数据集：CARLA（https://carla.org/）
【AAAI2019最佳论文奖–如何在强化学习中结合树搜索方法】[Efroni Y, Dalal G, Scherrer B, et al. How to combine tree-search methods in reinforcement learning//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33(01): 3494-3501.
【NeurIPS2019–无模型的强化学习算法解决连续的控制任务】Ciosek K, Vuong Q, Loftin R, et al. Better exploration with optimistic actor critic. Advances in Neural Information Processing Systems, 2019, 32.
【算法输出策略证书方法】Dann C, Li L, Wei W, et al. Policy certificates: Towards accountable reinforcement learning//International Conference on Machine Learning. PMLR, 2019: 1507-1516.
【EMNLP2016–强化学习在对话生成中的应用】Li J, Monroe W, Ritter A, et al. Deep reinforcement learning for dialogue generation. arXiv preprint arXiv:1606.01541, 2016.
● 代码：https://github.com/liuyuemaicha/Deep-Reinforcement-Learning-for-Dialogue-Generation-in-tensorflow
【NeurIPS2017–随机博弈中的在线强化学习】Wei C Y, Hong Y T, Lu C J. Online reinforcement learning in stochastic games. Advances in Neural Information Processing Systems, 2017, 30.
● 代码：https://github.com/deepmind/deepmind-research/tree/master/rl_unplugged
【CVPR2017–图像字幕的自我批判序列训练】Rennie S J, Marcheret E, Mroueh Y, et al. Self-critical sequence training for image captioning//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 7008-7024.
● 代码：https://github.com/ruotianluo/neuraltalk2.pytorch
● 数据集：COCO (Microsoft Common Objects in Context)-https://cocodataset.org/
【ICCV2017–提出了基于强化学习的图像标注方法】Liu S, Zhu Z, Ye N, et al. Improved image captioning via policy gradient optimization of spider//Proceedings of the IEEE international conference on computer vision. 2017: 873-881.
● 代码：https://github.com/peteanderson80/SPICE
● 数据集：COCO (Microsoft Common Objects in Context)-https://cocodataset.org/
【NIPS2017–不完全信息博弈的安全嵌套子博弈求解】Brown N, Sandholm T. Safe and nested subgame solving for imperfect-information games. Advances in neural information processing systems, 2017, 30.
【WWW2018–学习协作:多智能体强化学习的多场景排序】Feng J, Li H, Huang M, et al. Learning to collaborate: Multi-scenario ranking via multi-agent reinforcement learning//Proceedings of the 2018 World Wide Web Conference. 2018: 1939-1948.
【SIGCOMM2017–使用强化学习的方法优化ABR（adaptive bitrate）算法】Mao H, Netravali R, Alizadeh M. Neural adaptive video streaming with pensieve//Proceedings of the Conference of the ACM Special Interest Group on Data Communication. 2017: 197-210.
● 代码：https://github.com/thu-media/Comyco
【提出了一个机器理解模型ReasoNet】Shen Y, Huang P S, Gao J, et al. Reasonet: Learning to stop reading in machine comprehension//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017: 1047-1055.
【NIPS2016–机器翻译的双重学习】He D, Xia Y, Qin T, et al. Dual learning for machine translation. Advances in neural information processing systems, 2016, 29.
● 代码：https://github.com/NonameAuPlatal/Dual_Learning
【IJCAI2017–强化机制设计】Tang P. Reinforcement mechanism design//IJCAI. 2017: 5146-5150.
【用强化学习调整循环神经网络】Jaques N, Gu S, Turner R E, et al. Tuning recurrent neural networks with reinforcement learning. 2017.
【WSDM2018–基于深度强化学习的异构星型网络嵌入课程学习】Qu M, Tang J, Han J. Curriculum learning for heterogeneous star network embedding via deep reinforcement learning//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018: 468-476.
学位论文
【西南交通大学纪圣塨博士论文】城市资源智能优化方法及应用研究，https://www.zhuanzhi.ai/vip/bd3586a9b4f9d38ab10678db5f708485
【上海交通大学陈露博士论文】认知型口语交互系统中的对话管理技术，https://www.zhuanzhi.ai/vip/8d5844de744b4e287a61a80d72ee1190
框架/数据集
【OpenAI–Baselines】
● https://github.com/openai/baselines
● 复现众多经典RL算法
【OpenAI–spinningup】
● https://spinningup.openai.com/en/latest/user/introduction.html
● 提供了经典Policy-based算法的复现，优点是写的通俗易懂上手简单，并且效果有保障，而且同时tf和Pytorch的支持；缺点是没有value-based的算法，不能开发DQN系列。
【百度–PARL】
● https://github.com/paddlepaddle/parl
● 扩展性强，可复现性好，友好
【DeepMin– OpenSpie】
● https://github.com/deepmind/open_spiel
● OpenSpiel是一个环境和算法的集合，用于研究一般的强化学习和搜索/游戏规划。
【Intel AI LAB–Coach】
● https://github.com/IntelLabs/coach
● Coach是一个python强化学习框架，包含许多最先进的算法的实现。对RL Framework的设计很模块化，比如整体流程，算法模块定义，网络定义，探索策略定义等
【Google–dopamine】
● https://github.com/google/dopamine
● dopamine是强化学习算法快速原型化的研究框架。它的目的是满足用户对一个小型的、容易理解的代码库的需求，在这个代码库中，用户可以自由地尝试各种疯狂的想法(投机研究)。
【Agent Learning Framework(ALF)】
● https://github.com/HorizonRobotics/alf
● Agent Learning Framework (ALF)是一种强化学习框架，强调实现涉及许多不同组件的复杂算法的灵活性和易用性。ALF建立在PyTorch上。
【清华大学人工智能研究院–Tianshou】
● https://github.com/thu-ml/tianshou
● Tianshou(天授)是一种基于纯PyTorch强化学习平台。现有的强化学习库主要基于TensorFlow，有许多嵌套类、不友好API或慢速，与之不同的是，Tianshou提供了一个快速模块化框架和python API，用于用最少的代码行数构建深度强化学习代理。
【MuJoCo】
● https://mujoco.org/
● 是一个物理引擎，旨在促进机器人、生物力学、图形和动画以及其他需要快速和精确模拟的领域的研究和开发。MuJoCo提供了速度、准确性和建模能力的独特组合，但它不仅仅是一个更好的模拟器。相反，它是第一个为基于模型的优化(特别是通过联系进行优化)而从头设计的全功能模拟器。
【The Arcade Learning Environment (ALE)】
● https://github.com/mgbellemare/Arcade-Learning-Environment
● ALE是一个简单的框架，允许研究人员和业余爱好者为雅达利2600游戏开发AI智能体。它建立在雅达利2600模拟器Stella之上，并将仿真的细节与代理设计分离开来。本视频描述了ALE目前支持的50多个游戏。
【CARLA】
● https://carla.org/
● 为了支持自动驾驶系统的开发、培训和验证，CARLA已经从头开始开发。除了开源代码和协议外，CARLA还提供开放的数字资产(城市布局、建筑、车辆)，这些资产是为此目的而创建的，可以自由使用。仿真平台支持传感器套件的灵活规格、环境条件、所有静态和动态参与者的完全控制、地图生成等
报告/白皮书
2021.5，“Transforming healthcare with Reinforcement Learning（强化学习改变医疗保健）”，https://f.hubspotusercontent10.net/hubfs/1868764/EU%20Whitepapers_cases_reports/Transforming%20healthcare%20with%20Reinforcement%20Learning%20White%20Paper.pdf
2017.11，《谷歌 TPU 及强化学习》，http://pdf.dfcfw.com/pdf/H3_AP201712051062442205_1.PDF
领域专家
俞勇–上海交大[https://apex.sjtu.edu.cn/members/yyu ]
俞扬–南京大学 [https://www.yuque.com/eyounx/home ]
李飞飞–美国国家工程院院士[https://profiles.stanford.edu/fei-fei-li ]
Alekh Agarwal–谷歌 [https://alekhagarwal.net/ ]
Sergey Levine–UC Berkeley[https://people.eecs.berkeley.edu/~svlevine/ ]
Pieter Abbeel–UC Berkeley[https://people.eecs.berkeley.edu/~pabbeel/ ]
David Silver–DeepMind/伦敦大学[https://www.davidsilver.uk/ ]
Rémi Munos–DeepMind[http://researchers.lille.inria.fr/munos/ ]
Chelsea Finn–斯坦福大学[https://ai.stanford.edu/~cbfinn/ ]
高剑峰–微软[https://www.microsoft.com/en-us/research/people/jfgao/ ]
timothy lillicrap–DeepMind/卡耐基梅隆大学[https://contrastiveconvergence.net/~timothylillicrap/index.php ]
Frank L. Lewis–德州大学阿灵顿分校[https://www.uta.edu/academics/faculty/profile?username=flewis ]
Jonathan P. How–麻省理工学院[https://www.mit.edu/~jhow/ ]
Koray Kavukcuoglu–DeepMind[https://koray.kavukcuoglu.org/ ]
Peter Herald Stone–德克萨斯大学[https://www.cs.utexas.edu/~pstone/ ]
资料汇编
【流行的强化学习算法的代码、练习和解决方案】Denny Britz-谷歌，https://github.com/dennybritz/reinforcement-learning
【深度强化学习入门到精通-2020最全资料综述】作者-岳龙飞，深度强化学习实验室(DeepRL-Lab)，https://aijishu.com/a/1060000000091025
【Deep Reinforcement Learning(深度强化学习)仓库】深度强化学习实验室(DeepRL-Lab)，https://github.com/neurondance/deeprl
【强化学习从入门到放弃——强化学习的学习资料汇总】更新至2019年，https://taospirit.github.io/2019/04/15/%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%85%A5%E9%97%A8/