其实智能驾驶，智能驾驶座舱很多人估计早就听烦了，智能驾驶估计还好点现在大家都明白了，也如之前文章ADAS以及无人驾驶市场趋势讲到很多人都期待他的到来，至于智能座舱当前国内鲜有文章系统和全面的介绍智能座舱，实际生活和工作中我们可能发现车内的屏幕变得更大，更多，实体按键变的慢慢的变少，类似于小鹏和蔚来的语音控制（汽车AI智能语音101及其供应链）变的越来越重要。
相信很多人都和我一样寻思着现在汽车，为什么实体按键慢慢的变少？智能座舱的显示屏是不是越多越好？有智能语音是不是代表智能驾驶座舱？未来还有哪些功能等待上车量产？以及他们背后的逻辑，技术和原因是什么？所以我们根据有关的资料整理，通过四部分的内容，试图回答以下几个问题：
希望能让大家探索全方面了解智能座舱，希望可以让我们消费者，业内人士以及金融投资者正确了解智能座舱它的技术，未来。若能够激发国内工程师、设计师和研究人员开发新颖的多模式界面和智能交互方法，让我们汽车消费市场更满足那群消费的人需求，开发出更好的产品，那就太棒了。
汽车的座舱涉及理解和塑造人与车辆之间的交互动态的问题。特别是，交互领域涉及对感觉、感知、信息交换、推理和决策的研究。在人为主导的驾驶时代，他是被动式的，我记得座舱有两个重要的学科是人机工程（汽车设计吸引力（造型，人机工程，实用性，声学）- 整车开发流程第七章第三节），车辆被动的接受控制执行反馈，例如人机的Primary control 主要是容易控制汽车运动 和second control 主要是容易控制其他非安全运动的例如按钮，他的重点是人类容易控制汽车。而另外一个学科是HMI 叫人机交互，他的作用更多的是被动式的呈现你输入的指令信息，而且更多的是体现在屏幕。
随着无人驾驶水平的提高，驾驶员将有更多的时间和选择来做除驾驶之外的各种任务，这为交互开辟了新的途径，主动式的也就引入了智能座舱概念。因此，慢慢的变多的传感器被整合到车辆中，以了解驾驶员和/或乘客的行为、情绪和个人选择，从而提供精确的功能和服务，让您享受愉快的旅程。显示了车载交互的示意图，包括各种交互界面和车辆中存在的传感模式以及一些交互模式，如手势、语音和眼睛注视。
总的一句话，就是懂你的车，所以智能驾驶座舱类似于一个拟人化的车辆内部管家，了解你也了解你的车让你轻松惬意享受你的旅程，当你需要他的时候他总会懂你按照你喜好的方式满足你的要求。
感知环境感知乘员-通过各类，雷达，生物传感器例如当前穿戴设备上的应用广泛的，AI视觉等来感知人类的行为，情绪等。
从客户需求产业高质量发展方面，如我们之前很多文章讲到无人驾驶ADAS以及无人驾驶市场趋势，无人驾驶汽车将很快成为现实，特斯拉、宝马、戴姆勒等几乎所有主要主机厂以及谷歌的 Waymo 和 Apple Car 等大型科技巨头都在朝着完全无人驾驶的目标迈进。随着无人驾驶性的提高，驾驶员还承担了仅从事非驾驶活动且无法参与交通交互的乘客的角色。这将增加混合无人驾驶交通环境的复杂性，所以理解和塑造人与车辆之间的交互动态的问题，以及未来怎么让我们消费者在车上娱乐打发时间会变得特别重要。
从技术发展方面，根据Web of Science科学网归类了2000-2020 年期间发表的研究文章信息可知，虽然智能座舱的文章从量来看远不及智能驾驶的研究文章， 但能够正常的看到的是两者的增长都呈指数型增长，当然通过这一个曲线难道疫情对发论文产生了影响，但是不管数据上看智能座舱的车内交互技术和方法的重要性日益增加。
而技术论文的底层是，技术和应用的发展，例如传感器技术中的生物传感器技术，视觉，语言AI 人工智能的发展和产业化等。
所以从客户的真实需求以及技术准备方面，智能座舱对于主机厂产品的体验以及消费品牌差异性越来越重要。
套用马斯洛需求理论，智能座舱是基于物理需求的驾驶舱衍生，所以他的需求点我们先跳过当前的驾驶室，从安全到社交交互到懂你尊重，至于最后的自我实现属于帮助你创造了环境，靠你自己了。
第一重需求来自于安全，如上文讲到辅助驾驶让交通交互更为复杂所以通过种种行为的交互让辅助驾驶以及无人驾驶和人和谐安全。
第三重需求来自于自然和移情的互动，例如AI自然语音交互，手势互动，甚至眼神等。
第四重需求来自于总体的感觉，智能座舱能够识别你，你的心情，监控，预测你的想法，让所有的东西总是唾手可得，做你所想。
目前，L2 级车辆已经占据大部分汽车市场。也就是说汽车在接下来相当长的时间内驾驶员必须在某些情况下接管控制车辆。因此，驾驶辅助系统一定要通过车载界面提供的，能够识别隐式行为，例如驾驶员分心、困倦检测，情绪检测，以及驾驶员的各种其他活动。能够正常的使用不同的模态（视觉、听觉、触觉或多模态传感）来识别驾驶员的行为和活动，并推断驾驶员的情境意识，来实现安全顺畅的使用辅助或者自动驾驶。
驾驶辅助系统可以提供附加功能，例如盲点辅助、停车辅助、导航辅助、碰撞检测等，也属于智能驾驶座舱人机交互的一部分。
L3 级驾驶的一个特殊问题是接管请求 (TOR)，其中 自动驾驶车辆通过各种车载接口向驾驶员发出信号，以接管车辆的控制权。以人类交互的最佳方式（视觉、触觉或听觉）将 TOR接管请求通知给驾驶员。在时间紧迫的情况下，例如即将发生的碰撞，自动驾驶系统需要驾驶员接管车辆。同样，选择正确的与驾驶员交流的方式很重要。识别驾驶员的精神状态是提高辅助驾驶安全性的关键因素。
让乘客打发或者丰富在车上的时间，显然主机厂们都在想怎么让你不用手机而是用车机，例如大屏幕用于电影视频甚至工作，用于游戏的增强现实 (AR) 和虚拟现实 (VR) 等沉浸式技术，信息娱乐等目标是将车辆转变为移动工作、游戏、社交、放松甚至睡觉的“生活空间”。
为了与人类进行自然而直观的交互，智能驾驶座舱 需要了解人类交流的微妙之处，例如面部表情、眼睛注视、手势、语调、上下文线索、肢体语言等。为了确保这种自然的交互，需要多模态传感以及能够处理不同类型的多模态数据的感知算法。此外，主动感觉和感知是必要的，以避免不必要的数据收集，并且框架可以为正在建模的任务选择最具信息性的数据。
情境决策对于适应车辆行为或车载界面是必要的。此外，移情交互需要智能驾驶座舱敏锐地观察用户的情绪状态，例如愤怒、快乐、悲伤等，并提供建议或改变交互以适应用户。如果有这种移情互动我们是不是增加对智能驾驶座舱的信任、可用性和接受度。
通过根据用户的偏好定制车载服务，长期学习，有可能提高用户对车辆的接受度和可用性。例如路虎等一些汽车 OEM 提出了“自学汽车”的概念利用人工智能 (AI) 来学习用户习惯。智能座舱应该能够识别每个人的不同特征并相应地个性化行为，例如设置车载空调控制、为每位乘客提供个性化的音乐而不打扰其他乘客和座椅配置等。在学习习惯和偏好后，推荐系统可以向用户提供精确的推荐。智能座舱还可以辅助安全，例如，当检测到驾驶员困倦时，建议在长途驾驶中休息一下。
智能驾驶座舱本质上和当前自动驾驶技术类似，传感器，处理，输出执行三个方面，未来自动驾驶技术应该更趋同合一，因为他的输出执行没有多大的差异性，所以自动驾驶技术会更偏向于一个commodity，同质化给主机厂装配。
但智能驾驶座舱却应该比自动驾驶技术更能产生差异性和交互性，因为智能驾驶舱的技术由于他的输出执行面对的是人，每个品牌的消费者种类不一样，所以的输出执行将会更加品牌化和个性化，差异化，所以未来智能座舱的竞争或许更加精彩纷呈。
在上文中，我们介绍了什么是智能驾驶座舱？为什么智能驾驶舱会越发重要？智能座舱能给你带来什么？能给大家一个概念
接下来的第二部分，我们将探索下智能座舱背后的技术支撑，主要分解智能座舱背后的5种交互技术，这五种交互技术就蕴含了五种技术体系以及供应链，希望能给大家一些启发。通过上一部分其实我们大概也明白，智能座舱和智能驾驶同理，感知输入，处理，执行输出，这一切的围绕都是人类和环境，人类与车辆的交互。所以他背后的五种交互技术为：
视觉反馈是人类的主要感官之一，所以显示屏幕技术是非常关键。但其实视觉触摸屏显示器现在在现代车辆中很常见，并提供与车辆、导航、信息娱乐和控制功能相关的信息，例如车载气候控制、停车辅助、天窗控制等。并且触摸屏显示器已迅速取代了的按钮和旋钮。
当前视觉技术正在使用或探索的不同类型的显示器. 显示器提供多种功能，可以连接第三方应用程序以及手机一起使用。支持OTA并支持定制化。例如，我们之前介绍的奔驰奔驰MBUX Hyperscreen 技术以及供应链，其中央显示屏与中央控制台无缝衔接，并为前后座乘客提供单独的侧面显示单元，从而为每位乘客提供个性化的观看体验。
一般显示器 (HDD)也就是当前大部分汽车采用的屏幕，如上图所示需要视觉注意导致分心。一般布置在中央控制台中的 HDD 要求驾驶员将视线从道路上移开，以查看来自显示器的信息，并在执行主要任务时增加认知负荷。这里就体现了中西方对于这个屏幕理解的差异，一般国外品牌车辆，不会让这块显示屏在汽车行驶中使用，所以一般对于安装各种视频软件不太感冒，但国内主机厂和消费者都比较激进。
另外对于一般的显示器，还有许多革新的地方例如裸眼3D显示,这种3D显示器由彩色成像液晶显示器(LCD)和光学粘合的单色屏障液晶显示器组成。垂直透明和遮光条纹将在屏障 LCD 上交替出现。左右眼朝向屏幕的微妙相反的观看位置在成像 LCD 上形成了两个交织的观看区域。这会在观看者的眼中产生深度感，目前很多厂家在应用3D显示器。
抬头显示器 (HUD)，是目前比较火的一块市场，将信息投射到挡风玻璃上面，所描述的前方道路上. HUD 其实起源于飞机行业，并已成为一长串新车的共同特征。通过将信息投射到驾驶员已经注视的道路上，HUD 系统可以限制驾驶员分心的次数，从而提高安全性。HUD 通常是对传统仪表板显示的补充，并提供与驾驶相关的补充信息。例如，他们投射的信息可以是从哪个广播电台播放到您的限速的任何信息，或者它们可以帮助驾驶员在容易发生事故和能见度低的情况下有效导航。
HUD 技术正在迅速完善，因为它被视为汽车内饰技术的下一个重大进步。例如，将AR全息技术用于HUD最近引起了汽车行业的兴趣。AR-HUD 技术并不新鲜，它在 1990 年代已用于波音 727 飞机上。AR-HUD 使用光学投影在驾驶员视线中呈现虚拟信息增强，而无需在现实世界和仪表板/导航数据之间进行频繁调整。
汽车制造商已将汽车的挡风玻璃用作全息显示单元，以提供道路交叉口引导，自我车道分析，并虚拟地看穿路径中的障碍物。AR-HUD 技术也可以在未来的 自动驾驶车辆中找到用于信息娱乐的方式。例如，基于受抑全内反射 (FTIR) 原理的新型触控全息显示器可以安装在汽车中，以通过触觉与空中全息物体进行交互。这种智能显示器的应用范围不断扩大，也将导致所用技术和材料的不断创新。例如，聚合物薄膜、油墨和粘合剂等高性能材料可能会成为改变车载面板、触摸屏和许多其他智能显示器应用的关键组件。同样，此类应用是研究透明电子产品或用于卷帘显示器的柔性电子产品的驱动力。
头戴式显示器 (HMD)是另一类受到主机厂欢迎的显示器。HMD 是一种戴在头上或作为头盔佩戴的显示设备，在一只（单眼）或双眼（双目）前面有一个显示光学设备。典型的 HMD 有一个或两个小型显示器，镜片和半透明镜子嵌入眼镜（也称为数据眼镜）、面罩或头盔中。驾驶员佩戴的 AR 护目镜或智能眼镜可以提供大量用例，例如提供车速和交通信息、在能见度差的情况下提供导航辅助、与后视摄像头相结合的停车辅助、可以提供兴趣点等信息的数字助理、消息等。
未来L3,或者L4自动驾驶，需要大量人机共同驾驶的过程中，或许这种穿戴式设备会帮助人机交互，毕竟车辆很多时候需要通知乘客状况。
当然不仅仅屏幕显示，还有不少视觉或者对人类进行类似视觉的感知，如今，包括单目和立体 RGB 摄像头、深度摄像头 (RGB-D)、飞行时间激光传感器（例如雷达，激光雷达等）等在内的视觉传感器越来越多地出现在车辆中。自动驾驶外部感知用的 RGB 摄像头、LIDAR、RADAR和超声波传感器Ultrisonic等传感器，其实它们也可以在车内用于内部感知，例如手势识别, 人类活动识别, 头部姿势估计, 驾驶员分心或疲劳检测,等等。
内部摄像头位于后视镜附近和车辆的后侧面，做为当前的DMS。为了捕捉 180°–360° 的周围环境视图，在某些应用中需要多个摄像头或云台变焦 (PTZ) 摄像头。由于 RGB 相机受照明影响，红外 (IR) 相机也用于车载应用，例如头部姿势识别，因为他们受光线影响小。雷达，特别是脉冲无线电超宽带 (IR-UWB-了解UWB点击Apple ,小米汽车一定会使用的UWB技术) 雷达，已被用于婴儿或宠物的车载检测，以防止意外锁定在车内。
其实当前车内传感器应用也是暗流涌动，视觉以及屏幕是大佬们的战场，但很多创业机会潜伏在飞行时间激光传感器方面，例如雷达，激光雷达，UWB等车内应用。
显然汽车行业有一个明显的趋势，屏幕越来越多，实体按钮和表盘越来越少。如上文所述，对于屏幕，基于触摸的视觉显示已成为新常态。视觉显示器屏幕中基于触摸的控制通常是通过电阻、电容和表面声波等转换机制实现的。电容感应由于简单和多点触控感应在触摸屏中最为流行。
然而，如果考虑到视觉显示，他的一个缺点就是可能会分散驾驶员的注意力，所以汽车交互研究人员已经开始探索其他直观且不分散注意力的方法来向驾驶员提供反馈和交互。这个时候，触觉或触觉界面提供了以下几个优点：
安全：辅助信息可以传达给驾驶员和完成的任务，而无需对任何屏幕进行扫视，也无需将视线从道路上移开；
自然控制：众所周知，使用触摸的控制对人类来说更直观、更自然，并且需要更少的认知负荷；
更敏感：人类的触摸感应具有很高的空间分辨率，并且已经表明人类可以从光滑表面区分高达 13 nm 的图案；
车内触觉或触觉界面的技术要求包括: 大面积分布式多模态传感、良好的空间分辨率、可弯曲性和灵活性、快速响应时间、低滞后、对重复接触的高耐久性和稳性。
触觉传感器可以嵌入车辆内部，通常与人接触的地方，例如方向盘、仪表板、座椅、头枕等。提取触觉信息需要：
由于高灵敏度、简单的读出电子设备、稳健性和低功耗，电容式传感是一种流行的应用。可以通过将导电材料印刷到可拉伸的薄片中来设计极薄、灵活和可拉伸的新型传感器。这些传感器可以集成到具有复杂形状和结构的车辆内部。当前机器人领域有所应用，这也就是回到之前文章KIA起亚汽车的2030战略，起亚会投资机器人领域。
与电容式触摸感应类似，接近感应可以检测导电物体，例如靠近的人。因此，它可用于检测空中手势以及基于触摸的手势。电容感应层可以嵌入非导电材料下，例如皮革、塑料或木材，这些材料通常存在于汽车中。例如，据报道，使用电容式接近感应的主动感应扶手结合了肢体检测和多个手势的识别。
触觉反馈的其他替代方案是振动触觉输入，可用于提醒昏昏欲睡或分心的驾驶员。例如，通过感应座椅向驾驶员提供触觉警报，被美国消费者报告盛赞的通用汽车super cruise 其中一个亮点就是采用此种方式，通过布置在座椅内的传感器在大腿两侧向用户提供定向触觉信号。
能够提供触觉感应以及集成到单个模块中的振动触觉反馈的新型设备是另一个有趣的例子。该设备的振动触觉组件可以在人手可感知的触觉频率阈值范围内的频率 (10–200 Hz) 上提供反馈。此类设备可能会集成到需要感应和反馈的汽车区域中，例如方向盘和扶手。压力传感也可以与温度等其他方式结合使用。例如，已经报道了具有堆叠电容压力传感器和温度传感器的多功能触摸感应电子皮肤。这种灵活的皮肤能够感应 10 kPa 的压力和高达 80 °C 的温度，具有快速响应 (2.5 秒) 和恢复 (4.8 秒) 时间。
通过触感对人类活动监测（例如驾驶员姿势监测用例）需要计算机械应变和变形。在这方面，在聚二甲基硅氧烷基板内使用导电聚合物聚苯乙烯磺酸盐 (PEDOT:PSS) 微通道的高灵敏度柔性应变传感器引起了人们的注意。这种设备也可以用作测量驾驶员肌肉疲劳的可穿戴传感器。还使用现代车辆中存在的大型触觉显示器提供触觉反馈。例如，使用压电执行器通过沉浸式设计的主动传感技术系统可以在显示单元上提供精确和高保真的触觉反馈。显然在大面积表面上集成触觉反馈并非易事，因为它需要精确计算触觉效果的质量、方向和定位。此外，还可以在加速踏板和方向盘中提供触觉反馈，以最大限度地减少驾驶员的分心。
智能交互表面提供了另一个新方向，可将用户界面无缝集成到车辆内部表面，这些内部表面最初只是为了纯粹的审美目的而设计的。过去，用于装饰目的的内表面与提供控制输入或反馈输出的内表面之间存在明显的界限。然而，随着智能交互表面的出现，这种清晰的界限最近变得模糊，智能交互表面具有集成到装饰表面中的控制元素。例如有装饰照明元件、电容开关技术和与嵌入在纺织材料下的力传感器集成的触觉驱动的组合使用，用于功能化的门部件。在这种情况下，座椅记忆和座椅加热的电容式开关功能仅在搜索灯激活时可见。此外，激活开关的触觉反馈由通过不同开关单元颜色的视觉反馈来补充。此类技术只能在必要时使用，并具有秘密到亮的功能。例如延锋内饰展示的控制元件无缝集成到座椅和其他软内饰的纺织品中。最近，BMW 还展示了用于内部和外部表面的智能表面，称为“Shy Tech”。这个智能表面包含摄像头、雷达和许多传感器，具有数字功能，并具有自愈效果。还探索了作为传感元件的智能纺织品以开发智能内表面，因为纺织品通常用于汽车座椅套、安全带、车顶、门板和仪表板部件。
在电容式纺织传感器中，常见的方法是包括单元素传感器、导电织物条纹、电子刺绣、印刷图案、涂层纤维和中空结构纤维。
单元素传感器可以在某一点感应接触。一个例子包括用于座椅的电容式传感器，其中用导电织物构建的电极布置在可压缩垫片的两侧，形成可变电容器。
中空结构纤维通常使用纤维内部的空气作为间隔物，并且对于汽车座椅的典型反复坐姿和洗涤非常坚固。由导电纱线编织或编织的导电织物条纹也可用作支撑结构和导电电极。例如，编织到织物中的基于银纱线的传感器已被证明具有低滞后性，如图 4c所示. 印刷在织物上的导电油墨图案以形成小型传感元件，可以以低成本进行缩放，是智能内饰的另一条有吸引力的途径。印刷的图案也耐洗。这种方法的一个例子是基于印刷织物的应变传感器，它已被证明可以测量手指角度和说话、咳嗽和吞咽时咽部的运动。
智能纺织传感器的另一种变体基于涂层纤维，其中织物由特殊涂层纤维针织或编织，并且两根纤维之间的电容变化给出了压力变化的量度，这些压力传感器可与车辆座椅一起用于监测驾驶员的人体工程学，如图 4a、b。
相反，电阻式纺织传感器通常包括由各种丝网印刷换能器材料、电子刺绣或纳米纤维制成的单元件传感器。示例包括压阻织物传感器，其中换能器材料夹在非导电织物和导电网格结构之间。传感器可以检测多点触控点，也可以是多模式的。例如，最近报道了能够用于分布式压力和应变传感器的可拉伸和可编织的压阻式多模态纺织传感器，如图 4d所示. 这种多模态传感器可以通过使用创新方法（例如使用可拉伸天线作为应变传感器）进行无线数据传输。
事实上，还有其他有趣的途径，例如已在其他应用领域探索的自供电传感器。例如，摩擦纳米发电机已被证明在施加负载时显示出不同的功率输出，这表明它们可以用作能量收集器和压力传感器。考虑到对能源的需求不断增长，此类解决方案可以为汽车行业增加显著价值。还探索了基于导电棉和黄麻纤维和电阻的传感器，用于温度和湿度传感和储能设备。此类传感器由可持续材料制成，可为纤维相对较厚的脚垫等内饰提供良好的解决方案。使用基于纤维的超级电容器脚垫，可以实现有趣的分布式能源范例。与在未来电动汽车中使用集中式电池相比，分布式能源有助于在车内产生更多空间并提高乘客舒适度。
车载交互的其他示例包括空中手势，同时在不接触任何表面的情况下获得逼真的触觉反馈。这些技术可以创造出丰富的 3D 形状和可以感觉到的纹理。为此，已经探索了基于气动和超声波的方法。在这方面，Ultraleap 和 哈曼的基于超声波的 IVIS值得注意。该系统通过触觉确认指令来响应驾驶员的手势命令。
继智能驾驶座舱交互技术，视觉，触觉之后。接下来将大概介绍下另外三种，听觉，生理传感器，整车状态。听觉技术虽然比较传统但也面临变革，例如AI 语音，更加分区和分级的技术；生理传感在穿戴电子领域应用广泛但汽车应用还刚刚开始有比较广阔的空间，整车状态比较传统但要求更加精细。
听觉模式在驾驶相关任务的环境感知中起着核心作用，因为在某些情况下，没有其他模式可以取代听觉模式，例如喇叭或迎面而来的紧急车辆的警报器。
通常，交互的听觉模式包括在语音用户界面的上下文中接收人类命令的车载麦克风和在基于语音的交互的情况下提供车载信息娱乐和反馈建议的扬声器，例如现在比较火的自然语音识别交互（汽车AI智能语音101及其供应链）。听觉感知可以补充传统的基于视觉和触觉的交互，以感知人类并与人类互动，需要研究关注。本节将讨论用于听觉感知的新技术。
当前车内听觉智能技术主要考虑两个方面：车内听觉分级以及分区，车外交互以及AI识别
考虑到机舱内的信息娱乐和音频，乘客可能希望收听个人偏好的音频，同时将坐在他们旁边的人的音频的交叉干扰降到最低。虽然可以通过耳机实现，但通过头枕周围或乘客附近的扬声器创建个人音频区域，可以获得更大的舒适度和乘坐乐趣。例如小鹏汽车等新势力都使用类似的方案，当然传统路虎等也应用此类技术的。
其他示例还包括在车厢天花板上的扬声器阵列，以在前排和后排座椅中以更高的频率生成独立的收听区域。
图片来自《智能座舱系列文四- 它背后的5种交互技术之听觉，生理传感，整车状态。》一文
其实存在于车内的麦克风也可以放置在外部，当作自动驾驶传感器（了解自动驾驶传感器点击自动驾驶中的传感器以及组合方案），以检测警报器、附近的车辆，甚至行人。 声学传感器的其他有趣用例包括仅音频里程计的学习算法，该算法仅测量来自外部麦克风接受的声学信号，具有良好的预测精度。该系统不受场景外观、光照条件和结构的影响。实验评估证明了对环境噪声的显著弹性，它可以作为视觉模式的辅助模态进行自我运动评估，这项工作目前应该还没有应用到汽车当中，当前大家都往视觉AI跑，音频AI 更多往语音跑，而环境听觉是不是也有AI的市场？
未来的 自动驾驶有望提供超越信息娱乐的丰富体验。在这方面，实时的健康状况和精神状态是考虑乘客安全和福祉的重要领域。为可穿戴应用开发的各种生理传感器正在重新用于测量特定的健康相关数据并揭示认知状态，从而可以减少驾驶员的分心程度。这些传感器测量生理参数，例如心跳、血压、肌肉运动、眼球追踪等。
这些传感器，特别是现在用于可穿戴系统的传感器，都在智能驾驶座舱中积极应用，例如：
1)脑电图 (EEG)是一种监测方法，用于记录头皮上的电活动，已被证明可以代表下面大脑表层的宏观活动。对驾驶员分心的研究表明，EEG 信号是衡量驾驶员疲劳或嗜睡的最确凿的指标之一。脑电图的特征在于四个活动带，具体取决于频率范围，如 beta、alpha、delta 和 theta。嗜睡的发作以 Theta 波和以 Delta 活动为特征的睡眠状态为特征。
2)眼电图 (EOG)提供有关眼球运动和眨眼模式的信息。通常，驾驶员的认知警觉性以快速的眼球运动为特征，而睡意的发作会导致动作变慢和眨眼频率变长。例如，使用 EOG 监测的眼球运动可以为驾驶员困倦检测提供 80% 的准确度。
3)肌电图 (EMG)是一种用于记录肌肉电活动的技术。例如，在 Katsis 等人中。作者观察到，随着驾驶员分心，EMG 信号的幅度和频率显着降低，因此可以用作测量警觉水平的有效方法。
4）心电图（ECG）监测心脏活动和心率。心电图更容易捕获，并且可以提供多种信号，可以揭示驾驶员的警觉状态。此外，心率还可以将驾驶员的情绪显示为兴奋或愤怒（高心率）和平静（正常）状态。
5)体温感应可以揭示司机和乘客的舒适程度，并可以根据司机和乘客的个人喜好帮助调节车内温度。据报道，有多种可穿戴系统可用于测量体温，一些先进的解决方案可以将数据无线传输到智能手机或车辆中的电子单元。
智能座舱是交互，不单单只了解人，还需要更加了解车的状态，从而保障人车直接的沟通和交互，所以另一个重要类别是测量车辆内部状态的本体感觉。其实主要是车辆的动态运动（例如之前文章干货 客舱舒适性之运动乘坐舒适性Ride Comfort 开发101）相关差数。
例 如，为了安全运行，必须连续测量车辆状态，如速度、加速度和偏航。 常用的本体感觉传感器包括用于确定车辆加速度的惯性测量单元 (IMU)、航向传感器（陀螺仪和倾角计）、用于计算车轮旋转的车轮编码器、用于测量高度的高度计以及用于计算轴每分钟转数的转速计。 这些传感器其实正是当前自动驾驶车辆配备的，所以唯一考虑的是怎么将他们融合进行与人交互。
智能驾驶座舱如前文讲到，他让汽车不简单是一个让你从A移动到B的工具，而是变成懂人类，能与人类互动的智能设备，车内交互可以提高驾驶员的情境意识、信任、舒适性、更好的用户体验以及可用性和安全性。
当前汽车从按键交互跨越到了车载显示交互，未来传统车载显示器预计将扩展到具有多模式界面的图形用户界面 (GUI) 显示器，如之前文章所诉配备了多种传感技术包括听觉、触觉/触觉、手势、可穿戴传感器、和 AR/VR /混合现实 (MR) 技术，以确保准确预测车内交互。此外，驾驶员或乘客监控对于交互至关重要。车载交互系统需要估计和推断驾驶员/用户的动作、疲劳或困倦等状态、驾驶员的认知状态以及用户的情绪。
通常，人类可以隐式和显式地与智能车辆进行交互。在隐式交互中，用户或驾驶员根据自己的权利进行他们的行为，观察者（汽车）可以推断出用户执行某些行为的状态或意图。例如驾驶员疲劳识别、情绪识别，甚至可以向智能车辆传达某些线索的姿势或姿势估计。
相反，用户打算主动的与车辆进行通信，这就是显式交互例如包括语音命令（了解语言控制汽车AI智能语音101及其供应链）、手势以及通过触觉和显示界面进行的通信。
这个汽车和手机行业是类似，手机1.0时代按键交互，手机2.0时代大屏交互但总体来讲都是显互，当代手机配合穿戴设备开启了多传感器隐性和显互新时代。
先开始讲隐式交互智，能汽车识别驾驶员和乘客的行为和活动对车载交互系统和安全功能具有深远的影响。如果正确分类了驾驶员的意图，则可以在每个时刻将人机交互引导到最合适的模态（视觉/听觉/触觉）。
例如如果汽车知道乘客的全身姿势（坐姿、躺姿等），安全功能（例如安全气囊、转向、制动和防撞模式）可以根据最佳及时部署进行定制。
在检测到驾驶员分心或疲劳时，智能车辆助手可以选择提供视觉或振动警报。此外，智能车辆助手还可以与驾驶员进行对话以保持他们的警觉。
如果检测到非最佳的身体姿势，驱动的内部可以将驾驶员推向正确的身体姿势，以获得最佳的驾驶注意力。
同样，如果发现驾驶员的情绪是愤怒或悲伤，智能车辆助手可以推荐舒缓的音乐，控制车内温度，营造轻松的环境。
此外，如果发现驾驶员无法控制车辆，自动驾驶汽车可以脱离驾驶员，将驾驶员带到安全地带，并与附近的其他车辆 (V2V) 和相关机构 (V2X) 进行通信。
等等毕竟人很奇怪的心理需求是需要别人懂，而隐式交互却是让机器懂你的方式。
与安全直接相关的疲劳和分心识别，通过现有驾驶员检测和车辆动态状态传感器配合AI算法交互
驾驶员分心是道路事故的主要原因之一，美国国家公路交通安全管理局 (NHTSA) 估计高达 25% 的道路事故是由于某种形式的驾驶员分心而发生的。驾驶员分心或注意力不集中可以定义为“驾驶员注意力不集中表示在没有竞争活动的情况下对安全驾驶至关重要的活动的注意力减少。”分心和疲劳是导致驾驶事故的驾驶员注意力不集中的两种常见形式。
先前的工作已经确定了分心类型的各种区别，例如在路上用手（手动）、眼睛（视觉）和/或头脑（认知）执行第二或第三任务。虽然这些是分心的主要来源，但也可能有其他输入，例如导致分心的听觉刺激。此外，一些活动可能是不同类型的干扰（如发短信）的组合，而驾驶则是手动、视觉和认知干扰的组合。为了检测驾驶员分心，第3节讨论了各种传感技术 . 我们讨论了使用不相同传感技术所采用的相关方法和算法，并在本节中讨论了融合一种或多种传感信息的方法。
车辆 IMU、GPS 和外部摄像头等外部传感器可用于推断驾驶行为和不稳定驾驶模式，这可能意味着分心。车速是一项至关重要的测量，在推断干扰时必须与其他传感器测量一起使用。具有 YOLOv4 和 Faster R-CNN等架构的深度神经网络 (DNN)已与外部摄像头一起用于检测交通中的其他车辆和行人以及路标。识别车道和车道保持错误可以作为检测驾驶员分心的指标。例如，逻辑回归模型已被用于区分分心驾驶和使用车道保持错误的正常驾驶。方向盘传感器还提供驾驶员分心的间接指示。已经演示了一种通过二阶泰勒级数和观察到的角度来预测转向角以计算转向误差的方法。当驾驶员分心时，错误会增加。
相比之下，诸如立体摄像头、红外摄像头、ToF 传感器和 RGB-D 传感器等内部视觉传感器已被广泛用于识别驾驶员和乘客的活动、意图和行为。已经比较了用于检测驾驶员分心的最先进的神经网络架构，例如 VGG、AlexNet、GoogleNet 和 ResNet，并且 ResNet 架构似乎优于其他竞争策略。即使是基于单一图像的驾驶员活动识别来检测诸如打电话、发短信、眼睛偏离道路、揉眼睛等活动，也已经使用神经网络进行了演示。已经提出了一种基于预训练的 CNN VGG-19 架构的端到端网络，该网络对亮度、阴影、相机姿势和驾驶员种族具有鲁棒性，以检测驾驶员分心。此外，面部的聚焦区域也可用于检测分心，例如打哈欠可能意味着疲劳、眼睛偏离道路、眼睛跟踪、眨眼频率等。与 DNN 相比，支持向量机 (SVM) 等机器学习技术也已用于检测闭眼。为了解决稀疏标记数据问题，已经探索了一种称为少数镜头自适应凝视估计 (FAZE) 的新框架，该框架能够学习凝视、头部姿势和外观的紧凑的个人特定潜在表示。然后利用注视估计对分心驾驶和正常驾驶行为进行分类。内部摄像头也可用于检测手离开方向盘的活动。检测疲劳和分心的其他指标包括闭眼百分比 (PERCLOS)、眼睛离开道路时间、以及使用来自 RGB 相机的视频序列的打哈欠和点头。此外，红外摄像机可用于减轻照明条件的变化。
除了视觉传感技术，生理可穿戴传感器，如肌电图 (EMG)、脑电图 (EEG)、心电图 (ECG)、皮肤电活动 (EDA)、眼电图 (EOG) 和心率传感器也已用于检测分心。通过训练 SVM 分类器，EEG 信号可以分为四类，从警觉到嗜睡。由于 EEG 测量需要将电极放置在驾驶员的头部，因此它们的实际用例很少；但是，某些新颖的入耳式 EEG 可能会用于实际用例。心电图测量心脏的电活动，驾驶员的情绪、心理活动和体力消耗会影响心率。EOG 传感器用于记录眼球运动，并可用于检测疲劳和嗜睡。例如，当眼睛的上眼睑和下眼睑之间的接触持续约 200-400 ms 时检测到眨眼，如果眼睛保持闭合超过 500 ms 时检测到微睡眠，并且可以通过 EOG 检测到。研究表明，在疲劳开始时，EMG 信号的幅度逐渐减小，可以通过 EMG 设备检测到。生理传感器本质上是侵入性的，这抑制了它们的实际使用。然而，诸如 Neuralink (脑机接口之类的新技术，其中将无线设备直接植入颅骨，可能会提供大脑活动和认知分心的细节，这可以帮助驾驶以及高度自动驾驶。
情绪识别对于决策、沟通、一般情绪、动机甚至驾驶的日常功能至关重要。情绪识别是一个复杂的研究领域，需要使用生理传感器和受控研究，从而增加了车载驾驶员情绪识别的复杂性。情绪识别还可以帮助检测已在第上节中讨论的驾驶员分心和疲劳，但也可以引出有关驾驶员行为的更多信息，并有助于实现理解驾驶员并做出响应的智能车辆的目标.
情绪可以分为六类：愤怒、厌恶、快乐、悲伤、惊讶和恐惧。已经进行了关于驾驶员情绪识别的研究，以识别六种主要情绪或较小的子集，例如愤怒和快乐。借助来自 RGB 或 IR 相机的带注释的头部和面部数据集，监督学习技术可用于对情绪进行分类，例如 k 近邻 (kNN)、SVM 、和DNN 。这些研究提供了帧级预测以及窗口级，其中使用投票方案聚合了不同的帧级预测。相反，使用生理信号，使用各种生理传感器提取高维信号。因此，降维算法如主成分分析(PCA)和线性判别分析 (LDA)被使用。PCA 有助于找到一组不相关的特征来解释原始数据的差异，而 LDA 用特征的线性组合拟合数据，同时找到区分类别的线性函数。在降维时，使用的流行方法包括支持向量机和朴素贝叶斯，用于监督学习以对情绪进行分类。由于生物物理数据由时变信号组成，因此可以从时变信号中捕获特征的循环神经网络在情感识别方面表现出良好的性能。语音信号也用于情绪识别，因为语音能够给大家提供线索，用于破译驾驶员的情绪。语音信号还包括需要降维技术的高维信号，例如生物物理信号。研究还表明，语音信号的特征（如音调、能量和强度）对于情绪识别很有用。驾驶员的情绪状态也可以通过驾驶员的情绪状态来推断，例如当驾驶员高兴或生气时，方向盘上的握力会发生变化。为了确定检测挫折的最佳框架，对五种不同的监督学习算法及其组合（贝叶斯神经网络 [BNN]、SVM、高斯混合模型 [GMM]、多项回归 [MNR] 和 GMM + SVM）进行了比较。结果表明，SVM 和 MNR 在从驾驶员坐姿检测挫败感的任务中表现最好。
对于交互、安全和分析驾驶员或乘客的活动，跟踪身体部位和身体运动学（例如头部姿势、身体姿势、手、脚和躯干的位置、婴儿的存在等）至关重要。从驾驶的人体工程学角度来看，驾驶员姿势监测也很重要。研究表明，在长途驾驶中，不良姿势会导致驾驶员不适。因此，除了前面讨论的关于活动、情绪和分心检测的部分之外，还要单独分析姿势识别。
如上图(a) 所示，头部姿势估计和跟踪对于各种用例至关重要，例如驾驶员监控、分心检测、凝视检测、头戴式设备校准等。模板匹配方法已被证明可用于头部姿势估计和跟踪。使用 RGB 图像上的特征提取技术检测头部区域，然后将其与训练数据中的示例头部图像进行匹配。示例图像的姿势是估计的头部姿势。类似地，通过使用量化姿势分类器的从粗到细的策略来检测离散的头部偏航和俯仰值。还可以通过跟踪关键面部特征（例如眼角、鼻尖和鼻角）来估计头部姿势。当面部处于全正面视图时，该方法表现出良好的性能。由于它基于基于单目相机的方法，因此性能会因单一视角、遮挡或大运动的存在而降低。为了解决 RGB 相机的照明问题，已经设计了基于 IR 相机的方法。例如，一种名为 Head Orientation Network (HON) 和 ResNetHG 的新型网络被设计用于从 AutoPOSE 数据集中的 IR 图像估计头部姿势。单目估计对快速的头部运动很敏感，这可以通过在驾驶员的视野中放置多个摄像头来解决。
结构光深度相机也被提议用于驾驶员姿态估计，如上图 (c)所示。可以通过一种基于图形的算法，该算法使用一系列深度帧将 7 点骨骼模型拟合到驾驶员的身体。同理，飞行时间深度传感器（FoT也就是激光和雷达类传感器）已被用于估计驾驶员四肢的位置和方向，包括手臂、手、头部和躯干。迭代最近点 (ICP) 算法用于使用人体关节 3D 模型进行姿势估计。然而，众所周知，ICP 陷入局部最小值，需要良好的初始猜测来执行姿态估计过程。
除了视觉传感器，触觉传感器（如力传感器阵列、触觉传感器皮肤和接近传感器）也已用于身体姿势和头部姿势估计，如图 (b)、(d)所示。正如智能座舱系列文三- 它背后的5种交互技术之触觉。中详细讨论的那样，触觉传感阵列可以不显眼地无缝集成到座椅中。例如，在靠背和坐垫上带有分布式压力传感器的座椅已被用于测量驾驶员的坐姿。座椅上的这种力传感阵列已用于测量驾驶员和乘客的身体姿势，以用于安全关键应用，例如安全气囊展开。同样，与 IMU 测量融合的压力图已被部署以稳健地识别身体姿势。具有电容式接近传感器的传感头枕已被用于头部姿势估计和头枕伺服，其中头枕可以使用基于非参数神经网络的方法根据用户头部的移动而移动。其他作品展示了传感器，例如嵌入头枕中用于头部姿势估计的超声波传感器。然而，为了稳健地估计身体和头部姿势，触觉传感器需要以多模式方式与视觉传感器相结合。
隐式交互在智能驾驶舱方面，应该属于刚刚萌芽的阶段，他关系到了各种传感器的应用，有当前激光和雷达产业（了解激光雷达 通过广州车展-看无人驾驶激光雷达 ），有视觉摄像头产业，也有穿戴生理传感设备产业方面。属于一个很大的市场，当然这些背后同样少不了AI 人工智能的支持，这个和智能驾驶类似。
接下来分享下显式交互，顾名思义就是驾驶员和乘客主动发起与汽车进行互动的方式。
与隐式交互相比，驾驶员和乘客等用户可以通过对话、主动执行任务、手势等方式与智能车辆助手进行显式交互。智能座舱在主动与用户互动的同时，还需要考虑各种文化和地理因素。例如，不同的手势在意大利或日本可能意味着不同的东西。此外，通过分析用户的情绪，智能座舱可以适当地调整其交互方式，从而产生更多的移情交互。
语音用户界面 (VUI) 可以通过允许驾驶员与车辆进行交互而大大减少驾驶员的分心，而无需将视线从道路上移开或将手从方向盘上移开，并减少视觉认知负荷。当前语音交互分主机厂自己的，还有集成第三方助手
当前主机厂自己的语音助手如我们之前介绍蔚来的Nomi,小鹏的小P(小鹏的无人驾驶XPILOT以及智能座舱Xmart OS) 还有宝马的，带有“嘿，宝马！”的 BMW 智能个人助理。奔驰的MBUX语音助手，当然还有Nvidia英伟达的 AI 智能汽车信仰中介绍的Drive concierge。等
集成的第三方助手，例如国内的天猫精灵，百度的小度等，例如国外的 Amazon Alexa 和 Apple CarPlay。
数字语音助手 (VA) 需要理解以自然方式提供的命令，而不依赖于需要对用户进行事先培训的预定义关键词。车载功能，如信息娱乐、气候控制、通话或发送短信等通信、车辆状态（如剩余燃料），甚至通过与其他语音助手同步提供车外帮助。导航是最常用的 智能语音任务之一，其中驾驶员可以在旅途中请求导航方向，而无需在触摸屏控制台上键入内容，也无需在安全关键驾驶条件下查看显示路线。在长途驾驶中，尤其是在夜间，众所周知，与前排座位上的同伴交谈有助于保持驾驶员的警觉和清醒。
然而，增加驾驶员认知负荷的对话（例如手机对话）可能不利于驾驶员的警觉性。此外，被动倾听可能不如主动参与对话有效。因此，已经进行了研究，其中驾驶员和 VA 进行随意的对话，而不是语音命令的信息收集序列，并且已经表明它可以有效地防止驾驶员分心。研究表明，与 VA 进行短暂的间歇性对话有助于提高驾驶员的警觉性。此外，已经进行了基于驾驶模拟器的研究，以表明 VA 应该提供自信的声音来吸引驾驶员的注意力。Large 等人的工作提供了设计对话 VA 以使驾驶员参与自然对话的指南。
语音助手还可以帮助提醒驾驶员注意迎面而来的紧急车辆。警报器是由警车、救护车和消防车等紧急车辆发出的独特声音。紧急车辆发出警报声，提醒其他车辆和行人让路。由于现代汽车的驾驶员分心或隔音，驾驶员可能不知道迎面而来的紧急车辆。基于声学的紧急车辆检测方法并为驾驶员提供声学和/或视觉警报是解决问题的一种方法。Meucci 等人在工作中开发了一种通过基于信号处理的音高检测算法的初始实时警笛检测系统。先前关于警报器检测的工作已扩展到声源定位，并向靠近声源的驾驶员提供警报。提出了一种基于 CNN 的集成模型，用于将交通声景分类为噪声、警笛声和其他车辆声音。该方法展示了 96% 的准确度，即使是短 0.25 秒的样本也能正确分类紧急警报器。
人车交互的一大挑战是从 3 级驾驶到手动控制的 TOR（响应时间），考虑到驾驶员的情境意识和分心程度，其中语音助手可能很有用。已经对驾驶员在有和没有 语音的情况下发出 TOR 后进行控制所花费的时间进行了研究。语音 提供了关于交通状况、信息娱乐建议和日历事件提醒的对话式讨论。这些研究是在驾驶模拟器中进行的，结果表明 语音帮助及时接管了 39%。因此，其他研究也评估了在 3 级无人驾驶期间使用对话式语音进行接管请求。该研究表明，基于倒计时的简单界面在可用性和感知接受度方面排名最高，但参与度最低，他们提出了 TOR 基于对话的交互设计指南。
但语音交互由于其顺序性和时间性而存在固有问题。轮流或者打断问题很常见，其中用户不确定语音助手是否正在倾听或准备响应。用户还需要依赖本质上是短暂的短期记忆。当驾驶员需要在主要任务和三级任务之间执行多项任务时，这种对短期记忆的依赖可能会在驾驶任务期间产生问题。此外，用户抱怨在访问特定菜单等语音交互过程中缺乏控制。这激发了 下一节中讨论的多模式交互的使用。
我们在之前的智能座舱系列文二- 它背后的5种交互技术之视觉。文中提到当前大屏时代，所以显示交互例如HMI都非常重要，当前显示输入可以是传统的基于按钮和旋钮、基于触摸屏的交互、语音交互或基于手势的交互。当前车载显示主要分三种：
普通屏幕显示目前已经普及，目前HUD，特别是AR-HUD和 HMD是发展的方向和重点，将信息丰富的虚拟元素与真实场景融合在一起，防止驾驶员将视线从道路上移开。HUD 通常用于高速驾驶，因此驾驶员在通过交通时无需将视线从道路上移开。正如人们想象的那样，对于 HUD 和 HMD 来说，将对象或线索固定到现实世界场景中，头部姿势跟踪和注册是必要的。配准方法能够以精确的方式将虚拟对象/文本固定到真实世界的场景中。以下是必要的而且是难点：
我们在之前提供了关于头部姿势估计的详细描述。配准算法需要是实时的，以防止视觉延迟问题，适应车辆振动、快速的头部或眼睛运动以及来自真实场景的遮挡。提出了一种实时配准算法，AR HUD 应用的平均配准时间为 0.0781 秒，从而避免了视觉延迟问题。车辆振动可能会导致注册问题，并提出了一种在大振动期间从 HUD 隐藏虚拟对象的方法。Jiang 等人的工作对基于 AR 的系统的注册方法进行了全面审查。AR HUD 还提出了独特的照明和色彩混合挑战。与汽车应用一样，在白天和夜间驾驶期间，环境光的变化很大，需要在 AR HUD 中进行补偿才能让驾驶员看到。为了解决这个问题，设计了一种主动策略，该策略对背景场景和环境光进行采样，以自适应地调整显示的 AR 图像的亮度和颜色。此外，在设计显示元素时，杂波起着至关重要的作用，如果设计不当，可能会对可用性产生负面影响。此外，HUD 中的意外遮挡可能会导致事故，其中虚拟对象直接放置在驾驶员的视线中并遮挡了前方的真实场景。因此，强大的配准算法对于部署沉浸式和信息丰富的 HUD/HMD 是必要的。
3D显示器可用于提供被动 3D 格式的显示信息。能够最终靠自动立体显示器提供警报和其他必要信息，因为已知 3D 信息可以更快地吸引人类注意力。例如，已经进行了研究以调查汽车仪表板中自动立体显示器的使用，并发现用户在使用类 3D 显示器的次要任务中表现更好。这些研究为将 S3D 显示器整合到车辆中提供了指导。还有一个权衡，因为复杂的显示器对司机来说更具吸引力和身临其境，但会增加对主要任务的分心。因此，在结合3D显示器时需要考虑适当的设计。
通过最优的技术方案和供应链配比创新集成应用，设定出符合消费者行为习惯和个性特征的智能驾驶，才是智能驾驶的灵魂。
