DPU作为一种专门为网络数据处理而生的全新处理器类型，被视为继CPU、GPU以后的云计算第三引擎。它的组成结构主要分为控制平面和数据平面。
其中，控制平面主要负责管理、配置，通常由通用处理器核来实现，负责DPU设备运行管理，以及计算任务和计算资源的配置；并支持安全管理，如信任根、安全启动、安全固件升级以及基于身份验证的容器和应用的生命周期管理等。除此之外，它还支持实时监控，能对DPU各子系统、数据平面中各处理核动态监测，实时观察设备是否可用。
而数据平面主要负责数据的预处理和加速处理，通常采用并行处理的方式，以提高数据处理效率。数据平面由处理单元组成，可以对数据进行各种操作，如解码、编码、加密、解密等。它不仅拥有与主机部分相同的逻辑处理单元，还拥有额外的加速单元，让应用程序更专注于处理业务逻辑。
因此，可以说DPU就是一台部署在服务器内部的“服务器”，能够将网络数据首先经由DPU进行处理，减轻CPU的负担；并且，在提高数据处理效率的同时，还能提高数据处理的安全性。