1. Linux共享内存基础概念在Linux系统中每个进程都有自己独立的虚拟内存空间。这意味着即使两个进程访问相同的虚拟内存地址它们实际上访问的是不同的物理内存位置。这种设计确保了进程间的隔离性防止一个进程意外修改另一个进程的内存数据。然而在某些场景下我们需要让不同进程能够共享相同的内存区域。比如需要频繁交换大量数据的进程间通信需要极低延迟的数据共享需要多个进程共同操作同一份数据Linux通过共享内存机制(Shared Memory)来解决这个问题。共享内存允许多个进程将各自的虚拟内存地址映射到相同的物理内存页上从而实现高效的数据共享。注意共享内存是进程间通信(IPC)中最快的方式因为它避免了数据在用户空间和内核空间之间的复制。2. 共享内存API详解2.1 获取共享内存标识符要使用共享内存首先需要获取一个共享内存标识符。这是通过shmget()系统调用实现的#include sys/ipc.h #include sys/shm.h int shmget(key_t key, size_t size, int shmflg);参数说明key共享内存的键值通常使用ftok()函数生成size共享内存区域的大小字节shmflg创建标志常用组合IPC_CREAT如果不存在则创建IPC_EXCL与IPC_CREAT一起使用确保创建新的共享内存权限标志如0666表示所有用户可读写返回值成功返回共享内存标识符失败返回-1并设置errno2.2 关联共享内存到进程地址空间获取标识符后需要使用shmat()将共享内存关联到进程的地址空间void *shmat(int shmid, const void *shmaddr, int shmflg);参数说明shmidshmget()返回的标识符shmaddr指定映射地址通常设为NULL让系统自动选择shmflg标志位如SHM_RDONLY表示只读映射返回值成功返回映射后的虚拟地址失败返回(void*)-12.3 取消共享内存关联当不再需要共享内存时应使用shmdt()取消关联int shmdt(const void *shmaddr);参数shmaddrshmat()返回的地址返回值成功0失败-13. 共享内存使用示例3.1 写入进程进程A#include stdio.h #include sys/ipc.h #include sys/shm.h #define SHM_PATH /tmp/shm_example #define SHM_SIZE 4096 int main() { key_t key ftok(SHM_PATH, 0x1234); if(key -1) { perror(ftok); return 1; } int shmid shmget(key, SHM_SIZE, IPC_CREAT | 0666); if(shmid -1) { perror(shmget); return 1; } char *addr (char*)shmat(shmid, NULL, 0); if(addr (char*)-1) { perror(shmat); return 1; } sprintf(addr, Hello from Process A); printf(Message written to shared memory\n); shmdt(addr); return 0; }3.2 读取进程进程B#include stdio.h #include string.h #include sys/ipc.h #include sys/shm.h #define SHM_PATH /tmp/shm_example #define SHM_SIZE 4096 int main() { key_t key ftok(SHM_PATH, 0x1234); if(key -1) { perror(ftok); return 1; } int shmid shmget(key, SHM_SIZE, 0666); if(shmid -1) { perror(shmget); return 1; } char *addr (char*)shmat(shmid, NULL, 0); if(addr (char*)-1) { perror(shmat); return 1; } printf(Message from shared memory: %s\n, addr); shmdt(addr); return 0; }提示运行时应先启动写入进程再启动读取进程。确保/tmp/shm_example文件存在且可访问。4. 共享内存内核实现原理4.1 内核数据结构Linux内核使用shmid_kernel结构管理共享内存struct shmid_kernel { struct shmid_ds u; // 共享内存描述信息 unsigned long shm_npages; // 共享内存页数 pte_t *shm_pages; // 页表项数组 struct vm_area_struct *attaches; // 关联的VMA列表 };系统维护一个全局数组来管理所有共享内存static struct shmid_kernel *shm_segs[SHMMNI]; // SHMMNI通常为1284.2 内存映射过程当进程调用shmat()时内核会在进程地址空间中创建新的VMA(vm_area_struct)设置VMA的操作集为shm_vm_ops将VMA添加到共享内存的attaches链表实际的物理内存分配是延迟进行的在首次访问时通过缺页异常处理程序完成。4.3 缺页处理当进程首次访问共享内存时会触发缺页异常调用shm_nopage()static struct page *shm_nopage(struct vm_area_struct *vma, unsigned long address, int *type) { // 1. 根据address计算页索引 // 2. 检查是否已有物理页 // 3. 若无则分配新页并初始化 // 4. 建立页表映射 // 5. 返回物理页 }5. 高级主题与性能优化5.1 共享内存同步由于共享内存不提供内置同步机制通常需要配合其他IPC机制使用信号量最常用的同步方式#include sys/sem.h int semget(key_t key, int nsems, int semflg);文件锁适用于简单的互斥场景#include sys/file.h int flock(int fd, int operation);原子操作对于简单计数器等场景5.2 大页共享内存对于需要大容量共享内存的场景可以使用大页(Huge Page)技术首先配置系统大页# 查看大页信息 cat /proc/meminfo | grep Huge # 预留大页 echo 20 /proc/sys/vm/nr_hugepages创建大页共享内存shmget(key, size, SHM_HUGETLB | IPC_CREAT | 0666);5.3 共享内存限制系统对共享内存有以下限制SHMMAX单个共享内存段最大尺寸# 查看当前值 cat /proc/sys/kernel/shmmax # 临时修改 echo 1073741824 /proc/sys/kernel/shmmaxSHMALL系统共享内存总页数限制SHMMNI系统共享内存段总数限制6. 常见问题与解决方案6.1 共享内存残留问题问题现象程序异常退出后共享内存未被删除。解决方案使用ipcs -m查看现有共享内存使用ipcrm -m shmid手动删除更好的做法是在程序中注册退出处理函数void cleanup(int shmid) { struct shmid_ds buf; if(shmctl(shmid, IPC_RMID, buf) -1) { perror(shmctl IPC_RMID); } } // 注册退出处理 atexit(cleanup);6.2 性能调优建议对齐访问确保共享内存访问按缓存行对齐减少竞争将频繁访问的数据分到不同共享内存区域预分配提前分配足够大的共享内存避免运行时扩展NUMA优化在NUMA系统上确保共享内存分配在访问进程所在的节点6.3 安全注意事项设置适当的权限标志(如0600)限制非授权访问避免在共享内存中存储敏感信息使用shmctl()的SHM_LOCK功能防止交换到磁盘7. 实际应用案例7.1 高性能数据采集系统在一个工业数据采集系统中我们使用共享内存实现采集进程与处理进程间的数据传递创建环形缓冲区结构struct shm_ring_buffer { volatile int head; volatile int tail; char buffer[SHM_SIZE - 2*sizeof(int)]; };采集进程写入数据while(space_available()) { buffer[buffer-head] new_data; buffer-head (buffer-head 1) % buffer_size; }处理进程读取数据while(data_available()) { process(buffer[buffer-tail]); buffer-tail (buffer-tail 1) % buffer_size; }7.2 多进程日志系统设计一个多进程共享的日志系统共享内存结构struct shm_logger { pthread_mutex_t lock; int current_pos; char log_buffer[SHM_SIZE - sizeof(pthread_mutex_t) - sizeof(int)]; };日志写入函数void shm_log(const char* message) { pthread_mutex_lock(logger-lock); int len strlen(message); if(logger-current_pos len SHM_SIZE) { memcpy(logger-log_buffer logger-current_pos, message, len); logger-current_pos len; } pthread_mutex_unlock(logger-lock); }8. 替代方案比较8.1 共享内存 vs 管道特性共享内存管道速度极快(内存访问)较慢(系统调用拷贝)容量大(仅受系统限制)小(通常4K-64K)同步需要额外机制内置同步多读多写支持通常一对一持久性进程退出后可能保留进程退出后自动关闭8.2 共享内存 vs 消息队列特性共享内存消息队列数据传输方式直接内存访问消息包传递延迟极低较高吞吐量极高中等顺序保证无先进先出使用复杂度较高(需自行管理)较低(系统管理)在实际项目中我通常会根据以下标准选择需要极低延迟和高吞吐量 → 共享内存需要简单易用的通信机制 → 管道或消息队列需要跨网络通信 → 考虑套接字等其他机制