Содержимое
Разделяемая память
Каналы и сокеты являются удобными средствами обмена информацией между процессами, но их использование при интенсивном обмене или обмене объемными данными приводит к значительным накладными расходам. Разделяемая память является специализированным средством взаимодействия, имеющим минимальные издержки использования.
В листинге ниже при помощи команды ipcs показаны созданные в системе сегменты разделяемой памяти, массивы семафоров и очереди сообщений — средства межпроцессного взаимодействия svipc, «унаследованные» Linux от W:[UNIX System V].
Экземпляры средств System VIPC идентифицируются при помощи глобально уникальных ключей, или локальных идентификаторов shmid (shared memory identifier), semid (semaphore identifier) и msqid (message queue identifier), и сродни файлам имеют владельцев и права доступа.
Идентификаторы IPC (сродни индексным и файловым дескрипторам файлов) изменяются при пересоздаиии/переоткрытии экземпляра, а ключи IPC (подобно именам файлов) — нет.
Разделяемая память, очереди сообщений и семафоры (System V IPC)
fitz@ubuntu:~$ ipcs
—— Сегменты совм. исп. памяти ——
ключ shmid владелец права байты nattch состояние
0x00000000 11567165 fitz 600 393216 2 назначение
0X06000000 10944514 fitz 700 1694060 2 назначение
6×06000606 11206666 fitz 600 393216 2 назначение
—— Массивы семафоров ——
ключ semid владелец права nsems
—— Очереди сообщений ——
ключ msqid владелец права исп. байты сообщения
Разделяемая память System VIPC реализуется ядром на основе механизма страничного отображения при помощи совместного использования страничных кадров страницами разных процессов.
При помощи системного вызова shmget один из взаимодействующих процессов создает сегмент памяти, состоящий из страничных кадров без отображения на какой-либо файл. Впоследствии кадры этого сегмента при помощи системного вызова shmat (shared memory attach) отображаются на страницы всех взаимодействующих процессов, за счет чего эти процессы и используют выделенную память совместно.
Иллюстрация применения разделяемой памяти приведена в листинге ниже, где сегмент разделяемой памяти с идентификатором 842138010 был создан (cpid, creator pid) процессом PID=8636 программы Х-клиента skype, а последнее обращение к нему (lpid, last operation pid) осуществлялось процессом PID=1461 программы X-сервера Xorg.
В данном конкретном случае X-клиент и X-сервер для эффективного обмена значительными объемами растровых изображений используют расширение X-протокола W: [MIT-SHM], основанное на использовании разделяемой памяти.
Разделяемая память (System V IPC)
fitz@ubuntu:~$ ipcs -n -p
—— Shared Memory Creator/Last-op PIDs ——
shmid владелец cpid ipid
11567105 fitz 16738 31382
10944514 fitz 4207 1461
8421380 fitz 8636 1461
fitz@ubuntu:~ $ dc -e 16ol0i8421380p
808004
fitz@ubuntu:~$ ps -fp 16738,31382,4207,1461,8636
UID PID PPID C STIME TTY TIME CMD
root 1461 1410 0 Feb22 tty7 01:23:02 /usr/bin/X :0 -auth /var/run/lig
fitz 4207 1 0 Feb26 ? 00:05:52 /usr/lib/virtualbox/VirtualBox
fitz 8636 1 1 Feb26 ? 00:39:15 skype
fitz 16738 1 1 Feb27 ? 00:20:35 /usr/lib/chromium-browser/chromi
fitz@ubuntu:~$ pmap 8636
8636: skype
99e23000 2176K rw-s- [ shmld=0x838005 ]
9a043000 3828K rw-s- [ shmld=0x830006 ]
9cc2f000 484K rw-s- [ shnld=0x828007 ]
9f541000 384K rw-s- [ shnlct=0x808004 ]
bf905000 132K rw— [ stack ]
total 632708K
fitz@ubuntu:~$ sudo pmap
1461: /usr/bin/X :0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch …
b5a5a000 384K rw-s- [ shmid=0xb28003 ]
b5abaeoe 384K rw-s- [ shmid=0x808004 ]
b5b3e000 384K rw-s- [ shmid=0xab000a ]
bfcd9000 144K rw— [ stack ]
total 107220K
Анализ карт памяти взаимодействующих процессов при помощи команды pmap подтверждает, что Страничные кадры сегмента разделяемой s памяти 842138016 (80800416) были отображены на страницы обоих взаимодействующих процессов по разным виртуальным адресам.
Еще один вариант реализации разделяемой памяти, пришедший в Linux из W:[BSD], основывается на «разделяемом» (shared) отображении одного файла в память разных процессов при помощи «штатного» механизма mmap. В листинге ниже показан типичный пример использования совместного отображения файла /var/cache/nscd/hosts в память процесса PID = 14566, nscd (name service cache daemon) и многих других процессов, пользующихся его услугами.
Служба имен (name service) предназначена для извлечения свойств различных каталогизируемых сущностей по их имени. Например, по имени интернет-узла из каталога системы доменных имен DNS служба имен извлекает IP-адрес этого узла, и наоборот, по IP-адресу — имя.
При большом количестве повторяющихся запросов к службе имен в течение промежутка времени, в который изменения запрашиваемой информации в соответствующем каталоге объектов не происходит, «бесполезные» повторные запросы к каталогу могут быть сокращены при помощи сохранения и использования предыдущих ответов (кэширования), чем и занимается демон nscd.
В частности, ответы из DNS сохраняются, процессом nscd в страничных кадрах памяти отображенного файла /var/cache/nscd/hosts, а остальные процессы совместно их используют, отображая тот же файл в страницы своей памяти.
Разделяемая память (BSD)
fitz@ubuntuu:~ $ sudo fuser -v /var/cache/nscd/hosts
ПОЛЬЗ-ЛЬ PID ДОСТУП КОМАНДА
/var/cache/nscd/hosts:
root 14566 F…m nscd
fitz 16724 ….m ubuntu-geoip-pr
fitz 16738 ….m chromium-browse
fitz 15895 …m unity-scope-vid
fitz 8636 …m skype
fitz@ubuntu:~$ sudo pmap 14566
14566: /usr/sbin/nscd
b1240000 32768K rw-s- /var/cache/nscd/hosts
bf8c5000 132K rw— [stack ]
total 153556K
fitz@ubuntu:~$ pmap 8636
8636: skype
ab21e000 212K r—s- /var/cache/nscd/hosts
bf905000 132K rw— [ stack ]
total 632708K
Организация межпроцессного взаимодействия при помощи разделяемой памяти на основе «штатного» механизма отображения файлов в память процессов имеет один значительный недостаток. Так как изменяемые страничные кадры такого общего сегмента памяти требуют сохранения в дисковый файл, то производительность взаимодействия ограничивается операциями дискового ввода-вывода, а не скоростью работы оперативной памяти.
В примере с демоном nscd этого вполне достаточно, тем более что создаваемый им кэш все равно должен сохраняться при перезагрузках.
В случаях, когда взаимодействие процессов требует максимальной производительности, разделяемая память на основе отображения дисковых файлов в память является не лучшим механизмом. Элегантное решение данной проблемы используется в Linux-реализации разделяемой памяти стандарта POSIX, что проиллюстрировано в листинге ниже.
Псевдофайловая система tmpfs специально придумана для «временного» размещения файлов непосредственно в оперативной памяти, что в совокупности со «штатным» механизмом их отображения в память взаимодействующих процессов и дает желаемые характеристики производительности.
Разделяемая память (POSIX)
fttz@ubuntu:~$ find mnt /dev/shn
TARGET SOURCE FSTYPE OPTIONS
/rw/shm tmpfs rw, nosuid, nodev, relatime
fitz®ubuntu:~$ ls -l /dev/shm
lrwxrwxrwx 1 root root 8 нояб 19 09:50 /dev/shn -> /run/shm
fitz®ubuntu:~$ sudo fuser -v /dev/shm/*
ПОЛЬЗ-ЛЬ PID ДОСТУП КОМАНДА
/run/shm/pulse-shm-2012073053:
fitz 16738 ….m chromium-browse
/run/shm/pulse-shm-2024923292:
fitz 2907 ….m pulseaudio
fitz 8636 ….m skype
fitz@ubuntu:~$ pmap 8636
8636: skype
93cee000 65540K rw-s- /run/shm/pulse-shm-2024923292
bf905000 132K rw— [ stack ]
total 632708K
fitz@ubuntu:~$ pmap 2907
2907: /usr/bin/pulseaudio — start — log-target=syslog
ad4ff000 65540K r—s- /run/shm/pulse-shm-2024923292
ad5a5000 64K rw-s- /dev/snd/pcmC0D0c
b15ес000 64K rw-s- /dev/snd/pcnC0O0p
bfel5000 132K rw— [ stack ]
total 167156K
В примере из листинга выше показано, как разделяемую память POSIX использует звуковая служба pulseaudio, позволяющая осуществлять совместный (мультиплексированный) доступ приложений к устройствам аудиоввода и аудиовывода /dev/snd/*.
Семафоры и очереди сообщений
Разделяемая память требует синхронизации действий процессов из-за эффекта гонки (race), возникающего между конкурентными, выполняющимися параллельно процессами. Для синхронизации процессов при совместном доступе к разделяемой памяти и прочим разделяемым ресурсам предназначено еще одно специализированное средство их взаимодействия — семафоры.
В большинстве случаев семафорами System V или POSIX пользуются многопроцессные сервисы, такие как, например, SQL-сервер postgres, который синхронизует доступ своих параллельных процессов к сегментам их общей памяти.
Семафоры (System V IPC)
fitz@ubuntu:~$ sudo ipcs -s
——- Сегменты совм. исп. памяти ——
ключ shmid владелец права байты nattch состояние
0х0052е2с1 378241026 postgres 600 30482432 4
—— Массивы семафоров ——
ключ shmid владелец права nsems
0х0052е2с1 1081344 postgres 600 17
0х0052е2с2 1114113 postgres 600 17
0х0052е2сЗ 1146882 postgres 600 17
0х0052е2с4 1179651 postgres 600 17
0х0052е2с5 1212420 postgres 600 17
0х0052е2с6 1245189 postgres 600 17
0х0052е2с7 1277958 postgres 600 17
Очереди сообщений являются средствами взаимодействия между процессами, реализующими еще один интерфейс передачи сообщений (message passing inerface), подобно каналам и сокетам. По своей природе они похожи на дейтаграммный SOCK_DGRAM режим передачи поверх именованных локальных сокетов unix.
Основное отличие очередей сообщений от сокетов заключается в том, что время их жизни не ограничивается временем существования процессов, которые их создали. На практике очереди сообщений являются настолько малораспространенными, что их иллюстрация на среднестатистической инсталляции Linux практически невозможна.