Разделяемая память, семафоры и очереди сообщений в ОС Linux

Разделяемая память

Каналы и сокеты являются удобными средствами обмена информацией между процессами, но их использование при интенсивном обмене или обмене объемными данными приводит к значительным накладными расходам. Разделяемая память является специализированным средством взаимодействия, имеющим минимальные издержки использования.

В листинге ниже при помощи команды ipcs показаны созданные в системе сегменты разделяемой памяти, массивы семафоров и очереди сообщений — средства межпроцессного взаимодействия svipc, «унаследованные» Linux от W:[UNIX System V].

Экземпляры средств System VIPC идентифицируются при помощи глобально уникальных ключей, или локальных идентификаторов shmid (shared memory identifier), semid (semaphore identifier) и msqid (message queue identifier), и сродни файлам имеют владельцев и права доступа.

Идентификаторы IPC (сродни индексным и файловым дескрипторам файлов) изменяются при пересоздаиии/переоткрытии экземпляра, а ключи IPC (подобно именам файлов) — нет.

Разделяемая память, очереди сообщений и семафоры (System V IPC)

fitz@ubuntu:~$ ipcs

—— Сегменты совм. исп. памяти ——
ключ                shmid      владелец     права      байты      nattch      состояние
0x00000000 11567165  fitz                600          393216     2               назначение
0X06000000 10944514 fitz               700          1694060   2               назначение
6×06000606  11206666 fitz               600           393216     2               назначение

—— Массивы семафоров ——
ключ     semid       владелец     права   nsems

—— Очереди сообщений ——
ключ      msqid      владелец      права  исп. байты  сообщения

Разделяемая память System VIPC реализуется ядром на основе механизма страничного отображения при помощи совместного использования страничных кадров страницами разных процессов.

При помощи системного вызова shmget один из взаимодействующих процессов создает сегмент памяти, состоящий из страничных кадров без отображения на какой-либо файл. Впоследствии кадры этого сегмента при помощи системного вызова shmat (shared memory attach) отображаются на страницы всех взаимодействующих процессов, за счет чего эти процессы и используют выделенную память совместно.

Иллюстрация применения разделяемой памяти приведена в листинге ниже, где сегмент разделяемой памяти с идентификатором 842138010 был создан (cpid, creator pid) процессом PID=8636 программы Х-клиента skype, а последнее обращение к нему (lpid, last operation pid) осуществлялось процессом PID=1461 программы X-сервера Xorg.

В данном конкретном случае X-клиент и X-сервер для эффективного обмена значительными объемами растровых изображений используют расширение X-протокола W: [MIT-SHM], основанное на использовании разделяемой памяти.

Разделяемая память (System V IPC)

fitz@ubuntu:~$ ipcs -n -p

—— Shared Memory Creator/Last-op PIDs ——
shmid        владелец      cpid       ipid
11567105   fitz                 16738    31382
10944514  fitz                 4207      1461
8421380   fitz                  8636     1461

fitz@ubuntu:~ $ dc -e 16ol0i8421380p

808004

fitz@ubuntu:~$ ps -fp 16738,31382,4207,1461,8636

UID                 PID   PPID C    STIME    TTY         TIME     CMD
root                 1461   1410  0    Feb22      tty7   01:23:02      /usr/bin/X :0 -auth /var/run/lig
fitz                  4207         1  0     Feb26      ?        00:05:52    /usr/lib/virtualbox/VirtualBox
fitz                  8636         1  1     Feb26      ?        00:39:15     skype
fitz                 16738        1   1     Feb27      ?        00:20:35    /usr/lib/chromium-browser/chromi

fitz@ubuntu:~$ pmap 8636

8636:          skype

99e23000 2176K rw-s-    [ shmld=0x838005 ]
9a043000 3828K rw-s-   [ shmld=0x830006 ]
9cc2f000 484K rw-s-       [ shnld=0x828007 ]
9f541000 384K rw-s-       [ shnlct=0x808004 ]
bf905000 132K rw—       [ stack ]
total 632708K

fitz@ubuntu:~$ sudo pmap
1461: /usr/bin/X :0 -auth /var/run/lightdm/root/:0 -nolisten tcp vt7 -novtswitch …

b5a5a000 384K rw-s-      [ shmid=0xb28003 ]

b5abaeoe 384K rw-s-       [ shmid=0x808004 ]

b5b3e000 384K rw-s-     [ shmid=0xab000a ]
bfcd9000 144K rw—     [ stack ]
total 107220K

Анализ карт памяти взаимодействующих процессов при помощи команды pmap подтверждает, что Страничные кадры сегмента разделяемой s памяти 842138016 (80800416) были отображены на страницы обоих взаимодействующих процессов по разным виртуальным адресам.

Еще один вариант реализации разделяемой памяти, пришедший в Linux из W:[BSD], основывается на «разделяемом» (shared) отображении одного файла в память разных процессов при помощи «штатного» механизма mmap. В листинге ниже показан типичный пример использования совместного отображения файла /var/cache/nscd/hosts в память процесса PID = 14566, nscd (name service cache daemon) и многих других процессов, пользующихся его услугами.

Служба имен (name service) предназначена для извлечения свойств различных каталогизируемых сущностей по их имени. Например, по имени интернет-узла из каталога системы доменных имен DNS служба имен извлекает IP-адрес этого узла, и наоборот, по IP-адресу — имя.

При большом количестве повторяющихся запросов к службе имен в течение промежутка времени, в который изменения запрашиваемой информации в соответствующем каталоге объектов не происходит, «бесполезные» повторные запросы к каталогу могут быть сокращены при помощи сохранения и использования предыдущих ответов (кэширования), чем и занимается демон nscd.

В частности, ответы из DNS сохраняются, процессом nscd в страничных кадрах памяти отображенного файла /var/cache/nscd/hosts, а остальные процессы совместно их используют, отображая тот же файл в страницы своей памяти.

Разделяемая память (BSD)

fitz@ubuntuu:~ $ sudo fuser -v /var/cache/nscd/hosts

ПОЛЬЗ-ЛЬ         PID   ДОСТУП  КОМАНДА
/var/cache/nscd/hosts:
root                   14566    F…m          nscd
fitz                     16724     ….m           ubuntu-geoip-pr
fitz                     16738     ….m           chromium-browse

fitz                      15895     …m           unity-scope-vid

fitz                        8636      …m          skype

fitz@ubuntu:~$ sudo pmap 14566

14566: /usr/sbin/nscd
b1240000   32768K   rw-s-   /var/cache/nscd/hosts
bf8c5000         132K   rw—         [stack ]
total 153556K

fitz@ubuntu:~$ pmap 8636

8636: skype
ab21e000        212K   r—s-   /var/cache/nscd/hosts
bf905000        132K  rw—  [ stack ]
total 632708K

Организация межпроцессного взаимодействия при помощи разделяемой памяти на основе «штатного» механизма отображения файлов в память процессов имеет один значительный недостаток. Так как изменяемые страничные кадры такого общего сегмента памяти требуют сохранения в дисковый файл, то производительность взаимодействия ограничивается операциями дискового ввода-вывода, а не скоростью работы оперативной памяти.

В примере с демоном nscd этого вполне достаточно, тем более что создаваемый им кэш все равно должен сохраняться при перезагрузках.

В случаях, когда взаимодействие процессов требует максимальной производительности, разделяемая память на основе отображения дисковых файлов в память является не лучшим механизмом. Элегантное решение данной проблемы используется в Linux-реализации разделяемой памяти стандарта POSIX, что проиллюстрировано в листинге ниже.

Псевдофайловая система tmpfs специально придумана для «временного» размещения файлов непосредственно в оперативной памяти, что в совокупности со «штатным» механизмом их отображения в память взаимодействующих процессов и дает желаемые характеристики производительности.

Разделяемая память (POSIX)

 

fttz@ubuntu:~$ find mnt /dev/shn
TARGET   SOURCE    FSTYPE   OPTIONS
/rw/shm                           tmpfs     rw, nosuid, nodev, relatime

fitz®ubuntu:~$ ls -l /dev/shm

lrwxrwxrwx 1 root root 8 нояб 19 09:50 /dev/shn -> /run/shm

fitz®ubuntu:~$ sudo fuser -v /dev/shm/*
ПОЛЬЗ-ЛЬ      PID    ДОСТУП     КОМАНДА
/run/shm/pulse-shm-2012073053:
fitz                  16738               ….m   chromium-browse

/run/shm/pulse-shm-2024923292:
fitz                    2907               ….m   pulseaudio
fitz                    8636               ….m   skype

fitz@ubuntu:~$ pmap 8636

8636: skype
93cee000 65540K rw-s-   /run/shm/pulse-shm-2024923292
bf905000 132K rw—    [ stack ]
total 632708K

fitz@ubuntu:~$ pmap 2907
2907: /usr/bin/pulseaudio — start — log-target=syslog
ad4ff000 65540K r—s-  /run/shm/pulse-shm-2024923292
ad5a5000 64K rw-s-      /dev/snd/pcmC0D0c
b15ес000 64K rw-s-    /dev/snd/pcnC0O0p
bfel5000 132K rw—    [ stack ]
total 167156K

В примере из листинга выше показано, как разделяемую память POSIX использует звуковая служба pulseaudio, позволяющая осуществлять совместный (мультиплексированный) доступ приложений к устройствам аудиоввода и аудиовывода /dev/snd/*.

Семафоры и очереди сообщений

Разделяемая память требует синхронизации действий процессов из-за эффекта гонки (race), возникающего между конкурентными, выполняющимися параллельно процессами. Для синхронизации процессов при совместном доступе к разделяемой памяти и прочим разделяемым ресурсам предназначено еще одно специализированное средство их взаимодействия — семафоры.

В большинстве случаев семафорами System V или POSIX пользуются многопроцессные сервисы, такие как, например, SQL-сервер postgres, который синхронизует доступ своих параллельных процессов к сегментам их общей памяти.

Семафоры (System V IPC)

fitz@ubuntu:~$ sudo ipcs -s

——- Сегменты совм. исп. памяти ——
ключ             shmid            владелец      права     байты     nattch        состояние
0х0052е2с1 378241026    postgres       600          30482432           4

—— Массивы семафоров ——
ключ             shmid             владелец     права     nsems

0х0052е2с1 1081344        postgres         600         17
0х0052е2с2 1114113          postgres         600         17
0х0052е2сЗ 1146882        postgres         600         17
0х0052е2с4 1179651         postgres         600         17
0х0052е2с5 1212420        postgres         600         17
0х0052е2с6 1245189        postgres         600         17
0х0052е2с7 1277958        postgres         600         17

Очереди сообщений являются средствами взаимодействия между процессами, реализующими еще один интерфейс передачи сообщений (message passing inerface), подобно каналам и сокетам. По своей природе они похожи на дейтаграммный SOCK_DGRAM режим передачи поверх именованных локальных сокетов unix.

Основное отличие очередей сообщений от сокетов заключается в том, что время их жизни не ограничивается временем существования процессов, которые их создали. На практике очереди сообщений являются настолько малораспространенными, что их иллюстрация на среднестатистической инсталляции Linux практически невозможна.

Добавить комментарий