Перенаправление потоков ввода-вывода Linux

Для программирования сценариев на языке командного интерпретатора одной из важнейших его способностей является возможность организации сохранения результатов в файлы и возможность считывания исходных данных из файлов при выполнении команд.

командный интерпретатор организует перенаправления потоков ввода-вывода внешних и встроенных команд при помощи конструкций [n]>file или [n]>>file и [n]<file. Символы < и > естественным образом идентифицируют направление выполняемых перенаправлений — ввода или вывода, а необязательное число n уточняет номер перенаправляемого потока (при умалчивании n перенаправляется стандартный поток вывода № 1, stdout при выводе и стандартный поток ввода № 0, stdin при вводе). Перенаправление вывода > выполняется с усечением старого содержимого, а перенаправление >> — с добавлением к старому содержимому файла file.

Для перенаправления заданного потока N некоторой запускаемой команды command в файл file командный интерпретатор порождает дочерний процесс при помощи системного вызова fork, затем в новом процессе открывает файл file при помощи системного вызова open, перенаправляет поток N в открытый файл посредством системного вызова dup2 и, наконец, запускает в этом процессе программу command при помощи системного вызова execve.

В примере из листинга ниже при помощи «разрезателя» текста cut вырезается по разделителю (-d) : (двоеточие) 10-е поле (-f) файла passwd, содержащего свойства учетных записей пользователей, зарегистрированные в системе, а результат сохраняется в файле users при помощи перенаправления потока STDOUT. Затем, при помощи потокового редактора файлов sed выводятся (5,8р) только (-n) с 5-й по 8-ю строки полученного файла, что дает логины с 5-го по 8-го пользователей.

Перенаправление стандартного потока вывода

При выполнении некоторых команд, например как в листинге ниже, при поиске файлов посредством find может выводиться достаточное количество сообщений об «ошибках» доступа в тот или иной каталог, которые мешают анализировать результаты поиска.

В этом случае их удобно убрать с терминала путем перенаправления потока № 2, stderr, например, в файл eaccess. В результате на терминале будут отражены только имена (-name) файлов, соответствующие критерию имени *.xml, найденные в каталоге /etc и всех его подкаталогах.

Перенаправление стандартного потока ошибок

На практике часто оказывается; что мешающий вывод сообщений об «ошибках» доступа, как в листинге ниже, оказывается ненужным вовсе, тогда его подавляют при помощи перенаправления потока STDERR в файл /dev/null специального всепожирающего псевдоустройства null.

Подсчитав количество строк (-l) в результирующем файле empty и зная, что одна строка в нем соответствует одному найденному ранее командой find имени файла, размер (-size) которого равен 0 байт, можно получить количество «пустых» файлов в системе.

Подавление стандартного потока ошибок

В случаях, когда необходимо использовать содержимое файла в качестве исходных данных для выполнения -программ, вместо ввода этих данных с терминала, как в примере из листинга ниже, применяют перенаправление потока STDIN. Таким образом, например, сохраненный в файл весьма внушительный список установленных в системе пакетов (полученный командой dpkg) можно отправить по почте командой mail в качестве текста сообщения.

Перенаправление стандартного потока ввода

Однако чаще на практике необходимо использовать результат выполнения одной команды в качестве исходных данных другой команды, не сохраняя, эти данные в промежуточный (ненужный) файл. В. этом случае используют конструкциюcommand₁ | command₂ | называемую конвейерной обработкой (или просто конвейером, или каналом (pipe), или даже трубой).

Нужно заметить, конструкцией конвейерной обработки можно сцеплять более чем две команды, причем все они будут выполняться параллельно в дочерних процессах командного интерпретатора. При этом стандартные потоки ввода и вывода пар процессов будут связаны простейшим средством IPC, реализуемым ядром ОС — неименованным каналом, создаваемым системным вызовом pipe, куда и будут перенаправлены потоки команд при помощи системного вызова dup2.

При использовании конвейерной обработки в примере из листинга ниже отправка списка пакетов, установленных в системе почтовым сообщением, происходит без промежуточного файла, ровно как и подсчет количества файлов, размер которых равен 0 байт.

Конвейерная обработка: отправка списка установленных пакетов по электронной почте

Конвейерная обработка: подсчет количества пустых файлов

 

Конвейерная обработка: вывод части файла

В примере из листинга выше конвейерная обработка используется для последовательного получения строкового представления свойств всех доступных пользовательских учетных записей при помощи getent, затем вырезания из этих строк при помощи cut 1-го поля (-f) посредством разделителя : (-d), далее выбора 8-ми первых строк командой head, а потом выбора 5-ти последних строк предыдущего результата командой tail. Учетные записи пользователей, зарегистрированных непосредственно в системе (локально), хранятся в файле /etc/passwd. Все доступные в системе учетные записи, в том числе, например, централизованные в (сетевых) LDAP-каталогах организации, могут быть получены при помощи команды getent благодаря службе имен.

Конвейерная обработка: генерация трех случайных восьмизначных паролей

В листинге выше конвейерная обработка в совокупности с перенаправлением потока STDIN используется для генерации трех случайных строк, которые могут использоваться, например, в качестве начальных паролей пользовательских учетных записей.

Для этого из специального файла псевдоустройства urandom, генерирующего случайную последовательность байтов, отбираются командой транслитерации tr только строковые и заглавные буквы латинского алфавита и цифры a-zA-z0-9 путем удаления (-d) из выходного потока символов, не (-с) попавших в заданный набор. Затем команда fold разбивает свой входной поток по 8 символов в строке выходного потока, после чего команда head выбирает только 3 первые строки.

Конвейерная обработка: удаление пустых файлов

В листинге выше конвейерная обработка вместе с командой xargs используется для того, чтобы во временном каталоге /tmp удалить все файлы, принадлежащие (-user) пользователю bender, размер (-size) которых равен нулю. Сначала при помощи команды find производится поиск файлов согласно указанным критериям и вывод списка их имен с разделением имен нулевым символом (-print).

Затем команда xargs последовательно «применяет» команду rm безусловного (-f) удаления файла для каждого имени из списка. Следует отметить, что такая конструкция работает с абсолютно любыми именами файлов, включая файлы с пробелами, табуляциями, переводами строк и другими управляющими символами в имени, т. к. имена файлов в списке разделяются нулевым символом, а он единственный запрещен к использованию в именах файлов.

Аналогично, в листинге ниже, используя конвейер, при помощи команды groups можно вывести групповое членство всех пользователей, доступных в системе.

Конвейерная обработка: просмотр группового членства пользователей системы

С помощью конвейеров и универсального спискового «применятеля» команд xargs можно организовать  параллельный запуск (-Р) упаковки целого списка отобранных командой find файлов, использовав параллельный упаковщик pbzip2, в несколько упаковочных нитей (-р) на каждый файл. В результате получим запускаемые парами процессы по две активные нити на каждый, что эффективно загружает четырехъядерный процессор в течение упаковки всего списка файлов.

Конвейерная обработка: параллельная упаковка ISO-образов