Home » grep, awk, sed: поиск и редактирование, как профи

grep, awk, sed: поиск и редактирование, как профи

📜 скрипты 📜 текст

О чём эта статья и зачем всё это нужно?

Если ты когда-нибудь копался в логах, искал строчку в конфиге или автоматизировал рутину на сервере, то сталкивался с grep, awk и sed. Это не просто три команды — это святая троица любого линуксового админа, девопса и просто гика, заботящегося о чистоте и скорости работы своей инфраструктуры. В этой статье разберёмся, как использовать эти инструменты не просто “по мануалу”, а как профи: быстро, гибко и с максимальной пользой. Покажу реальные кейсы, лайфхаки и разберу ошибки, которые встречаются у новичков. А ещё поделюсь нестандартными приёмами, которые реально экономят время и нервы.

Почему это важно? Где это реально помогает?

Сервер — это не только nginx, docker и базы. Это ещё и куча текстовых файлов: логи, конфиги, дампы, скрипты. Всё это надо искать, фильтровать, исправлять, а иногда и автоматизировать. Представь: ночью сервер начал ругаться, лог файл разросся до гигабайтов, а тебе надо найти одну строчку с ошибкой или быстро заменить параметр во всех конфигах. Графические редакторы тут не помогут, а vim и nano — не всегда удобно. Вот тут и выручают grep, awk и sed. Они работают быстро, кушают мало ресурсов, не требуют GUI и доступны на любом сервере, хоть на VPS, хоть на выделенном железе.

Как это работает? Алгоритмы и структура

Давай разложим по полочкам каждый инструмент.

grep — поиск по тексту

Основная задача: найти строки, подходящие под шаблон (регулярку или просто текст).
Алгоритм: читает файл построчно, сравнивает каждую строку с шаблоном, выводит совпадения.
Опции: игнор регистра, рекурсивный поиск, вывод номеров строк и т.д.

awk — фильтрация и обработка строк

Основная задача: разбить строку на поля (по пробелу или другому разделителю), обработать каждую строку по заданным правилам.
Алгоритм: читает файл построчно, разбивает на колонки, выполняет скрипт awk для каждой строки.
Опции: задания разделителя, условия, циклы, арифметика, вывод в любом формате.

sed — потоковый редактор

Основная задача: заменить, удалить, вставить или изменить строки прямо “на лету”.
Алгоритм: читает файл построчно, применяет команды редактирования, выводит результат (или пишет обратно в файл).
Опции: замены по регуляркам, изменение только выбранных строк, работа с in-place заменой.

Как быстро и просто всё настроить? Примеры и практические советы

Установка и запуск

На большинстве серверов grep, awk и sed уже есть по умолчанию. Если вдруг нет — ставим через пакетный менеджер:

sudo apt update && sudo apt install grep gawk sed

Проверь версии:

grep --version awk --version sed --version

grep: базовые и продвинутые примеры

Поиск строки “error” в логе:

grep "error" /var/log/syslog

Игнорировать регистр:

grep -i "error" /var/log/syslog

Вывести строки с номерами:

grep -n "error" /var/log/syslog

Рекурсивный поиск во всех файлах каталога:

grep -r "Listen" /etc/apache2/

Использование регулярных выражений (найти строки, где ошибка и число):

grep -E "error [0-9]+" /var/log/syslog

awk: фильтрация и обработка данных

Вывести второй столбец файла /etc/passwd (имя пользователя):

awk -F: '{print $1}' /etc/passwd

Суммировать значения в третьем столбце (например, логи nginx с числом байт):

awk '{sum += $3} END {print sum}' access.log

Фильтровать по условию (например, только строки, где третий столбец больше 1000):

awk '$3 > 1000' access.log

sed: быстрые правки на лету

Заменить “foo” на “bar” во всём файле:

sed 's/foo/bar/g' file.txt

Заменить только первую найденную “foo” на строку:

sed 's/foo/bar/' file.txt

Удалить пустые строки:

sed '/^$/d' file.txt

Изменить файл на месте (in-place):

sed -i 's/old/new/g' config.cfg

Комбинируем grep, awk и sed

Найти строки с ошибкой и вывести только дату и сообщение:

grep "error" syslog | awk '{print $1, $5}'

Заменить IP-адреса на “REDACTED” во всех логах:

grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' access.log | sed 's/[0-9]\+\.[0-9]\+\.[0-9]\+\.[0-9]\+/REDACTED/g'

Реальные кейсы: что можно и что нельзя

Задача	grep	awk	sed	Лучшее решение
Найти строку по шаблону	+	+	–	grep
Выделить столбец из CSV	–	+	–	awk
Массовая замена текста	–	–	+	sed
Сложная фильтрация по нескольким условиям	+/–	+	+/–	awk
Удалить строки по условию	–	+	+	awk или sed

Положительный кейс

Нужно быстро найти все попытки подключения по ssh и вывести только IP:

grep "Accepted password" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr

В одну строчку — и ты уже знаешь, кто ломится на сервер чаще всего.

Отрицательный кейс

Пытаться парсить сложные JSON или XML с помощью grep/awk/sed — боль и страдания. Для этого есть jq (JSON) или xmlstarlet (XML).

Ошибки новичков, мифы и похожие решения

Ошибка: Использовать grep для сложной фильтрации по нескольким столбцам. Лучше сразу взять awk.
Ошибка: Делать in-place замену sed без бэкапа: sed -i 's/foo/bar/g' file. Лучше sed -i.bak 's/foo/bar/g' file.
Миф: “awk и sed устарели, есть Python/Perl”. На самом деле, для простых задач grep/awk/sed быстрее, проще и не требуют интерпретатора.
Похожее ПО: ag (The Silver Searcher), ripgrep — быстрые аналоги grep для больших проектов.
Похожее ПО: pick — интерактивный фильтр для терминала.

Статистика и сравнения

grep, awk и sed — стандарт POSIX, есть на всех Unix/Linux, даже на минимальных образах для VPS и Docker.
grep быстрее Python-скрипта на простом поиске по тексту в 10-100 раз (пруф: официальная документация GNU grep).
awk и sed работают с потоками, их можно встраивать в пайплайны без временных файлов.

Интересные факты и нестандартные способы

grep получил имя от команды в ed: g/re/p (“global/regular expression/print”).
awk назван по первым буквам авторов: Aho, Weinberger, Kernighan.
sed можно использовать для быстрой массовой замены в куче файлов: find . -name "*.conf" -exec sed -i 's/old/new/g' {} +
awk умеет считать среднее, медиану и даже строить простые графики прямо в терминале!
grep поддерживает цветной вывод: grep --color=auto

Автоматизация и скрипты: новые возможности

Встраивай grep/awk/sed в bash-скрипты для автоматической обработки логов, мониторинга или деплоя.
Используй их в Docker-контейнерах для минимизации образа (не нужен Python/Perl, только busybox).
Собирай отчёты, фильтруй логи, исправляй конфиги на лету без остановки сервисов.
Сделай автоматическую чистку логов по расписанию через cron:

0 3 * * * grep -v "DEBUG" /var/log/app.log > /var/log/app.log.clean

Выводы и рекомендации: почему, как и где использовать

grep, awk и sed — это must-have для любого, кто работает с серверами, будь то VPS, выделенный сервер (dedicated) или облако.
Они быстрые, надёжные, не требуют зависимостей и легко встраиваются в любые пайплайны.
Используй grep для поиска, awk — для фильтрации и агрегации, sed — для массовых замен и правок.
Не бойся комбинировать: вместе они творят чудеса!
Для сложных структурированных данных (JSON, XML) используй специализированные инструменты, но для 99% задач серверного админа — этой троицы более чем достаточно.

Прокачай свои навыки работы с текстом — и твои серверы будут слушаться тебя с полуслова. А если нужен быстрый VPS или выделенный сервер для экспериментов — смотри здесь: VPS и dedicated.

Официальные ресурсы

Пробуй, экспериментируй, автоматизируй — и делись своими находками в комментах!

В этой статье собрана информация и материалы из различных интернет-источников. Мы признаем и ценим работу всех оригинальных авторов, издателей и веб-сайтов. Несмотря на то, что были приложены все усилия для надлежащего указания исходного материала, любая непреднамеренная оплошность или упущение не являются нарушением авторских прав. Все упомянутые товарные знаки, логотипы и изображения являются собственностью соответствующих владельцев. Если вы считаете, что какой-либо контент, использованный в этой статье, нарушает ваши авторские права, немедленно свяжитесь с нами для рассмотрения и принятия оперативных мер.

Данная статья предназначена исключительно для ознакомительных и образовательных целей и не ущемляет права правообладателей. Если какой-либо материал, защищенный авторским правом, был использован без должного упоминания или с нарушением законов об авторском праве, это непреднамеренно, и мы исправим это незамедлительно после уведомления. Обратите внимание, что переиздание, распространение или воспроизведение части или всего содержимого в любой форме запрещено без письменного разрешения автора и владельца веб-сайта. Для получения разрешений или дополнительных запросов, пожалуйста, свяжитесь с нами.