Потребность передачи файлов между серверами и компьютерами возникает довольно часто, особенно при администрировании нескольких устройств. Обычно для этих целей удобно использовать ssh и scp, но если файл очень большой, а изменена была только небольшая его часть, или вы хотите настроить постоянную автоматическую синхронизацию, то scp уже явно неидеальный вариант. Для этого существуют специальные утилиты. В этой статье мы рассмотрим одну из них. А именно будет рассмотрена rsync синхронизация в linux.
Rsync - это программное обеспечение с открытым исходным кодом, которое можно использовать для синхронизации файлов и папок с локального компьютера на удаленный и наоборот. Примечательная особенность Rsync - возможность передавать зашифрованные файлы с помощью SSH и SSL. Кроме того, здесь передача файлов выполняется в один поток, в отличие от других подобных программ, создающий отдельный поток для передачи каждого файла. Это увеличивает скорость и убирает дополнительные задержки, которые становятся проблемой при передаче большого количества маленьких файлов.
Возможно использование rsync для синхронизации файлов, каталогов, при этом может применяться сжатие и шифрование. Программа впервые была применена в июне 1996 года, она разработана Эндрю Тридгелом и Полом Маккерасом. Rsync синхронизация выполняется по протоколу RSYNC, который специально разработан не просто для передачи файлов между двумя компьютерами, а для их синхронизации. Если точнее, то передается не файл полностью, а только то, что было изменено.
Как вы уже поняли, в этой статье мы рассмотрим rsync примеры синхронизации, настройку rsync, а также ее основные возможности и опции. Читать далее Примеры синхронизации Rsync→
SSH - (Secure Shell) - это протокол удаленного управления компьютером с операционной системой Linux. В основном ssh используется для удаленного управления серверами через терминал. Если вы администратор нескольких серверов или даже продвинутый веб-мастер, то наверное, вы часто сталкиваетесь с необходимостью работать с тем или иным компьютером по ssh. В Linux для этого используется сервер ssh на машине, к которой нужно подключиться и клиент, на той из которой подключаются.
В этой инструкции мы рассмотрим как пользоваться ssh, а также ее возможности, о которых вы даже не знали. Скорее всего, вы уже знаете как подключиться к серверу по ssh, но у этой утилиты есть еще много возможностей, таких как передача файлов ssh, подключение без пароля или выполнение скрипта на удаленном сервере. Все это мы и рассмотрим далее в статье. Но начнем с самых основ. Читать далее Как пользоваться SSH→
Иногда бывает необходимо посмотреть какие сетевые подключения Linux открыты, какие IP адреса используются или какие порты прослушиваются. Раньше для таких целей использовалась утилита netstat. Её, без сомнения, знают все системные администраторы и специалисты по безопасности. Но она больше не поставляется по умолчанию в новых дистрибутивах. Вместо неё используется новая утилита под названием ss.
Netstat сканирует директорию /proc для получения необходимой информации, но в новых версиях ядра была реализована специальная подсистема для мониторинга сети в Linux. Её и использует ss, с помощью этой утилиты вы можете получить больше информации о сетевых подключениях и работает она гораздо быстрее.
Сегодня мы поговорим о команде sort. Это утилита для вывода текстовых строк в определенном порядке. Проще говоря, для сортировки. Ее можно использовать для сортировки текста из одного или нескольких файлов или c помощью нее может быть выполнена сортировка вывода linux для какой-либо команды. Это может быть полезно во многих случаях. Например, отсортировать файлы по размеру в выводе команды du или собрать частотность использования команд из истории.
В этой инструкции мы подробно рассмотрим возможности команды sort Linux, ее опции и разберем несколько примеров использования. Читать далее Команда sort в Linux→
Очень важно уметь вовремя найти нужную информацию в системе. Конечно, все современные файловые менеджеры предлагают отличные функции поиска, но им не сравнится с поиском в терминале Linux. Он намного эффективнее и гибче обычного поиска, вы можете искать файлы не только по имени, но и по дате добавления, содержимому, а также использовать для поиска регулярные выражения.
Кроме того, с найденными файлами можно сразу же выполнять необходимые действия. В этой статье мы поговорим о поиске с помощью очень мощной команды find Linux, подробно разберем её синтаксис, опции и рассмотрим несколько примеров. Читать далее Команда find в Linux→
Если вы начинающий системный администратор, думаю, вам понадобится утилита ip. Она позволяет посмотреть сетевые интерфейсы и IP адреса им присвоенные, посмотреть и настроить таблицу маршрутизации, включать или отключать сетевые интерфейсы, управлять маршрутизацией и ARP, а также многое другое.
Раньше вместо неё использовалось несколько других утилит, одна из них - ipconfig. Однако потом им на замену пришла ip. Сейчас она уже поставляется во всех дистрибутивах, а со временем старые утилиты будут удалены, поэтому разобраться с ней стоит. Читать далее Утилита ip Linux→
Во всех операционных системах, в том числе и в Linux, термин 'команда' означает либо утилиту командной строки, либо определённую возможность, встроенную в командную оболочку системы. Тем не менее, для самих пользователей это различие не имеет особого значения. В конце концов, и те и другие команды терминала Linux вызываются одинаково. Вы вводите слово в вашем эмуляторе терминала и получаете результат выполнения команды.
Я уже писал о командах терминала Linux, но тогда затронул лишь несколько самых интересных, самых полезных команд, рассчитывая на то, что пользователь уже достаточно знаком с возможностями терминала. Но нужно сделать ещё одну статью, рассчитанную на новичков, тех, кто только делает свои первые шаги в освоении Linux.
Терминал Linux очень гибкий и полезный инструмент. С помощью него можно сделать что угодно и во многих случаях даже намного эффективнее чем в графическом интерфейсе. Команды можно объединять между собой, перенаправлять вывод одной команды, на вход другой, комбинировать их различным образом.
Это делает их применение еще более эффективным. В сегодняшней статье я хочу поделиться несколькими полезными командами linux, которые я открыл для себя во время использования этой операционной системы и которыми до сих пор пользуюсь для автоматизации рутинных действий.
Эта небольшая заметка ориентирована на совсем начинающих. Сегодня мы рассмотрим как удалить файл linux через терминал. Для более опытных пользователей это элементарная задача, но новичкам надо с чего-то начинать. Знать как работать с файлами в консоли очень важно.
Копирование файлов - одна из задач, наиболее часто возникающих перед пользователями персонального компьютера. Конечно, можно открыть файловый менеджер, войти в нужную папку и скопировать файл с помощью контекстного меню - тут не о чем говорить. Но в этой статье я хотел бы рассмотреть копирование файлов в Linux с помощью терминала.
Не всегда есть доступ к файловому менеджеру: из-за различных поломок графическая оболочка на домашнем компьютере может быть недоступна, а на серверах используется только консольный интерфейс. К тому же копирование файлов Ubuntu через терминал намного эффективнее, и вы сами в этом убедитесь. Сегодня мы рассмотрим не только копирование командой cp Linux, но и использование других утилит, таких как tar, rsync и find.
Копирование файлов в Linux
1. Команда cp
Команда cp чаще всего используется для копирования файлов в Linux, она поставляется по умолчанию во всех дистрибутивах и может делать практически всё, что необходимо. Вы можете прочитать более подробно об этой команде в статье Команда cp в Linux. А в этой статье я приведу несколько базовых примеров использования этой команды.
Самый простой вариант копирование файла в папку. Например, для того чтобы скопировать некую картинку из домашней папки в подкаталог pictures выполните:
cp ~/pic.png ~/pictures/
Можно явно указать имя нового файла:
cp ~/pic.png ~/pictures/wallpaper.png
Для копирования папок нужно использовать опцию -r:
cp -r ~/reports ~/documents
После выполнения этой команды копирования папка reports будет скопирована в папку ~/documents. Если же вы хотите чтобы только содержимое папки reports было скопировано папку ~/documents используйте опцию -T:
cp -rT ~/reports ~/documents
Эта команда также поддерживает специальные символы замены * и ?. Например, следующая команда скопирует все файлы, начинающиеся на april:
cp ~/reports/april* ~/documents
В случае, если важно сохранить права доступа к файлу и его владельца, нужно использовать опцию -p:
cp -p ~/reports/march* ~/documents/
Для создания резервной копии файла конфигурации перед редактированием может быть очень полезно использовать синтаксис фигурных скобок Bash для того чтобы не писать полное имя нового файла. Например:
cp /etc/passwd{,.baсk}
В данном случае будет создан файл с таким же именем и расширением .back.
По умолчанию в cp не отображает прогресс копирования файла, что очень неудобно при работе с большими файлами. Но утилита progress позволяет посмотреть прогресс для всех утилит из пакета coerutils. Или же вы можете использовать команду rsync.
2. Команда rsync
Эта команда была разработана для резервного копирования файлов. Она позволяет выполнять не только копирование файлов, но и синхронизацию содержимого папок, а также поддерживает работу по сети с помощью SSH или по собственному протоколу. Более подробно о ней можно прочитать в этой статье.
Для того чтобы скопировать ту же картинку в папку ~/pictures используйте такую команду:
rsync ~/pic.png ~/pictures/
Указать имя для нового файла можно так же как и с cp. Ещё с помощью этой утилиты довольно удобно копировать больше файлы, потому что она умеет отображать прогресс копирования. Для этого нужно использовать опцию --progress:
rsync --progress ~/disk.img ~/images
Если вы хотите скопировать содержимое одной папки в другую, то нужно использовать опцию -r для копирования папок:
rsync -r ~/reports/ ~/documents/
Но обратите внимание, что для того чтобы копировать именно содержимое из папки источника, её название должно заканчиваться на слеш. Ну а для того чтобы скопировать саму папку не нужно добавлять в конце слеш:
rsync -r ~/reports ~/documents/
Если вы хотите сохранить права на файл и его владельца, то нужно использовать опцию -a:
rsync -a ~/reports ~/documents/
3. Команда xcp
В последнее время для многих утилит из набора CoreUtils появились аналоги, переписанные на Rust, которые лучше оптимизированы для современных систем и более дружелюбны к пользователю. В качестве такой альтернативы для cp можно использовать команду xcp. Для её установки надо использовать cargo:
cargo install xcp
Обычное копирование файла в другую папку работает аналогично команде cp. При этом утилита по умолчанию выводит красивый прогресс бар:
xcp ~/pic.png ~/pictures/
Также работает копирование файла с указанием нового имени:
xcp ~/pic.png ~/pictures/wallpaper.png
А вот механика копирования директорий была упрощена. По умолчанию содержимое директории источника, копируется в директорию назначения:
xcp -r ~/reports ~/documents/
Если же нужно скопировать папку ~/reports в ~/documents, то нужно использовать опцию -T:
xcp -rT ~/reports ~/documents/
Теперь вы знаете основные команды, которые могут помочь выполнить копирование файлов Linux. Дальше, давайте рассмотрим как фильтровать файлы для копирования по регулярным выражениям.
Копирование файлов в Linux по регулярным выражениям
Иногда может возникнуть необходимость выбрать файлы для копирования по регулярному выражению. В этом может помочь команда find. Она позволяет применять различные условия и регулярные выражения для поиска файлов, а потом ко всем найденным файлам можно применить cp, rsync или xcp.
Например, для того чтобы скопировать все файлы из директории ~/reports, которые содержат в имени только цифры используйте такую команду:
Параметр regex здесь задает регулярное выражение. Обратите внимание, что регулярное выражение применяется не к имени файла, а ко всему пути. Параметром exec указывает, какую команду нужно выполнить для обнаруженных файлов. Символ {} - подставляет имя каждого файла. Аналогичным образом можно использовать другие способы фильтрации find.
Дополнительные способы копирования файлов в Linux
Linux интересен тем, что позволяет выполнять одно и то же действие различными путями. Копирование в Linux тоже может быть выполнено не только с помощью cp или других утилит для копирования. Вы можете скопировать файл используя операторы перенаправления ввода Bash и утилиту cat. Например:
cat report > ~/reports/report
Это может быть полезно для небольших текстовых файлов. Для копирования нескольких файлов можно использовать утилиту tar. Например, при переносе системных файлов в другой каталог, резервном копировании системных файлов и т.д. важно чтобы сохранились атрибуты, значения владельцев файлов и символические ссылки как они есть без какой-либо модификации. Можно составить туннель Bash, на входе которого tar будет паковать файлы отправлять на стандартный вывод, а на выходе распаковывать в нужную папку:
tar cf - /var | ( cd /mnt/var && tar xvf - )
Эта команда полностью копирует содержимое папки /var в папку /mnt/var. Так вы можете копировать папку Linux, причём абсолютно любую или даже целую операционную систему. Утилита cp тоже может справиться с такой задачей, если указать опцию -a.
Выводы
Теперь вы знаете, как выполняется копирование файлов Ubuntu и в Linux в целом. Как видите, в терминале это выполн!яется намного быстрее и эффективнее, чем с помощью графического интерфейса, если помнить нужные команды. Если у вас остались вопросы, спрашивайте в комментариях!
