Альтернативой davfs2 для прямого получения или загрузки файлов в облачное хранилище является утилита cadaver. Однако, она предполагает интерактивное взаимодействие с пользователем, и использование ее в автоматизированных скриптах не представляется возможным. Обойти эту проблему можно при помощи утилиты empty, аналога expect для создания и взаимодействия с псевдотерминалами.

Для реализации полностью автоматической загрузки и скачивания файлов с облачного хранилища был создан скрипт webdav.sh.

Перед использованием необходимо настроить несколько параметров, определенных в начале скрипта:

• ififo=/tmp/empty.in.fifo
  – путь к fifo ввода, на роутерах желательно размещать в /tmp
• ofifo=/tmp/empty.out.fifo
  – путь к fifo вывода, на роутерах желательно размещать в /tmp
• cmd=”cadaver https://webdav.yandex.ru”
  – путь к утилите cadaver и адрес WebDav-сервиса
• username=YourUserName
  – логин от WebDav-сервиса
• password=YourPassword
  – пароль от WebDav-сервиса

Доступные команды:

• webdav.sh put <локальный файл> [удаленный путь] – загрузка файла в облако
  – Локальный файл – обязательный параметр, должен быть указан один, файл должен быть доступен для чтения;
  – Удаленный путь – опционально, если его не указать, то файл будет загружен в корневой каталог WebDav.
• webdav.sh get <удаленный файл> [локальный путь] – выгрузка файла из облака
  – Удаленный файл – обязательный параметр, должен быть указан один, файл должен существовать;
  – Локальный путь – опционально, если его не указать, то файл будет загружены в текущий каталог.
• webdav.sh mput <локальные файлы> [удаленный путь] – множественная загрузка
  – Локальные файлы – маска вида “/path/to/*.files”, указание кавычек обязательно;
  – Удаленный путь – опционально, если его не указать, то файлы будут загружены в корневой каталог WebDav.
• webdav.sh mget <удаленные файлы> [локальный путь] – множественная выгрузка
  – Удаленные файлы – маска вида “/remote/path/*”;
  – Локальный путь – опционально, если его не указать, то файлы будут загружены в текущий каталог.

Например, для загрузки файла “/etc/config/firewall” в удаленный каталог “/openwrt” необходимо набрать команду webdav.sh put /etc/config/firewall /openwrt/firewall. Отметим, что удаленный каталог “openwrt” перед выполнением этой команды должен существовать.

PS: Стоит обратить внимание, что утилита empty имеет такую особенность, что если указанные в конфигурации fifo-файлы уже существуют на момент ее запуска, то она просто не запустится, тихо ругнувшись в syslog. А в случае каких-либо сбоев в ходе работы с empty эти fifo-файлы могут автоматически не удалиться.

Частичным решением этого вопроса может стать использование отдельного WebDav-клиента. Изучение поисковиков говорит нам о том, что такой клиент в природе существует – и практически в единственном экземпляре. Это cadaver. И, как водится, под OpenWrt его никто не портировал – так что снова пытаемся решить вопрос портирования самостоятельно.

В ходе непродолжительных изысканий был составлен пакет cadaver, совместимый со стандартным OpenWrt Buildroot. Хранится он, как обычно, в нашем хранилище – fs.erinome.net.

К сожалению, данный пакет тащит за собой довольно большой хвост из зависимостей – это библиотеки libncurses, libreadline, а также знакомые по davfs2 libneon, libexpat и libopenssl. В откомпилированном виде для платформы ar71xx он занимает 81.5K свободного пространства без учета библиотек.

Применение клиента не представляет сложностей, все основные команды изложены в соответствующем ему мануале – например, на linux.die.net.

Пример загрузки файла на сервис Яндекс.Диск:

# cadaver https://webdav.yandex.ru
WARNING: Untrusted server certificate presented for `webdav.yandex.ru':
Issued to: ITO, Yandex, Moscow, Russia, RU
Issued by: ld, yandex, ru
Certificate is valid from Tue, 25 Sep 2012 11:43:32 GMT to Fri, 17 Jan 2014 15:15:46 GMT
Do you wish to accept the certificate? (y/n) y
Authentication required for Yandex.Disk on server `webdav.yandex.ru':
Username: login
Password:
dav:/> put /srv/shared/WTFEntryOutComLp.wav /Music/WTFEntryOutComLp.wav
Uploading /srv/shared/WTFEntryOutComLp.wav to `/Music/WTFEntryOutComLp.wav':
Progress: [=============================>] 100.0% of 16581672 bytes succeeded.
dav:/> exit
Connection to `webdav.yandex.ru' closed.
#

К сожалению, при помощи данной утилиты все же не представляется возможным передать динамически генерируемые файлы с STDIN. Зато крупные файлы можно загружать на удаленный хостинг без дублирования их в кэше.

А используя данные наработки, нетрудно пересобрать davfs2 также и для запуска на роутерах со стандартной прошивкой OpenWrt.

Изменения

Для того, чтобы собрать в OpenWrt Buildroot представленный в репозитории EntWare пакет davfs2, требуется внести в его файлы несколько незначительных изменений. В частности это касается используемых путей в основном Makefile, а также требуется добавление нового патча, исключающего зависимость от sys/xattr.h, который отсутствует в OpenWrt.

Скачать модифицированный пакет davfs2 для сборки в OpenWrt можно в нашем хранилище fs.erinome.net.

Сборка

Для сборки необходимо распаковать скачанный пакет в каталог ./trunk/package/davfs2 в стандартном Buildroot’е OpenWrt, после чего выполнить make menuconfig и выбрать пакет davfs2, расположенный в разделе Network -> Filesystems. Стоит обратить внимание, что выбор данного пакета автоматически отметит также пакеты libneon, libfuse, libopenssl для решения зависимостей.

Сборка производится в обычном автоматическом режиме.

Настройка

Для настройки пакета davfs2 используются следующие конфигурационные файлы:

/etc/davfs2/davfs2.conf
/etc/davfs2/secrets

Перед монтированием хранилища необходимо изменить следующие настройки в davfs2.conf:

dav_user        nobody            # system wide config file only
dav_group       nogroup            # system wide config file only

cache_dir       /srv/davfs2/cache # system wide cache

Строки в файле /etc/davfs2/secrets имеют два возможных варианта структуры:

/path/to/mount/point your_login your_password
# либо
https://webdav.server.com/ your_login your_password

Монтирование

Для монтирования облачного хранилища используется утилита mount.davfs:

# mount.davfs https://webdav.server.com /path/to/mount/point

# mount.davfs https://webdav.yandex.ru /mnt
Please enter the username to authenticate with server
https://webdav.yandex.ru or hit enter for none.
  Username: login
Please enter the password to authenticate user login with server
https://webdav.yandex.ru or hit enter for none.
  Password:
mount.davfs: the server certificate is not trusted
  issuer:      ld, yandex, ru
  subject:     ITO, Yandex, Moscow, Russia, RU
  identity:    webdav.yandex.ru
  fingerprint: 32:75:bd:91:e3:70:28:41:6d:e1:37:a1:0b:6b:26:77:93:7b:11:da
You only should accept this certificate, if you can
verify the fingerprint! The server might be faked
or there might be a man-in-the-middle-attack.
Accept certificate for this session? [y,N] y
# 

После выполнения данной команды в точке /mnt будет примонтировано облачное хранилище Яндекс.Диск. Проверить это и посмотреть доступный объем свободного пространства можно командой df -h:

Filesystem                Size      Used Available Use% Mounted on
rootfs                    2.4M      1.0M      1.4M  42% /
/dev/root                 4.3M      4.3M         0 100% /rom
tmpfs                    30.2M    812.0K     29.4M   3% /tmp
tmpfs                   512.0K         0    512.0K   0% /dev
/dev/mtdblock4            2.4M      1.0M      1.4M  42% /overlay
overlayfs:/overlay        2.4M      1.0M      1.4M  42% /
/dev/sda1               133.1M     19.9M    106.5M  16% /optware
/dev/sda2                 7.3G      4.2G      2.7G  61% /srv
https://webdav.yandex.ru
                        260.0G     55.5M    259.9G   0% /mnt

Для автоматизации процесса монтирования без ручного ввода логина и пароля необходимо заполнить файл /etc/davfs2/secrets, а для борьбы с ручным подтверждением сертификата можно использовать стандартную утилиту yes. Тогда монтирование диска может выглядеть следующим образом:

# yes | mount.davfs https://webdav.yandex.ru /mnt

Особенности работы с кэшем

При взгляде со стороны смонтированная облачная файловая система ничем не отличается от локальных разделов. Но на самом деле все операции с файлами проводятся над кэшем.

Например, при запросе на редактирование файла из облачного хранилища, сначала он скачивается в cache_dir, а лишь затем происходит его открытие из данного каталога. При завершении редактирования, файл сначала сохраняется в кэше и лишь затем оказывается загружен обратно в облачное хранилище. Другой пример: при копировании с подключенного к роутеру USB-диска файла в облачное хранилище, данный файл сначала копируется в каталог кэша (который часто находится на том же USB-диске!), и лишь затем загружается на удаленный сервер.

К сожалению, с этим ничего нельзя поделать – такова логика работы davfs2.

Если планируется передавать лишь небольшие файлы, то для кэша разумно использовать раздел /tmp, который представляет собой RAM-диск. В этом случае есть смысл ограничить размер кэша переменной cache_size в davfs2.conf, но следует иметь в виду, что данная переменная определяет лишь суммарный объем кэша, а при попытке записи или чтения одного крупного файла она будет игнорироваться.

В случае передачи крупных файлов остается либо размещать кэш на смонтированном на роутере USB-носителе и мириться с его постоянной перезаписью, либо для работы именно с большими файлами можно использовать отдельные WebDav-клиенты типа cadaver.