2018-03-22

[Miyadaiku] FTP サーバへ記事をアップロードする

最近だと静的ブログというのは Github Pages にのせるのが普通なのかもしれませんが私の場合はレンサバ的なものがあってそれが手持ち豚さんになってるのでそっちを使います。

私の使っているサーバは FTP/FTPS にしか対応していないし SITE コマンドのようにOSコマンドを実行する機能もないので、アップロードするためのプログラムを Python で書きました。

コード

Python3.6 で動作確認してます。

私は以下を deploy.py という名前で直下 (outputs/ と同じ階層) に保存しました。

#!/usr/bin/env python3
# coding: utf-8

from ftplib import FTP, FTP_TLS, error_perm
import argparse
import getpass
import glob
import os
import json

parser = argparse.ArgumentParser('uploading files')

parser.add_argument('--glob', '-g', default='*', help='アップロード対象をGLOBで指定')
parser.add_argument('--onto', '-o', default='/', help='アップロード先のディレクトリ')
parser.add_argument('--plain', action='store_false', help='指定すると暗号化しない。')
parser.add_argument('--outputs', '-O', default='outputs/', help='outputs/ ディレクトリのパス')
args = parser.parse_args()

top = os.path.dirname(args.outputs.rstrip('/'))
try:
    info = json.loads(open(os.path.join(top, 'deploy.json')).read())
except FileNotFoundError:
    info = {}

if not info.get('user'):
    info['user'] = input('User: ')
if not info.get('passwd'):
    info['passwd'] = getpass()
if not info.get('host'):
    info['host'] = input('Host: ')


def make_hierarchical_paths(path):
    dirs = path.strip('/').split('/')
    root = '/' if path.startswith('/') else ''
    return [
        os.path.join(root, *dirs[0:i+1])
        for i, dir in enumerate(dirs)
    ]

ignore_errors = info.pop('ignore_errors', [])

cli = (FTP if args.plain else FTP_TLS)(**info)
try:
    cli.login()
except error_perm as e:
    if str(e) not in ignore_errors:
        raise e

os.chdir(args.outputs)
created = set()

for parent, _, _ in os.walk('.', topdown=False):
    for path in glob.glob(os.path.join(parent, args.glob)):
        for dirpath in make_hierarchical_paths(os.path.dirname(path)):
            if dirpath in created or not dirpath.strip('.'):
                continue
            print('making dir:', dirpath)
            try:
                cli.mkd(os.path.join(args.onto, dirpath))
            except error_perm:
                pass
            created.add(dirpath)

        if os.path.isdir(path):
            continue
        with open(path, 'rb') as f:
            print('uploading content:', path)
            cli.storbinary("STOR " + os.path.join(args.onto, path), f)

warning

インデックスページが後になるように深い階層のファイルからアップロードされるようにしていますが、環境によると思うので使う方は注意してください。
--plain オプションは使ってないのでうまく動かなかったらごめんなさい m(_ _)m

解説

基本的にやることは単純明快で Miyadaiku が出力してくれた outputs/ をまるっと対象の FTP サーバに転送しています。

いくつかオプションを用意しました。

glob

対象ファイルを限定するためのオプションです。例えば html ファイルだけをアップロードしたい場合は --glob *.html のように指定します。指定しないとすべてが対象となります。

onto

ファイルを配置するサーバ側のディレクトリを指定します。指定しないと / に配置されます。

plain

指定すると SSL による暗号化を行いません。サーバが FTPS に対応していない場合は指定の必要があります。指定しない場合は FTPS による接続を試みます。

outputs

outputs ディレクトリの パス を指定します。指定しない場合、カレントディレクトリにある outputs が対象になります。

また、 FTP を使うためにはサーバや認証情報が必要ですが毎回入力したくないので deploy.json がある場合はそこに書かれた接続情報を使うようにしています。

{
  "user": "ユーザ名",
  "passwd": "パスワード",
  "host": "FTPのホストアドレス",
  "ignore_errors": ["ログインした時に無視するメッセージ"]
}

user, passwd, host は指定しないと実行時に入力を求められます。

ignore_errors ってなんだよって感じですが私の場合はログインした場合に毎回 503 You are already logged in って出てエラーになって進めない(謎)ので作りました。環境によって発生する謎のエラー回避用です。

参考

ftplib --- FTPプロトコルクライアントソースコード: Lib/ftplib.py このモジュールでは FTP クラスと、それに関連するいくつかの項目を定義しています。 FTP クラスは、FTPプロトコルのクライアント側の機能を備えています。このクラスを使うとFTPのいろいろな機能の自動化、例えば他のFTPサーバのミラーリングといったことを実行するPythonプログラムを書くことができます。また、 urllib.request モ...https://docs.python.org/3/library/ftplib.html [Python] PythonからFTPを実行する - YoheiM .NET今日はftplibという標準モジュールを使って、PythonからFTPを行う方法をブログに残したいと思います。https://www.yoheim.net/blog.php?q=20170401

[Miyadaiku] FTP サーバへ 記事 をアップロードする

コード

解説

[Miyadaiku] FTP サーバへ記事をアップロードする