本文介绍在 Docker Swarm 模式中很容易地配置一个定时在所有节点自动清理无用资源的方法。

  system-prune:
    image: docker
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
    command: docker system prune --all --force
    deploy:
      mode: global
      restart_policy:
        delay: 24h

每 24 小时在所有节点自动运行 docker system prune -all --force

• 0x00. 前言
• 0x01. 问题描述
• 0x02. 解决方案
  • Step 1. 打开防火墙
  • Step 2. 配置 NO_PROXY

在 Docker Swarm 模式中发现无法 promote master 或者新的 node 无法直接 join 为 master node。这篇文章提供了解决方案。

0x00. 前言

我使用 Zerotier 把我在全球的十几个小鸡连起来建立了一个虚拟内网，并使用 Docker Swarm 统一管理。在单一 manager 的情况下的配置：

ufw allow in on <ZEROTIER_NETWORK>  # 打开防火墙

docker swarm init --advertise-addr <ZEROTIER_IP>  # 初始化 Swarm

docker swarm join-token worker  # 取得 join token

之后将取得的 join token 在所有 node 上运行来成功组建全球 swarm 。

0x01. 问题描述

为了更好的 swarm resilience ，我决定 promote 另两个 node 为 manager 。于是在现有 master 上运行

docker node promote <NEW_MASTER_NAME>

可是一直报错

Error response from daemon: rpc error: code = DeadlineExceeded desc = context deadline exceeded

于是也尝试了先让新的 node 离开 swarm 再使用 manager join token 加入 swarm 亦无果。

Error response from daemon: manager stopped: can't initialize raft node: rpc error: code = Unknown desc = could not connect to prospective new cluster member using its advertised address: rpc error: code = DeadlineExceeded desc = context deadline exceeded

0x02. 解决方案

Step 1. 打开防火墙

我这里使用的是 ufw 于是

ufw allow in on <ZEROTIER_NETWORK>  # 打开防火墙

Step 2. 配置 NO_PROXY

mkdir -p /etc/systemd/system/docker.service.d

cat >> /etc/systemd/system/docker.service.d/http-proxy.conf << EOF
[Service]
Environment="NO_PROXY=localhost,127.0.0.1,<MANAGER_ZEROTIER_IP>"
EOF

systemctl daemon-reload

systemctl restart docker

# 可选，检查配置是否生效
# systemctl show --property=Environment docker

完成。再次 promote 或者使用 join-token 即可！

在使用 Docker 的过程中，经常会使用 Docker Volume 数据存储卷来保持持久数据。典型的例子就是一个 MySQL 数据库。在服务器迁移过程中，Docker 镜像的迁移重构就是几行字的事，但是如何迁移存储卷中的数据呢？

准备工作：在原服务器上确保能够密钥连接 SSH，需要能够 ssh -p <PORT> <USERNAME>@<TARGET_HOST> 直接连接新服务器（不应提示输密码）。

接着在原服务器上运行如下即可：

docker run --rm -v [SOURCE_VOLUME_NAME]:/from alpine ash -c "cd /from; tar -cf - ." | \
    ssh -p [PORT] [USERNAME]@[TARGET_HOST] 'docker run --rm -i -v [TARGET_VOLUME_NAME]:/to alpine ash -c "cd /to; tar -xpvf -"'

原理简单来说就是新建一个小的 Docker 镜像，把原数据卷加载上去，打包并通过 SSH 加密隧道传到新服务器上新建的 Docker 镜像的新数据卷内。之后新服务器上其他镜像也可使用此数据卷了。

• 0x00 - 准备
• 0x01 - 配置本地 HSTS 规则
• 0x02 - 更多信息
  • 谷歌是如何实现 .app、.dev 等域名的强制 HTTPS 重定向？

有一些网站通过 HTTP 和 HTTPS 都可以访问。比如 http://www.kuaidi100.com 和 https://www.kuaidi100.com 均可以访问网站。这篇文章讲解了一个 Chrome 里最轻量的重定向强制使用 HTTPS 方法。

0x00 - 准备

首先请访问 HTTPS 的网址。如果可以正常访问，请往下看。

0x01 - 配置本地 HSTS 规则

进入 Domain Security Policy 页面：chrome://net-internals/#hsts（需复制前往）

在 HSTS/PKP 下面的 Add HSTS/PKP domain 里添加新的 HSTS 规则：

如果只添加单域名 www.kuaidi100.com

• Domain: www.kuaidi100.com

如果添加域名及所有子域名 kuaidi100.com, *.kuaidi100.com

• Domain: kuaidi100.com
• Include subdomains for STS: ☑️

大功告成！以后浏览器访问 HTTP 的网址会自动被重定向到 HTTPS 版本。注意：如果网站 HTTPS 版本配置错误或者无法访问，请使用网页中的 Delete domain security policies 功能移除它。

0x02 - 更多信息

服务器端配置 HSTS 及 HSTS 扫盲：

• 合理使用 HSTS | 关于启用 HTTPS 的一些经验分享（一）| JerryQu 的小站

谷歌是如何实现 .app、.dev 等域名的强制 HTTPS 重定向？

在 2018 年 5 月 8 日开放注册的 .app 域名是第一个全域强制 HTTPS 的公开注册的域名。它的实现方法便是上面链接「HSTS Preload List」内所说的添加 HSTS 进入 Chrome 及 Firefox 浏览器源码。目前强制 HSTS 的顶级域名可见这个链接里的源码。

    // gTLDs and eTLDs are welcome to preload if they are interested.
    { "name": "android", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "app", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "bank", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "chrome", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "dev", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "foo", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "gle", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "gmail", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "google", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true, "pins": "google" },
    { "name": "hangout", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true, "pins": "google" },
    { "name": "insurance", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "meet", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "new", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "page", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "play", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "search", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },
    { "name": "youtube", "policy": "public-suffix", "mode": "force-https", "include_subdomains": true },

也可查看浏览器 chrome://net-internals/#hsts 的 HSTS 部分：

• 0x01 - 演示
• 0x02 - 安装
  • 添加 nano-helper
  • 添加执行权限
  • 添加 nano alias

使用 nano 等编辑器的时候时常发现编辑完了无法保存，因为没有写入权限。其实 nano 打开无写入权限的文件时候会提示，但是我从来都不注意。这篇文章介绍了一个小 utility，自动在打开文件前检查并提示授权写入权限。

0x01 - 演示

$ nano /etc/ssh/sshd_config 
/etc/ssh/sshd_config is not writable. Edit with sudo? [y/n]

0x02 - 安装

直接复制以下代码运行 默认nano安装在 /bin/nano

添加 nano-helper

cat << 'EOF' | sudo tee /usr/local/bin/nano-helper > /dev/null
#!/bin/sh
# Checks file permissions before opening nano.

sudo=
editor=/bin/nano

if test -e "$1" && test ! -w "$1"; then
    if test -t 0 && test -t 2; then
        read -p "$1 is not writable. Edit with sudo? [y/n] " yn
        case $yn in
        y|Y)
            sudo=true
            ;;
        n|N)
            sudo=
            ;;
        *)
            printf "\nInvalid choice. Please try again later.\n" 1>&2
            exit 1
            ;;
        esac
    else
        printf "%s is not writable. Fix the permissions or run \"cat\" instead." "$1" 1>&2
        exit 1
    fi
fi

${sudo:+sudo} "$editor" "$1"
EOF

添加执行权限

sudo chmod +x /usr/local/bin/nano-helper

添加 nano alias

echo "alias nano=nano-helper" >> ~/.bashrc
source ~/.bashrc

使用其他编辑器的童鞋请自动把上面的 nano 都替换成你的编辑器。

Sources:

• Mikel's Answer from StackExchange

• 0x00 - 检测你的 Linux Kernel 版本是否自带 BBR
  • 检测 BBR 是否已开启
• 0x01 - 启用 BBR
• 0x02 - 检测 BBR

BBR ("Bottleneck Bandwidth and Round-trip propagation time") 是 Google 开源的新型拥塞控制算法。Google 的测试表明使用 BBR 吞吐量最高是现有方案的 2700 倍。Linux Kernel 4.9+ 已经默认包含了对 BBR 的支持。此文讲述了开启 BBR 的方法。

0x00 - 检测你的 Linux Kernel 版本是否自带 BBR

egrep 'CONFIG_NET_SCH_FQ' /boot/config-$(uname -r)

egrep 'CONFIG_TCP_CONG_BBR' /boot/config-$(uname -r)

请确保以上两个命令都有输出，否则请升级 Linux kernel 到 4.9+ 再试。

检测 BBR 是否已开启

sysctl net.core.default_qdisc
sysctl net.ipv4.tcp_congestion_control

0x01 - 启用 BBR

cat << EOF >> /etc/sysctl.conf
# Enable BBR
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
EOF

sysctl --system

0x02 - 检测 BBR

sysctl net.core.default_qdisc
sysctl net.ipv4.tcp_congestion_control

成功！

Sources:

• google/bbr | Github
• TCP BBR congestion control comes to GCP – your Internet just got faster | Google Blog
• Linux Kernel 4.9 中的 BBR 算法与之前的 TCP 拥塞控制相比有什么优势？| Zhihu
• 来自Google的TCP BBR拥塞控制算法解析 | CSDN

• Nginx WWW Redirection
  • Redirect non-www to www
    • For Single Domain:
    • For All Domains:
  • Redirect www to non-www:
    • For Single Domain:
    • For All Domains:

裸域名 example.com -> www.example.com and vise-versa 的 Nginx 实现方法。

摘自Gist

Nginx WWW Redirection

Redirect non-www to www

For Single Domain:

server {
    server_name example.com;
    return 301 $scheme://www.example.com$request_uri;
}

For All Domains:

server {
    server_name "~^(?!www\.).*" ;
    return 301 $scheme://www.$host$request_uri;
}

Redirect www to non-www:

For Single Domain:

server {
    server_name www.example.com;
    return 301 $scheme://example.com$request_uri;
}

For All Domains:

server {
    server_name "~^www\.(.*)$";
    return 301 $scheme://$1$request_uri;
}

• 查询公网 ip
  • ipv4
  • ipv6
  • 添加为 alias

如何快速获取服务器的外部 ip 地址，这篇文章介绍了一个超快的方法。

查询公网 ip

一般查询本机的外部 ip 都是通过 http 的方法。OpenDNS 提供一个通过 dns 查询获取本机公网 ip 的方法：

ipv4

$ dig +short myip.opendns.com @resolver1.opendns.com

ipv6

$ dig +short AAAA myip.opendns.com @resolver1.ipv6-sandbox.opendns.com

添加为 alias

alias myipv4="dig +short myip.opendns.com @resolver1.opendns.com 2> /dev/null"
alias myipv6="dig +short AAAA myip.opendns.com @resolver1.ipv6-sandbox.opendns.com 2> /dev/null"
alias myip="myipv4; myipv6"

• 0x00 - 准备工作
• 0x01 - 安装桌面环境
  • 完全安装（不推荐）
  • 精简安装
• 0x02 - 安装并启用 VNC 服务器
• 0x03 - 测试 VNC
• 0x04 - 配置 VNC Server
• 0x05 - 设置开机自动启动（可选）
• 0x06 - 小结

十分钟给 Ubuntu Server 安装桌面环境。

今天学校交作业视频，需要把一个 YouTube 上的高清视频下载下来再上传到学校服务器。可惜家里网速太慢，于是决定临时开了个 Digital Ocaen (DO) 的 2CPU/4GB RAM VPS 来完成这个任务。因为上传需使用浏览器登录学校网站，于是决定安装以下桌面环境和 Chromium 浏览器。

此教程使用 Ubuntu 16.04 LTS。

0x00 - 准备工作

首先要有一台 Ubuntu 服务器，设置好 SSH 并登录。我使用了 DO 的 Cloud-init 功能自动完成所有服务器的初始化。

$ sudo apt update

0x01 - 安装桌面环境

可以选择完全安装（不推荐）或精简安装。

完全安装（不推荐）

包括很多额外组件：Office、浏览器等等。

$ sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal -y

精简安装

仅安装核心组件。其他组件需手动安装

$ sudo apt-get install --no-install-recommends ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal -y

0x02 - 安装并启用 VNC 服务器

$ sudo apt-get install vnc4server -y

$ ssh -L 5901:127.0.0.1:5901 <username>@<host> -p <port>

$ vncserver :1

这里 SSH 连接使用了本地端口转发。访问 127.0.0.1:5901 的本地流量会通过 SSH 加密隧道转发到远程服务器。

第一次运行 vncserver 时设置 VNC 密码。

0x03 - 测试 VNC

本机使用任意 VNC Client 连接到 localhost:5901。

测试成功后回到 SSH 终端并输入 $ vncserver -kill :1 关闭 VNC 服务器。

0x04 - 配置 VNC Server

编辑 ~/.vnc/xstartup，在文件末新增如下四行：

gnome-panel &
gnome-settings-daemon &
metacity &
nautilus &

保存后运行 vncserver :1 启动 VNC Server。

0x05 - 设置开机自动启动（可选）

使用 crontab -e 新增 @reboot /usr/bin/vncserver :1 任务。

0x06 - 小结

建议防火墙关掉 5901 端口并永远使用 SSH 端口转发的方式安全使用 VNC。

因为我选了精简安装，需手动运行 sudo apt-get install chromium-browser 安装浏览器。安装完成后在 VNC 桌面菜单直接显示可用。

DO 纽约服务器很给力，半分钟下载 YouTube 视频（使用 youtube-dl）半分钟上传。算上设置服务器和安装桌面环境一共使用了大约 20 分钟。2CPU/4GB RAM VPS 每小时为 $0.06，总花费：$0.06 / 3 = $0.02。

如果有兴趣开个 VPS 玩玩就试试 DigitalOcean 呗，使用此链接送 $10 等于免费玩两个月哈。

Source: 「Ubuntu 16.04 安装 VNC 及 gnome 桌面环境 | 云梦」

• Method 1
• Method 2

系统默认的主机名太丑了！如何更新 Ubuntu 的 hostname 主机名呢？以下有两个简单的方法。

Method 1

NEW_HOSTNAME="Ubuntu-Test"
echo "127.0.1.1 $NEW_HOSTNAME" | sudo tee --append /etc/hosts
echo $NEW_HOSTNAME | sudo tee /etc/hostname
sudo hostname $NEW_HOSTNAME

Method 2

NEW_HOSTNAME="Ubuntu-Test"
echo "127.0.1.1 $NEW_HOSTNAME" | sudo tee --append /etc/hosts
sudo hostnamectl set-hostname $NEW_HOSTNAME

两种方法效果相同。执行 hostname 可以看到更新后的主机名。

更新之后 PS1 不会立即更新，可以重新登录或者执行 exec bash 更新。