自分へのメモ書きです。
Docker公式の手順を上からやったらインストールできなかったのですが、便利スクリプトを用意しているとのことで、それを実行したら一発でインストールできました。
https://docs.docker.com/engine/install/ubuntu/#install-using-the-convenience-script
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
ついでに `sudo` なしでDockerコマンドを使うために
sudo gpasswd -a $USER docker