Ubuntu 14.04 で Apache + WordPress を動かそうとしたらエラーが
$ tail /var/log/apache2/error.log
Invalid command 'Header', perhaps misspelled or defined by a module not included in the server configuration
Headers moduleが無効のようなので、
$ sudo a2enmod headers
これで有効になったので、Apache再起動
$ sudo service apache2 restart
これでエラーが取れました