vault: Check for recovery of the salt/vault integration more often

Add new hosts to hostgroups, remove shut down ones

masada: Start monitoring it

Long past time -- not sure why I missed it. Really we should make sure the KDC
is operational, but pingable is a start.

olinda: olinda is shut down, so disable most notifications

bots: Tweak what's monitored

I reinstalled bots, and it prompted me to look closer at monitoring of it. Some
old services no longer work (in some cases I think because Hangouts is shut
down ish, in others perhaps the migration didn't work well), so disable
notifications of those. I've also added some new services, so monitor them.

Prefer hostnames over IPs

I feel like I flip-flop on this every couple years, and I'm not entirely sure
what prompted this one (maybe the question of how to reach bots?), but probably
I had a reason.

Add monitoring of new hosts

Monitoring of augsburg is very basic, but chankillo is more reasonable (and
heavily based off olinda)

Allow some services to have public notifications and others private

Replication is being checked locally, so apply to localhost

Otherwise standing up a monitoring service on chankillo led to misleading
outage messages claiming that olinda was broken. Citing "localhost" leaves you
to figure out which host it is, but at least it's obviously unclear.

Switch to instanced personals, not classed, for notifications

Zulip doesn't support classed personals, and these days I mostly read on Zulip.

Ignore (empty) htdigest.users for now

Merge remote-tracking branch 'origin/master' into nagios4

nagios4: Update Apache config

Add monitoring of backups

Add new stylesheets

Use dehnerts.com hostnames, not mit.edu

We trust the SSH CA for dehnerts.com, not mit.edu, so this avoids host
key verification failed errors.

I think the motivation not to do this was DNS downtime, but hopefully we
can solve that with redundant DNS.

More nagios4 updates

nagios4: Add new objects config, remove old extinfo

salt: Update Vault check to run elsewhere

Also, make it run less frequently (we're looking for expiry more than downtime)
and have a higher timeout (it seems to frequently take more than ten seconds).

wieliczka: Add a check that Salt can talk to Vault

roost-api: Add zephyr/zulip bridge monitoring

xidi: Add xidi (adehnert-pi4) monitoring

vault: Add a check for seal status

vault: Check that the vault server is responding with good cert

roost-api: Add check for HTTPS service

Send personal zephyrs, now that there's more content

Send long output by zephyrs

Check for ssh signing less often

We only try to re-sign every three days, so checking every two minutes is
really pretty excessive.

Add some more checks on salt minions

Among other things, this fixes sysconfig/salt#16.

Configure monitoring of salt minions

Add monitoring of dovecot replication

ESP has their own monitoring now

Switch to new IPs

New Apache/nagios config for xenial (16.04)

nagios config tweaks from upgrading to 16.04

New post-renumbering IP addrs at ET

Use novgorod's post-renumbering IP

Fix nagios checks

- HTTPS checks should use check_https_hostname, so that we use the hostname's
  vhost, not the IP address
- explicitly use .my.cnf for olinda's mysql check, rather than just setting the
  home dir (I don't know why that seems to have broken, but it has)

Linerva has been dead for ages, so delete the config

New config options with Ubuntu 14.04's nagios

New stylesheets with Ubuntu 14.04's nagios

ESP: add RAID check

Set up repeat notifications for my outages

Lunatique is no more

Check the jabber server

Warn on olinda cert expiry only 10 days early

StartSSL doesn't want to renew my cert 14 days early, apparently. :(

Bump the large queue threshold

I'm tuning out the 20/40 triggers, which means that I might as well not have
them.

Disable notifications on s-b

Ops has switched to a new set of dialups, so s-b will be down for a longish
while yet.

Bump the olinda mailq thresholds

CGI-related changes?

I think this may be the result of some package upgrade

Update ESP config for web access

Upstream updates (Lucid->Precise upgrade)

Push esp.mit.edu's cert expiry warning to 30 days

This uses "fake" default arguments for check commands. See
http://tracker.nagios.org/print_bug_page.php?bug_id=174 for the bug asking for
a good way to do them, and a workaround for how to do them with current nagios.

Notify ESP by email, too

Monitor SSL on olinda

Monitor lunatique pingability

Ignore brief spikes in disk due to backups(?)

Monitor linerva (especially disk)

Require more failed checks before alerting

Send zephyrs about esp to -c esp-auto, not -c esp

Increase the threshold for postfix queue alerts

Add Exim queue checks

Unfortunately, Exim doesn't allow non-admins to see the queues,
which makes it hard to actually use this check.

Check that can connect to services on esp.mit.edu

Fix MySQL check

Expand monitoring of olinda

Add monitoring of:
* Postfix (SMTP connections, queue size)
* Dovecot (IMAPS connections)
* BIND (DNS port, I think)
* MySQL

Reconfigure esp so notification go to -c esp

Add NRPE config

Monitor esp.mit.edu

Check every 2 minutes

Ignore the htpasswd file

Watch my machines --- novgorod, olinda

Watch scrubbing-bubbles

Add contacts (zephyr)

Add directory for site-specific config

This won't separate it all out, but it'll make me feel a bit better.

Fix line break in zephyr command

Add zephyr config

Add upstream nagios config