jared.kiev.ua http://jared.kiev.ua Сетап как стиль жизни Wed, 07 Mar 2012 19:15:19 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 Как я был радистом http://jared.kiev.ua/2012/03/%d0%ba%d0%b0%d0%ba-%d1%8f-%d0%b1%d1%8b%d0%bb-%d1%80%d0%b0%d0%b4%d0%b8%d1%81%d1%82%d0%be%d0%bc/ http://jared.kiev.ua/2012/03/%d0%ba%d0%b0%d0%ba-%d1%8f-%d0%b1%d1%8b%d0%bb-%d1%80%d0%b0%d0%b4%d0%b8%d1%81%d1%82%d0%be%d0%bc/#comments Wed, 07 Mar 2012 19:07:52 +0000 jared http://jared.kiev.ua/?p=261 Нашел в веб-архиве свою старую статью про настройку радио на FreeBSD. Пока не потерлась — выложу здесь, авось кому пригодится.

Поставили как-то задачу: взять с микшерного пульта радиохолдинга 3 радиоканала и вещать их в сеть. После танцев с бубном вокруг Shoutcast-a был выбран все-таки Icecast, т.к. ogg ест меньше трафика и звучит лучше.

Далее…

]]> Нашел в веб-архиве свою старую статью про настройку радио на FreeBSD. Пока не потерлась — выложу здесь, авось кому пригодится.

Поставили как-то задачу: взять с микшерного пульта радиохолдинга 3 радиоканала и вещать их в сеть. После танцев с бубном вокруг Shoutcast-a был выбран все-таки Icecast, т.к. ogg ест меньше трафика и звучит лучше.

Для тех, кто о онлайн-радио имеет довольно смутное понятие, опишу схему его работы.
Состоит оно из 3 частей — источника звука, источника потока и ретранслятора. Может не так назвал, но суть от этого не меняется.

1. Источник звука. Микрофон, аудиофайл, другое онлайн-радио, линейный вход и т.д. — звук можно брать откуда угодно.
2. Источник потока. Демон, который берет сигнал из источника звука, если надо, меняет ему качество, битрейт, кол-во каналов и пр. — и отправляет на ретранслятор.
3. Ретранслятор. Демон, к которому коннектятся пользователи в поисках счастья и музыки. :-) )

В моем случае звук берется с линейного входа, оцифровывается демоном Ices и отправляется на Icecast для ретрансляции.

Итак, поехали.

# cd /usr/ports/audio/icecast2 && make install clean
# cd /usr/ports/audio/ices && make install clean

Далее собственно конфиги:

# cat /usr/local/etc/icecast.xml
<icecast>
<limits>
<clients>400</clients>
<sources>4</sources>
<threadpool>5</threadpool>
<queue-size>524288</queue-size>
<client-timeout>30</client-timeout>
<header-timeout>15</header-timeout>
<source-timeout>10</source-timeout>
<burst-on-connect>0</burst-on-connect>
<burst-size>65535</burst-size>
</limits>

<authentication>
<!— Sources log in with username ‘source’ —>
<source-password>k7sgw3onpfbos7ed</source-password>
<!— Relays log in username ‘relay’ —>
<relay-password>w938vo4rybiof4y3tf</relay-password>

<!— Admin logs in with the username given below —>
<admin-user>admin</admin-user>
<admin-password>d3rp9r0l</admin-password>
</authentication>

<!— This is the hostname other people will use to connect to your server.
It affects mainly the urls generated by Icecast for playlists and yp
listings. —>
<hostname>jazz.td.net.ua</hostname>

<listen-socket>
<port>8000</port>
</listen-socket>

<mount>
<mount-name>/hit-fm-64k.ogg</mount-name>
<max-listeners>400</max-listeners>
<burst-size>65536</burst-size>
<hidden>0</hidden>
<no-yp>1</no-yp>
</mount>

<mount>
<mount-name>/hit-fm-128k.ogg</mount-name>
<max-listeners>400</max-listeners>
<burst-size>65536</burst-size>
<hidden>0</hidden>
<no-yp>1</no-yp>
</mount>

<mount>
<mount-name>/rusradio-64k.ogg</mount-name>
<max-listeners>400</max-listeners>
<burst-size>65536</burst-size>
<hidden>0</hidden>
<no-yp>1</no-yp>

<mount>
<mount-name>/kiss-fm-64k.ogg</mount-name>
<max-listeners>400</max-listeners>
<burst-size>65536</burst-size>
<hidden>0</hidden>
<no-yp>1</no-yp>
</mount>

<fileserve>1</fileserve>

<paths>
<!— basedir is only used if chroot is enabled —>
<basedir>/usr/local/share/icecast</basedir>

<!— Note that if <chroot> is turned on below, these paths must both
be relative to the new root, not the original root —>
<logdir>/var/log</logdir>
<webroot>/usr/local/share/icecast/web</webroot>
<adminroot>/usr/local/share/icecast/admin</adminroot>
<!— <pidfile>/usr/local/share/icecast/icecast.pid</pidfile> —>

<!— Aliases: treat requests for ‘source’ path as being for ‘dest’ path
May be made specific to a port or bound address using the «port»
and «bind-address» attributes.
—>
<!—
<alias source=»/foo» dest=»/bar»/>
—>
<!— Aliases: can also be used for simple redirections as well,
this example will redirect all requests for http://server:port/ to
the status page
—>
<alias source=»/» dest=»/status.xsl»/>
</paths>

<logging>
<accesslog>icecast-access.log</accesslog>
<errorlog>icecast-error.log</errorlog>
<!— <playlistlog>playlist.log</playlistlog> —>
<loglevel>4</loglevel> <!— 4 Debug, 3 Info, 2 Warn, 1 Error —>
<logsize>10000</logsize> <!— Max size of a logfile —>
<!— If logarchive is enabled (1), then when logsize is reached
the logfile will be moved to [error|access|playlist].log.DATESTAMP,
otherwise it will be moved to [error|access|playlist].log.old.
Default is non-archive mode (i.e. overwrite)
—>
<!— <logarchive>1</logarchive> —>
</logging>

<security>
<chroot>0</chroot>
<changeowner>
<user>nobody</user>
<group>nogroup</group>
</changeowner>
</security>
</icecast>

 

Небольшие пояснения — радиостанций у меня было 3, одну из них надо было транслировать в 2 битрейтах. Не знаю, зачем оно в случае с ogg — разницы между 64 и 256 не слышно, но такова была постановка задачи.

Теперь типичный файл конфигурации ices:

# cat /usr/local/etc/ices-oss-hit.xml
<?xml version=»1.0″?>
<ices>

<!— run in background  —>
<background>0</background>
<!— where logs go. —>
<logpath>/var/log</logpath>
<logfile>ices.log</logfile>
<!— size in kilobytes —>
<logsize>2048</logsize>
<!— 1=error, 2=warn, 3=infoa ,4=debug —>
<loglevel>4</loglevel>
<!— logfile is ignored if this is set to 1 —>
<consolelog>0</consolelog>

<!— optional filename to write process id to —>
<!— <pidfile>/home/ices/ices.pid</pidfile> —>

<stream>
<metadata>
<name>Hit FM Radio</name>
<genre>Hits</genre>
<description>Hit FM UA</description>
<url>http://www.hitfm.ua</url>
</metadata>

<input>
<module>oss</module>
<param name=»rate»>44100</param>
<param name=»channels»>2</param>
<param name=»device»>/dev/dsp1.0</param>
<!— Read metadata (from stdin by default, or —>
<!— filename defined below (if the latter, only on SIGUSR1) —>
<param name=»metadata»>0</param>
<param name=»metadatafilename»>test</param>
</input>

<instance>
<hostname>localhost</hostname>
<port>8000</port>
<password>k7seo837tf54vied</password>
<mount>/hit-fm-64k.ogg</mount>
<yp>1</yp>

<encode>
<quality>0</quality>
<samplerate>44100</samplerate>
<channels>2</channels>
</encode>

<downmix>0</downmix>
</instance>

<instance>
<hostname>localhost</hostname>
<port>8000</port>
<password>k7senpfboi8s7ed</password>
<mount>/hit-fm-128k.ogg</mount>
<yp>1</yp>

<encode>
<quality>5</quality>
<samplerate>44100</samplerate>
<channels>2</channels>
</encode>

<downmix>0</downmix>
</instance>

</stream>

</ices>

В принципе вуаля, осталось запустить.

Добавляем icecast_enable=»YES» в /etc/rc.conf и пишем стартап-скрипт для ices:

# cat /usr/local/etc/rc.d/zzzz.ices.sh
#!/bin/sh

/usr/sbin/mixer -f /dev/dsp0 =rec line
/usr/sbin/mixer -f /dev/dsp1 =rec line
/usr/sbin/mixer -f /dev/dsp2 =rec line

echo «HIT FM»
/usr/local/bin/ices /usr/local/etc/ices-oss-hit.xml &
sleep 1

echo «Russian Radio»
/usr/local/bin/ices /usr/local/etc/ices-oss-russian.xml &
sleep 1

echo «KISS FM»
/usr/local/bin/ices /usr/local/etc/ices-oss-kiss.xml &

dsp0-2, соответственно, звуковые карты.

]]> http://jared.kiev.ua/2012/03/%d0%ba%d0%b0%d0%ba-%d1%8f-%d0%b1%d1%8b%d0%bb-%d1%80%d0%b0%d0%b4%d0%b8%d1%81%d1%82%d0%be%d0%bc/feed/ 0 Поиск в логах Exim http://jared.kiev.ua/2011/12/exim-search-log/ http://jared.kiev.ua/2011/12/exim-search-log/#comments Tue, 06 Dec 2011 13:58:43 +0000 jared http://jared.kiev.ua/?p=259 Часто бывает, что кто-то просит найти письмо такого-то пользователя, которое было отправлено позавчера, например. Можно перерывать логи руками, а можно воспользоваться скриптом, который любезно прислал один из читателей:

#!/bin/sh

to_grep="$*"

if [ ${#to_grep} = 0 ]
then
echo "
STOP: Where is search string?
" > /dev/stderr
exit 1
fi

Далее…

]]> Часто бывает, что кто-то просит найти письмо такого-то пользователя, которое было отправлено позавчера, например. Можно перерывать логи руками, а можно воспользоваться скриптом, который любезно прислал один из читателей:

#!/bin/sh

to_grep="$*"

if [ ${#to_grep} = 0 ]
then
echo "
STOP: Where is search string?
" > /dev/stderr
exit 1
fi

tmp_major_filename="/tmp/searchmajortmp$$"
rm -f "${tmp_major_filename}"

# Мониторим Ctrl+C чтобы не оставлять хвостов из временных файлов.
trap 'rm -f ${tmp_major_filename} ;echo ; exit 13' TERM INT

exlog_log="/var/log/exim/mainlog"

if [ ! -r "${exlog_log}" ]
then
echo "
STOP: Where is exim log?
" > /dev/stderr
exit 1
fi

today_is=`date +%Y-%m-%d`

echo "1" | awk -v today_is="${today_is}" -v rex_log="${exlog_log}" '{
dl_cn = 0 # устанавливаем счетчик дней в 0
# Получаем список файлов лога exim-a, считаем их количество.
cmd_get_file_list=("ls "rex_log"*")
while ((cmd_get_file_list |getline)> 0) {
++fl_cn
}
close (cmd_get_file_list)

# Узнаем что у нас за ОС
cmd_what_os=("uname -s")
cmd_what_os |getline os_is
close(cmd_what_os)

while (dl_cn < fl_cn) {
# Получаем три значения в массиве (год, месяц, день) - текущая дата.
if (dl_cn == 0) {
split(today_is,TEMPTODAY,"-")
today_is_month = TEMPTODAY[2]
month_arg = TEMPTODAY[2]
} else {
cmd_month_arg = (today_is_month - month_arg)
# Получаем три значения в массиве (год, месяц, день) - последнее число нужного нам предыдущего месяца.
if (os_is == "FreeBSD" || os_is == "Darwin") {
cmd_date_last_month=("date -v-"cmd_day_arg"d -v-"cmd_month_arg"m +%Y-%m-%d")
} else {
cmd_date_last_month=("date -d \""cmd_day_arg" days ago "cmd_month_arg" months ago\" +%Y-%m-%d")
}
cmd_date_last_month |getline
split($0,TEMPTODAY,"-")
close (cmd_date_last_month)
}

# Выясняем до какого числа месяца будем делать декремент.
days_until = (fl_cn - dl_cn)
if (days_until > 0) {
day_until = 1
} else {
day_until = days_until
}

cmd_day_arg = TEMPTODAY[3]

# Получаем список дат в нисходящем порядке, забиваем в массив.
for (tmp_td=TEMPTODAY[3];tmp_td>=day_until;tmp_td--) {
# Заодно пририсовываем нули для красоты.
if (length(tmp_td) == 1) {
day_number = ("0"tmp_td)
} else {
day_number = tmp_td
}
FILESLIST[++dl_cn] = (TEMPTODAY[1]"-"TEMPTODAY[2]"-"day_number)
}

# Проверяем первая ли у нас итерация цикла.
if (month_arg != today_is_month) {
month_arg--
}
split("",TEMPTODAY)
}

# Печать массива.
printf "\n"
for (xs=1;xs<=fl_cn;xs++) {
printf "\t%s%s%s\t%s\n" , "(", xs, ")", FILESLIST[xs]
}
split("",FILESLIST)
printf "\n\t"
exit
}'

read -p "Enter Digit: " num_to_grep

if [ ${#num_to_grep} = 0 ]
then
echo "
STOP: Where is digit?
" > /dev/stderr
exit 1
fi

awk -v tmfname="${tmp_major_filename}" -v today_is="${today_is}" -v num_to_grep="${num_to_grep}" -v rex_log="${exlog_log}" -v to_grep="${to_grep}" '{
# Проверяем пользовательский ввод. Устанавливаем переменную w_show.
if ($0 ~ /^[1-3]$/) {
w_show=$0
exit
} else {
printf "\n\t%s\n\n", msg_wrong_number > err_log
split("",QUEUEARR)
split("",REJARRAY)
was_error = 1
exit 1
}
} BEGIN {
q_cn = 0
r_cn = 0
err_log = "/dev/stderr"

# Сообщения
msg_nothing_to_show = "STOP: Nothing to show."
msg_no_records = "STOP: No Records."
msg_wrong_number = "STOP: Wrong number."
msg_header_major = "SUCCESS"
msg_header_minor = "FAILURE"
msg_header_summ = "SUMMARY"

# Паттерн очереди
patt_QUEbe = "^[A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9]-[A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9][A-Za-z0-9]-[A-Za-z0-9][A-Za-z0-9]$"

# Получаем список файлов лога exim-a, добавляем их в массив, считаем их количество.
cmd_get_file_list=("ls "rex_log"*")
while ((cmd_get_file_list |getline)> 0) {
FILESLIST[++fl_cn] = $0
}
close (cmd_get_file_list)

# Проверяем пользовательский ввод. Получаем имя файла, проверяем заархивирован ли он, устанавливаем необходимые переменные.
if (num_to_grep ~ /^[0-9]+$/ && (num_to_grep <= fl_cn && num_to_grep != 0)) {
ex_log = FILESLIST[num_to_grep]
tmpfilename_parts = split(FILESLIST[num_to_grep],TMPFILENAME,".")
if (TMPFILENAME[tmpfilename_parts] == "gz") {
first_grep = ("zgrep -ni \""to_grep"\" "ex_log)
second_grep = ("zgrep -f "tmfname" "ex_log)
pr_ex_log = ("zcat "ex_log)
} else {
first_grep = ("grep -ni \""to_grep"\" "ex_log)
second_grep = ("grep -f "tmfname" "ex_log)
pr_ex_log = ("cat "ex_log)
}
split("",TMPFILENAME)
split("",FILESLIST)
} else {
printf "\n\t%s\n\n", msg_wrong_number > err_log
was_error = 1
exit 1
}

# Запускаем греп лога екзима. Если в строке в нужном месте есть совпадение с паттерном очереди, и это не реджект,
# добавляем очередь в массив очередей. Иначе номер строки лога в массив номеров строк лога.
while ((first_grep |getline)> 0) {
if (split($0,TMPLINE,":")>0) {
testqueue = substr(TMPLINE[4],4,16)
if (testqueue ~ patt_QUEbe) {
if (substr(TMPLINE[4],21,8) == "rejected") {
REJARRAY[++r_cn] = TMPLINE[1]
} else if ((testqueue in QUEUEARR) == 0) {
QUEUEARR[testqueue]
++q_cn
}
} else {
REJARRAY[++r_cn] = TMPLINE[1]
}

}
split("",TMPLINE)
}
printf "\n"
close (first_grep)

# Считаем и печатаем сколько мы всего нашли. Заодно приглашение ввода номера того что хочется увидеть если чего-то нашли.
printf "\t%s\t%s\t%s\n", "(1)", msg_header_major, q_cn
printf "\t%s\t%s\t%s\n", "(2)", msg_header_minor, r_cn
printf "\t%s\t%s\t%s\n", "(3)", msg_header_summ, (q_cn+r_cn)
if ((q_cn+r_cn) == 0) {
printf "\n\t%s\n\n", msg_nothing_to_show > err_log
split("",QUEUEARR)
split("",REJARRAY)
was_error = 1
exit 1
} else {
printf "\n\t%s\t" , "Enter Digit:"
}
} END {
if (was_error == 1) {
exit 1
}

# Получаем значение год-месяц-день из лога который будем показывать.
pr_ex_log | getline
close (pr_ex_log)
actdte = substr($0,1,10)

# Устанавливаем переменные - элементы декора.
header_major = sprintf("%s%s%s%s%s", "-------------------------------- ",msg_header_major," ---------------------------------------- ",actdte," ----------------------")
header_minor = sprintf("%s%s%s%s%s", "-------------------------------- ",msg_header_minor," ---------------------------------------- ",actdte," ----------------------")
footer = sprintf("%s%s%s\n", "------------------------------------------------------------------------------- ",actdte," ----------------------")
splitter_completed = sprintf("%s", "+ ------------ c -- o -- m -- p -- l -- e -- t -- e -- d ---------------------- +")

cmd_more = "more"

# Пользователь возжелал увидеть очереди.
if (w_show == 1) {
if (q_cn == 0) {
split("",QUEUEARR)
split("",REJARRAY)
printf "\n\t%s\n\n", msg_no_records > err_log
exit 1
} else {
y = 1
z = 0
# Сбрасываем содержимое массива очередей во временный файл
for (tq in QUEUEARR) {
print (tq) >> tmfname
}
print(header_major)
# Грепаем лог екзима используя временный файл в качестве файла паттернов.
while ((second_grep |getline)> 0) {
if (length($0) == 46) {
if (substr($0,38,9) == "Completed") {
print (splitter_completed) | cmd_more
} else {
print(substr($0,12)) | cmd_more
}
} else {
print(substr($0,12)) | cmd_more
}
}
close (second_grep)
close (cmd_more)
print(footer)
}

# Пользователь возжелал увидеть отлупы.
} else if (w_show == 2) {
if (r_cn == 0) {
split("",QUEUEARR)
split("",REJARRAY)
printf "\n\t%s\n\n", msg_no_records > err_log
exit 1
} else {
y = 1
z = 0
print(header_minor)
while ((pr_ex_log |getline)> 0) {
z++
if(z == REJARRAY[y]){
print(substr($0,12)) | cmd_more
y++
}
}
close (pr_ex_log)
close (cmd_more)
print(footer)
}

# Пользователь возжелал увидеть все.
} else if (w_show == 3) {
if (r_cn != 0) {
y = 1
z = 0
print(header_minor)
while ((pr_ex_log |getline)> 0) {
z++
if(z == REJARRAY[y]){
print(substr($0,12)) | cmd_more
y++
}
}
close (pr_ex_log)
close (cmd_more)
print(footer)
}
if (q_cn != 0) {
y = 1
z = 0
# Сбрасываем содержимое массива очередей во временный файл
for (tq in QUEUEARR) {
print (tq) >> tmfname
}
print(header_major)
# Грепаем лог екзима используя временный файл в качестве файла паттернов.
while ((second_grep |getline)> 0) {
if (length($0) == 46) {
if (substr($0,38,9) == "Completed") {
print (splitter_completed) | cmd_more
} else {
print(substr($0,12)) | cmd_more
}
} else {
print(substr($0,12)) | cmd_more
}
}
close (second_grep)
close (cmd_more)
print(footer)
}
}
split("",QUEUEARR)
split("",REJARRAY)
}' -

rm -f "${tmp_major_filename}"

# Настройки логгирования в конфиге exim:
# --
# log_file_path = /var/log/exim/exim_%s.log
# write_rejectlog = no
#
# log_selector = \
# +all_parents \
# +connection_reject \
# -host_lookup_failed \
# -incoming_interface \
# -lost_incoming_connection \
# +received_sender \
# +received_recipients \
# +smtp_confirmation \
# +smtp_syntax_error \
# +smtp_protocol_error \
# -queue_run
#
# syslog_timestamp = yes
#
# --
#
# Ver 1.1
#

]]> http://jared.kiev.ua/2011/12/exim-search-log/feed/ 0 Сборка gmirror без перезагрузки http://jared.kiev.ua/2011/08/gmirror/ http://jared.kiev.ua/2011/08/gmirror/#comments Mon, 15 Aug 2011 22:15:40 +0000 jared http://jared.kiev.ua/?p=253 В сети есть достаточное количество описаний, как на FreeBSD собрать программный RAID-1, он же gmirror. Все они требуют в определенный момент перезагрузки сервера между включением в зеркало первого диска и остальных. Однако, бывают ситуации, когда она нежелательна либо невозможна. Прямо сейчас строю такую машинку, соответственно, пришлось выкручиваться. Итак, начнем:

Далее…

]]> В сети есть достаточное количество описаний, как на FreeBSD собрать программный RAID-1, он же gmirror. Все они требуют в определенный момент перезагрузки сервера между включением в зеркало первого диска и остальных. Однако, бывают ситуации, когда она нежелательна либо невозможна. Прямо сейчас строю такую машинку, соответственно, пришлось выкручиваться. Итак, начнем:

Включаем в ядро поддержку gmirror после перезагрузки:
# echo 'geom_mirror_load=YES' >> /boot/loader.conf

Даем системе доступ для изменения конфигурации дисков:
# sysctl kern.geom.debugflags=16
kern.geom.debugflags: 0 -> 16

Вставляем первый диск:
# gmirror label -v -b round-robin gm0 /dev/ad4
Metadata value stored on /dev/ad4.
Done.

Правим /etc/fstab. В нем меняем все вхождения /dev/ad4 на /dev/mirror/gm0, например, /dev/ad4s1a станет /dev/mirror/gm0s1a и т.п.

Дальше самая хитрость — вместо перезагрузки подгружаем ядру модуль gmirror и вставляем второй диск:
# kldload geom_mirror
# gmirror insert gm0 /dev/ad6

Проверяем:
# gmirror list
Geom name: gm0
State: DEGRADED
Components: 2
Balance: round-robin
Slice: 4096
Flags: NONE
GenID: 0
SyncID: 1
ID: 1867633513
Providers:
1. Name: mirror/gm0
Mediasize: 750156373504 (699G)
Sectorsize: 512
Mode: r1w0e0
Consumers:
1. Name: ad4
Mediasize: 750156374016 (699G)
Sectorsize: 512
Mode: r1w1e1
State: ACTIVE
Priority: 0
Flags: NONE
GenID: 0
SyncID: 1
ID: 129648194
2. Name: ad6
Mediasize: 750156374016 (699G)
Sectorsize: 512
Mode: r1w1e1
State: SYNCHRONIZING
Priority: 0
Flags: DIRTY, SYNCHRONIZING
GenID: 0
SyncID: 1
Synchronized: 0%
ID: 3539837274

Видим, что зеркало соорудилось и пошла синхронизация. Далее остается периодически поглядывать за ее ходом:
# gmirror status
Name Status Components
mirror/gm0 DEGRADED ad4
ad6 (22%)

По окончании процесса можно и перегрузиться с собранным зеркалом.

]]> http://jared.kiev.ua/2011/08/gmirror/feed/ 0 Exim: автоблокировка спам-хостов http://jared.kiev.ua/2011/05/exim-autoblock-spam/ http://jared.kiev.ua/2011/05/exim-autoblock-spam/#comments Mon, 16 May 2011 11:38:27 +0000 jared http://jared.kiev.ua/?p=246 Несмотря на то, что моя конфигурация Exim вышла довольно удачной, некоторое количество спама через нее все же проходит. Как правило, сыпется он с одних и тех же спам-серверов, которые можно блокировать. Однако, каждый раз ходить на сервер через некоторое время становится лениво, потому автоматизируем процесс:

Далее…

]]> Несмотря на то, что моя конфигурация Exim вышла довольно удачной, некоторое количество спама через нее все же проходит. Как правило, сыпется он с одних и тех же спам-серверов, которые можно блокировать. Однако, каждый раз ходить на сервер через некоторое время становится лениво, потому автоматизируем процесс:

#!/bin/sh

for file in `find /var/mail/yourdomain.com/spamreport/new -type f`
do
    cat $file | grep "Subject: block=" | sed 's/Subject: block=//' >> /usr/local/etc/exim/spam-hosts
done

rm -f /var/mail/yourdomain.com/spamreport/new/*

Осталось внести изменения в конфигурацию Exim. Добавляем в /usr/local/etc/exim/100.main.conf: 

hostlist bad_hosts = net-iplsearch;/usr/local/etc/exim/spam-hosts

В /usr/local/etc/exim/configure правим ту часть, где описывается acl_check_rcpt:

# Эти правила срабатывают для каждого письма
acl_check_rcpt:

warn set acl_c_lp       = $local_part@$domain

deny   message = Relay not permitted
       hosts = +bad_hosts

Создаем файл и перезапускаем Exim:

# touch /usr/local/etc/exim/spam-hosts
# /usr/local/etc/rc.d/exim restart

Для успешной работы надо создать почтовый ящик spamreport@yourdomain.com и вставить вызов скрипта в Cron. Теперь на spamreport@yourdomain.com можно отправлять письма с темой «block=123.32.14.56″, где 123.32.14.56 — ip спам-сервера.

]]> http://jared.kiev.ua/2011/05/exim-autoblock-spam/feed/ 0 Zabbix: мониторинг доступности оборудования http://jared.kiev.ua/2011/01/zabbix-icmp/ http://jared.kiev.ua/2011/01/zabbix-icmp/#comments Wed, 26 Jan 2011 20:57:02 +0000 jared http://jared.kiev.ua/?p=243 Возникла задача мониторить Заббиксом доступность свитчей в сети. Вроде задача тривиальная, однако, пришлось немного потанцевать с бубном, пока нашлось решение. В итоге выкладываю шаблон, он умеет мониторить доступность железки (произвольной), задержку пинга до нее и процент потерь. Желательно установить fping.

Далее…

]]> Возникла задача мониторить Заббиксом доступность свитчей в сети. Вроде задача тривиальная, однако, пришлось немного потанцевать с бубном, пока нашлось решение. В итоге выкладываю шаблон, он умеет мониторить доступность железки (произвольной), задержку пинга до нее и процент потерь. Желательно установить fping.

Собственно, сам шаблон.

]]> http://jared.kiev.ua/2011/01/zabbix-icmp/feed/ 3 Спасение данных с умирающего диска http://jared.kiev.ua/2010/09/bad-blocks-gmirror/ http://jared.kiev.ua/2010/09/bad-blocks-gmirror/#comments Fri, 24 Sep 2010 23:58:43 +0000 jared http://jared.kiev.ua/?p=232 Не далее, чем вчера пришлось заниматься вытаскиванием данных с диска, по которому строевым шагом пошли бедблоки. Методика некоторое время обдумывалась, потом была приведена в исполнение. Логика проста: ставим в сервер рядом с проблемным диском такой же по размеру (в моем случае это были Seagate и WD, так что производитель не суть важен, хотя новый честно подбирал похожий по параметрам) и вместо конвульсий в виде dd и прочего копирования пробуем по-тихому отзеркалить все на новый диск. Итак, приступим:

Далее…

]]> Не далее, чем вчера пришлось заниматься вытаскиванием данных с диска, по которому строевым шагом пошли бедблоки. Методика некоторое время обдумывалась, потом была приведена в исполнение. Логика проста: ставим в сервер рядом с проблемным диском такой же по размеру (в моем случае это были Seagate и WD, так что производитель не суть важен, хотя новый честно подбирал похожий по параметрам) и вместо конвульсий в виде dd и прочего копирования пробуем по-тихому отзеркалить все на новый диск. Итак, приступим:

# echo 'geom_mirror_load=YES' >> /boot/loader.conf
# sysctl kern.geom.debugflags=16

Здесь мы включили модуль geom_mirror при загрузке системы и режим отладки, при котором возможно создание программного зеркала. Создаем массив и запихиваем туда проблемный диск:

# gmirror label -v -b round-robin gm0 /dev/ad4
Metadata value stored on /dev/ad4.
Done.

Далее надо поправить /etc/fstab, заменив подстроку /dev/ad4 на /dev/mirror/gm0. В итоге вместо записей вида

/dev/ad4s1a             /               ufs     rw              1       1

получится

/dev/mirror/gm0s1a             /               ufs     rw              1       1

Перезагружаемся в single user mode (Это важный момент, его нет в статьях по настройке gmirror — обычно все отрабатывает нормально и без него. Но в случае с проблемным диском он может и не отзеркалиться.) Далее:

# gmirror insert gm0 /dev/ad7

После чего команда gmirror status некоторое время будет показывать приблизительно следующее:

Name    Status  Components
 mirror/gm0  DEGRADED  ad4
                  ad7 (1%)

Что будет означать, что идет процесс перестройки зеркала. после того, как DEGRADED сменится на COMPLETE, можно тушить сервер и заменять проблемный диск новым. После чего загружаемся и разбираем зеркало. Сначала попросим gmirror забыть о лишнем диске ad7 (теперь он стал ad4):

# gmirror forget gm0

Теперь gmirror status покажет такое:

Name    Status  Components
mirror/gm0  COMPLETE ad4

После чего опять правим /etc/fstab, меняем /dev/mirror/gm0 назад на /dev/ad4 и просим gmirror вытащить из массива последний диск:

# gmirror remove gm0 /dev/ad4

Машина самостоятельно уходит в перезагрузку, по окончании которой зеркала нет, новый диск называется точно так, как старый и данные на нем остались те, что надо.

]]> http://jared.kiev.ua/2010/09/bad-blocks-gmirror/feed/ 1 Exim — ошибка в конфиге http://jared.kiev.ua/2010/07/exim-bug/ http://jared.kiev.ua/2010/07/exim-bug/#comments Wed, 14 Jul 2010 11:10:09 +0000 jared http://jared.kiev.ua/?p=228 К сожалению, в мою конфигурацию Экзима закралась ошибка, которая хоть и появлялась редко, была довольно досадной. В частности, при определенных условиях, ACL, который проверяет почту на спам, не видел переменную, в которой хранился адрес адресата и не отрабатывал. В основную статью изменения уже добавлены, решил выложить дополнительный пост для тех, кто ее не будет перечитывать. Итак, надо поправить 2 файла: 500.acl-check-data.conf и configure.

Далее…

]]> К сожалению, в мою конфигурацию Экзима закралась ошибка, которая хоть и появлялась редко, была довольно досадной. В частности, при определенных условиях, ACL, который проверяет почту на спам, не видел переменную, в которой хранился адрес адресата и не отрабатывал. В основную статью изменения уже добавлены, решил выложить дополнительный пост для тех, кто ее не будет перечитывать. Итак, надо поправить 2 файла: 500.acl-check-data.conf и configure.

500.acl-check-data.conf: после «.ifdef USE_SPAMD» добавляем строку:

warn set acl_m5 = $acl_c_lp

configure: после строки «acl_check_rcpt:» вставляем:

warn set acl_c_lp       = $local_part@$domain

Перед обоими вставками лучше вставить пустую строку.

]]> http://jared.kiev.ua/2010/07/exim-bug/feed/ 2 Обновляем систему по-быстрому http://jared.kiev.ua/2010/06/%d0%be%d0%b1%d0%bd%d0%be%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc-%d1%81%d0%b8%d1%81%d1%82%d0%b5%d0%bc%d1%83-%d0%bf%d0%be-%d0%b1%d1%8b%d1%81%d1%82%d1%80%d0%be%d0%bc%d1%83/ http://jared.kiev.ua/2010/06/%d0%be%d0%b1%d0%bd%d0%be%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc-%d1%81%d0%b8%d1%81%d1%82%d0%b5%d0%bc%d1%83-%d0%bf%d0%be-%d0%b1%d1%8b%d1%81%d1%82%d1%80%d0%be%d0%bc%d1%83/#comments Tue, 01 Jun 2010 14:12:33 +0000 jared http://jared.kiev.ua/?p=224 Почти во всех руководствах по FreeBSD для обновления системы прелдагают использовать классический cvsup, либо как вариант — cvsup-without-gui. Однако, то же самое можно делать, не устанавливая в систему никаких дополнительных пакетов и гораздо быстрее. Для этого мы воспользуемся аналогом cvsup, поставляемым с базовой системой — csup.

Далее…

]]> Почти во всех руководствах по FreeBSD для обновления системы прелдагают использовать классический cvsup, либо как вариант — cvsup-without-gui. Однако, то же самое можно делать, не устанавливая в систему никаких дополнительных пакетов и гораздо быстрее. Для этого мы воспользуемся аналогом cvsup, поставляемым с базовой системой — csup.

Файлы для обновления портов и системы сразу после установки доступны в каталоге /usr/share/examples/cvsup. Там же и поправим нужный: в моем случае — файл обновления портов ports-supfile:

# ee /usr/share/examples/cvsup/ports-supfile

# Сервер, с которого обновляться, в моем случае ftp6.ua.FreeBSD.org
*default host=ftp6.ua.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=.
*default delete use-rel-suffix

*default compress

# Обновлять все дерево портов
ports-all

Вот и все, дальше остается только запустить обновление командой:

# csup /usr/share/examples/cvsup/ports-supfile
]]> http://jared.kiev.ua/2010/06/%d0%be%d0%b1%d0%bd%d0%be%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc-%d1%81%d0%b8%d1%81%d1%82%d0%b5%d0%bc%d1%83-%d0%bf%d0%be-%d0%b1%d1%8b%d1%81%d1%82%d1%80%d0%be%d0%bc%d1%83/feed/ 0 Мониторинг с помощью Zabbix: установка Zabbix http://jared.kiev.ua/2010/03/zabbix-install/ http://jared.kiev.ua/2010/03/zabbix-install/#comments Sun, 28 Feb 2010 22:06:34 +0000 jared http://jared.kiev.ua/?p=210 Как и многие коллеги-администраторы, долгое время я пользовался для мониторинга всего и вся либо Nagios, либо чем-то самописным — так сложилось исторически. В последнее время стало изрядно лениво лазить по конфигурационным файлам, чтоб добавить хост, сервис и т.п., а потом еще и проверять в веб-интерфейсе, все ли видно хорошо. Захотелось некой удобной софтины для мониторинга, с конфигурацией в БД, удобным веб-интерфейсом и прочими прелестями. В качестве таковой был выбран Zabbix и честно говоря, вполне себя оправдывает, разве что ресурсов ест многовато. Им сегодня и займемся:

Далее…

]]> Как и многие коллеги-администраторы, долгое время я пользовался для мониторинга всего и вся либо Nagios, либо чем-то самописным — так сложилось исторически. В последнее время стало изрядно лениво лазить по конфигурационным файлам, чтоб добавить хост, сервис и т.п., а потом еще и проверять в веб-интерфейсе, все ли видно хорошо. Захотелось некой удобной софтины для мониторинга, с конфигурацией в БД, удобным веб-интерфейсом и прочими прелестями. В качестве таковой был выбран Zabbix и честно говоря, вполне себя оправдывает, разве что ресурсов ест многовато. Им сегодня и займемся:

# cd /usr/ports/net-mgmt/zabbix-server
# make install
┌────────────────────────────────────────────────────────────────────┐
 │                Options for zabbix-server 1.8.1,2                   │
 │ ┌────────────────────────────────────────────────────────────────┐ │
 │ │         [X] MYSQL   Use MySQL backend                          │ │
 │ │         [ ] PGSQL   Use PostgreSQL backend                     │ │
 │ │         [ ] SQLITE  Use SQLite backend                         │ │
 │ │         [ ] IPV6    Support for IPv6                           │ │
 │ │         [ ] LDAP    Support for checking LDAP servers          │ │
 │ │         [X] JABBER  Use jabber media type                      │ │
 │ │         [X] FPING   Use fping for pinging hosts                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 ├─└────────────────────────────────────────────────────────────────┘─┤
 │                       [  OK  ]       Cancel                        │
 └────────────────────────────────────────────────────────────────────┘

Пока он ставится, немного расскажу о идеологии софтины. Состоит она из нескольких частей: сервера, агента, фронтенда. Сервер умеет опрашивать агентов или сами объекты мониторинга (в случае с последними поддерживаются протоколы SNMP и IPMI). Агент ставится на объект мониторинга (версии агента есть для широкого перечня операционных систем, включая винды) и шлет данные на сервер, также умеет выполнять на объекте заданные команды, фронтенд стоит на веб-сервере и показывает весь процесс. К базе данных обращаются сервер и фронтенд, агентам она не нужна. Создаем ее (исходим из того, что MySQL у нас на том же хосте, где zabbix-сервер):

# mysql
CREATE USER 'zabbix'@'localhost' IDENTIFIED BY 'zabbixpassword';
GRANT USAGE ON * . * TO 'zabbix'@'localhost' IDENTIFIED BY 'zabbixpassword' WITH MAX_QUERIES_PER_HOUR 0 MAX_CONNECTIONS_PER_HOUR 0 MAX_UPDATES_PER_HOUR 0 MAX_USER_CONNECTIONS 0 ;
CREATE DATABASE IF NOT EXISTS `zabbix` ;
GRANT ALL PRIVILEGES ON `zabbix` . * TO 'zabbix'@'localhost';
quit;
# cd /usr/local/share/zabbix/server/create
# cat schema/mysql.sql data/data.sql data/images_mysql.sql | mysql -uzabbix -pzabbixpassword zabbix
# echo zabbix_server_enable=\"YES\" >> /etc/rc.conf
# cp /usr/local/etc/zabbix/zabbix_server.conf.sample /usr/local/etc/zabbix/zabbix_server.conf
# ee /usr/local/etc/zabbix/zabbix_server.conf

Настройки по умолчанию достаточно разумны, потому файл /usr/local/etc/zabbix/zabbix_server.conf небольшой, для справки потом можно будет заглянуть в дефолтный файл:

# Исходящий IP, с него будут осуществляться соединения с агентами и объектами мониторинга
SourceIP=192.168.1.10

# Лог-файл
LogFile=/var/log/zabbix_server.log

# Размер лог-файла, в мегабайтах, 0 отключает ротацию лога
LogFileSize=10

# Уровень дебага, 0 - отключить, 1 - критические ошибки, 2 - ошибки, 3 - предупреждения, 4 - дебаг
DebugLevel=3

# Хост БД
DBHost=localhost

# Название БД
DBName=zabbix

# Пользователь БД
DBUser=zabbix

# Пароль БД
DBPassword=zabbixpassword

# Путь к Mysql-сокету
DBSocket=/tmp/mysql.sock

# Порт SQL-сервера, если используем сокет - не надо
# DBPort=3306

Если заббикс стоит, как в моем случае, в джейле, то на хост-машине надо в /etc/sysctl.conf добавить:

security.jail.sysvipc_allowed=1
kern.ipc.shmall=2097152
kern.ipc.shmmax=2147483648

На этом все, сервер можно запускать:

# touch /var/log/zabbix_server.log
# chown zabbix:zabbix /var/log/zabbix_server.log
# /usr/local/etc/rc.d/zabbix_server start

Теперь займемся фронтендом.

# cd /usr/ports/math/php5-bcmath
# make install
# cd /usr/ports/net-mgmt/zabbix-server/work/zabbix-1.8.1/frontends/php
# cp -R * /usr/local/www/vhosts/zabbix.jared.kiev.ua
# cd /usr/local/www/vhosts/zabbix.jared.kiev.ua/conf/
# cp zabbix.conf.php.example zabbix.conf.php
# ee zabbix.conf.php

Тут вписываем параметры доступа к БД и прочее:

<?php
global $DB;

$DB["TYPE"]             = "MYSQL";
$DB["SERVER"]           = "localhost";
$DB["PORT"]             = "0";
$DB["DATABASE"]         = "zabbix";
$DB["USER"]             = "zabbix";
$DB["PASSWORD"]         = "zabbixpassword";
$ZBX_SERVER             = "localhost";
$ZBX_SERVER_PORT        = "10051";
$ZBX_SERVER_NAME        = "";

$IMAGE_FORMAT_DEFAULT   = IMAGE_FORMAT_PNG;
?>

Все, теперь можно смело заходить в фронтенд с логином Admin и паролем zabbix и заниматься дальнейшей настройкой системы.

]]> http://jared.kiev.ua/2010/03/zabbix-install/feed/ 10 Fastest CVSUP — обновляемся быстро http://jared.kiev.ua/2010/02/fastest-cvsup/ http://jared.kiev.ua/2010/02/fastest-cvsup/#comments Sun, 28 Feb 2010 20:15:34 +0000 jared http://jared.kiev.ua/?p=208 При обновлении системы, портов и т.п. неизменно хочется, чтоб оно прошло побыстрее. В этом нам поможет утилита fastest cvsup, которая подберет самый быстрый cvsup-сервер. В установке и настройке она очень проста:

Далее…

]]> При обновлении системы, портов и т.п. неизменно хочется, чтоб оно прошло побыстрее. В этом нам поможет утилита fastest cvsup, которая подберет самый быстрый cvsup-сервер. В установке и настройке она очень проста:

# cd /usr/ports/sysutils/fastest_cvsup
# make install

 ┌────────────────────────────────────────────────────────────────────┐
 │                Options for fastest_cvsup 0.2.9_6                   │
 │ ┌────────────────────────────────────────────────────────────────┐ │
 │ │           [ ] ROUNDTRIP  Build with round-trip patch           │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 │ │                                                                │ │
 ├─└────────────────────────────────────────────────────────────────┘─┤
 │                       [  OK  ]       Cancel                        │
 └────────────────────────────────────────────────────────────────────┘

Опции у утилиты достаточно просты и по большому счету, нам понадобится только опция -c, после которой задается 2-буквенный код страны. Дальше она выбирает самый близкий по пингу к нам официальный sup-сервер:

# fastest_cvsup -c ua
>>  Querying servers in countries: ua
--> Connecting to cvsup.ua.freebsd.org [83.218.232.71]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 14.70 ms
--> Connecting to cvsup2.ua.freebsd.org [62.244.55.197]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 2.15 ms
--> Connecting to cvsup3.ua.freebsd.org [212.42.64.9]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 2.93 ms
--> Connecting to cvsup4.ua.freebsd.org [82.193.96.50]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 1.81 ms
--> Connecting to cvsup5.ua.freebsd.org [213.186.196.224]...
 * error: connect: timeout
--> Connecting to cvsup6.ua.freebsd.org [62.149.2.9]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 1.99 ms
--> Connecting to cvsup7.ua.freebsd.org [213.186.196.224]...
 * error: connect: timeout
--> Connecting to cvsup8.ua.freebsd.org [83.218.232.71]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 2.31 ms
--> Connecting to cvsup9.ua.freebsd.org [80.249.224.11]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 12.62 ms
--> Connecting to cvsup10.ua.freebsd.org [78.152.160.14]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 16.40 ms
--> Connecting to cvsup11.ua.freebsd.org [217.20.163.35]...
 - server replied: OK 17 0 SNAP_16_1h CVSup server ready
 - time taken: 2.46 ms

>>  Speed Daemons:
 - 1st: cvsup4.ua.freebsd.org
 - 2nd: cvsup6.ua.freebsd.org
 - 3rd: cvsup2.ua.freebsd.org

Вот и все, теперь осталось только вписать понравившийся сервер в конфиг.

]]> http://jared.kiev.ua/2010/02/fastest-cvsup/feed/ 0