Script per se Script 世の中はスクリプトでできている。 almost everything consists of script.
Windows、macOS、Linuxとスクリプトが動く環境は数多くある。
基本的にここではUbuntu Bashで動作を確認している。
ファイル内の特定のブロックを除外（未完） このサイトはMarkdownファイルを記事として変換してアップしている。
さて、やってみる。
$ export FILENAME=./source/test.md && \ cp $FILENAME /tmp/dump.txt && \ for n in {1..10}; do cat -n /tmp/dump.txt |\ grep -E '({%|```[^$]+$)' |\ sed -e 's/^[^0-9]*\([0-9]\)/\1/' |\ awk '{print $1;}' |\ head -1 |\ while read b; do cat -n /tmp/dump.txt |\ sed -e 's/^[^0-9]*\([0-9]\)/\1/' |\ grep -A 1000 "^${b} " |\ grep -E '(%}|```[ \t]*$)' |\ awk '{print $1}' |\ head -1 |\ xargs -Iend echo "sed -e ${b} ,endd -i /tmp/dump.txt" |bash; done ; done && mv /tmp/dump.txt ${FILENAME/%.*} _result.${FILENAME##*.}
同じファイルを何度もcatしたりcpとmvをしている。
これを使って該当ブロックを削除してしまおうという仕組み。
削除ブロック数が10個までしか対応していない
行内にそのブロックがあった場合その行ごと削除する
こんな感じ。
2段階検索-別解2 さらに前回 とは別のやり方を考えてみた。
条件は一緒。
$ cat /var/log/app.log ・ ・ ・ $ !! |grep "$(!! |grep failed |sed -e 's/^.*\[\([0-9]\{1,5\}.[0-9]\{1,5\}\)\].*$/\1/') " |\ awk '{print $1,$2,$3,substr($0, index($0, ": "));}' Dec 1 07:43:02 : connect start Dec 1 07:43:05 : command execute Dec 1 07:43:11 : command failed $
一度Historyに残したら、わざわざ同じファイル名を二度打ちしなくてよいかなと。
俺今何歳？ って、２０代後半頃から思うようになってきた。
$ echo -n "tell me your birthday?[eg.19000101] " && \⏎ read bday && \⏎echo -n $bday | \⏎sed -e 's/\([0-9]\{4\}\)\([0-9]\{2\}\)\([0-9]\{2\}\)/\1\/\2\/\3 00:00:00.000/' | \⏎ xargs -I@ date +%s -d @ | \⏎ xargs -I@ expr $(date +%s) - @ | \ ⏎ xargs -I@ expr @ / 60 / 60 / 24 / 365⏎ tell me your birthday?[eg.19000101] 19940930 ⏎ 25 $
もっと簡単な方法がありそうだ。
歌詞検索 いつも思うが、誰がこんなの使うんだと。
排熱用ファンと風の音の中
なんてときに便利。（おい
では、やってみる。
$ echo -n "Type lyrics you search? " && \ read i && \echo -n ${i} | \sed -e 's/ /+/g' |\ xargs -ILYRIC curl -s "https://歌詞検索サイト/search/?Aselect=4&Bselect=3&x=0&y=0&Keyword=LYRIC" |\ grep "side td1" |\ sed -e 's/^[^<]*</</; s/<a[^>]*><img[^>]*><\/a>//; s/^<[^>]*><[^>]*><[^>]*>//; s/<[^>]*><[^>]*><[^>]*><[^>]*>\([^<]*\)<.*/ \- \1/' Type lyrics you search? たっとえびゃ～きぃみぃがいるだぁけーでっ きぃみぃがいるだぁけーでっ - オレオレワールド
こんな感じ。
まぁこういうWebScraping系はナマモノなので
WOLパケット（マジックパケット）送信 Wakeup On LAN対応のPCをリモートで起動させたい。
例えば、待機任務中に原付きバイクをノーヘルで二人乗りで
実行に使っているPCではとても短時間で処理仕切れないと
ここの余裕じゃおっつかねーや
と言って、会社の電算室のコンピュータのリソースを1
さて、どうするか。
データグラムの仕様は
MACアドレスは区切り文字を含めない12文字の16進数表記と
トータル102バイトになる。
echo -eで実現できそうだ。
$ export MAC="HH:HH:HH:HH:HH:HH" &&\⏎ echo -ne "$(for i in `seq 1 6`;do echo -n "\xff" ;done) $(for i in `seq 1 16`;do echo $MAC |sed -e 's/:/\n/g' |while read j;do echo -n "\x${j} " ; done; done) " |\⏎nc -u 255.255.255.255 2304⏎
いかがだろうか。
2018/04/25追記
そういえば、遠隔地の機械にWOLパケット送ることできるんだったっけ？
mailコマンドでの一括既読 今時Linuxの中で生活している人なんていないとは
$ mail⏎ "/var/mail/hogehoge" : 680 messages 680 unread>U 1 Cron Daemon 金 9月 29 22: **/*** Cron <root@localhost> /root/bin/test.sh U 2 Cron Daemon 金 9月 29 22: **/*** Cron <root@localhost> /root/bin/test.sh U 3 Cron Daemon 金 9月 29 23: **/*** Cron <root@localhost> /root/bin/test.sh U 4 Cron Daemon 金 9月 29 23: **/*** Cron <root@localhost> /root/bin/test.sh U 5 Cron Daemon 土 9月 30 00: **/*** Cron <root@localhost> /root/bin/test.sh U 6 Cron Daemon 土 9月 30 00: **/*** Cron <root@localhost> /root/bin/test.sh U 7 Cron Daemon 土 9月 30 01: **/*** Cron <root@localhost> /root/bin/test.sh U 8 Cron Daemon 土 9月 30 01: **/*** Cron <root@localhost> /root/bin/test.sh U 9 Cron Daemon 土 9月 30 02: **/*** Cron <root@localhost> /root/bin/test.sh U 10 Cron Daemon 土 9月 30 02: **/*** Cron <root@localhost> /root/bin/test.sh U 11 Cron Daemon 土 9月 30 03: **/*** Cron <root@localhost> /root/bin/test.sh U 12 Cron Daemon 土 9月 30 04: **/*** Cron <root@localhost> /root/bin/test.sh U 13 Cron Daemon 土 9月 30 04: **/*** Cron <root@localhost> /root/bin/test.sh U 14 Cron Daemon 土 9月 30 05: **/*** Cron <root@localhost> /root/bin/test.sh U 15 Cron Daemon 土 9月 30 05: **/*** Cron <root@localhost> /root/bin/test.sh U 16 Cron Daemon 土 9月 30 05: **/*** Cron <root@localhost> /root/bin/test.sh U 17 Cron Daemon 土 9月 30 05: **/*** Cron <root@localhost> /root/bin/test.sh U 18 Cron Daemon 土 9月 30 06: **/*** Cron <root@localhost> /root/bin/test.sh U 19 Cron Daemon 土 9月 30 06: **/*** Cron <root@localhost> /root/bin/test.sh U 20 Cron Daemon 土 9月 30 06: **/*** Cron <root@localhost> /root/bin/test.sh U 21 Cron Daemon 土 9月 30 06: **/*** Cron <root@localhost> /root/bin/test.sh U 22 Cron Daemon 土 9月 30 07: **/*** Cron <root@localhost> /root/bin/test.sh U 23 Cron Daemon 土 9月 30 07: **/*** Cron <root@localhost> /root/bin/test.sh U 24 Cron Daemon 土 9月 30 07: **/*** Cron <root@localhost> /root/bin/test.sh U 25 Cron Daemon 土 9月 30 08: **/*** Cron <root@localhost> /root/bin/test.sh U 26 Cron Daemon 土 9月 30 08: **/*** Cron <root@localhost> /root/bin/test.sh U 27 Cron Daemon 土 9月 30 08: **/*** Cron <root@localhost> /root/bin/test.sh U 28 Cron Daemon 土 9月 30 08: **/*** Cron <root@localhost> /root/bin/test.sh U 29 Cron Daemon 土 9月 30 08: **/*** Cron <root@localhost> /root/bin/test.sh U 30 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 31 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 32 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 33 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 34 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 35 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 36 Cron Daemon 土 9月 30 09: **/*** Cron <root@localhost> /root/bin/test.sh U 37 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 38 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 39 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 40 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 41 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 42 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 43 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 44 Cron Daemon 土 9月 30 10: **/*** Cron <root@localhost> /root/bin/test.sh U 45 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 46 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 47 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 48 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 49 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 50 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 51 Cron Daemon 土 9月 30 11: **/*** Cron <root@localhost> /root/bin/test.sh U 52 Cron Daemon 土 9月 30 12: **/*** Cron <root@localhost> /root/bin/test.sh U 53 Cron Daemon 土 9月 30 12: **/*** Cron <root@localhost> /root/bin/test.sh U 54 Cron Daemon 土 9月 30 12: **/*** Cron <root@localhost> /root/bin/test.sh U 55 Cron Daemon 土 9月 30 12: **/*** Cron <root@localhost> /root/bin/test.sh U 56 Cron Daemon 土 9月 30 12: **/*** Cron <root@localhost> /root/bin/test.sh ?
と、私の作ったしょうもないスクリプトを実直にもCronさまが
$ cat /var/mail/`whoami ` >>$HOME /mbox && echo >/var/mail/`whoami `⏎
みたいな感じなんだろうけど、これが良い方法なのかよくわからない。
$ for i in `seq 1 680`; do mail <<<1 >/dev/null; done⏎
680通のメールを1通ずつ読んだことにすれば
カラーテーブル逆引き どこにこんな需要があるのか知らないけどこんなのはどうだろう。
なんだろう、使うのかな？colordic.org さんの
$ echo -n "Enter color code you search? " && \ ⏎ read i && \ ⏎curl -s https://www.colordic.org/colorsample/ |\ ⏎ grep "<a style=\"" | grep "${i} " | \ ⏎ sed -e 's/^.*<a style=\"border\-color:\([^\"]*\)\"[^$]*>\([^<]*\)<\/a>$/The answer is \2 (\1)/g' |\ ⏎ grep -v "is #" ⏎ Enter color code you search? 000000 The answer is black (#000000) The answer is ブラック (#000000) $
いかがだろうか。
$ echo -n "Enter color code you search? " && \ ⏎ read i && \ ⏎curl -s https://www.colordic.org/colorsample/ |\ ⏎ grep "<a style=\"" | grep "${i} " | \ ⏎ sed -e 's/^.*<a style=\"border\-color:\([^\"]*\)\"[^$]*>\([^<]*\)<\/a>$/The answer is \2 (\1)/g' |\ ⏎ grep -v "is #" ⏎ Enter color code you search? a8 The answer is salmon (#fa8072) The answer is 蘇芳香 (#a86965) The answer is 遠州茶 (#ca8269) The answer is 胡桃色 (#a86f4c) The answer is 柳色 (#a8c97f) The answer is 青白橡 (#9ba88d) The answer is 山葵色 (#a8bf93) The answer is 花浅葱 (#2a83a2) The answer is 紺瑠璃 (#164a84) The answer is 薄色 (#a89dac) The answer is オーカー (#ba8b40) The answer is エジプシャンブルー (#0073a8) The answer is ブルーラベンダー (#a4a8d4) The answer is オーキッドピンク (#da81b2) $
もちろん、カラー名でも検索できる。
ふぁ？結局色分からねーじゃん。
ってなると思うので色も分かるようにしたい。
$ echo -n "Enter color code you search? " && \ ⏎ read i && \ ⏎curl -s https://www.colordic.org/colorsample |\ ⏎ grep "<a[^>]*style=\"" |\ ⏎ sed -e 's/ href=\"[^$]*\">/>/' |\ ⏎ grep "${i} " | \ ⏎ sed -e 's/^.*<a[^>]*style=\"border\-color:\([^\"]*\)\"[^$]*>\([^<]*\)<\/a>$/\2 \1/g' |\ ⏎ grep -v "^#" |\ ⏎ while read j; ⏎do ⏎a=$j ; echo -n ${j##*#} |\ ⏎ sed -e 's/\(..\)\(..\)\(..\)/0x\1 0x\2 0x\3/' |\ ⏎ awk '{system("echo -n $(("$1")) $(("$2")) $(("$3"))");}' |\ ⏎ xargs -IARGS echo -n ARGS $a |\ ⏎ awk '{system("printf \047\x1b[48;2;%s;%s;%sm\047 "$1" "$2" "$3"; echo -n \"The answer is "$4" ("$5")\"; printf \047\x1b[0m\047; echo ;");}' ; ⏎ done ⏎
いかがだろうか。
そしてここまでやってふと頭によぎる最大の命題。
これって誰が必要なの？？ う、、うん、、、まぁ、私？ ぐらい？？ みたいな？？？
てきな？？？？？
は？
２段階検索 さて2段階検索ってことをしてみたい。
Dec 1 07:43:01 excalibur appA[25033.25037]: connect start Dec 1 07:43:02 excalibur appA[25033.25038]: connect start Dec 1 07:43:04 excalibur appA[25033.25037]: command execute Dec 1 07:43:05 excalibur appA[25033.25038]: command execute Dec 1 07:43:09 excalibur appA[25033.25039]: connect start Dec 1 07:43:10 excalibur appA[25033.25037]: command successful Dec 1 07:43:10 excalibur appA[25033.25040]: connect start Dec 1 07:43:10 excalibur appA[25033.25040]: command execute Dec 1 07:43:11 excalibur appA[25033.25038]: command failed Dec 1 07:43:11 excalibur appA[25033.25039]: command execute Dec 1 07:43:15 excalibur appA[25033.25039]: command successful ・ ・ ・
これはexcaliburというホスト名のサーバがappAという
さて今回のお題目は、上記ログにfailedを出力してコマンドが時刻 をどうやって知るか。
ではやってみる。
$ tail -f /var/log/app.log |\ grep failed |\ sed -e 's/^.*\[\([0-9]\{1,5\}.[0-9]\{1,5\}\)\].*$/\1/' |\ xargs -ITHRDID grep "THRDID" /var/log/app.log |\ grep -E "(connect start|command failed)" |\ awk '{print $1,$2,$3,substr($0, index($0, ": "));}' Dec 1 07:43:02 : connect start Dec 1 07:43:11 : command failed
どうだろうか。ま、今回も「こんな長いコマンド打てっか！？」
円ドル換算 これも需要があるかはわからん。
$ w3m -F http://google.com/
って打って海外サイトとかで市場調査とか$299 とか書いてたりして速攻で円で計算したくなる。は？ ）
では早速コマンド一発でやってみる。CurrencyConverterRate.comさん のページを参考に
$ export myCUR=299 && \ curl -s -q http://jp.currencyconverterrate.com/usd/jpy.html |\ grep -A 1 -E "<td>1 (JPY|USD) = <\/td>" |\ head -2 | tail -1 |\sed -e "s/<[^>]*>//g; s/JPY//; s/USD//; s/ //g" |\ xargs -ICUR echo "scale=5; CUR * ${myCUR} " |\ bc | sed -e "s/^\./0./" 33279.298
こんな長いコマンド打ってられっか！
ただシェルスクリプトにしたら比較的便利に使える。
文章を画像に変換 こんなん誰に需要があるんだって感じだけど
で、スマホやPS3、ブラビアのようなdlnaクライアントからその画像を見ると、ま、ニッチだよね。
では、パソコンを起動しないと見れない情報ってなんだ？っていうと
それでは、ここでは例として家のファイルサーバのディスク容量をdfコマンド とImageMagickパッケージ内のconvertコマンド 、日本語フォント 。dfコマンド結果によっては日本語フォントでなくてもよい
$ df -h |\ convert -background white -fill black -font /usr/share/fonts/truetype/fonts-japanese-gothic.ttf -pointsize 32 label:@- /tmp/df-result.png
こんなんでどうだろう？
ファイル名の一括変換 規則性のない名前のついたファイルが数百とあるディレクトリの中から
deleteable_日付_連番_元のファイル名.拡張子
というファイル名にしたいとする。
３日以上経ったかはfindのオプションで抽出するとしてseqコマンド でseq 1 100なんて使ったら、
そこで私は以下のようにしてみた。
$ find ./対象のディレクトリ/ -mtime +3 -type f -print |\ while read i;do mv ${i} deleteable_$(date +%Y%m%d)_$(ls -l |grep deleteable_$(date +%Y%m%d)_ |wc -l |xargs -Innn expr nnn + 1)_$(basename ${i} );done
どうだろうか。おそらく数百のファイルならストレスなくいけるけど
○○○○占いの傾向を探る いつも朝に見ている*○○○○テレビ*○○○○占い 。
それで私の星座がいつも悪いような気がしてならない。
保存する情報は、日付と12個の順位。
$ curl -s http://****占いのURL/ |\ grep -E "(<span>[^<]*<\/span>)" |\ sed -e 's/<[^>]*>//g; /^ .*/d' |\ while read i;do echo -n "${i} ," |\tr -d \\r >> fortunedb.csv;done && echo "" >>fortunedb.csv
ファイル名が２回出てきているのが駄目だな。
0 12 * * 1,2,3,4,5 上記コマンド
めざまし占い(言っちゃった)は月曜から金曜までなので
ネットワーク帯域を調べる Linuxでネットワーク帯域を調べたいなと。
そこで、帯域を定期的に調べて、著しく遅い時間帯を
と、前置きはここまでにして
普通に思いつくのは疎通確認にいつも使っているping。
例えば、インターネットで使用されているTCPの
さてここでいささか問題が。
$ ping -c 5 -s 65000 www.yahoo.co.jp |\ grep avg |\ awk 'BEGIN{FS="/";a=65000*2*8} {print (a/($5/1000))/100000;}' 43.4508654 $
こんな感じ。単位はMbps。
