af68f109efb734f5347b57dff9eb0d0ec3290c7c
[buildfarm-server.git] / cgi-bin / eximstatus.pl
1 #!/usr/bin/perl
2
3 =comment
4
5 Copyright (c) 2003-2010, Andrew Dunstan
6
7 See accompanying License file for license details
8
9 =cut 
10
11 use strict;
12
13 use vars qw($dbhost $dbname $dbuser $dbpass $dbport
14        $all_stat $fail_stat $change_stat $green_stat
15        $server_time
16            $min_script_version $min_web_script_version
17        $default_host $local_git_clone
18 );
19
20 # force this before we do anything - even load modules
21 BEGIN { $server_time = time; }
22
23 use CGI;
24 use Digest::SHA1  qw(sha1_hex);
25 use MIME::Base64;
26 use DBI;
27 use DBD::Pg;
28 use Data::Dumper;
29 use Mail::Send;
30 use Time::ParseDate;
31 use Storable qw(thaw);
32
33 use FindBin qw($RealBin);
34 require "$RealBin/../BuildFarmWeb.pl";
35
36 my $buildlogs = "/home/farm/server/buildlogs";
37
38 die "no dbname" unless $dbname;
39 die "no dbuser" unless $dbuser;
40
41 my $dsn="dbi:Pg:dbname=$dbname";
42 $dsn .= ";host=$dbhost" if $dbhost;
43 $dsn .= ";port=$dbport" if $dbport;
44
45 my $query = new CGI;
46
47 my $sig = $query->path_info;
48 $sig =~ s!^/!!;
49
50 my $stage = $query->param('stage');
51 my $ts = $query->param('ts');
52 my $animal = $query->param('animal');
53 my $log = $query->param('log');
54 my $res = $query->param('res');
55 my $conf = $query->param('conf');
56 my $branch = $query->param('branch');
57 my $changed_since_success = $query->param('changed_since_success');
58 my $changed_this_run = $query->param('changed_files');
59 my $log_archive = $query->param('logtar');
60 my $frozen_sconf = $query->param('frozen_sconf') || '';
61
62 my $brhandle;
63 if (open($brhandle,"../htdocs/branches_of_interest.txt"))
64 {
65     my @branches_of_interest = <$brhandle>;
66     close($brhandle);
67     chomp(@branches_of_interest);
68     unless (grep {$_ eq $branch} @branches_of_interest)
69     {
70         print
71             "Status: 492 bad branch parameter $branch\nContent-Type: text/plain\n\n",
72             "bad branch parameter $branch\n";
73         exit;   
74     }
75 }
76
77
78 my $content = 
79         "branch=$branch&res=$res&stage=$stage&animal=$animal&".
80         "ts=$ts&log=$log&conf=$conf";
81
82 my $extra_content = 
83         "changed_files=$changed_this_run&".
84         "changed_since_success=$changed_since_success&";
85
86 unless ($animal && $ts && $stage && $sig)
87 {
88         print 
89             "Status: 490 bad parameters\nContent-Type: text/plain\n\n",
90             "bad parameters for request\n";
91         exit;
92         
93 }
94
95 # Want to allow all kinds of named branches
96 #unless ($branch =~ /^(HEAD|REL\d+_\d+_STABLE)$/)
97 #{
98 #        print
99 #            "Status: 492 bad branch parameter $branch\nContent-Type: text/plain\n\n",
100 #            "bad branch parameter $branch\n";
101 #        exit;
102 #
103 #}
104
105
106 my $db = DBI->connect($dsn,$dbuser,$dbpass);
107
108 die $DBI::errstr unless $db;
109
110 my $gethost=
111     "select secret from buildsystems where name = ? and status = 'approved'";
112 my $sth = $db->prepare($gethost);
113 $sth->execute($animal);
114 my ($secret)=$sth->fetchrow_array();
115 $sth->finish;
116
117 my $tsdiff = time - $ts;
118
119 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($ts);
120 $year += 1900; $mon +=1;
121 my $date=
122     sprintf("%d-%.2d-%.2d_%.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
123
124 if ($ENV{BF_DEBUG} || ($ts > time) || ($ts + 86400 < time ) || (! $secret) )
125 {
126     open(TX,">$buildlogs/$animal.$date");
127     print TX "sig=$sig\nlogtar-len=" , length($log_archive),
128         "\nstatus=$res\nstage=$stage\nconf:\n$conf\n",
129         "tsdiff:$tsdiff\n",
130         "changed_this_run:\n$changed_this_run\n",
131         "changed_since_success:\n$changed_since_success\n",
132         "frozen_sconf:$frozen_sconf\n",
133         "log:\n",$log;
134 #    $query->save(\*TX);
135     close(TX);
136 }
137
138 unless ($ts < time + 120)
139 {
140     my $gmt = gmtime($ts);
141     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is in the future.\n",
142     "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is in the future\n";
143         $db->disconnect;
144     exit;
145 }
146
147 unless ($ts + 86400 > time)
148 {
149     my $gmt = gmtime($ts);
150     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n",
151      "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n";
152     $db->disconnect;
153     exit;
154 }
155
156 unless ($secret)
157 {
158         print 
159             "Status: 495 Unknown System\nContent-Type: text/plain\n\n",
160             "System $animal is unknown\n";
161         $db->disconnect;
162         exit;
163         
164 }
165
166
167
168
169 my $calc_sig = sha1_hex($content,$secret);
170 my $calc_sig2 = sha1_hex($extra_content,$content,$secret);
171
172 if ($calc_sig ne $sig && $calc_sig2 ne $sig)
173 {
174
175         print "Status: 450 sig mismatch\nContent-Type: text/plain\n\n";
176         print "$sig mismatches $calc_sig($calc_sig2) on content:\n$content";
177         $db->disconnect;
178         exit;
179 }
180
181 # undo escape-proofing of base64 data and decode it
182 map {tr/$@/+=/; $_ = decode_base64($_); } 
183     ($log, $conf,$changed_this_run,$changed_since_success,$log_archive, $frozen_sconf);
184
185 if ($log =~/Last file mtime in snapshot: (.*)/)
186 {
187     my $snaptime = parsedate($1);
188     my $brch = $branch eq 'HEAD' ? 'master' : $branch;
189     my $last_branch_time = time - (30 * 86400);
190     $last_branch_time = `TZ=UTC GIT_DIR=$local_git_clone git log -1 --pretty=format:\%ct  $brch`;
191     if ($snaptime < ($last_branch_time - 86400))
192     {
193         print "Status: 493 snapshot too old: $1\nContent-Type: text/plain\n\n";
194         print "snapshot to old: $1\n";
195         $db->disconnect;
196         exit;   
197     }
198 }
199
200 ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = gmtime($ts);
201 $year += 1900; $mon +=1;
202 my $dbdate=
203     sprintf("%d-%.2d-%.2d %.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
204
205 my $log_file_names;
206 my @log_file_names;
207 my $dirname = "$buildlogs/tmp.$$.unpacklogs";
208
209 my $githeadref;
210
211 if ($log_archive)
212 {
213     my $log_handle;
214     my $archname = "$buildlogs/tmp.$$.tgz";
215     open($log_handle,">$archname");
216     binmode $log_handle;
217     print $log_handle $log_archive;
218     close $log_handle;
219     mkdir $dirname;
220     @log_file_names = `tar -z -C $dirname -xvf $archname 2>/dev/null`;
221     map {s/\s+//g; } @log_file_names;
222     my @qnames = grep { $_ ne 'githead.log' } @log_file_names;
223     map { $_ = qq("$_"); } @qnames;
224     $log_file_names = '{' . join(',',@qnames) . '}';
225     if (-e "$dirname/githead.log" )
226     {
227         open(my $githead,"$dirname/githead.log");
228         $githeadref = <$githead>;
229         chomp $githeadref;
230         close $githead;
231     }
232     unlink $archname;
233 }
234
235 my $config_flags;
236 my $client_conf;
237 if ($frozen_sconf)
238 {
239     $client_conf = thaw $frozen_sconf;
240 }
241
242 if ($min_script_version)
243 {
244         $client_conf->{script_version} ||= '0.0';
245         my $cli_ver = $client_conf->{script_version} ;
246         $cli_ver =~ s/^REL_//;
247         my ($minmajor,$minminor) = split(/\./,$min_script_version);
248         my ($smajor,$sminor) = split(/\./,$cli_ver);
249         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
250         {
251                 print "Status: 460 script version too low\nContent-Type: text/plain\n\n";
252                 print 
253                         "Script version is below minimum required\n",
254                         "Reported version: $client_conf->{script_version},",
255                         "Minumum version required: $min_script_version\n";
256                 $db->disconnect;
257                 exit;
258         }
259 }
260
261 if ($min_web_script_version)
262 {
263         $client_conf->{web_script_version} ||= '0.0';
264         my $cli_ver = $client_conf->{web_script_version} ;
265         $cli_ver =~ s/^REL_//;
266         my ($minmajor,$minminor) = split(/\./,$min_web_script_version);
267         my ($smajor,$sminor) = split(/\./,$cli_ver);
268         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
269         {
270                 print "Status: 461 web script version too low\nContent-Type: text/plain\n\n";
271                 print 
272                         "Web Script version is below minimum required\n",
273                         "Reported version: $client_conf->{web_script_version}, ",
274                         "Minumum version required: $min_web_script_version\n"
275                         ;
276                 $db->disconnect;
277                 exit;
278         }
279 }
280
281 my @config_flags;
282 if (not exists $client_conf->{config_opts} )
283 {
284         @config_flags = ();
285 }
286 elsif (ref $client_conf->{config_opts} eq 'HASH')
287 {
288         # leave out keys with false values
289         @config_flags = grep { $client_conf->{config_opts}->{$_} } 
290             keys %{$client_conf->{config_opts}};
291 }
292 elsif (ref $client_conf->{config_opts} eq 'ARRAY' )
293 {
294         @config_flags = @{$client_conf->{config_opts}};
295 }
296
297 if (@config_flags)
298 {
299     @config_flags = grep {! m/=/ } @config_flags;
300     map {s/\s+//g; $_=qq("$_"); } @config_flags;
301     push @config_flags,'git' if $client_conf->{scm} eq 'git';
302     push(@config_flags, 'doc')
303       if (defined $client_conf->{'optional_steps'}->{'make-doc'});
304     push(@config_flags, 'test')
305       if (defined $client_conf->{'optional_steps'}->{'test'});
306     $config_flags = '{' . join(',',@config_flags) . '}' ;
307 }
308
309 my $scm = $client_conf->{scm} || 'cvs';
310 my $scmurl = $client_conf->{scm_url};
311
312 my $logst = <<EOSQL;
313     insert into build_status 
314       (sysname, snapshot,status, stage, log,conf_sum, branch,
315        changed_this_run, changed_since_success, 
316        log_archive_filenames , log_archive, build_flags, scm, scmurl, 
317        git_head_ref,frozen_conf)
318     values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)
319 EOSQL
320 ;
321
322
323 # this transaction lets us set log_error_verbosity to terse
324 # just for the duration of the transaction. That turns off logging the
325 # bind params, so all the logs don't get stuffed on the postgres logs
326
327
328 my $sqlres;
329 $db->begin_work;
330 #$db->do("select set_local_error_terse()");
331
332
333 $sth=$db->prepare($logst);
334
335 $sth->bind_param(1,$animal);
336 $sth->bind_param(2,$dbdate);
337 $sth->bind_param(3,$res & 0x8fffffff); # in case we get a 64 bit int status!
338 $sth->bind_param(4,$stage);
339 $sth->bind_param(5,$log);
340 $sth->bind_param(6,$conf);
341 $sth->bind_param(7,$branch);
342 $sth->bind_param(8,$changed_this_run);
343 $sth->bind_param(9,$changed_since_success);
344 $sth->bind_param(10,$log_file_names);
345 #$sth->bind_param(11,$log_archive,{ pg_type => DBD::Pg::PG_BYTEA });
346 $sth->bind_param(11,undef,{ pg_type => DBD::Pg::PG_BYTEA });
347 $sth->bind_param(12,$config_flags);
348 $sth->bind_param(13,$scm);
349 $sth->bind_param(14,$scmurl);
350 $sth->bind_param(15,$githeadref);
351 $sth->bind_param(16,$frozen_sconf,{ pg_type => DBD::Pg::PG_BYTEA });
352
353 $sqlres = $sth->execute;
354
355 if ($sqlres)
356 {
357
358         $sth->finish;
359
360         my $logst2 = q{
361
362           insert into build_status_log 
363                 (sysname, snapshot, branch, log_stage, log_text, stage_duration)
364                 values (?, ?, ?, ?, ?, ?)
365
366     };
367
368         $sth = $db->prepare($logst2);
369
370         $/=undef;
371
372         my $stage_start = $ts;
373
374         foreach my $log_file( @log_file_names )
375         {
376                 next if $log_file =~ /^githead/;
377                 my $handle;
378                 open($handle,"$dirname/$log_file");
379                 my $mtime = (stat $handle)[9];
380                 my $stage_interval = $mtime - $stage_start;
381                 $stage_start = $mtime;
382                 my $ltext = <$handle>;
383                 close($handle);
384                 $ltext =~ s/\x00/\\0/g;
385                 $sqlres = $sth->execute($animal,$dbdate,$branch,$log_file,$ltext, 
386                           "$stage_interval seconds");
387                 last unless $sqlres;
388         }
389
390         $sth->finish unless $sqlres;
391
392 }
393
394 if (! $sqlres)
395 {
396
397         print "Status: 462 database failure\nContent-Type: text/plain\n\n";
398         print "Your report generated a database failure:\n", 
399                $db->errstr, 
400                          "\n";
401         $db->rollback;
402         $db->disconnect;
403         exit;
404 }
405
406
407 $db->commit;
408
409 my $prevst = <<EOSQL;
410
411   select coalesce((select distinct on (snapshot) stage
412                   from build_status
413                   where sysname = ? and branch = ? and snapshot < ?
414                   order by snapshot desc
415                   limit 1), 'NEW') as prev_status
416   
417 EOSQL
418
419 $sth=$db->prepare($prevst);
420 $sth->execute($animal,$branch,$dbdate);
421 my $row=$sth->fetchrow_arrayref;
422 my $prev_stat=$row->[0];
423 $sth->finish;
424
425 my $det_st = <<EOS;
426
427           select operating_system|| ' / ' || os_version as os , 
428                  compiler || ' / ' || compiler_version as compiler, 
429                  architecture as arch
430           from buildsystems 
431           where status = 'approved'
432                 and name = ?
433
434 EOS
435 ;
436 $sth=$db->prepare($det_st);
437 $sth->execute($animal);
438 $row=$sth->fetchrow_arrayref;
439 my ($os, $compiler,$arch) = @$row;
440 $sth->finish;
441
442 $db->begin_work;
443 # prevent occasional duplication by forcing serialization of this operation
444 $db->do("lock table dashboard_mat in share row exclusive mode");
445 $db->do("delete from dashboard_mat");
446 $db->do("insert into dashboard_mat select * from dashboard_mat_data");
447 $db->commit;
448
449 if ($stage ne 'OK')
450 {
451         $db->begin_work;
452         # prevent occasional duplication by forcing serialization of this operation
453         $db->do("lock table nrecent_failures in share row exclusive mode");
454         $db->do("delete from nrecent_failures");
455         $db->do("insert into nrecent_failures select bs.sysname, bs.snapshot, bs.branch from build_status bs where bs.stage <> 'OK' and bs.snapshot > now() - interval '90 days'");
456         $db->commit;
457 }
458
459 $db->disconnect;
460
461 print "Content-Type: text/plain\n\n";
462 print "request was on:\n";
463 print "res=$res&stage=$stage&animal=$animal&ts=$ts";
464
465 my $client_events = $client_conf->{mail_events};
466
467 if ($ENV{BF_DEBUG})
468 {
469         my $client_time = $client_conf->{current_ts};
470     open(TX,">>$buildlogs/$animal.$date");
471     print TX "\n",Dumper(\$client_conf),"\n";
472         print TX "server time: $server_time, client time: $client_time\n" if $client_time;
473     close(TX);
474 }
475
476 my $bcc_stat = [];
477 my $bcc_chg=[];
478 if (ref $client_events)
479 {
480     my $cbcc = $client_events->{all};
481     if (ref $cbcc)
482     {
483         push @$bcc_stat, @$cbcc;
484     }
485     elsif (defined $cbcc)
486     {
487         push @$bcc_stat, $cbcc;
488     }
489     if ($stage ne 'OK')
490     {
491         $cbcc = $client_events->{all};
492         if (ref $cbcc)
493         {
494             push @$bcc_stat, @$cbcc;
495         }
496         elsif (defined $cbcc)
497         {
498             push @$bcc_stat, $cbcc;
499         }
500     }
501     $cbcc = $client_events->{change};
502     if (ref $cbcc)
503     {
504         push @$bcc_chg, @$cbcc;
505     }
506     elsif (defined $cbcc)
507     {
508         push @$bcc_chg, $cbcc;
509     }
510     if ($stage eq 'OK' || $prev_stat eq 'OK')
511     {
512         $cbcc = $client_events->{green};
513         if (ref $cbcc)
514         {
515             push @$bcc_chg, @$cbcc;
516         }
517         elsif (defined $cbcc)
518         {
519             push @$bcc_chg, $cbcc;
520         }
521     }
522 }
523
524
525 my $url = $query->url(-base => 1);
526
527
528 my $stat_type = $stage eq 'OK' ? 'Status' : 'Failed at Stage';
529
530 my $mailto = [@$all_stat];
531 push(@$mailto,@$fail_stat) if $stage ne 'OK';
532
533 my $me = `id -un`; chomp($me);
534
535 my $host = `hostname`; chomp ($host);
536 $host = $default_host unless ($host =~ m/[.]/ || !defined($default_host));
537
538 my $from_addr = "Exim Build Farm <$me\@$host>";
539 $from_addr =~ tr /\r\n//d;
540
541 my $msg = new Mail::Send;
542
543
544 $msg->to(@$mailto);
545 $msg->bcc(@$bcc_stat) if (@$bcc_stat);
546 $msg->subject("Exim BuildFarm member $animal Branch $branch $stat_type $stage");
547 $msg->set('From',$from_addr);
548 my $fh = $msg->open;
549 print $fh <<EOMAIL; 
550
551
552 The Exim BuildFarm member $animal had the following event on branch $branch:
553
554 $stat_type: $stage
555
556 The snapshot timestamp for the build that triggered this notification is: $dbdate
557
558 The specs of this machine are:
559 OS:  $os
560 Arch: $arch
561 Comp: $compiler
562
563 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
564
565 EOMAIL
566
567 $fh->close;
568
569 exit if ($stage eq $prev_stat);
570
571 $mailto = [@$change_stat];
572 push(@$mailto,@$green_stat) if ($stage eq 'OK' || $prev_stat eq 'OK');
573
574 $msg = new Mail::Send;
575
576
577 $msg->to(@$mailto);
578 $msg->bcc(@$bcc_chg) if (@$bcc_chg);
579
580 $stat_type = $prev_stat ne 'OK' ? "changed from $prev_stat failure to $stage" :
581     "changed from OK to $stage";
582 $stat_type = "New member: $stage" if $prev_stat eq 'NEW';
583 $stat_type .= " failure" if $stage ne 'OK';
584
585 $msg->subject("Exim BuildFarm member $animal Branch $branch Status $stat_type");
586 $msg->set('From',$from_addr);
587 $fh = $msg->open;
588 print $fh <<EOMAIL;
589
590 The Exim BuildFarm member $animal had the following event on branch $branch:
591
592 Status $stat_type
593
594 The snapshot timestamp for the build that triggered this notification is: $dbdate
595
596 The specs of this machine are:
597 OS:  $os
598 Arch: $arch
599 Comp: $compiler
600
601 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
602
603 EOMAIL
604
605 $fh->close;