reduce cols in log stages section
[buildfarm-server.git] / cgi-bin / pgstatus.pl
1 #!/usr/bin/perl
2
3 use strict;
4
5 use vars qw($dbhost $dbname $dbuser $dbpass $dbport
6        $all_stat $fail_stat $change_stat $green_stat
7        $server_time
8            $min_script_version $min_web_script_version
9 );
10
11 # force this before we do anything - even load modules
12 BEGIN { $server_time = time; }
13
14 use CGI;
15 use Digest::SHA1  qw(sha1_hex);
16 use MIME::Base64;
17 use DBI;
18 use DBD::Pg;
19 use Data::Dumper;
20 use Mail::Send;
21 use Safe;
22
23 require "$ENV{BFConfDir}/BuildFarmWeb.pl";
24
25 die "no dbname" unless $dbname;
26 die "no dbuser" unless $dbuser;
27
28 my $dsn="dbi:Pg:dbname=$dbname";
29 $dsn .= ";host=$dbhost" if $dbhost;
30 $dsn .= ";port=$dbport" if $dbport;
31
32 my $query = new CGI;
33
34 my $sig = $query->path_info;
35 $sig =~ s!^/!!;
36
37 my $stage = $query->param('stage');
38 my $ts = $query->param('ts');
39 my $animal = $query->param('animal');
40 my $log = $query->param('log');
41 my $res = $query->param('res');
42 my $conf = $query->param('conf');
43 my $branch = $query->param('branch');
44 my $changed_since_success = $query->param('changed_since_success');
45 my $changed_this_run = $query->param('changed_files');
46 my $log_archive = $query->param('logtar');
47
48 my $content = 
49         "branch=$branch&res=$res&stage=$stage&animal=$animal&".
50         "ts=$ts&log=$log&conf=$conf";
51
52 my $extra_content = 
53         "changed_files=$changed_this_run&".
54         "changed_since_success=$changed_since_success&";
55
56 unless ($animal && $ts && $stage && $sig)
57 {
58         print 
59             "Status: 490 bad parameters\nContent-Type: text/plain\n\n",
60             "bad parameters for request\n";
61         exit;
62         
63 }
64
65
66 my $db = DBI->connect($dsn,$dbuser,$dbpass);
67
68 die $DBI::errstr unless $db;
69
70 my $gethost=
71     "select secret from buildsystems where name = ? and status = 'approved'";
72 my $sth = $db->prepare($gethost);
73 $sth->execute($animal);
74 my ($secret)=$sth->fetchrow_array();
75 $sth->finish;
76
77 my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($ts);
78 $year += 1900; $mon +=1;
79 my $date=
80     sprintf("%d-%.2d-%.2d_%.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
81
82 if ($ENV{BF_DEBUG} || ($ts > time) || ($ts + 86400 < time ) || (! $secret) )
83 {
84     open(TX,">../buildlogs/$animal.$date");
85     print TX "sig=$sig\nlogtar-len=" , length($log_archive),
86         "\nstatus=$res\nstage=$stage\nconf:\n$conf\n",
87         "changed_this_run:\n$changed_this_run\n",
88         "changed_since_success:\n$changed_since_success\n",
89         "log:\n",$log;
90 #    $query->save(\*TX);
91     close(TX);
92 }
93
94 unless ($ts < time)
95 {
96     my $gmt = gmtime($ts);
97     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is in the future.\n",
98     "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is in the future\n";
99         $db->disconnect;
100     exit;
101 }
102
103 unless ($ts + 86400 > time)
104 {
105     my $gmt = gmtime($ts);
106     print "Status: 491 bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n",
107      "Content-Type: text/plain\n\n bad ts parameter - $ts ($gmt GMT) is more than 24 hours ago.\n";
108     $db->disconnect;
109     exit;
110 }
111
112 unless ($secret)
113 {
114         print 
115             "Status: 495 Unknown System\nContent-Type: text/plain\n\n",
116             "System $animal is unknown\n";
117         $db->disconnect;
118         exit;
119         
120 }
121
122
123
124
125 my $calc_sig = sha1_hex($content,$secret);
126 my $calc_sig2 = sha1_hex($extra_content,$content,$secret);
127
128 if ($calc_sig ne $sig && $calc_sig2 ne $sig)
129 {
130
131         print "Status: 450 sig mismatch\nContent-Type: text/plain\n\n";
132         print "$sig mismatches $calc_sig($calc_sig2) on content:\n$content";
133         $db->disconnect;
134         exit;
135 }
136
137 # undo escape-proofing of base64 data and decode it
138 map {tr/$@/+=/; $_ = decode_base64($_); } 
139     ($log, $conf,$changed_this_run,$changed_since_success,$log_archive);
140
141 ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = gmtime($ts);
142 $year += 1900; $mon +=1;
143 my $dbdate=
144     sprintf("%d-%.2d-%.2d %.2d:%.2d:%.2d",$year,$mon,$mday,$hour,$min,$sec);
145
146 my $log_file_names;
147 my @log_file_names;
148 my $dirname = "../buildlogs/tmp.$$.unpacklogs";
149
150 if ($log_archive)
151 {
152     my $log_handle;
153     my $archname = "../buildlogs/tmp.$$.tgz";
154     open($log_handle,">$archname");
155     binmode $log_handle;
156     print $log_handle $log_archive;
157     close $log_handle;
158     mkdir $dirname;
159     @log_file_names = `tar -z -C $dirname -xvf $archname 2>/dev/null`;
160     map {s/\s+//g; } @log_file_names;
161     my @qnames = @log_file_names;
162     map { $_ = qq("$_"); } @qnames;
163     $log_file_names = '{' . join(',',@qnames) . '}';
164     # unlink $archname;
165 }
166
167 my $config_flags;
168 my $container = new Safe;
169 my $sconf = $conf; 
170 unless ($sconf =~ s/.*(\$Script_Config)/$1/ms )
171 {
172     $sconf = '$Script_Config={};';
173 }
174 my $client_conf = $container->reval("$sconf;");
175
176 if ($min_script_version)
177 {
178         $client_conf->{script_version} ||= '0.0';
179         my ($minmajor,$minminor) = split(/\./,$min_script_version);
180         my ($smajor,$sminor) = split(/\./,$client_conf->{script_version});
181         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
182         {
183                 print "Status: 460 script version too low\nContent-Type: text/plain\n\n";
184                 print 
185                         "Script version is below minimum required\n",
186                         "Reported version: $client_conf->{script_version},",
187                         "Minumum version required: $min_script_version\n";
188                 $db->disconnect;
189                 exit;
190         }
191 }
192
193 if ($min_web_script_version)
194 {
195         $client_conf->{web_script_version} ||= '0.0';
196         my ($minmajor,$minminor) = split(/\./,$min_script_version);
197         my ($smajor,$sminor) = split(/\./,$client_conf->{script_version});
198         if ($minmajor > $smajor || ($minmajor == $smajor && $minminor > $sminor))
199         {
200                 print "Status: 461 web script version too low\nContent-Type: text/plain\n\n";
201                 print 
202                         "Web Script version is below minimum required\n",
203                         "Reported version: $client_conf->{web_script_version},",
204                         "Minumum version required: $min_web_script_version\n";
205                 $db->disconnect;
206                 exit;
207         }
208 }
209
210 my @config_flags;
211 if (not exists $client_conf->{config_opts} )
212 {
213         @config_flags = ();
214 }
215 elsif (ref $client_conf->{config_opts} eq 'HASH')
216 {
217         # leave out keys with false values
218         @config_flags = grep { $client_conf->{config_opts}->{$_} } 
219             keys %{$client_conf->{config_opts}};
220 }
221 elsif (ref $client_conf->{config_opts} eq 'ARRAY' )
222 {
223         @config_flags = @{$client_conf->{config_opts}};
224 }
225
226 if (@config_flags)
227 {
228     @config_flags = grep {! m/=/ } @config_flags;
229     map {s/\s+//g; $_=qq("$_"); } @config_flags;
230     $config_flags = '{' . join(',',@config_flags) . '}' ;
231 }
232
233
234 my $logst = <<EOSQL;
235     insert into build_status 
236       (sysname, snapshot,status, stage, log,conf_sum, branch,
237        changed_this_run, changed_since_success, 
238        log_archive_filenames , log_archive, build_flags)
239     values(?,?,?,?,?,?,?,?,?,?,?,?)
240 EOSQL
241 ;
242 $sth=$db->prepare($logst);
243
244 $sth->bind_param(1,$animal);
245 $sth->bind_param(2,$dbdate);
246 $sth->bind_param(3,$res);
247 $sth->bind_param(4,$stage);
248 $sth->bind_param(5,$log);
249 $sth->bind_param(6,$conf);
250 $sth->bind_param(7,$branch);
251 $sth->bind_param(8,$changed_this_run);
252 $sth->bind_param(9,$changed_since_success);
253 $sth->bind_param(10,$log_file_names);
254 #$sth->bind_param(11,$log_archive,{ pg_type => DBD::Pg::PG_BYTEA });
255 $sth->bind_param(11,undef,{ pg_type => DBD::Pg::PG_BYTEA });
256 $sth->bind_param(12,$config_flags);
257
258 $sth->execute;
259 $sth->finish;
260
261 my $logst2 = <<EOSQL;
262
263   insert into build_status_log 
264     (sysname, snapshot, branch, log_stage, log_text, stage_duration)
265     values (?, ?, ?, ?, ?, ?)
266
267 EOSQL
268     ;
269
270 $sth = $db->prepare($logst2);
271
272 $/=undef;
273
274 my $stage_start = $ts;
275
276 foreach my $log_file( @log_file_names )
277 {
278   my $handle;
279   open($handle,"$dirname/$log_file");
280   my $mtime = (stat $handle)[9];
281   my $stage_interval = $mtime - $stage_start;
282   $stage_start = $mtime;
283   my $ltext = <$handle>;
284   close($handle);
285   $sth->execute($animal,$dbdate,$branch,$log_file,$ltext, 
286                 "$stage_interval seconds");
287 }
288
289
290 $sth->finish;
291
292 my $prevst = <<EOSQL;
293
294   select coalesce((select distinct on (snapshot) stage
295                   from build_status
296                   where sysname = ? and branch = ? and snapshot < ?
297                   order by snapshot desc
298                   limit 1), 'NEW') as prev_status
299   
300 EOSQL
301
302 $sth=$db->prepare($prevst);
303 $sth->execute($animal,$branch,$dbdate);
304 my $row=$sth->fetchrow_arrayref;
305 my $prev_stat=$row->[0];
306 $sth->finish;
307
308 my $det_st = <<EOS;
309
310           select operating_system|| ' / ' || os_version as os , 
311                  compiler || ' / ' || compiler_version as compiler, 
312                  architecture as arch
313           from buildsystems 
314           where status = 'approved'
315                 and name = ?
316
317 EOS
318 ;
319 $sth=$db->prepare($det_st);
320 $sth->execute($animal);
321 $row=$sth->fetchrow_arrayref;
322 my ($os, $compiler,$arch) = @$row;
323 $sth->finish;
324
325 $db->disconnect;
326
327 print "Content-Type: text/plain\n\n";
328 print "request was on:\n";
329 print "res=$res&stage=$stage&animal=$animal&ts=$ts";
330
331 my $client_events = $client_conf->{mail_events};
332
333 if ($ENV{BF_DEBUG})
334 {
335         my $client_time = $client_conf->{current_ts};
336     open(TX,">>../buildlogs/$animal.$date");
337     print TX "\n",Dumper(\$client_conf),"\n";
338         print TX "server time: $server_time, client time: $client_time\n" if $client_time;
339     close(TX);
340 }
341
342 my $bcc_stat = [];
343 my $bcc_chg=[];
344 if (ref $client_events)
345 {
346     my $cbcc = $client_events->{all};
347     if (ref $cbcc)
348     {
349         push @$bcc_stat, @$cbcc;
350     }
351     elsif (defined $cbcc)
352     {
353         push @$bcc_stat, $cbcc;
354     }
355     if ($stage ne 'OK')
356     {
357         $cbcc = $client_events->{all};
358         if (ref $cbcc)
359         {
360             push @$bcc_stat, @$cbcc;
361         }
362         elsif (defined $cbcc)
363         {
364             push @$bcc_stat, $cbcc;
365         }
366     }
367     $cbcc = $client_events->{change};
368     if (ref $cbcc)
369     {
370         push @$bcc_chg, @$cbcc;
371     }
372     elsif (defined $cbcc)
373     {
374         push @$bcc_chg, $cbcc;
375     }
376     if ($stage eq 'OK' || $prev_stat eq 'OK')
377     {
378         $cbcc = $client_events->{green};
379         if (ref $cbcc)
380         {
381             push @$bcc_chg, @$cbcc;
382         }
383         elsif (defined $cbcc)
384         {
385             push @$bcc_chg, $cbcc;
386         }
387     }
388 }
389
390
391 my $url = $query->url(-base => 1);
392
393
394 my $stat_type = $stage eq 'OK' ? 'Status' : 'Failed at Stage';
395
396 my $mailto = [@$all_stat];
397 push(@$mailto,@$fail_stat) if $stage ne 'OK';
398
399 my $me = `id -un`; chomp $me;
400
401 my $host = `hostname`; chomp $host;
402
403 my $msg = new Mail::Send;
404
405 $msg->set('From',"PG Build Farm <$me\@$host>");
406
407 $msg->to(@$mailto);
408 $msg->bcc(@$bcc_stat) if (@$bcc_stat);
409 $msg->subject("PGBuildfarm member $animal Branch $branch $stat_type $stage");
410 my $fh = $msg->open;
411 print $fh <<EOMAIL; 
412
413
414 The PGBuildfarm member $animal had the following event on branch $branch:
415
416 $stat_type: $stage
417
418 The snapshot timestamp for the build that triggered this notification is: $dbdate
419
420 The specs of this machine are:
421 OS:  $os
422 Arch: $arch
423 Comp: $compiler
424
425 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
426
427 EOMAIL
428
429 $fh->close;
430
431 exit if ($stage eq $prev_stat);
432
433 $mailto = [@$change_stat];
434 push(@$mailto,@$green_stat) if ($stage eq 'OK' || $prev_stat eq 'OK');
435
436 $msg = new Mail::Send;
437
438 $msg->set('From',"PG Build Farm <$me\@$host>");
439
440 $msg->to(@$mailto);
441 $msg->bcc(@$bcc_chg) if (@$bcc_chg);
442
443 $stat_type = $prev_stat ne 'OK' ? "changed from $prev_stat failure to $stage" :
444     "changed from OK to $stage";
445 $stat_type = "New member: $stage" if $prev_stat eq 'NEW';
446 $stat_type .= " failure" if $stage ne 'OK';
447
448 $msg->subject("PGBuildfarm member $animal Branch $branch Status $stat_type");
449 $fh = $msg->open;
450 print $fh <<EOMAIL;
451
452 The PGBuildfarm member $animal had the following event on branch $branch:
453
454 Status $stat_type
455
456 The snapshot timestamp for the build that triggered this notification is: $dbdate
457
458 The specs of this machine are:
459 OS:  $os
460 Arch: $arch
461 Comp: $compiler
462
463 For more information, see $url/cgi-bin/show_history.pl?nm=$animal&br=$branch
464
465 EOMAIL
466
467 $fh->close;