bin/cdr-thinktel.import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use Getopt::Std;
   5 use Date::Format;
   6 use File::Temp 'tempdir';
   7 use Net::FTP;
   8 use FS::UID qw(adminsuidsetup datasrc dbh);
   9 use FS::cdr;
  10 use FS::cdr_batch;
  11 use FS::Record qw(qsearch qsearchs);
  12 use Date::Format 'time2str';
  13 use Date::Parse 'str2time';
  14
  15
  16 ###
  17 # parse command line
  18 ###
  19
  20 use vars qw( $opt_d $opt_v $opt_c $opt_s $opt_e $opt_a );
  21 getopts('dvc:s:e:a');
  22
  23 my ($user, $login, $password) = @ARGV;
  24 ($user and $login and $password) or die &usage;
  25
  26 my $dbh = adminsuidsetup $user;
  27 $FS::UID::AutoCommit = 0;
  28
  29 # index already-downloaded batches
  30 my @previous = qsearch({
  31     'table'     => 'cdr_batch',
  32     'hashref'   => { 'cdrbatch' => {op=>'like', value=>'thinktel%'} },
  33     'order_by'  => 'ORDER BY cdrbatch DESC',
  34 });
  35 my %exists = map {$_->cdrbatch => 1} @previous;
  36
  37 my $tempdir = tempdir( CLEANUP => !$opt_v );
  38
  39 my $format = 'thinktel';
  40 my $hostname = 'ucontrol.thinktel.ca';
  41
  42 my $ftp = Net::FTP->new($hostname, Debug => $opt_d)
  43   or die "Can't connect to $hostname: $@\n";
  44
  45 $ftp->login($login, $password)
  46   or die "Login failed: ".$ftp->message."\n";
  47
  48 ###
  49 # get the file list
  50 ###
  51
  52 warn "Retrieving directory listing\n" if $opt_v;
  53
  54 $ftp->cwd('/');
  55 my @files = $ftp->ls();
  56 warn scalar(@files)." CDR files found.\n" if $opt_v;
  57 # apply date range
  58 if ( $opt_a ) {
  59   my $most_recent = $previous[0];
  60   if ($most_recent) {
  61     if ($most_recent->cdrbatch =~ /^thinktel-(\d+)/) {
  62       my $date = $1;
  63       warn "limiting to dates > $date (from most recent batch)\n" if $opt_v;
  64       @files = grep { /^(\d+)_/ && $1 > $date } @files;
  65     }
  66   } # else download them all
  67 }
  68 if ( $opt_s ) {
  69   # start date
  70   # normalize date format
  71   $opt_s = time2str('%Y%m%d', str2time($opt_s)) if $opt_s =~ /\D/;
  72   warn "limiting to dates > $opt_s\n" if $opt_v;
  73   @files= grep { /^(\d+)_/ && $1 >= $opt_s } @files;
  74 }
  75 if ( $opt_e ) {
  76   # end date
  77   $opt_e = time2str('%Y%m%d', str2time($opt_e)) if $opt_e =~ /\D/;
  78   warn "limiting to dates < $opt_e\n" if $opt_v;
  79   @files= grep { /^(\d+)_/ && $1 < $opt_e } @files;
  80 }
  81 warn scalar(@files) ." files to be downloaded to '$tempdir'\n" if $opt_v;
  82 foreach my $file (@files) {
  83
  84   warn "downloading $file\n" if $opt_v;
  85   $ftp->get($file, "$tempdir/$file");
  86   warn "processing $file\n" if $opt_v;
  87
  88   my $batchname = "$format-$file";
  89   if ($exists{$batchname}) {
  90     warn "already imported $file\n";
  91     next;
  92   }
  93   my $import_options = {
  94     'file'            => "$tempdir/$file",
  95     'format'          => $format,
  96     'batch_namevalue' => $batchname,
  97     'empty_ok'        => 1,
  98   };
  99   $import_options->{'cdrtypenum'} = $opt_c if $opt_c;
 100
 101   my $error = FS::cdr::batch_import($import_options);
 102
 103   if ( $error ) {
 104     die "error processing $file: $error\n";
 105   }
 106 }
 107 warn "finished\n" if $opt_v;
 108 $dbh->commit;
 109
 110 ###
 111 # subs
 112 ###
 113
 114 sub usage {
 115   "Usage: \n  cdr-thinktel.import [ options ] user login password
 116   Options:
 117     -v: be verbose
 118     -d: enable FTP debugging (very noisy)
 119     -c num: apply a cdrtypenum to the imported CDRs
 120     -s date: start date
 121     -e date: end date
 122     -a: automatically choose start date from most recently downloaded batch
 123
 124 ";
 125 }
 126