enable CCH update to remove tax classes, #30670
[freeside.git] / FS / FS / cust_bill_pkg.pm
index 0c8c0bb..78b8b0f 100644 (file)
@@ -8,10 +8,10 @@ use List::Util qw( sum min );
 use Text::CSV_XS;
 use FS::Record qw( qsearch qsearchs dbh );
 use FS::cust_pkg;
-use FS::cust_bill;
 use FS::cust_bill_pkg_detail;
 use FS::cust_bill_pkg_display;
 use FS::cust_bill_pkg_discount;
+use FS::cust_bill_pkg_fee;
 use FS::cust_bill_pay_pkg;
 use FS::cust_credit_bill_pkg;
 use FS::cust_tax_exempt_pkg;
@@ -26,6 +26,8 @@ use FS::cust_bill_pkg_tax_location_void;
 use FS::cust_bill_pkg_tax_rate_location_void;
 use FS::cust_tax_exempt_pkg_void;
 
+use FS::Cursor;
+
 $DEBUG = 0;
 $me = '[FS::cust_bill_pkg]';
 
@@ -47,8 +49,8 @@ FS::cust_bill_pkg - Object methods for cust_bill_pkg records
 =head1 DESCRIPTION
 
 An FS::cust_bill_pkg object represents an invoice line item.
-FS::cust_bill_pkg inherits from FS::Record.  The following fields are currently
-supported:
+FS::cust_bill_pkg inherits from FS::Record.  The following fields are
+currently supported:
 
 =over 4
 
@@ -221,8 +223,7 @@ sub insert {
         # XXX if we ever do tax-on-tax for these, this will have to change
         # since pkgnum will be zero
         $link->set('pkgnum', $taxable_cust_bill_pkg->pkgnum);
-        $link->set('locationnum', 
-          $taxable_cust_bill_pkg->cust_pkg->tax_locationnum);
+        $link->set('locationnum', $taxable_cust_bill_pkg->tax_locationnum);
         $link->set('taxable_cust_bill_pkg', '');
       }
 
@@ -257,6 +258,52 @@ sub insert {
     }
   }
 
+  my $fee_links = $self->get('cust_bill_pkg_fee');
+  if ( $fee_links ) {
+    foreach my $link ( @$fee_links ) {
+      # very similar to cust_bill_pkg_tax_location, for obvious reasons
+      next if $link->billpkgfeenum; # don't try to double-insert
+
+      my $target = $link->get('cust_bill_pkg'); # the line item of the fee
+      my $base = $link->get('base_cust_bill_pkg'); # line item it was based on
+
+      if ( $target and $target->billpkgnum ) {
+        $link->set('billpkgnum', $target->billpkgnum);
+        # base_invnum => null indicates that the fee is based on its own
+        # invoice
+        $link->set('base_invnum', $target->invnum) unless $link->base_invnum;
+        $link->set('cust_bill_pkg', '');
+      }
+
+      if ( $base and $base->billpkgnum ) {
+        $link->set('base_billpkgnum', $base->billpkgnum);
+        $link->set('base_cust_bill_pkg', '');
+      } elsif ( $base ) {
+        # it's based on a line item that's not yet inserted
+        my $link_array = $base->get('cust_bill_pkg_fee') || [];
+        push @$link_array, $link;
+        $base->set('cust_bill_pkg_fee' => $link_array);
+        next; # don't insert the link yet
+      }
+
+      $error = $link->insert;
+      if ( $error ) {
+        $dbh->rollback if $oldAutoCommit;
+        return "error inserting cust_bill_pkg_fee: $error";
+      }
+    } # foreach my $link
+  }
+
+  my $cust_event_fee = $self->get('cust_event_fee');
+  if ( $cust_event_fee ) {
+    $cust_event_fee->set('billpkgnum' => $self->billpkgnum);
+    $error = $cust_event_fee->replace;
+    if ( $error ) {
+      $dbh->rollback if $oldAutoCommit;
+      return "error updating cust_event_fee: $error";
+    }
+  }
+
   my $cust_tax_adjustment = $self->get('cust_tax_adjustment');
   if ( $cust_tax_adjustment ) {
     $cust_tax_adjustment->billpkgnum($self->billpkgnum);
@@ -434,7 +481,13 @@ sub check {
       || $self->ut_snumber('pkgnum')
       || $self->ut_number('invnum')
       || $self->ut_money('setup')
+      || $self->ut_moneyn('unitsetup')
+      || $self->ut_currencyn('setup_billed_currency')
+      || $self->ut_moneyn('setup_billed_amount')
       || $self->ut_money('recur')
+      || $self->ut_moneyn('unitrecur')
+      || $self->ut_currencyn('recur_billed_currency')
+      || $self->ut_moneyn('recur_billed_amount')
       || $self->ut_numbern('sdate')
       || $self->ut_numbern('edate')
       || $self->ut_textn('itemdesc')
@@ -505,11 +558,19 @@ sub regularize_details {
 
 Returns the invoice (see L<FS::cust_bill>) for this invoice line item.
 
+=item cust_main
+
+Returns the customer (L<FS::cust_main> object) for this line item.
+
 =cut
 
-sub cust_bill {
+sub cust_main {
+  # required for cust_main_Mixin equivalence
+  # and use cust_bill instead of cust_pkg because this might not have a 
+  # cust_pkg
   my $self = shift;
-  qsearchs( 'cust_bill', { 'invnum' => $self->invnum } );
+  my $cust_bill = $self->cust_bill or return '';
+  $cust_bill->cust_main;
 }
 
 =item previous_cust_bill_pkg
@@ -890,6 +951,56 @@ sub credited {
   $self->scalar_sql('SELECT '. $self->credited_sql(@_).' FROM cust_bill_pkg WHERE billpkgnum = ?', $self->billpkgnum);
 }
 
+=item tax_locationnum
+
+Returns the L<FS::cust_location> number that this line item is in for tax
+purposes.  For package sales, it's the package tax location; for fees, 
+it's the customer's default service location.
+
+=cut
+
+sub tax_locationnum {
+  my $self = shift;
+  if ( $self->pkgnum ) { # normal sales
+    return $self->cust_pkg->tax_locationnum;
+  } elsif ( $self->feepart ) { # fees
+    return $self->cust_bill->cust_main->ship_locationnum;
+  } else { # taxes
+    return '';
+  }
+}
+
+sub tax_location {
+  my $self = shift;
+  if ( $self->pkgnum ) { # normal sales
+    return $self->cust_pkg->tax_location;
+  } elsif ( $self->feepart ) { # fees
+    return $self->cust_bill->cust_main->ship_location;
+  } else { # taxes
+    return;
+  }
+}
+
+=item part_X
+
+Returns the L<FS::part_pkg> or L<FS::part_fee> object that defines this
+charge.  If called on a tax line, returns nothing.
+
+=cut
+
+sub part_X {
+  my $self = shift;
+  if ( $self->pkgpart_override ) {
+    return FS::part_pkg->by_key($self->pkgpart_override);
+  } elsif ( $self->pkgnum ) {
+    return $self->cust_pkg->part_pkg;
+  } elsif ( $self->feepart ) {
+    return $self->part_fee;
+  } else {
+    return;
+  }
+}
+
 =back
 
 =head1 CLASS METHODS
@@ -913,9 +1024,10 @@ sub usage_sql { $usage_sql }
 # this makes owed_sql, etc. much more concise
 sub charged_sql {
   my ($class, $start, $end, %opt) = @_;
+  my $setuprecur = $opt{setuprecur} || '';
   my $charged = 
-    $opt{setuprecur} =~ /^s/ ? 'cust_bill_pkg.setup' :
-    $opt{setuprecur} =~ /^r/ ? 'cust_bill_pkg.recur' :
+    $setuprecur =~ /^s/ ? 'cust_bill_pkg.setup' :
+    $setuprecur =~ /^r/ ? 'cust_bill_pkg.recur' :
     'cust_bill_pkg.setup + cust_bill_pkg.recur';
 
   if ($opt{no_usage} and $charged =~ /recur/) { 
@@ -949,16 +1061,16 @@ Returns an SQL expression for the sum of payments applied to this item.
 
 sub paid_sql {
   my ($class, $start, $end, %opt) = @_;
-  my $s = $start ? "AND cust_bill_pay._date <= $start" : '';
-  my $e = $end   ? "AND cust_bill_pay._date >  $end"   : '';
-  my $setuprecur = 
-    $opt{setuprecur} =~ /^s/ ? 'setup' :
-    $opt{setuprecur} =~ /^r/ ? 'recur' :
-    '';
+  my $s = $start ? "AND cust_pay._date <= $start" : '';
+  my $e = $end   ? "AND cust_pay._date >  $end"   : '';
+  my $setuprecur = $opt{setuprecur} || '';
+  $setuprecur = 'setup' if $setuprecur =~ /^s/;
+  $setuprecur = 'recur' if $setuprecur =~ /^r/;
   $setuprecur &&= "AND setuprecur = '$setuprecur'";
 
   my $paid = "( SELECT COALESCE(SUM(cust_bill_pay_pkg.amount),0)
      FROM cust_bill_pay_pkg JOIN cust_bill_pay USING (billpaynum)
+                            JOIN cust_pay      USING (paynum)
      WHERE cust_bill_pay_pkg.billpkgnum = cust_bill_pkg.billpkgnum
            $s $e $setuprecur )";
 
@@ -977,16 +1089,16 @@ sub paid_sql {
 
 sub credited_sql {
   my ($class, $start, $end, %opt) = @_;
-  my $s = $start ? "AND cust_credit_bill._date <= $start" : '';
-  my $e = $end   ? "AND cust_credit_bill._date >  $end"   : '';
-  my $setuprecur = 
-    $opt{setuprecur} =~ /^s/ ? 'setup' :
-    $opt{setuprecur} =~ /^r/ ? 'recur' :
-    '';
+  my $s = $start ? "AND cust_credit._date <= $start" : '';
+  my $e = $end   ? "AND cust_credit._date >  $end"   : '';
+  my $setuprecur = $opt{setuprecur} || '';
+  $setuprecur = 'setup' if $setuprecur =~ /^s/;
+  $setuprecur = 'recur' if $setuprecur =~ /^r/;
   $setuprecur &&= "AND setuprecur = '$setuprecur'";
 
   my $credited = "( SELECT COALESCE(SUM(cust_credit_bill_pkg.amount),0)
      FROM cust_credit_bill_pkg JOIN cust_credit_bill USING (creditbillnum)
+                               JOIN cust_credit      USING (crednum)
      WHERE cust_credit_bill_pkg.billpkgnum = cust_bill_pkg.billpkgnum
            $s $e $setuprecur )";
 
@@ -1027,6 +1139,7 @@ sub upgrade_tax_location {
   my $conf = FS::Conf->new; # h_conf?
   return if $conf->exists('enable_taxproducts'); #don't touch this case
   my $use_ship = $conf->exists('tax-ship_address');
+  my $use_pkgloc = $conf->exists('tax-pkg_address');
 
   my $date_where = '';
   if ($opt{s}) {
@@ -1048,8 +1161,14 @@ sub upgrade_tax_location {
   ' WHERE cust_bill_pkg.invnum = cust_bill.invnum'.
   ' AND exempt_monthly IS NULL';
 
-  my @invnums = map { $_->invnum } qsearch({
-      select => 'cust_bill.invnum',
+  my %all_tax_names = (
+    '' => 1,
+    'Tax' => 1,
+    map { $_->taxname => 1 }
+      qsearch('h_cust_main_county', { taxname => { op => '!=', value => '' }})
+  );
+
+  my $search = FS::Cursor->new({
       table => 'cust_bill',
       hashref => {},
       extra_sql => "WHERE NOT EXISTS($sub_has_tax_link) ".
@@ -1057,11 +1176,12 @@ sub upgrade_tax_location {
                     $date_where,
   });
 
-  print "Processing ".scalar(@invnums)." invoices...\n";
+#print "Processing ".scalar(@invnums)." invoices...\n";
 
   my $committed;
   INVOICE:
-  foreach my $invnum (@invnums) {
+  while (my $cust_bill = $search->fetch) {
+    my $invnum = $cust_bill->invnum;
     $committed = 0;
     print STDERR "Invoice #$invnum\n";
     my $pre = '';
@@ -1085,7 +1205,7 @@ sub upgrade_tax_location {
     # invoice date-of-insertion.  (Not necessarily the invoice date.)
     my $date = $h_cust_bill->history_date;
     my $h_cust_main = qsearchs('h_cust_main',
-        { custnum => $custnum },
+        { custnum   => $custnum },
         FS::h_cust_main->sql_h_searchs($date)
       );
     if (!$h_cust_main ) {
@@ -1097,28 +1217,33 @@ sub upgrade_tax_location {
     # This is a historical customer record, so it has a historical address.
     # If there's no cust_location matching this custnum and address (there 
     # probably isn't), create one.
-    $pre = 'ship_' if $use_ship and length($h_cust_main->get('ship_last'));
-    my %hash = map { $_ => $h_cust_main->get($pre.$_) }
-                  FS::cust_main->location_fields;
-    # not really needed for this, and often result in duplicate locations
-    delete @hash{qw(censustract censusyear latitude longitude coord_auto)};
-
-    $hash{custnum} = $h_cust_main->custnum;
-    my $tax_loc = FS::cust_location->new(\%hash);
-    my $error = $tax_loc->find_or_insert || $tax_loc->disable_if_unused;
-    if ( $error ) {
-      warn "couldn't create historical location record for cust#".
-      $h_cust_main->custnum.": $error\n";
-      next INVOICE;
+    my %tax_loc; # keys are pkgnums, values are cust_location objects
+    my $default_tax_loc;
+    if ( $h_cust_main->bill_locationnum ) {
+      # the location has already been upgraded
+      if ($use_ship) {
+        $default_tax_loc = $h_cust_main->ship_location;
+      } else {
+        $default_tax_loc = $h_cust_main->bill_location;
+      }
+    } else {
+      $pre = 'ship_' if $use_ship and length($h_cust_main->get('ship_last'));
+      my %hash = map { $_ => $h_cust_main->get($pre.$_) }
+                    FS::cust_main->location_fields;
+      # not really needed for this, and often result in duplicate locations
+      delete @hash{qw(censustract censusyear latitude longitude coord_auto)};
+
+      $hash{custnum} = $h_cust_main->custnum;
+      $default_tax_loc = FS::cust_location->new(\%hash);
+      my $error = $default_tax_loc->find_or_insert || $default_tax_loc->disable_if_unused;
+      if ( $error ) {
+        warn "couldn't create historical location record for cust#".
+        $h_cust_main->custnum.": $error\n";
+        next INVOICE;
+      }
     }
-    my $exempt_cust = 1 if $h_cust_main->tax;
-
-    # Get any per-customer taxname exemptions that were in effect.
-    my %exempt_cust_taxname = map {
-      $_->taxname => 1
-    } qsearch('h_cust_main_exemption', { 'custnum' => $custnum },
-      FS::h_cust_main_exemption->sql_h_searchs($date)
-    );
+    my $exempt_cust;
+    $exempt_cust = 1 if $h_cust_main->tax;
 
     # classify line items
     my @tax_items;
@@ -1141,6 +1266,15 @@ sub upgrade_tax_location {
         }
         my $pkgpart = $h_cust_pkg->pkgpart;
 
+        if ( $use_pkgloc and $h_cust_pkg->locationnum ) {
+          # then this package already had a locationnum assigned, and that's 
+          # the one to use for tax calculation
+          $tax_loc{$pkgnum} = FS::cust_location->by_key($h_cust_pkg->locationnum);
+        } else {
+          # use the customer's bill or ship loc, which was inserted earlier
+          $tax_loc{$pkgnum} = $default_tax_loc;
+        }
+
         if (!exists $pkgpart_taxclass{$pkgpart}) {
           my $h_part_pkg = qsearchs('h_part_pkg', { pkgpart => $pkgpart },
             FS::h_part_pkg->sql_h_searchs($date)
@@ -1169,40 +1303,53 @@ sub upgrade_tax_location {
         push @{ $nontax_items{$taxclass} }, $item;
       }
     }
+
     printf("%d tax items: \$%.2f\n", scalar(@tax_items), map {$_->setup} @tax_items)
       if @tax_items;
 
+    # Get any per-customer taxname exemptions that were in effect.
+    my %exempt_cust_taxname;
+    foreach (keys %all_tax_names) {
+      my $h_exemption = qsearchs('h_cust_main_exemption', {
+          'custnum' => $custnum,
+          'taxname' => $_,
+        },
+        FS::h_cust_main_exemption->sql_h_searchs($date, $date)
+      );
+      if ($h_exemption) {
+        $exempt_cust_taxname{ $_ } = 1;
+      }
+    }
+
     # Use a variation on the procedure in 
     # FS::cust_main::Billing::_handle_taxes to identify taxes that apply 
     # to this bill.
     my @loc_keys = qw( district city county state country );
-    my %taxhash = map { $_ => $h_cust_main->get($pre.$_) } @loc_keys;
     my %taxdef_by_name; # by name, and then by taxclass
     my %est_tax; # by name, and then by taxclass
     my %taxable_items; # by taxnum, and then an array
 
     foreach my $taxclass (keys %nontax_items) {
-      my %myhash = %taxhash;
-      my @elim = qw( district city county state );
-      my @taxdefs; # because there may be several with different taxnames
-      do {
-        $myhash{taxclass} = $taxclass;
-        @taxdefs = qsearch('cust_main_county', \%myhash);
-        if ( !@taxdefs ) {
-          $myhash{taxclass} = '';
+      foreach my $orig_item (@{ $nontax_items{$taxclass} }) {
+        my $my_tax_loc = $tax_loc{ $orig_item->pkgnum };
+        my %myhash = map { $_ => $my_tax_loc->get($pre.$_) } @loc_keys;
+        my @elim = qw( district city county state );
+        my @taxdefs; # because there may be several with different taxnames
+        do {
+          $myhash{taxclass} = $taxclass;
           @taxdefs = qsearch('cust_main_county', \%myhash);
-        }
-        $myhash{ shift @elim } = '';
-      } while scalar(@elim) and !@taxdefs;
+          if ( !@taxdefs ) {
+            $myhash{taxclass} = '';
+            @taxdefs = qsearch('cust_main_county', \%myhash);
+          }
+          $myhash{ shift @elim } = '';
+        } while scalar(@elim) and !@taxdefs;
 
-      print "Class '$taxclass': ". scalar(@{ $nontax_items{$taxclass} }).
-            " items, ". scalar(@taxdefs)." tax defs found.\n";
-      foreach my $taxdef (@taxdefs) {
-        next if $taxdef->tax == 0;
-        $taxdef_by_name{$taxdef->taxname}{$taxdef->taxclass} = $taxdef;
+        foreach my $taxdef (@taxdefs) {
+          next if $taxdef->tax == 0;
+          $taxdef_by_name{$taxdef->taxname}{$taxdef->taxclass} = $taxdef;
 
-        $taxable_items{$taxdef->taxnum} ||= [];
-        foreach my $orig_item (@{ $nontax_items{$taxclass} }) {
+          $taxable_items{$taxdef->taxnum} ||= [];
           # clone the item so that taxdef-dependent changes don't
           # change it for other taxdefs
           my $item = FS::cust_bill_pkg->new({ $orig_item->hash });
@@ -1282,8 +1429,8 @@ sub upgrade_tax_location {
               next INVOICE;
             }
           } #foreach @new_exempt
-        } #foreach $item
-      } #foreach $taxdef
+        } #foreach $taxdef
+      } #foreach $item
     } #foreach $taxclass
 
     # Now go through the billed taxes and match them up with the line items.
@@ -1294,8 +1441,7 @@ sub upgrade_tax_location {
 
       if ( !exists( $taxdef_by_name{$taxname} ) ) {
         # then we didn't find any applicable taxes with this name
-        warn "no definition found for tax item '$taxname'.\n".
-          '('.join(' ', @hash{qw(country state county city district)}).")\n";
+        warn "no definition found for tax item '$taxname', custnum $custnum\n";
         # possibly all of these should be "next TAX_ITEM", but whole invoices
         # are transaction protected and we can go back and retry them.
         next INVOICE;
@@ -1330,6 +1476,7 @@ sub upgrade_tax_location {
         printf("\t$taxclass: %.2f\n", $this_est_tax->{$taxclass}/$est_total);
 
         foreach my $nontax (@items) {
+          my $my_tax_loc = $tax_loc{ $nontax->pkgnum };
           my $part = int($real_tax
                             # class allocation
                          * ($this_est_tax->{$taxclass}/$est_total) 
@@ -1342,6 +1489,7 @@ sub upgrade_tax_location {
           push @tax_links, {
             taxnum      => $taxdef->taxnum,
             pkgnum      => $nontax->pkgnum,
+            locationnum => $my_tax_loc->locationnum,
             billpkgnum  => $nontax->billpkgnum,
             cents       => $part,
           };
@@ -1351,7 +1499,9 @@ sub upgrade_tax_location {
       my $i = 0;
       my $nlinks = scalar(@tax_links);
       if ( $nlinks ) {
-        while (int($cents_remaining) > 0) {
+        # ensure that it really is an integer
+        $cents_remaining = sprintf('%.0f', $cents_remaining);
+        while ($cents_remaining > 0) {
           $tax_links[$i % $nlinks]->{cents} += 1;
           $cents_remaining--;
           $i++;
@@ -1382,7 +1532,7 @@ sub upgrade_tax_location {
         my $link = FS::cust_bill_pkg_tax_location->new({
             billpkgnum  => $tax_item->billpkgnum,
             taxtype     => 'FS::cust_main_county',
-            locationnum => $tax_loc->locationnum,
+            locationnum => $_->{locationnum},
             taxnum      => $_->{taxnum},
             pkgnum      => $_->{pkgnum},
             amount      => sprintf('%.2f', $_->{cents} / 100),
@@ -1472,6 +1622,14 @@ sub _upgrade_data {
   });
   # call it kind of like a class method, not that it matters much
   $job->insert($class, 's' => str2time('2012-01-01'));
+  # if there's a customer location upgrade queued also, wait for it to 
+  # finish
+  my $location_job = qsearchs('queue', {
+      job => 'FS::cust_main::Location::process_upgrade_location'
+    });
+  if ( $location_job ) {
+    $job->depend_insert($location_job->jobnum);
+  }
   # Then mark the upgrade as done, so that we don't queue the job twice
   # and somehow run two of them concurrently.
   FS::upgrade_journal->set_done($upgrade);