$ cat parsecsv.pl
#!/usr/bin/perl
use strict;
use Encode;
use Text::CSV_XS;
use utf8;

my @rows;
my $csv = Text::CSV_XS->new ({ binary => 1 }) or
    die "Cannot use CSV: ".Text::CSV_XS->error_diag ();
open my $fh, "<:encoding(utf8)", "input.csv" or die "input.csv: $!";
while (my $row = $csv->getline ($fh)) {
    $row->[2] =~ s/電話：//; # 3列目の文字列”電話：”を削除。
    push @rows, $row;
}
$csv->eof or $csv->error_diag ();
close $fh;

$csv->eol ("\r\n");
open $fh, ">:encoding(utf8)", "output.csv" or die "output.csv: $!";
$csv->print ($fh, $_) for @rows;
close $fh or die "output.csv: $!";

UTFで保存。

$ nkf -w --overwrite parsecsv.pl

入力ファイル

$ cat input.csv
福岡県庁,〒812-8577福岡市博多区東公園７番７号,電話：０９２－６５１－１１１１,
佐賀県庁,〒840-8570佐賀市城内１丁目１番５９号,電話：０９５２－２４－２１１１,
長崎県庁,〒850-8570長崎市江戸町２番１３号,電話：０９５８－２４－１１１１,
熊本県庁,〒862-8570熊本市水前寺６丁目１８番１号,電話：０９６－３８３－１１１１,
大分県庁,〒870-8501大分市大手町３丁目１番１号,電話：０９７５－３６－１１１１,
宮崎県庁,〒880-8501宮崎市橘通東２丁目１０番１号,電話：０９８５－２４－１１１１,
鹿児島県庁,〒890-8577鹿児島市鴨池新町１０番１号,電話：０９９－２８６－２１１１,
沖縄県庁,〒900-8570那覇市泉崎１丁目２番２号,電話：０９８－８６６－２０７４,

実行

$ perl parsecsv.pl

出力ファイル

$ cat output.csv
"福岡県庁","〒812-8577福岡市博多区東公園７番７号","０９２－６５１－１１１１",
"佐賀県庁","〒840-8570佐賀市城内１丁目１番５９号","０９５２－２４－２１１１",
"長崎県庁","〒850-8570長崎市江戸町２番１３号","０９５８－２４－１１１１",
"熊本県庁","〒862-8570熊本市水前寺６丁目１８番１号","０９６－３８３－１１１１",
"大分県庁","〒870-8501大分市大手町３丁目１番１号","０９７５－３６－１１１１",
"宮崎県庁","〒880-8501宮崎市橘通東２丁目１０番１号","０９８５－２４－１１１１",
"鹿児島県庁","〒890-8577鹿児島市鴨池新町１０番１号","０９９－２８６－２１１１",
"沖縄県庁","〒900-8570那覇市泉崎１丁目２番２号","０９８－８６６－２０７４",