WEBを駆使した売上UP/トータルサポートを提供　
株式会社パルムゲート

今さらながら、の CakePHP v2.x の話題で恐縮だが、先日 4MB を超える CSV をデータベースに取り込む話があった。

通常なら phpMyAdmin のインポート機能で行うことになるが、この機能はフォームからのファイルアップロードでデータを読み取る。ところが今回のサーバではアップロードファイルサイズに制限 (2MB まで) があるため、この方法では対応できないことが判明した。

テキストエディタでファイルを分割してアップロードも考えたが、CSV が更新されるたびにそのような手間はかけたくない、ということで以前作った CsvLoaderBehavior を Console Shell で使ってロードして対応してみた。

それに先立ち、CsvLoaderBehavior の一部を修正したのでここに追記しておく。

CsvLoaderBehavior クラスの setup メソッドを上記のもので置換することで、テーブルが存在しない場合に表示されるエラーを抑制することができる。

これを使った Cake Shell の例はこちら。

この例では、Shift_JIS コードで記述された CSV ファイルを読み込み、1行目をフィールド名としてスキーマを生成し、data_tests というテーブルを作成してデータを書き込んでいる。

上の例の場合、各フィールドは VARCHAR(512) 型フィールドとして保存される。また既に data_tests テーブルが存在している場合は一旦 DROP TABLE してから新規に作り直す。モデル名は任意の名称で構わない。また、テーブル名とモデル名の関係は CakePHP の規則に任せるのであれば Model 定義は不要。

フィールド型設定が必要な場合は、'schema' パラメータで詳細に設定することもできる。

この方法であれば、アップロード制限のない別の方法 (たとえば FTP 等でサーバにアップロードしてローカルファイルとしてアクセスするとか、あるいは HTTP 経由で見える場所に CSV を置いてファイル名を URL で指定するなど) で CSV を読み取り一発でテーブルにロードできる。

この Cake Shell を cron で実行すれば、定期的に CSV を読み込んでテーブル全体を更新するような用途にも利用可能だ。