データ数 膨大

現在、クローリングで収集したデータが１Tをオーバーしてきた。これはもう人間では対処できる大きさでなくなってきた。

一応、最終チェックだけはしたいと思っておりますけど。どんどんデータだけ溜まっていく可能性があるし、新鮮なデータを公開したいという気持ちもあります。

このギャップをどうしましょうか。。。