Aza's tech blog & portfolio

18.12.2009

Парсинг больших XLS-файлов

Рубрика: Заметки — aza @ 08:56

Занимаюсь написанием компонента для Joomla+Virtuemart, анализирующего большие XLS-файлы с использованием некоторых открытых библиотек. В моем случае это 4 мб и около 14000 строк по 11-15 ячеек в строке. CSV improved не подходит, т.к. заказчик не желает никаким образом участвовать в изменении/контроле процессов обновления своего прайс-листа из прайс-листов поставщиков. Поэтому чистый cron да php…

Попутно возникают интересные заметки:

º виртуальная машина некорректно выдает временную зону. ладно, пропишем date_default_timezone_set…
º что одну строчку разобрать, что 14000 – одна фигня ;) около 70 секунд на 2.4ГГц с лимитом в 256Мб. ладно, будем оптимизировать и пробовать читать построчно…
º 1200МГц/192Мб – 162 сек…
º 600Мгц/192Мб – 296 сек…
º 250Мгц/192Мб – вылетает по тайм-ауту (600сек)
º 250Мгц/192Мб с таймаутом в 1200сек – 879сек…
º но всегда стабильные 187392Кб памяти…

Комментариев нет »

Комментариев нет.

RSS-лента комментариев к этой записи. URL обратной ссылки

Оставить комментарий

Это не спам.
сделано dimoning.ru

WordPress