Используйте многофункциональные large dataset handling инструменты, которые адаптируются под ваши нужды.