Да память вообще непричем тут. У вас таблица на диске лежит. Узкое место не менеджер памяти и лимит адресного пространства в 32-разрядном адресном пространстве. Узкое место дисковая подсистема. И потом таблицы БД целиком не проецируються в память у провайдеров данных как вы себе это в принципе представляете вообще
Запустите профайлер на SQL сервере ради интереса сделайте select к большой таблице и посмотрите расход памяти он весьма далек будет от размера таблици
посмотрите так же план выполнения. А если массив не индексирован с целью ускорения записи то вообще выборка будет тупить это нормально в общем то. если одну и ту же базу поднять на RAID 0 или 5 и на IDE одном диске там и ходить никуда не надо все так видно невооруженным глазом.
Единственный приемлимый выход это фрагментированный массив неиндексированных таблиц в виде дерева с иерархией во времени
таблица за сутки
таблица за месяц по таблицам за сутки
таблица за год по таблицам за месяц
Это фрагментирует данные и ускоряет выборку...
из наших систем (Российских) такую архитектуру поддерживает Delta