To nie mam pojęcia - ja miałem problem zdaje się z 9600GT ale to od samego początku jak postawiłem nowy system (win7 64 bit) i zmiany kolejnych sterowników nic nie dawały. Wyłącz OpenGL i zobacz czy pomoże to będzie wiadomo że to kwestia sterowników karty (chociaż w zasadzie bardziej wina PSa - jak grzebałem kiedyś w temacie to ludzie narzekali że to tak badziewnie napisane).

Co do braku pamięci - masz może wyłączonego swapa, ewentualnie mało miejsca na scratchu ? Bo mi tak krzyczał jak działałem na jakimś wielkim wielowartwowym pliku (mimo że mam 8GB ramu - ale mam wyłączonego systemowego swapa).