Olá,
tenho experiência com sistemas embarcados, você poderia considerar um hardware Atmel mais moderno como o Raspberry PI. A memória de qualquer Arduino é limitada, logo para continuar com sua placa você deve otimizar seu código, reduzir includes, e limitar tamanho de vetores. Contudo, a memória do AtMega é 256KB, provavelmente seu problema é outro, talvez destruição de buffers ou variáveis não utilizadas. Posso te ajudar com isso. Me ligue pra eu entender melhor. Abraço