@Welson Não há limite de 256mb, esse deve ser o limite de transferência de dados, acesse a partição SHARE diretamente pelo windows (usando um adaptador se você esiver usando um RPi, você não disse qual hardware você tem...), ou, se for transferir pela rede, faça direto pelo explorer, não pelo Recalbox manager.
Além disso, você precisa ver os formatos dos arquivos, precisam ser como solicitados no arquivo readme.txt que existe em cada pasta de cada console (na pasta psx no seu caso).
E, lembre-se das BIOS, agora no menu principal do Recalbox há o verificador de BIOS, veja se as suas estão corretas para o Playstation.
Talvez te ajude:
https://recalbox.gitbook.io/documentation/v/portugues/manual-basico/gerenciamento-de-arquivos/transferencia-de-arquivos
https://recalbox.gitbook.io/tutorials/v/portugues/jogos/consoles/playstation-1-psx/psx-guia-definitivo
