[R-br] como carregar somente algumas colunas de um arquivo csv?

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

[R-br] como carregar somente algumas colunas de um arquivo csv?

R-br mailing list
Olá!

Continuo as voltas com arquivos realmente grandes... 

Desta vez, está em csv.
Ocorre que não preciso trabalhar com todas as colunas.

Tendo conhecimento das colunas que me interessam (sei seus nomes - "header"), gostaria de saber da possibilidade de carregar somente tais colunas ao invés de carregar o arquivo inteiro, pra depois manter somente as colunas que me interessam....

É possível?


Ainda gostaria de saber se alguém tem alguma sugestão pra eu conseguir abrir aos pouquinhos o arqeuivo do stata que deu estouro de memória [Digest R-br, volume 95, assunto 21]....


Desde já, grande abraço!
------------------------
Cinara Santos


_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forne�a c�digo m�nimo reproduz�vel.
Reply | Threaded
Open this post in threaded view
|

Re: [R-br] como carregar somente algumas colunas de um arquivo csv?

R-br mailing list
Dê uma olhada aqui: https://stackoverflow.com/questions/5788117/only-re
ad-limited-number-of-columns


Atenciosamente

Em sex, 2018-12-07 às 10:38 -0200, Cinara Santos por (R-br) escreveu:

> Olá!
>
> Continuo as voltas com arquivos realmente grandes... 
>
> Desta vez, está em csv.
> Ocorre que não preciso trabalhar com todas as colunas.
>
> Tendo conhecimento das colunas que me interessam (sei seus nomes -
> "header"), gostaria de saber da possibilidade de carregar somente
> tais colunas ao invés de carregar o arquivo inteiro, pra depois
> manter somente as colunas que me interessam....
>
> É possível?
>
>
> Ainda gostaria de saber se alguém tem alguma sugestão pra eu
> conseguir abrir aos pouquinhos o arqeuivo do stata que deu estouro de
> memória [Digest R-br, volume 95, assunto 21]....
>
>
> Desde já, grande abraço!
> ------------------------
> Cinara Santos
>
> _______________________________________________
> R-br mailing list
> [hidden email]
> https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
> Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e fornea
> cdigo mnimo reproduzvel.
_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e fornea cdigo mnimo reproduzvel.
Reply | Threaded
Open this post in threaded view
|

Re: [R-br] como carregar somente algumas colunas de um arquivo csv?

R-br mailing list
In reply to this post by R-br mailing list
Dá pra usar o pacote "readr".

library(readr)
read_csv(file = 'teste.csv', col_types = 'i-i')

No argumento "col_types", você especifica o tipo de dado da coluna, e pode usar "-" para ignorar a coluna. No exemplo acima, importa a 1ª e a 3ª coluna como integer e a 2ª é ignorada.

Em sex, 7 de dez de 2018 às 09:41, Cinara Santos por (R-br) <[hidden email]> escreveu:
Olá!

Continuo as voltas com arquivos realmente grandes... 

Desta vez, está em csv.
Ocorre que não preciso trabalhar com todas as colunas.

Tendo conhecimento das colunas que me interessam (sei seus nomes - "header"), gostaria de saber da possibilidade de carregar somente tais colunas ao invés de carregar o arquivo inteiro, pra depois manter somente as colunas que me interessam....

É possível?


Ainda gostaria de saber se alguém tem alguma sugestão pra eu conseguir abrir aos pouquinhos o arqeuivo do stata que deu estouro de memória [Digest R-br, volume 95, assunto 21]....


Desde já, grande abraço!
------------------------
Cinara Santos

_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.


--


Rodrigo Oliveira

_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forne�a c�digo m�nimo reproduz�vel.
Reply | Threaded
Open this post in threaded view
|

Re: [R-br] como carregar somente algumas colunas de um arquivo csv?

R-br mailing list
Olás,

Minha sugestão é usar o conjunto de pacotes "tidyverse" (https://www.tidyverse.org/) e o pacote "data.table" (https://cran.r-project.org/web/packages/data.table/vignettes/datatable-intro.html) para importação e manejo de large datasets.

Após instalar e carregar os pacotes, tente usar "fread" para importar os dados e "select" para selecionar as variáveis/colunas do seu interesse. 

Segue um exemplo:

dataset = fread(
  file.choose(), h=T, sep=";",
 select=c("var1", "var2", "var3", "var4", "var5")
)

Um abraço,
Ronaldo Alves.


Em sex, 7 de dez de 2018 às 11:02, Rodrigo de Souza Oliveira por (R-br) <[hidden email]> escreveu:
Dá pra usar o pacote "readr".

library(readr)
read_csv(file = 'teste.csv', col_types = 'i-i')

No argumento "col_types", você especifica o tipo de dado da coluna, e pode usar "-" para ignorar a coluna. No exemplo acima, importa a 1ª e a 3ª coluna como integer e a 2ª é ignorada.

Em sex, 7 de dez de 2018 às 09:41, Cinara Santos por (R-br) <[hidden email]> escreveu:
Olá!

Continuo as voltas com arquivos realmente grandes... 

Desta vez, está em csv.
Ocorre que não preciso trabalhar com todas as colunas.

Tendo conhecimento das colunas que me interessam (sei seus nomes - "header"), gostaria de saber da possibilidade de carregar somente tais colunas ao invés de carregar o arquivo inteiro, pra depois manter somente as colunas que me interessam....

É possível?


Ainda gostaria de saber se alguém tem alguma sugestão pra eu conseguir abrir aos pouquinhos o arqeuivo do stata que deu estouro de memória [Digest R-br, volume 95, assunto 21]....


Desde já, grande abraço!
------------------------
Cinara Santos

_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.


--


Rodrigo Oliveira
_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forneça código mínimo reproduzível.

_______________________________________________
R-br mailing list
[hidden email]
https://listas.inf.ufpr.br/cgi-bin/mailman/listinfo/r-br
Leia o guia de postagem (http://www.leg.ufpr.br/r-br-guia) e forne�a c�digo m�nimo reproduz�vel.