Jump to content


Photo

Restrição De 1600 Colunas


  • Faça o login para participar
11 replies to this topic

#1 Bow4Glory

Bow4Glory

    Novato no fórum

  • Usuários
  • 11 posts
  • Sexo:Não informado

Posted 24/06/2009, 10:54

Olá pessoal,

Estou fazendo uns trabalhos para faculdade, e para isso preciso inserir alguns dados que estava na forma tabular e jogá-los no postgre. O problema é que tem uma tabela que tem mais de 1600 colunas. Tem algum jeito de contornar a restrição desse número máximo?

#2 Celão

Celão

    Marcelo Santino

  • Usuários
  • 525 posts
  • Sexo:Masculino
  • Localidade:Rio de Janeiro

Posted 24/06/2009, 11:07

Agigo, você quer 1600 COLUNAS numa tabela?

Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...

Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.

Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.

Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.

Abraços,
Marcelo Santino - DBA SQL Server/Oracle
Banco de dados e Tecnologia: www.bau-de-dev.com

#3 Bow4Glory

Bow4Glory

    Novato no fórum

  • Usuários
  • 11 posts
  • Sexo:Não informado

Posted 24/06/2009, 20:50

Agigo, você quer 1600 COLUNAS numa tabela?

Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...

Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.

Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.

Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.

Abraços,


Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.

Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço =)

Abraço

#4 Celão

Celão

    Marcelo Santino

  • Usuários
  • 525 posts
  • Sexo:Masculino
  • Localidade:Rio de Janeiro

Posted 25/06/2009, 13:03

Agigo, você quer 1600 COLUNAS numa tabela?

Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...

Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.

Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.

Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.

Abraços,


Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.

Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço =)

Abraço


Minha sugestão é que você pegue o total de colunas e divida em diversas tabelas. Use relacionamento para manter a integridade entre os dados. Porque até mesmo se você conseguisse criar 2000 colunas (por exemplo), seria impraticavel trabalhar querys com ele.

Tente separar, por exemplo, as colunas pertinentes a endereço em uma tabela, as pertinentes a dados pessoais em outra, etc. Claro que não nesse contexto, mas foi apenas um exemplo.

Se conseguir fazer isso, com certeza vai facilitar em muito seu trabalho.

É o que eu tentaria...

E sobre abrir o arquivo, pense que sempre que você abre algum arquivo no PC, você joga o conteúdo dele pra memória. O que está acontecendo é que você está tentando alocar 11GB de memória pra esse arquivo, e com certeza fica lento porque o recurso disponível pra isso é entrar na swap (paginação) do sistema operacional.

Se for possível, quebre o arquivos em pequenos outros. Não sei como você está tentando inserir no banco, mas se você tiver conhecimento em alguma linguagem de programação, faça um script que leia o arquivo e insira um determinado número de linhas em cada arquivo.
Assim, você terá pequenos arquivos de 200mb, 500mb, 1gb, etc. Como você preferir.
E assim você pode abri-lo no computador se quiser.
Mas é apenas uma sugestão. Talvez tenha uma alternativa melhor que não me veio no momento.

Espero ter ajudado,

ABçs e boa sorte
Marcelo Santino - DBA SQL Server/Oracle
Banco de dados e Tecnologia: www.bau-de-dev.com

#5 Bow4Glory

Bow4Glory

    Novato no fórum

  • Usuários
  • 11 posts
  • Sexo:Não informado

Posted 25/06/2009, 21:52

Agigo, você quer 1600 COLUNAS numa tabela?

Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...

Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.

Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.

Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.

Abraços,


Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.

Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço =)

Abraço


Minha sugestão é que você pegue o total de colunas e divida em diversas tabelas. Use relacionamento para manter a integridade entre os dados. Porque até mesmo se você conseguisse criar 2000 colunas (por exemplo), seria impraticavel trabalhar querys com ele.

Tente separar, por exemplo, as colunas pertinentes a endereço em uma tabela, as pertinentes a dados pessoais em outra, etc. Claro que não nesse contexto, mas foi apenas um exemplo.

Se conseguir fazer isso, com certeza vai facilitar em muito seu trabalho.

É o que eu tentaria...

E sobre abrir o arquivo, pense que sempre que você abre algum arquivo no PC, você joga o conteúdo dele pra memória. O que está acontecendo é que você está tentando alocar 11GB de memória pra esse arquivo, e com certeza fica lento porque o recurso disponível pra isso é entrar na swap (paginação) do sistema operacional.

Se for possível, quebre o arquivos em pequenos outros. Não sei como você está tentando inserir no banco, mas se você tiver conhecimento em alguma linguagem de programação, faça um script que leia o arquivo e insira um determinado número de linhas em cada arquivo.
Assim, você terá pequenos arquivos de 200mb, 500mb, 1gb, etc. Como você preferir.
E assim você pode abri-lo no computador se quiser.
Mas é apenas uma sugestão. Talvez tenha uma alternativa melhor que não me veio no momento.

Espero ter ajudado,

ABçs e boa sorte


Nossa, mto obrigado pela ajuda!! Vou tentar fazer isso q vc me passou =)
Depois eu posto o resultado q obtive!
Abraço

#6 Virou Web

Virou Web

    Turista

  • Usuários
  • 40 posts
  • Sexo:Não informado

Posted 04/07/2009, 11:22

Amigo... acho que tem algo de errado 1600 colunas nunca ouvi falar e olha que trabalhei na telefone que tem um banco de dados gigantesco, grotesco.

O maximo que vi até dentro da propria telefonica.. era 230 colunas

O resto tinha em outras tabelas.... por que muitas colunas gera uma lentidão enorme, por que apenas 1 linha vai ter um penso muito grande mesmo os campos sendo null, magina uma consulta, um indice de um tabela assim. virge maria...
Virou Web - Soluções em Vendas Online
Lojas Virtuais, Shopping Virtual, Comércio Eletrônico
www.virouweb.com.br

#7 Miguceamma

Miguceamma

    MiguPenjisse

  • Usuários
  • 13201 posts

Posted 24/09/2017, 00:21

Buy 125 Mcg Synthroid Osu Levitra En Pharmacie cialis Cialis En La Farmacia
Amoxicillin For Dental Implants Generic Doxycycline Internet Website online pharmacy Propecia Success Story
On Line Tab Provera Visa Accepted No Script Neededprozac Keflex Recovery viagra cialis Priligy Wirkungsdauer Otitis Ear Amoxil Adult Dose Cialis Comprar Barato

#8 Miguceamma

Miguceamma

    MiguPenjisse

  • Usuários
  • 13201 posts

Posted 09/10/2017, 10:33

Delicate Rx Support vardenafil cheap 5 10 mg Comment Commander Du Viagra
Viagra Salud Purchase Legally Fedex Progesterone Direct Pills Cod Overseas viagra Viamedic Coupons Beipackzettel Von Levitra
Viagra Very Fast Shipping Cialis 5 Mg Indications Cialis 5 Mg Cost viagra online pharmacy My Canadian Orders
Can I Take Cipro With Amoxicillin viagra prescription Levitra Marrakech Stress Echocardiogram Amoxicillin

#9 Miguceamma

Miguceamma

    MiguPenjisse

  • Usuários
  • 13201 posts

Posted 15/10/2017, 13:47

Propecia Commander Definicion De Kamagra Best Online Cialis Reviews viagra Ampicillin To Buy Viagra Cialis Vergleich Conseguir Propecia Por El 5

#10 LarPhozyHah

LarPhozyHah

    Super Veterano

  • Usuários
  • 14515 posts
  • Sexo:Masculino
  • Localidade:San Miguel de Tucuman

Posted 21/10/2017, 01:25

Kamagra Direct From India buy viagra online Cialis Comprar Espana Mononucleosis Amoxicillin Rash Amoxicillin Side Effects Dizziness
Buy 60 Pills Anafranil Fast Shipping Domperidone Without A Prescription Amoxicillin And Vitamin And Headache cialis Levitra Contra Reembolso Best Deal On Silagra
Acquistare Viagra Via Internet Canadian Medications Online levitra 20mg tablets mfg gsk Levitra Filmtabletten Teilen Propecia Generic Vs Brand

#11 Miguceamma

Miguceamma

    MiguPenjisse

  • Usuários
  • 13201 posts

Posted 26/10/2017, 18:10

How To Buy Cymbalta Cheap viagra Buy Doxycycline North Ayrshire Buy Levaquin Made In Usa Canadian Pharmacy Cialis 40mg
Buy Silagra 50 Mg Vpxl Kamagra Livraison Rapide mail order levitra 90 day supply 1103 Lasix 100
Levitra 40 Mg Generic Celis Pills viagra online Propecia Drug Interactions Generic Secure Amoxicilina For Sale Internet With Free Shipping

#12 Miguceamma

Miguceamma

    MiguPenjisse

  • Usuários
  • 13201 posts

Posted 06/11/2017, 18:34

Generic Zentel Overnight Shipping Shipped Ups Magasin Levitra 20mg cialis Purchase Diflucan Without Rx
Does Amoxicillin Cure Pink Eye viagra Propecia Alquiler
Proper Dosage Amoxicillin Sore Throad Dosing Keflex Oral Suspension Baclofen Pas Cher 10mg viagra Cialis Vs Levitra Vs Viagra Cialis Frei Kaufen Cialis Generico Esiste




1 user(s) are reading this topic

0 membro(s), 1 visitante(s) e 0 membros anônimo(s)

IPB Skin By Virteq