Restrição De 1600 Colunas
#1
Posted 24/06/2009, 10:54
Estou fazendo uns trabalhos para faculdade, e para isso preciso inserir alguns dados que estava na forma tabular e jogá-los no postgre. O problema é que tem uma tabela que tem mais de 1600 colunas. Tem algum jeito de contornar a restrição desse número máximo?
#2
Posted 24/06/2009, 11:07
Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...
Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.
Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.
Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.
Abraços,
#3
Posted 24/06/2009, 20:50
Agigo, você quer 1600 COLUNAS numa tabela?
Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...
Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.
Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.
Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.
Abraços,
Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.
Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço
Abraço
#4
Posted 25/06/2009, 13:03
Agigo, você quer 1600 COLUNAS numa tabela?
Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...
Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.
Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.
Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.
Abraços,
Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.
Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço
Abraço
Minha sugestão é que você pegue o total de colunas e divida em diversas tabelas. Use relacionamento para manter a integridade entre os dados. Porque até mesmo se você conseguisse criar 2000 colunas (por exemplo), seria impraticavel trabalhar querys com ele.
Tente separar, por exemplo, as colunas pertinentes a endereço em uma tabela, as pertinentes a dados pessoais em outra, etc. Claro que não nesse contexto, mas foi apenas um exemplo.
Se conseguir fazer isso, com certeza vai facilitar em muito seu trabalho.
É o que eu tentaria...
E sobre abrir o arquivo, pense que sempre que você abre algum arquivo no PC, você joga o conteúdo dele pra memória. O que está acontecendo é que você está tentando alocar 11GB de memória pra esse arquivo, e com certeza fica lento porque o recurso disponível pra isso é entrar na swap (paginação) do sistema operacional.
Se for possível, quebre o arquivos em pequenos outros. Não sei como você está tentando inserir no banco, mas se você tiver conhecimento em alguma linguagem de programação, faça um script que leia o arquivo e insira um determinado número de linhas em cada arquivo.
Assim, você terá pequenos arquivos de 200mb, 500mb, 1gb, etc. Como você preferir.
E assim você pode abri-lo no computador se quiser.
Mas é apenas uma sugestão. Talvez tenha uma alternativa melhor que não me veio no momento.
Espero ter ajudado,
ABçs e boa sorte
#5
Posted 25/06/2009, 21:52
Agigo, você quer 1600 COLUNAS numa tabela?
Nesse trabalho da FACULDADE você pretende obter nota? Porque, se sim, espero que não seja pela modelagem do banco. rs...
Brincadeiras à parte, bancos de dados trabalham melhor verticalmente, ou seja, poucas colunas e muitos registros.
Se você tem TANTA coluna assim, é melhor rever a estrutura do seu banco, pois trabalho há 5 anos com Postgre e NUNCA vi uma tabela onde efetivamente precisasse de uma quantidade que chegasse a 100 colunas. QUem dirá 1600.
Fala um pouco sobre o uso dessa tabela, quem sabe podemos lhe ajudar com essa modelagem.
Se você ainda não teve essa matéria, em Banco de Dados você verá que isso não é usado.
Abraços,
Obrigado por ter respondido o meu post. Então, pra esse trabalho eu estou usando uma base do INEP, que tem informações relacionadas à educação brasileira. Então realmente a base é gigantesca. O arquivo é tabular (.txt) e tem um pouco mais de 11 GB... eu tb achei mta coisa, mas quando o postegre alertou sobre esse limite eu acabei ficando mto surpreso.
Pra vc ter noção, eu ainda não consegui abrir esse arquivo em meu notebook, pois demora mto tempo... vou tentar abrir nos computadores da faculdade, pois por serem mais modernos, talvez não demore tanto assim pra abri. Se tiver alguma sugestão em como eu posso fazer para modificar esses dados e jogá-los no postegre, eu agradeço
Abraço
Minha sugestão é que você pegue o total de colunas e divida em diversas tabelas. Use relacionamento para manter a integridade entre os dados. Porque até mesmo se você conseguisse criar 2000 colunas (por exemplo), seria impraticavel trabalhar querys com ele.
Tente separar, por exemplo, as colunas pertinentes a endereço em uma tabela, as pertinentes a dados pessoais em outra, etc. Claro que não nesse contexto, mas foi apenas um exemplo.
Se conseguir fazer isso, com certeza vai facilitar em muito seu trabalho.
É o que eu tentaria...
E sobre abrir o arquivo, pense que sempre que você abre algum arquivo no PC, você joga o conteúdo dele pra memória. O que está acontecendo é que você está tentando alocar 11GB de memória pra esse arquivo, e com certeza fica lento porque o recurso disponível pra isso é entrar na swap (paginação) do sistema operacional.
Se for possível, quebre o arquivos em pequenos outros. Não sei como você está tentando inserir no banco, mas se você tiver conhecimento em alguma linguagem de programação, faça um script que leia o arquivo e insira um determinado número de linhas em cada arquivo.
Assim, você terá pequenos arquivos de 200mb, 500mb, 1gb, etc. Como você preferir.
E assim você pode abri-lo no computador se quiser.
Mas é apenas uma sugestão. Talvez tenha uma alternativa melhor que não me veio no momento.
Espero ter ajudado,
ABçs e boa sorte
Nossa, mto obrigado pela ajuda!! Vou tentar fazer isso q vc me passou
Depois eu posto o resultado q obtive!
Abraço
#6
Posted 04/07/2009, 11:22
O maximo que vi até dentro da propria telefonica.. era 230 colunas
O resto tinha em outras tabelas.... por que muitas colunas gera uma lentidão enorme, por que apenas 1 linha vai ter um penso muito grande mesmo os campos sendo null, magina uma consulta, um indice de um tabela assim. virge maria...
Lojas Virtuais, Shopping Virtual, Comércio Eletrônico
www.virouweb.com.br
#7
Posted 24/09/2017, 00:21
Amoxicillin For Dental Implants Generic Doxycycline Internet Website online pharmacy Propecia Success Story
On Line Tab Provera Visa Accepted No Script Neededprozac Keflex Recovery viagra cialis Priligy Wirkungsdauer Otitis Ear Amoxil Adult Dose Cialis Comprar Barato
#8
Posted 09/10/2017, 10:33
Viagra Salud Purchase Legally Fedex Progesterone Direct Pills Cod Overseas viagra Viamedic Coupons Beipackzettel Von Levitra
Viagra Very Fast Shipping Cialis 5 Mg Indications Cialis 5 Mg Cost viagra online pharmacy My Canadian Orders
Can I Take Cipro With Amoxicillin viagra prescription Levitra Marrakech Stress Echocardiogram Amoxicillin
#10
Posted 21/10/2017, 01:25
Buy 60 Pills Anafranil Fast Shipping Domperidone Without A Prescription Amoxicillin And Vitamin And Headache cialis Levitra Contra Reembolso Best Deal On Silagra
Acquistare Viagra Via Internet Canadian Medications Online levitra 20mg tablets mfg gsk Levitra Filmtabletten Teilen Propecia Generic Vs Brand
#11
Posted 26/10/2017, 18:10
Buy Silagra 50 Mg Vpxl Kamagra Livraison Rapide mail order levitra 90 day supply 1103 Lasix 100
Levitra 40 Mg Generic Celis Pills viagra online Propecia Drug Interactions Generic Secure Amoxicilina For Sale Internet With Free Shipping
#12
Posted 06/11/2017, 18:34
Does Amoxicillin Cure Pink Eye viagra Propecia Alquiler
Proper Dosage Amoxicillin Sore Throad Dosing Keflex Oral Suspension Baclofen Pas Cher 10mg viagra Cialis Vs Levitra Vs Viagra Cialis Frei Kaufen Cialis Generico Esiste
1 user(s) are reading this topic
0 membro(s), 1 visitante(s) e 0 membros anônimo(s)