Büyük veri - depolama ve sorgu

oy
2

Biz seçenekler her 3-6 months.We güncellenecektir yaklaşık 300 milyon kayıtların büyük bir veri, bazı information.What almak için bu verileri sorgulamak (sürekli, gerçek zamanlı) ihtiyacınız var - bir RDBMS (MySQL) veya Hadoop.Which gibi diğer bazı seçenek daha iyi olacak?

Oluştur 09/12/2008 saat 15:30
kaynak kullanıcı
Diğer dillerde...                            


5 cevaplar

oy
1

Yani, biraz daha fazla 700M kayıtlarla bazı tablolar ile birkaç PostgreSQL veritabanları var ve onlar her zaman güncellenir.

bu tablolarda bir sorgu çok (birkaç milisaniye) hızlı ve sorunsuz çalışır. Şimdi, benim veri oldukça basittir ve ben sorgulamak alanlarda endeksler var.

Yani, hızlı diskler üzerinde harcamak için yeterli para varsa o olacak tüm yapım olacak sorguları ne tür bağlıdır ve, derdim.

Cevap 09/12/2008 saat 15:37
kaynak kullanıcı

oy
0

300 milyon kayıtlar Oracle, SQL Server, DB2 gibi üst düzey RDBMS'e hiçbir sorun teşkil. Ben mySQL konusunda emin değilim, ama bazı oldukça büyük veritabanları bugünlerde için kullanılan alır eminim.

Cevap 09/12/2008 saat 15:41
kaynak kullanıcı

oy
1

Başkalarının dediği gibi çağdaş RDBMS (bazı optimizasyonlar yapılmış gerekecekti) sorgular ve şema bağlı olarak bu tür tabloları işleyebilir. (örneğin, bir tarih sütununda gibi) satırları bölmek için iyi bir anahtar varsa, o partioniong / Kırma işlemi teknikler birkaç küçük olanları içine tablo bölünmüş yardımcı olacaktır.

Ne önce bazen sorulan bir soru bu ve diğer ölçekleme teknikleri konusunda daha fazla bilgi bulabilirsiniz - Ölçekleme çözümleri MySQL (Çoğaltma, Kümeleme) için

Cevap 09/12/2008 saat 15:45
kaynak kullanıcı

oy
0

300 Milyon gerçekten bu gün :-) olarak büyük sayılmaz.

çoğunlukla sorguluyorsunuz, ve eğer biliyorsanız fazla veya sorguları ardından uygun endeksler ile MySQL tabloları alacak ne şekilde daha az iyi çalışacaktır.

Eğer çalışmakta olan sorgular gibi sürekli aynı anda güncelleştirmeleri appying ise daha iyi eşzamanlılık işleme olduğu gibi daha sonra PostgreSQL seçin.

şirket para harcamak tercih ederse, MS SQL Server, Sybase, Oracle ve DB2 tüm kolaylıkla bu miktarlar işleyecektir.

Eğer yapılandırılmamış verilere gerçekten özgür biçim sorguları yapmak niyetinde ise o zaman Hadoop veya benzer daha iyi bir bahis olacaktır.

Cevap 09/12/2008 saat 15:48
kaynak kullanıcı

oy
3

300M kayıtları düzgün endeksleri kullanırsanız sorun olmalı de düzenli ilişkisel veritabanları ve canlı sorgulama sınırları dahilindedir.

Gerçekten büyük ölçüde dağılmış ve gereksiz verileri gerekmedikçe Hadoop overkill gibi sesler ve aynı zamanda belaya veya optimizasyonlar için çalıştırırsanız zor destek bulmak için yapacaktır.

Cevap 09/12/2008 saat 15:54
kaynak kullanıcı

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more