Så här delar du ett enormt CSV Excel-kalkylblad i separata filer

Excel är utmärkt vid så många dagliga uppgifter. Men nu och då stöter du på en av sina brister: storleken på ett kalkylblad. Om du behöver veta hur man gör ett Excel-kalkylblad mindre eller hur man delar en stor CSV, har vi täckt dig.

Att slå kalkylbladets gräns är en ganska seriös uppgift i sig själv. Den nuvarande Excel-kalkylbladets radgräns är 1 048 576. Det är rätt - över 1 miljon rader, och samma antal kolumner också.

Men att slå den här gränsen är faktiskt oerhört lätt, under vissa uppgifter. Om du marknadsför via e-post kan du importera en CSV-fil Så här importerar du data till dina Excel-kalkylblad Det snygga och enkla sättet att importera data till dina Excel-kalkylblad har det snygga och enkla sättet att du har kämpat med att importera eller exportera data till ett kalkylblad? Denna handledning hjälper dig att behärska konsten att flytta data mellan Microsoft Excel, CSV, HTML och andra filformat. Läs mer som innehåller miljontals e-postadresser. Det enda problemet är hur man faktiskt hanterar ett kalkylblad med så många adresser i? Dessutom, om någon skickar dig en CSV som redan är över gränsen (från ett annat program)?

Tja, jag ska visa dig hur man ska bryta ner den enorma CSV-enheten i lätthanterliga bitar.

(Har inte en stor CSV-handy? Det finns några ganska stora CSV-dataset tillgängliga. 15 Massiva online-databaser du borde veta om 15 massiva webbdatabaser Du borde veta om Internet dokumenterar allt. Några av dessa data koncentreras i massiva kunskapsbaser. dem online-encyklopedi eller databaser - frågan är, vet du om de bästa? Läs mer över på data.gov. Jag ska använda listan över sjukhus jämför 260 000, så du kan använda samma fil.)

1. Använd ett program

Det finns ett antal användbara CSV-splitterprogram där ute. Jag ska visa dig två av de bästa.

CSV Chunker

CSV Chunker är en CSV-splitter med öppen källkod. Det kan hantera massiva filer, snabbt splittra dem i bitar av ditt val. Det tog ungefär 3 sekunder att dela vårt sjukhus Jämför CSV i 106 bitar, innehållande 2500 rader vardera.

CSV Splitter

CSV Splitter är vårt andra verktyg. Den erbjuder mycket samma funktionalitet av CSV Chunker, om än med en något slätare design. CSV Splitter tog ungefär 4 sekunder för att dela vårt sjukhus Jämför CSV i 106, återigen innehållande 2500 rader vardera.

2. Använd en batchfil

Nästa upp, en programmerbar batchfil Så här skriver du en enkelbatchfil (BAT) Så här skriver du en enkel batchfil (BAT) Batchfiler kan automatisera vardagliga datoruppgifter. Så här fungerar batchfiler och hur du skriver ditt första batchskript. Läs mer . Vi kan använda en batchfil för att bearbeta CSV i mindre bitar, anpassa filen för att leverera olika bitar.

Öppna ett nytt textdokument. Kopiera och klistra in följande:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Ändra det här värdet för att ändra namnet på filen som behöver delas upp. Inkludera förlängningen. SET BFN = HCAHPSHospital.csv REM Ändra detta värde för att ändra antalet rader per fil. SET LPF = 2500 REM Ändra det här värdet för att ändra namnet på varje kort fil. Det kommer att följas av ett nummer som anger var det finns i listan. SET SFN = HosptialSplitFile REM Ändra inte bortom den här raden. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 För / F "delims ==" %% 1 in (% BFN%) Gör (SET / A LineNum + = 1 echo %% l >>% SFN%! FilNum!.% SFX% om! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) Endlocal Paus

Du måste konfigurera batchfilen innan du kör. Jag ska berätta vad varje kommando gör, och du kan ändra det för att passa storleken på din batchfil, såväl som den önskade produktionen.

• “SET BFN =” bör peka på CSV du behöver bryta ner
• “SET LPF =” är antalet rader du vill begränsa din nya fil till
• “SET SFN =” är det nya namngivningssystemet för dina delade filer

När du har skrivit in dina variabler, gå till Arkiv> Spara som. Välj filnamn och välj Spara. Välj sedan din nyligen sparade textfil och tryck på F2 att byta namn på den. Byt ut TXT-förlängningen med BAT och tryck på ok när varningen visas. Nu kan du dela upp din stora CSV!

Jag varnar dig dock, den här metoden tar lite tid. Du är nog bättre med att använda en av de ovan nämnda splittrarna.

Det ursprungliga skriptet och tråden finns här.

3. Använd ett PowerShell-skript

Batchfiler är praktiska. Du kan använda dem för ett brett utbud av dagliga uppgifter. Men PowerShell-skript är stora och stora, speciellt för denna typ av bearbetning och division.

Följande skript kommer snabbt skära din stora CSV till mindre filer. Återigen har jag använt sjukhuset Jämför CSV för mitt exempel. Det tog ungefär 3 sekunder att kommandot körde. Öppna Windows PowerShell ISE. Om du är osäker på hur du gör det skriver du in powerhell ise till din Start menysökning och välj motsvarande alternativ. När PowerShell ISE är öppen väljer du Visa skript pilen, placerad i det övre högra hörnet (skisserat i rött i bilden nedan).

Kopiera och klistra in följande kommando i manuspanelen högst upp på skärmen.

$ I = 0; Hämta innehåll C: \ Användare \ Gavin \ Nedladdningar \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ I ++; $ _ | Utfil C: \ Användare \ Gavin \ Nedladdningar \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Först måste du ändra din inmatade filplats. För det andra måste du ange hur många rader dina utdatafiler ska innehålla. Slutligen, ange din utdatafil plats. Jag har lämnat mina sökvägar där för att illustrera situationen. Dessutom, ditt utskriftsfilnamn måste ha de “_ $ I.csv”suffix matchande min. Annars kommer dina utdatafiler inte att räknas korrekt.

När du har redigerat filen med egna data trycker du på CTRL + S för att spara ditt skript.

Det ursprungliga skriptet finns här.

4. Ladda det i en datamodell

Vår slutliga lösning delar inte egentligen den stora CSV i mindre delar. Du ser, Jose Barreto, en medlem av OneDrive-laget, illustrerade nyligen exakt hur du kan ladda en stor CSV-fil i Excel. I det här fallet betyder stor betydelse över 1,048,567 radgränsen. Han förklarar i en handledning att istället för att ladda filen faktiskt kan Excel 2016 skapa en datalänk till CSV-filen.

Uppgifterna från den ursprungliga CSV kommer att vara tillgängliga för användaren inom en datamodell. Barreto skapade ett pivottabell med “upp till 8,5 miljoner rader utan problem alls.” Ovanstående bild tas från Barretos bloggpost (länkad nedan), som visar totalt 2 miljoner rader inom Excel. (Lär dig hur du använder ett pivottabell för dataanalys Hur man använder ett Excel-pivottabell för dataanalys Hur man använder ett Excel-pivottabell för dataanalys Pivottabellen är ett av de enda kraftfullaste verktygen i Excel 2013-repertoaren. Används ofta för stor dataanalys. Följ vår steg-för-steg demonstration för att lära dig allt om det. Läs mer.)

Om det här är den lösning som passar dig, följ Jose Barretos detaljerade handledning här. Kom ihåg att detta inte delar upp CSV men det betyder att du kan manipulera dina data inom vissa Excel-verktyg. Hur visualiserar du dataanalysen med Excels verktyg. Hur visualiserar du dataanalysen med Excels verktygsverktyg Excel dödar den med sin avancerade datahanteringsfunktioner. När du har använt ett av de nya verktygen kommer du att vilja ha dem alla. Bli en mästare i din dataanalys med elverktyg! Läs mer . Om du får tillgång till dina data för att interagera med det direkt kan det vara värt ett försök.

Bryt ner det!

Vi har listat fyra lösningar för att bryta ner dina massiva CSV-filer, inklusive två olika verktyg.

Av de fyra lösningarna är batchfilen förmodligen den långsammaste 5 Anledningar du borde använda PowerShell Istället för batchskriptning 5 Anledningar att du ska använda PowerShell Istället för batchskriptning PowerShell är vad du skulle få om du korsade kommandoprompt med batchskripting, kastade i några extra funktioner, och sparkade allt upp flera skåror. Här är flera skäl att du ska försöka. Läs mer . PowerShell-skriptet är snabbt och enkelt anpassningsbart, medan de två applikationerna är enkla att använda ut ur lådan. Slutligen har du möjlighet att direkt importera dina data till Excel, av de miljoner raderna.

Vilken metod väljer du? Och har du några andra tips? Vänligen dela med oss ​​i kommentarerna!

Bildkrediter: lucadp / Depositphotos

Utforska mer om: Microsoft Excel, kalkylblad.