熊猫：在Excel文件中查找工作表列表

142

新版本的Pandas使用以下界面加载Excel文件：

read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])

但是，如果我不知道可用的图纸怎么办？

例如，我正在使用以下工作表的excel文件

数据1，数据2 ...，数据N，foo，bar

但我不知道N先验。

有什么方法可以从Pandas的excel文档中获取工作表列表吗？

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

251

您仍然可以使用ExcelFile类（和sheet_names属性）：

xl = pd.ExcelFile('foo.xls')

xl.sheet_names  # see all sheet names

xl.parse(sheet_name)  # read a specific sheet to DataFrame

有关更多选项，请参阅文档以进行解析 ...

— 安迪·海登（Andy Hayden）
source

1

谢谢@安迪。请问，Pandas是否将excel表格加载到其中ExcelFile？另外，说我查找工作表列表并决定加载N个工作表，那时候我应该read_excel为每个工作表调用（新界面）还是坚持x1.parse？

— 2013年

2

我认为 ExcelFile可以使文件保持打开状态（而不是全部读取），我认为使用parse（仅打开文件一次）在这里最有意义。tbh我错过了read_excel的到来！

— 安迪·海登

6

前面提到这里，但我想保持DataFrames的字典使用{sheet_name: xl.parse(sheet_name) for sheet_name in xl.sheet_names}

— 安迪·海登

2

希望我能给您更多的支持，这也适用于多种版本的熊猫！（不知道他们为什么喜欢如此频繁地更改API）感谢您将我指向parse函数，但这是当前链接： pandas.pydata.org/pandas-docs/stable/generated/...

— 结Kruglick

3

@NicholasLu不需要投票，这个答案来自2013年！就是说，尽管ExcelFile是解析excel文件的原始方法，但它并不被弃用，并且仍然是一种完全有效的方法。

— 安迪·海登

36

您应该将第二个参数（工作表名称）明确指定为“无”。像这样：

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);

“ df”都是作为DataFrames字典的工作表，您可以通过运行以下命令进行验证：

df.keys()

结果是这样的：

[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

请参阅pandas doc了解更多详细信息： https //pandas.pydata.org/pandas-docs/stable/generation/pandas.read_excel.html

— 尼古拉斯·卢
source

3

这不必要地将每个工作表都解析为DataFrame，这不是必需的。“如何读取xls / xlsx文件”是一个不同的问题。

— 安迪·海登

7

@AndyHayden可能效率不高，但是如果您关心所有工作表，或者您不关心额外的开销，那可能是最好的。

— CodeMonkey

8

这是我发现最快的方法，灵感来自@divingTobi的答案。所有基于xlrd，openpyxl或pandas的答案对我来说都很慢，因为它们都首先加载整个文件。

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser

with ZipFile(file) as zipped_file:
    summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]

— 海
source

3

以@dhwanil_shah的答案为基础，您不需要提取整个文件。有了zf.open它，可以直接从一个压缩文件中读取。

import xml.etree.ElementTree as ET
import zipfile

def xlsxSheets(f):
    zf = zipfile.ZipFile(f)

    f = zf.open(r'xl/workbook.xml')

    l = f.readline()
    l = f.readline()
    root = ET.fromstring(l)
    sheets=[]
    for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
        sheets.append(c.attrib['name'])
    return sheets

连续两个 readline s很难看，但内容仅在文本的第二行中。无需解析整个文件。

该解决方案似乎比该read_excel版本要快得多，而且很有可能比完整提取版本还快。

— 潜水托比
source

不，.xls是完全不同的文件格式，因此我不希望此代码起作用。

— 潜水托比

2

我已经尝试过xlrd，pandas，openpyxl和其他类似的库，并且随着读取整个文件时文件大小的增加，它们似乎都花费了指数时间。上面提到的其他使用'on_demand'的解决方案对我不起作用。如果只想最初获取工作表名称，则以下功能适用于xlsx文件。

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],
                'name': sheet['@name']
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

由于所有xlsx基本上都是压缩文件，因此我们提取基本的xml数据并直接从工作簿中读取工作表名称，与库函数相比，此过程只需花费一秒钟的时间。

基准测试：（在具有4张纸的
6mb xlsx文件上）Pandas，xlrd： 12秒
openpyxl： 24秒
建议的方法： 0.4秒

由于我的要求只是读取工作表名称，因此读取整个时间不必要的开销困扰着我，所以我改用了这种方法。

— 德瓦尼尔·沙阿
source

您正在使用哪些模块？

— 丹尼尔

@Daniel我仅使用了zipfile一个内置模块，xmltodict并且使用它将XML转换为易于迭代的字典。尽管您可以在下面查看@divingTobi的答案，但您可以在其中读取相同文件而无需实际提取其中的文件。

— Dhwanil shah

当我尝试使用带有read_only标志的openpyxl时，它的速度要快得多（我的5 MB文件的速度快200倍）。load_workbook(excel_file).sheetnames平均8.24秒，load_workbook(excel_file, read_only=True).sheetnames平均39.6毫秒。

— flutefreak7

0

from openpyxl import load_workbook

sheets = load_workbook(excel_file, read_only=True).sheetnames

对于我正在使用的5MB Excel文件，load_workbook没有read_only标记花费了8.24秒。带有read_only标志，仅花费了39.6 ms。如果您仍然想使用Excel库而不是使用xml解决方案，那将比解析整个文件的方法快得多。

— flutefreak7
source