在这个冗长的答案中,我们实现了一个基于Python 3.x的类型检查装饰器,该装饰器基于 在不到275行的纯Python代码(其中大多数是说明性的文档字符串和注释)中PEP 484样式类型提示-已针对工业应用进行了优化强度的实际使用,并带有py.test
驱动测试套件,可以测试所有可能的边缘情况。
在意想不到的熊打字上大饱口福:
>>> @beartype
... def spirit_bear(kermode: str, gitgaata: (str, int)) -> tuple:
... return (kermode, gitgaata, "Moksgm'ol", 'Ursus americanus kermodei')
>>> spirit_bear(0xdeadbeef, 'People of the Cane')
AssertionError: parameter kermode=0xdeadbeef not of <class "str">
如该示例所示,熊类型显式支持参数的类型检查,并返回注释为简单类型或此类的元组的返回值。发誓!
好吧,那实际上并不令人印象深刻。@beartype
与其他基于Python 3.x的类型检查装饰器类似在不到275行的纯Python中,PEP 484样式类型提示的。那擦是什么,小家伙?
纯Bruteforce核心效率
尽我所能掌握的有限领域知识,Bear类型在空间和时间上都比Python中所有现有的类型检查实现显着提高效率。(稍后会更多。)
但是,效率通常在Python中并不重要。如果这样做的话,您将不会使用Python。类型检查是否实际上偏离了已建立的避免在Python中过早优化的规范?是。是的,它确实。
考虑进行性能分析,这会给每个配置的相关指标(例如,函数调用,行)增加不可避免的开销。为了确保准确的结果,通过利用优化的C扩展(例如,模块_lsprof
利用的C扩展cProfile
)而不是未优化的纯Python(例如,profile
模块)来减轻这种开销。效率真的不profiling的时候无所谓。
类型检查没有什么不同。类型检查会增加应用程序检查的每个函数调用类型的开销–理想情况下,所有这些函数调用类型都会增加开销。为防止好心的(但心胸狭窄)的同事删除上周五星期五将咖啡因添加的通宵软件添加到老年Django网络应用程序后默默添加的类型检查,类型检查必须快速进行。如此之快,以至于您在不通知任何人的情况下都没有注意到它的存在。我一直都这样做!如果您是同事,请停止阅读。
但是,如果即使快的速度都无法满足您繁琐的应用程序,则可以通过启用Python优化(例如,通过将-O
选项传递给Python解释器)来全局禁用空头类型:
$ python3 -O
>>> spirit_bear(0xdeadbeef, 'People of the Cane')
(0xdeadbeef, 'People of the Cane', "Moksgm'ol", 'Ursus americanus kermodei')
只是因为。欢迎熊打字。
什么...?为什么是“熊”?你是胡子,对不对?
熊类型检查是裸机类型检查-即,类型检查尽可能接近Python中的手动类型检查方法。空头输入的目的是不施加任何性能损失,兼容性约束或第三方依赖关系(无论如何,手动依赖关系不适用)。熊类型可以无缝集成到现有代码库和测试套件中,而无需进行修改。
每个人都可能熟悉手动方法。您可以手动assert
传递给代码库中每个函数的每个参数和/或返回从每个函数返回的值。哪种样板可能更简单或更平庸?我们都曾经在googleplex上看到过一百次,并且每次都在我们的嘴里吐了一点。重复会很快变老。干,哟。
准备好呕吐袋。为简便起见,我们假设一个简化的easy_spirit_bear()
函数仅接受单个str
参数。手动方法如下所示:
def easy_spirit_bear(kermode: str) -> str:
assert isinstance(kermode, str), 'easy_spirit_bear() parameter kermode={} not of <class "str">'.format(kermode)
return_value = (kermode, "Moksgm'ol", 'Ursus americanus kermodei')
assert isinstance(return_value, str), 'easy_spirit_bear() return value {} not of <class "str">'.format(return_value)
return return_value
Python 101,对吗?我们许多人通过了那堂课。
熊类型将通过上述方法手动执行的类型检查提取到动态定义的包装函数中,该函数自动执行相同的检查-额外的好处是引发了粒状TypeError
而不是模棱两可的AssertionError
异常。自动化方法如下所示:
def easy_spirit_bear_wrapper(*args, __beartype_func=easy_spirit_bear, **kwargs):
if not (
isinstance(args[0], __beartype_func.__annotations__['kermode'])
if 0 < len(args) else
isinstance(kwargs['kermode'], __beartype_func.__annotations__['kermode'])
if 'kermode' in kwargs else True):
raise TypeError(
'easy_spirit_bear() parameter kermode={} not of {!r}'.format(
args[0] if 0 < len(args) else kwargs['kermode'],
__beartype_func.__annotations__['kermode']))
return_value = __beartype_func(*args, **kwargs)
if not isinstance(return_value, __beartype_func.__annotations__['return']):
raise TypeError(
'easy_spirit_bear() return value {} not of {!r}'.format(
return_value, __beartype_func.__annotations__['return']))
return return_value
long。但它也基本上是*快手动方法。*建议斜眼。
请注意,在包装函数中完全没有进行功能检查或迭代,它包含与原始功能相似的测试数量–尽管测试(是否可以忽略)将类型检查参数传递给参数的额外费用(可能忽略不计)。当前函数调用。您不可能赢得每场战斗。
实际上可以可靠地生成此类包装器函数以在少于275行的纯Python行中类型检查任意函数吗?Snake Plisskin说:“真实的故事。抽烟了吗?”
是的。我可能有胡子。
不,Srsly。为什么是“熊”?
熊击败鸭子。鸭子可能会飞,但是熊可能会向鸭子扔鲑鱼。在加拿大,大自然会让您感到惊讶。
下一个问题。
熊到底有什么热门?
现有解决方案不执行裸机类型检查-至少,我没有遇到过。它们都会在每个函数调用上反复检查类型检查函数的签名。尽管单个呼叫可以忽略不计,但在所有呼叫上进行汇总时,重新检查开销通常是不可忽略的。真的,真的不可忽略。
但是,这不仅仅是效率问题。现有解决方案通常也无法解决常见的边缘情况。这包括大多数(如果不是全部)提供的玩具装饰器,作为此处和其他地方的stackoverflow答案。经典失败包括:
- 无法输入check关键字参数和/或返回值(例如sweeneyrod的
@checkargs
decorator)。
- 无法支持
isinstance()
内建函数接受的元组(即联合)。
- 无法将名称,文档字符串和其他标识元数据从原始函数传播到包装函数。
- 无法提供至少一组单元测试。(很关键。)
- 在失败的类型检查中引发通用
AssertionError
异常,而不是特定TypeError
异常。出于粒度和完整性的考虑,类型检查绝不应引发通用异常。
在非熊失败的地方,熊打字成功。所有人,所有人承担!
熊打字裸露
熊打字将检查函数签名的空间和时间成本从函数调用时间转移到函数定义时间,即从@beartype
装饰器返回的包装函数到装饰器本身。由于装饰器每个函数定义仅被调用一次,因此该优化为所有人带来了欢乐。
熊打字是一种尝试让您的类型检查蛋糕并吃掉它的尝试。为此,@beartype
:
- 检查原始功能的签名和注释。
- 动态构造包装器功能类型的主体,检查原始功能。Thaaat的权利。Python代码生成Python代码。
- 通过
exec()
内置动态声明此包装器函数。
- 返回此包装器函数。
我们可以?让我们深入探讨。
if __debug__:
import inspect
from functools import wraps
from inspect import Parameter, Signature
def beartype(func: callable) -> callable:
'''
Decorate the passed **callable** (e.g., function, method) to validate
both all annotated parameters passed to this callable _and_ the
annotated value returned by this callable if any.
This decorator performs rudimentary type checking based on Python 3.x
function annotations, as officially documented by PEP 484 ("Type
Hints"). While PEP 484 supports arbitrarily complex type composition,
this decorator requires _all_ parameter and return value annotations to
be either:
* Classes (e.g., `int`, `OrderedDict`).
* Tuples of classes (e.g., `(int, OrderedDict)`).
If optimizations are enabled by the active Python interpreter (e.g., due
to option `-O` passed to this interpreter), this decorator is a noop.
Raises
----------
NameError
If any parameter has the reserved name `__beartype_func`.
TypeError
If either:
* Any parameter or return value annotation is neither:
* A type.
* A tuple of types.
* The kind of any parameter is unrecognized. This should _never_
happen, assuming no significant changes to Python semantics.
'''
func_body = '''
@wraps(__beartype_func)
def func_beartyped(*args, __beartype_func=__beartype_func, **kwargs):
'''
func_sig = inspect.signature(func)
func_name = func.__name__ + '()'
for func_arg_index, func_arg in enumerate(func_sig.parameters.values()):
if func_arg.name == '__beartype_func':
raise NameError(
'Parameter {} reserved for use by @beartype.'.format(
func_arg.name))
if (func_arg.annotation is not Parameter.empty and
func_arg.kind not in _PARAMETER_KIND_IGNORED):
_check_type_annotation(
annotation=func_arg.annotation,
label='{} parameter {} type'.format(
func_name, func_arg.name))
func_arg_type_expr = (
'__beartype_func.__annotations__[{!r}]'.format(
func_arg.name))
func_arg_value_key_expr = 'kwargs[{!r}]'.format(func_arg.name)
if func_arg.kind is Parameter.KEYWORD_ONLY:
func_body += '''
if {arg_name!r} in kwargs and not isinstance(
{arg_value_key_expr}, {arg_type_expr}):
raise TypeError(
'{func_name} keyword-only parameter '
'{arg_name}={{}} not a {{!r}}'.format(
{arg_value_key_expr}, {arg_type_expr}))
'''.format(
func_name=func_name,
arg_name=func_arg.name,
arg_type_expr=func_arg_type_expr,
arg_value_key_expr=func_arg_value_key_expr,
)
else:
func_arg_value_pos_expr = 'args[{!r}]'.format(
func_arg_index)
func_body += '''
if not (
isinstance({arg_value_pos_expr}, {arg_type_expr})
if {arg_index} < len(args) else
isinstance({arg_value_key_expr}, {arg_type_expr})
if {arg_name!r} in kwargs else True):
raise TypeError(
'{func_name} parameter {arg_name}={{}} not of {{!r}}'.format(
{arg_value_pos_expr} if {arg_index} < len(args) else {arg_value_key_expr},
{arg_type_expr}))
'''.format(
func_name=func_name,
arg_name=func_arg.name,
arg_index=func_arg_index,
arg_type_expr=func_arg_type_expr,
arg_value_key_expr=func_arg_value_key_expr,
arg_value_pos_expr=func_arg_value_pos_expr,
)
if func_sig.return_annotation not in _RETURN_ANNOTATION_IGNORED:
_check_type_annotation(
annotation=func_sig.return_annotation,
label='{} return type'.format(func_name))
func_return_type_expr = (
"__beartype_func.__annotations__['return']")
func_body += '''
return_value = __beartype_func(*args, **kwargs)
if not isinstance(return_value, {return_type}):
raise TypeError(
'{func_name} return value {{}} not of {{!r}}'.format(
return_value, {return_type}))
return return_value
'''.format(func_name=func_name, return_type=func_return_type_expr)
else:
func_body += '''
return __beartype_func(*args, **kwargs)
'''
local_attrs = {'__beartype_func': func}
exec(func_body, globals(), local_attrs)
return local_attrs['func_beartyped']
_PARAMETER_KIND_IGNORED = {
Parameter.POSITIONAL_ONLY, Parameter.VAR_POSITIONAL, Parameter.VAR_KEYWORD,
}
'''
Set of all `inspect.Parameter.kind` constants to be ignored during
annotation- based type checking in the `@beartype` decorator.
This includes:
* Constants specific to variadic parameters (e.g., `*args`, `**kwargs`).
Variadic parameters cannot be annotated and hence cannot be type checked.
* Constants specific to positional-only parameters, which apply to non-pure-
Python callables (e.g., defined by C extensions). The `@beartype`
decorator applies _only_ to pure-Python callables, which provide no
syntactic means of specifying positional-only parameters.
'''
_RETURN_ANNOTATION_IGNORED = {Signature.empty, None}
'''
Set of all annotations for return values to be ignored during annotation-
based type checking in the `@beartype` decorator.
This includes:
* `Signature.empty`, signifying a callable whose return value is _not_
annotated.
* `None`, signifying a callable returning no value. By convention, callables
returning no value are typically annotated to return `None`. Technically,
callables whose return values are annotated as `None` _could_ be
explicitly checked to return `None` rather than a none-`None` value. Since
return values are safely ignorable by callers, however, there appears to
be little real-world utility in enforcing this constraint.
'''
def _check_type_annotation(annotation: object, label: str) -> None:
'''
Validate the passed annotation to be a valid type supported by the
`@beartype` decorator.
Parameters
----------
annotation : object
Annotation to be validated.
label : str
Human-readable label describing this annotation, interpolated into
exceptions raised by this function.
Raises
----------
TypeError
If this annotation is neither a new-style class nor a tuple of
new-style classes.
'''
if isinstance(annotation, tuple):
for member in annotation:
if not (
isinstance(member, type) and hasattr(member, '__name__')):
raise TypeError(
'{} tuple member {} not a new-style class'.format(
label, member))
elif not (
isinstance(annotation, type) and hasattr(annotation, '__name__')):
raise TypeError(
'{} {} neither a new-style class nor '
'tuple of such classes'.format(label, annotation))
else:
def beartype(func: callable) -> callable:
return func
和leycec说,让 @beartype
生出型快速度检查:它是如此。
警告,诅咒和空洞的承诺
没有什么是完美的。甚至熊打字。
注意事项I:未选中默认值
熊打字也不会键入分配默认值检查unpassed参数。从理论上讲,它可以。但不是少于275行,肯定不是作为stackoverflow的答案。
安全的假设(...可能是完全不安全的)是函数实现者声称,他们在定义默认值时就知道自己在做什么。由于默认值通常是常量(...最好是这样!),因此重新检查在分配了一个或多个默认值的每个函数调用中永不更改的常量类型会违反熊类型的基本宗旨:“不要重复在自己和oooover和呜- oooover试“。
告诉我错了,我将为您投票。
警告II:无PEP 484
PEP 484(“类型提示”)正式使用了由PEP 3107(“功能注释”)首次引入的功能注释。蟒3.5表面上支持该形式化用一个新的顶层typing
模块,用于从较简单的类型构成任意复杂类型的标准API(例如,Callable[[Arg1Type, Arg2Type], ReturnType]
,类型描述的功能,接受类型的两个参数,Arg1Type
以及Arg2Type
与返回类型的值ReturnType
)。
熊打字不支持它们。从理论上讲,它可以。但不是少于275行,肯定不是作为stackoverflow的答案。
但是,Bear类型的确支持类型联合,就像isinstance()
内置支持类型联合一样:作为元组。从表面上讲,它对应于typing.Union
类型-很明显的警告是typing.Union
支持任意复杂的类型,而被接受的元组仅@beartype
支持简单的类。在我的辩护中,有275行。
测试或未发生
这是要点。懂吗,要点?我现在停止。
与@beartype
装饰器本身一样,这些py.test
测试可以无缝集成到现有测试套件中,而无需进行修改。珍贵,不是吗?
现在没有人要求的强制性胡须咆哮。
API暴力的历史
Python 3.5不提供对使用PEP 484类型的实际支持。at?
没错:没有类型检查,没有类型推断,没有任何类型的螺母。取而代之的是,期望开发人员通过实现这种支持的传真(例如,mypy)的大型第三方CPython解释器包装程序例行运行其整个代码库。当然,这些包装器会施加:
- 一个兼容性的处罚。正如官方的mypy FAQ回答了一个常见问题“我可以使用mypy键入检查我现有的Python代码吗?”时所说的:“这取决于。兼容性相当好,但是某些Python功能尚未实现或未完全支持。” 一个后续的常见问题回应澄清这种不兼容的指出:
- “ ...您的代码必须使属性显式并使用显式协议表示。” 语法警察看到您的“显式”,并暗中皱起眉头。
- “ Mypy将支持模块化的高效类型检查,这似乎排除了某些语言功能的类型检查,例如任意运行时添加方法。但是,很可能将以受限形式支持许多这些功能(例如, ,只有注册为动态或“可补丁”的类或方法才支持运行时修改。”
- 有关语法不兼容的完整列表,请参见“处理常见问题”。这是不是漂亮。您只需要类型检查,现在就可以重构整个代码库,并从候选版本发布开始两天就破坏了每个人的构建,而休闲商务着装的HR小矮人则穿过了小巧玲珑的缝隙。非常感谢,mypy。
- 一个性能损失,尽管解释静态类型的代码。经过四十年的艰苦努力,计算机科学告诉我们(...在其他所有条件都相同的情况下),解释静态类型的代码比解释动态类型的代码要快而不是慢。在Python中,up是新的down。
- 其他非平凡的依赖关系,增加了:
- 项目部署(尤其是跨平台)中充满错误的脆弱性。
- 项目开发的维护负担。
- 可能的攻击面。
我问Guido:“为什么?如果您不愿意实际使用抽象来做具体的API,那么为什么还要发明一个抽象API呢?” 为什么要让一百万Pythonista使用者的命运留在自由开源市场的风风火火之下?为什么还要在官方Python stdlib中使用275行装饰器创建另一个本可以解决的技术问题呢?
我没有Python,必须尖叫。
locals()
可能最终会导致无用的复杂性-实际上,我看不到它的用例,因为您已经知道命名的参数名称(显然是<g>),并且可以直接访问args
,kwargs
如果您的函数使用了它们。另外,断言主要用于调试。如果你的函数的契约是:ARG“A”必须在0到10和论据“B”之间的int必须是一个非空字符串,然后提高适当的异常类型,即TypeError
或ValueError
-尝试int('a')
和int(None)
你的Python壳。