我正在处理相当大的Pandas DataFrame-我的数据集类似于以下df设置：
import pandas as pd
import numpy as np
#--------------------------------------------- SIZING PARAMETERS :
R1 = 20 # .repeat( repeats = R1 )
R2 = 10 # .repeat( repeats = R2 )
R3 = 541680 # .repeat( repeats = [ R3, R4 ] )
R4 = 576720 # .repeat( repeats = [ R3, R4 ] )
T = 55920 # .tile( , T)
A1 = np.arange( 0, 2708400, 100 ) # ~ 20x re-used
A2 = np.arange( 0, 2883600, 100 ) # ~ 20x re-used
#--------------------------------------------- DataFrame GENERATION :
df = pd.DataFrame.from_dict(
{ 'measurement_id': np.repeat( [0, 1], repeats = [ R3, R4 ] ),
'time':np.concatenate( [ np.repeat( A1, repeats = R1 ),
np.repeat( A2, repeats = R1 ) ] ),
'group': np.tile( np.repeat( [0, 1], repeats = R2 ), T ),
'object': np.tile( np.arange( 0, R1 ), T )
}
)
#--------------------------------------------- DataFrame RE-PROCESSING :
df = pd.concat( [ df,
df \
.groupby( ['measurement_id', 'time', 'group'] ) \
.apply( lambda x: np.random.uniform( 0, 100, 10 ) ) \
.explode() \
.astype( 'float' ) \
.to_frame( 'var' ) \
.reset_index( drop = True )
], axis = 1
)注意：为了提供一个最小的示例，可以轻松地将其子集化（例如使用df.loc[df['time'] <= 400, :]），但是由于无论如何我都模拟数据，所以我认为原始大小会提供更好的概览。
对于定义的每个组，['measurement_id', 'time', 'group']我需要调用以下函数：
from sklearn.cluster import SpectralClustering
from pandarallel import pandarallel
def cluster( x, index ):
if len( x ) >= 2:
data = np.asarray( x )[:, np.newaxis]
clustering = SpectralClustering( n_clusters = 5,
random_state = 42
).fit( data )
return pd.Series( clustering.labels_ + 1, index = index )
else:
return pd.Series( np.nan, index = index )为了提高性能，我尝试了两种方法：
Pandarallel包装
第一种方法是使用pandarallel包并行化计算：
pandarallel.initialize( progress_bar = True )
df \
.groupby( ['measurement_id', 'time', 'group'] ) \
.parallel_apply( lambda x: cluster( x['var'], x['object'] ) )但是，这似乎不是最佳选择，因为它消耗大量RAM，并且并非所有核都用于计算中（即使在pandarallel.initialize()方法中明确指定了核数）。另外，有时计算会因各种错误而终止，尽管我没有机会找到原因（可能缺少RAM？）。
PySpark熊猫UDF
尽管我是Spark的新手，但我也试了一下Spark Pandas UDF。这是我的尝试：
import findspark; findspark.init()
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql.types import *
spark = SparkSession.builder.master( "local" ).appName( "test" ).config( conf = SparkConf() ).getOrCreate()
df = spark.createDataFrame( df )
@pandas_udf( StructType( [StructField( 'id', IntegerType(), True )] ), functionType = PandasUDFType.GROUPED_MAP )
def cluster( df ):
if len( df['var'] ) >= 2:
data = np.asarray( df['var'] )[:, np.newaxis]
clustering = SpectralClustering( n_clusters = 5,
random_state = 42
).fit( data )
return pd.DataFrame( clustering.labels_ + 1,
index = df['object']
)
else:
return pd.DataFrame( np.nan,
index = df['object']
)
res = df \
.groupBy( ['id_half', 'frame', 'team_id'] ) \
.apply( cluster ) \
.toPandas()不幸的是，性能也不尽如人意，根据我在该主题上所读的内容，这可能只是使用以Python编写的UDF函数的负担，以及将所有Python对象转换为Spark对象然后又转换回来的相关需求。
所以这是我的问题：
- 是否可以调整我的两种方法来消除可能的瓶颈并提高性能？（例如，PySpark设置，调整次优操作等）
- 他们有更好的选择吗？在性能方面，它们如何与提供的解决方案进行比较？
2
你研究过吗？
—
Danila Ganchar
尚未，但感谢您的建议-我给您一个机会
—
Kuba_
不幸的是我没有工作
—
达尼拉Ganchar
dask（（（所以我的意见是对的研究只是建议。
所谓性能，是指可以完成计算的时间。
—
库巴
