`map` a function to two disk.frames

Perform a function on both disk.frames .x and .y, each chunk of .x and .y gets run by .f(x.chunk, y.chunk)

map2(.x, .y, .f, ...)

map_by_chunk_id(.x, .y, .f, ..., outdir)

Arguments

.x

a disk.frame
.y

a disk.frame
.f

a function to be called on each chunk of x and y matched by chunk_id
...

not used
outdir

output directory

Examples

cars.df = as.disk.frame(cars)

cars2.df = map2(cars.df, cars.df, ~data.table::rbindlist(list(.x, .y)))
collect(cars2.df)
#>      speed dist
#>   1:     4    2
#>   2:     4   10
#>   3:     7    4
#>   4:     7   22
#>   5:     8   16
#>   6:     9   10
#>   7:    10   18
#>   8:    10   26
#>   9:    10   34
#>  10:     4    2
#>  11:     4   10
#>  12:     7    4
#>  13:     7   22
#>  14:     8   16
#>  15:     9   10
#>  16:    10   18
#>  17:    10   26
#>  18:    10   34
#>  19:    11   17
#>  20:    11   28
#>  21:    12   14
#>  22:    12   20
#>  23:    12   24
#>  24:    12   28
#>  25:    13   26
#>  26:    13   34
#>  27:    13   34
#>  28:    11   17
#>  29:    11   28
#>  30:    12   14
#>  31:    12   20
#>  32:    12   24
#>  33:    12   28
#>  34:    13   26
#>  35:    13   34
#>  36:    13   34
#>  37:    13   46
#>  38:    14   26
#>  39:    14   36
#>  40:    14   60
#>  41:    14   80
#>  42:    15   20
#>  43:    15   26
#>  44:    15   54
#>  45:    16   32
#>  46:    13   46
#>  47:    14   26
#>  48:    14   36
#>  49:    14   60
#>  50:    14   80
#>  51:    15   20
#>  52:    15   26
#>  53:    15   54
#>  54:    16   32
#>  55:    16   40
#>  56:    17   32
#>  57:    17   40
#>  58:    17   50
#>  59:    18   42
#>  60:    18   56
#>  61:    18   76
#>  62:    18   84
#>  63:    19   36
#>  64:    16   40
#>  65:    17   32
#>  66:    17   40
#>  67:    17   50
#>  68:    18   42
#>  69:    18   56
#>  70:    18   76
#>  71:    18   84
#>  72:    19   36
#>  73:    19   46
#>  74:    19   68
#>  75:    20   32
#>  76:    20   48
#>  77:    20   52
#>  78:    20   56
#>  79:    20   64
#>  80:    22   66
#>  81:    23   54
#>  82:    19   46
#>  83:    19   68
#>  84:    20   32
#>  85:    20   48
#>  86:    20   52
#>  87:    20   56
#>  88:    20   64
#>  89:    22   66
#>  90:    23   54
#>  91:    24   70
#>  92:    24   92
#>  93:    24   93
#>  94:    24  120
#>  95:    25   85
#>  96:    24   70
#>  97:    24   92
#>  98:    24   93
#>  99:    24  120
#> 100:    25   85
#>      speed dist

# clean up cars.df
delete(cars.df)
delete(cars2.df)