04: Funkce a metody, makra a metaprogramování

Tento notebook je výukovým materiálem v předmětu BI-JUL.21 vyučovaném v zimním semestru akademického roku 2024/2025 Tomášem Kalvodou. Tvorba těchto materiálů byla podpořena NVS FIT.

Hlavní stránkou předmětu, kde jsou i další notebooky a zajímavé informace, je jeho Course Pages stránka.

versioninfo()
Julia Version 1.10.5
Commit 6f3fdf7b362 (2024-08-27 14:19 UTC)
Build Info:
  Official https://julialang.org/ release
Platform Info:
  OS: Linux (x86_64-linux-gnu)
  CPU: 8 × Intel(R) Core(TM) i5-8250U CPU @ 1.60GHz
  WORD_SIZE: 64
  LIBM: libopenlibm
  LLVM: libLLVM-15.0.7 (ORCJIT, skylake)
Threads: 1 default, 0 interactive, 1 GC (on 8 virtual cores)

1. Funkce a metody

V předchozí kapitole jsme si ukázali, jak se v Julia pracuje s typy. Asi jste si všimli, že na Julia typy a jejich hierarchii se lze dívat trochu jako na třídy v jiných programovacích jazycích.

Na rozdíl ale třeba od C++, Javy, Ruby, nebo Pythonu, nejsou instance tříd (objekty) vybaveny metodami. Koncept funkcí a metod je v Julia prakticky zcela oddělen od typů.

1.1 Multiple dispatch

V matematice se jeden symbol ++ používá k označení různých binárních operací. Všechny tyto operace mají jisté společné vlastnosti, které umožňují dívat se na danou operaci jako na sčítání. Tento abstraktní koncept sčítání by v Julia odpovídal funkci. Různé konkrétní způsoby sčítání objektů (nejen) stejných typů (čísla, matice,...) pak z pohledu Julia odpovídají metodám.

Jinak řečeno, Julia funkce pod jedním společným jménem sdružuje více metod, které se při volání použijí v závislosti na typech argumentů. Toto paradigma se označuje multiple dispatch (v kontrastu k single dispatch, kde volání je vázáno na konkrétní třídu).

Například zmíněná funkce + má v Julia následující metody (lehce extrémní příklad, ale názorný):

methods(+)
# 190 methods for generic function + from Base:

Každá z těchto 189 možností představuje konkrétní implementaci sčítání pro argumenty uvedené v signatuře. Zvídavý uživatel může jedním prostým kliknutím rovnou nahlédnou zdrojový kód.

Pozor na ne/jednoznačnost!

Při volání metody se Julia snaží vždy vybrat tu "nejspecifičtější" vzhledem k typovému systému. Například:

f(x::Integer) = 2 * x
f(x::Number) = 3 * x
f (generic function with 2 methods)
f(1) # 1 "je" jak Integer tak Number a Integer <: Number
2
Int64 <: Number
true
Int64 <: Integer
true
Integer <: Number
true
f(1.0) # 1.0 "je" jen Number
3.0

Samozřejmě hrozí nebezpečí nejednoznačnosti. Na takovou situaci nás naštěstí Julia upozorní.

f(x::Float64, y) = x + y
f(x, y::Float64) = x * y
f (generic function with 4 methods)
f(1.0, 2)
3.0
f(1, 2.0)
2.0
@which f(1.0, 2)
f(x::Float64, y) in Main at In[9]:1
@which f(1, 2.0)
f(x, y::Float64) in Main at In[9]:2
f(1.0, 2.0)
MethodError: f(::Float64, ::Float64) is ambiguous.

Candidates:
  f(x, y::Float64)
    @ Main In[9]:2
  f(x::Float64, y)
    @ Main In[9]:1

Possible fix, define
  f(::Float64, ::Float64)


Stacktrace:
 [1] top-level scope
   @ In[14]:1

Funkce f má aktuálně čtyři metody:

methods(f)
# 4 methods for generic function f from Main:
  • f(x, y::Float64) in Main at In[9]:2
  • f(x::Float64, y) in Main at In[9]:1
  • f(x::Integer) in Main at In[3]:1
  • f(x::Number) in Main at In[3]:2

Možná oprava spočívá v dodefinování chybějící metody:

f(x::Float64, y::Float64) = x - y
f (generic function with 5 methods)
f(1.0, 2.0)
-1.0
f(Int64(1.0), 2.0)
2.0

1.2 Definice metod: parametrické metody

Podobně jako typy mohly mít parametry, mohou mít parametry i metody. Můžeme tak mít různé varianty metody v závislosti na jejich argumentech.

function same_type(x::T, y::T) where {T}
    println(T)
    return true
end

function same_type(x, y)
    return false
end
same_type (generic function with 2 methods)

Díky anotaci se první metoda použije pouze v případě, že jsou argumenty stejného typu. Pokud nejsou, zavolá se druhá "obecná" metoda.

same_type(1, 2)
Int64

true
same_type(1.0, 2.0)
Float64

true
same_type(1, 2.0)
false
same_type(Int64, String)
DataType

true
methods(same_type)
# 2 methods for generic function same_type from Main:
  • same_type(x::T, y::T) where T in Main at In[19]:1
  • same_type(x, y) in Main at In[19]:6

Dále v anotaci i můžeme omezit typ T samotný, nebo použít více typů:

function parametric_f(x::T, y::T, z::S) where { T <: Number, S <: AbstractString }
    return nothing
end
parametric_f (generic function with 1 method)

Tato metoda vyžaduje, aby první dva argumenty byly stejného "číselného" typu T a aby poslední argument byl podtypem typu AbstractString.

1.3 Příklady a cvičení

V předchozí lekci jsme definovali vlastní typ pro racionální čísla. Pojďme nyní zadefinovat sčítání a další operace i pro ně.

"""

    MyRational{T <: Integer} <: Number

_My_ home made rational number.
"""
struct MyRational{T <: Integer} <: Number
    num::T
    den::T
    
    function MyRational(num::T, den::T) where { T <: Integer }
        den == 0 && error("Zero denominator is forbidden by god!")
        if den < 0
            num *= -1
            den *= -1
        end
        
        # divide by common factors
        common = gcd(num, den)
        new{T}(div(num, common), div(den, common))
    end
end
MyRational

Použili jsme ještě jednu novinku a tou je docstring před definicí typu. Tímto způsobem ho můžete použít i před definicí metod, typů, maker. Později k němu můžete přistupovat pomocí integrované nápovědy, nebo ho použít při generování dokumentace (touto problematikou se budeme zabývat později během semestru). Všimněte si, že v docstringu můžeme používat Markdown.

?MyRational
search: MyRational


MyRational{T <: Integer} <: Number

My home made rational number.

Pokud chceme definovat novou metodu funkce, která je definována externě (v jiném modulu, o nich později), musíme ji explicitně importovat nebo musíme uvést celé její jméno. První možnost:

p = MyRational(1, 2)
q = MyRational(2, 3)

p + q
MyRational{Int64}(7, 6)
import Base.+

+(p::MyRational{T}, q::MyRational{T}) where { T <: Integer } =
    MyRational(p.num * q.den + q.num * p.den, p.den * q.den)
+ (generic function with 190 methods)

Pojďme ji hned s nadšením otestovat.

p = MyRational(1, 2)
q = MyRational(2, 3)

p + q
MyRational{Int64}(7, 6)

Toto je sice správný výsledek, ale esteticky není uspokojivý. Více oku lahodící vypisování našich racionálních čísel můžeme zajistit pomocí přidání metody k funkci show (viz Custom Pretty-printing):

# bez explicitního `import Base.show`

Base.show(io::IO, q::MyRational{T}) where { T <: Integer } =
    print(io, q.num, "/", q.den)

Potom dostaneme:

p + q
7/6
MyRational(2, -3)
-2/3

Pokud chceme hezký LaTeX výstup, pak musíme dodefinovat následující metodu.

function Base.show(io::IO, ::MIME"text/latex", q::MyRational{T}) where { T <: Integer }
    if q.num < 0
        print(io, "\\begin{equation*}-\\frac{$(-q.num)}{$(q.den)}\\end{equation*}")
    elseif q.num == 0
        print(io, "\\begin{equation*}0\\end{equation*}")
    else
        print(io, "\\begin{equation*}\\frac{$(q.num)}{$(q.den)}\\end{equation*}")
    end
end
MyRational(25, 100)
\begin{equation*}\frac{1}{4}\end{equation*}
MyRational(-24, 40)
\begin{equation*}-\frac{3}{5}\end{equation*}
MyRational(0, 1)
\begin{equation*}0\end{equation*}

Pro úplnost můžeme jednoduše definovat násobení (binární operátor *) a opačný prvek (unární operátor -) a odčítání (binární operátor -). Všimněte si, jak v definici odčítání -- pěkně v souladu s matematickou definicí -- použijeme pouze sčítání a definici opačného prvku.

import Base.-, Base.*

*(p::MyRational{T}, q::MyRational{T}) where { T <: Integer } = MyRational(p.num * q.num, p.den * q.den)
-(p::MyRational{T}) where { T <: Integer}                    = MyRational(-one(T), one(T)) * p
# nebo: = MyRational(-p.num, p.den)
-(p::MyRational{T}, q::MyRational{T}) where { T <: Integer } = p + (-q)
- (generic function with 195 methods)

Otestujme správnou funkčnost algebraických operací mezi našimi racionálními čísly:

println("p = ", p, ", q = ", q)

p * q
p = 1/2, q = 2/3
\begin{equation*}\frac{1}{3}\end{equation*}
-p
\begin{equation*}-\frac{1}{2}\end{equation*}
p - q
\begin{equation*}-\frac{1}{6}\end{equation*}
p ^ 5
\begin{equation*}\frac{1}{32}\end{equation*}
1 / p
promotion of types Int64 and MyRational{Int64} failed to change any arguments

Stacktrace:
 [1] error(::String, ::String, ::String)
   @ Base ./error.jl:44
 [2] sametype_error(input::Tuple{Int64, MyRational{Int64}})
   @ Base ./promotion.jl:417
 [3] not_sametype(x::Tuple{Int64, MyRational{Int64}}, y::Tuple{Int64, MyRational{Int64}})
   @ Base ./promotion.jl:411
 [4] promote
   @ ./promotion.jl:394 [inlined]
 [5] /(x::Int64, y::MyRational{Int64})
   @ Base ./promotion.jl:425
 [6] top-level scope
   @ In[65]:1

Cvičení: Inverze a mocnění v Q\mathbb{Q}

Naše racionální čísla bychom ještě chtěli umocňovat, i na záporné exponenty (speciáně na −1-1, tedy invertovat). Dokážete vyřešit jak na to?

p ^ 3
\begin{equation*}\frac{1}{8}\end{equation*}
@which p ^ 3
^(x::Number, p::Integer) in Base at intfuncs.jl:311
p ^ (-1)
MethodError: no method matching MyRational{Int64}(::Int64)

Closest candidates are:
  (::Type{T})(::T) where T<:Number
   @ Core boot.jl:792
  (::Type{T})(::Base.TwicePrecision) where T<:Number
   @ Base twiceprecision.jl:265
  (::Type{T})(::AbstractChar) where T<:Union{AbstractChar, Number}
   @ Base char.jl:50


Stacktrace:
 [1] convert(::Type{MyRational{Int64}}, x::Int64)
   @ Base ./number.jl:7
 [2] one(::Type{MyRational{Int64}})
   @ Base ./number.jl:347
 [3] one(x::MyRational{Int64})
   @ Base ./number.jl:348
 [4] inv(x::MyRational{Int64})
   @ Base ./number.jl:255
 [5] literal_pow(f::typeof(^), x::MyRational{Int64}, ::Val{-1})
   @ Base ./intfuncs.jl:348
 [6] top-level scope
   @ In[68]:1
MyRational{T}(n::T) where { T <: Integer } = MyRational(n, one(1))
@which one(1)
one(x::T) where T<:Number in Base at number.jl:348
p ^ (-1)
/ not defined for MyRational{Int64}

Stacktrace:
 [1] error(::String, ::String, ::Type)
   @ Base ./error.jl:44
 [2] no_op_err(name::String, T::Type)
   @ Base ./promotion.jl:506
 [3] /(x::MyRational{Int64}, y::MyRational{Int64})
   @ Base ./promotion.jl:510
 [4] inv(x::MyRational{Int64})
   @ Base ./number.jl:255
 [5] literal_pow(f::typeof(^), x::MyRational{Int64}, ::Val{-1})
   @ Base ./intfuncs.jl:348
 [6] top-level scope
   @ In[70]:1
Base.:/(p::MyRational{T}, q::MyRational{T}) where { T <: Integer } = MyRational(p.num * q.den, p.den * q.num)
p ^ (-1)
\begin{equation*}\frac{2}{1}\end{equation*}
MyRational(1, 0) / MyRational(0, 1)
Zero denominator is forbidden by god!

Stacktrace:
 [1] error(s::String)
   @ Base ./error.jl:35
 [2] MyRational(num::Int64, den::Int64)
   @ Main ./In[38]:12
 [3] top-level scope
   @ In[74]:1
Base.inv(q::MyRational{T}) where { T <: Integer } = MyRational(q.den, q.num)
inv(MyRational(3, 5))
\begin{equation*}\frac{5}{3}\end{equation*}
-inv(MyRational(-3, 5))
\begin{equation*}\frac{5}{3}\end{equation*}
p ^ (-2)
\begin{equation*}\frac{4}{1}\end{equation*}
p ^ (-1)
\begin{equation*}\frac{2}{1}\end{equation*}
inv(MyRational(0, 1))
Zero denominator is forbidden by god!

Stacktrace:
 [1] error(s::String)
   @ Base ./error.jl:35
 [2] MyRational(num::Int64, den::Int64)
   @ Main ./In[38]:12
 [3] inv(q::MyRational{Int64})
   @ Main ./In[76]:1
 [4] top-level scope
   @ In[81]:1

Racionální čísla jsou v Julia k dispozici i bez našeho typu jako typ Rational{T}. Jako konstruktor můžeme využít i dvojité lomítko:

2 // 3
2//3
4 // 2
2//1
q = 3 // 2
3//2

Poznámka: Hezčí výpis.

function Base.show(io::IO, ::MIME"text/latex", q::Rational{T}) where { T <: Integer }
    if q.num < 0
        print(io, "\\begin{equation*}-\\frac{$(-q.num)}{$(q.den)}\\end{equation*}")
    elseif q.num == 0
        print(io, "\\begin{equation*}0\\end{equation*}")
    else
        print(io, "\\begin{equation*}\\frac{$(q.num)}{$(q.den)}\\end{equation*}")
    end
end
2 // 3
\begin{equation*}\frac{2}{3}\end{equation*}
@which Rational(1, 2)
Rational(n::T, d::T) where T<:Integer in Base at rational.jl:39

Poznámka: Julia Rational umí vytvořit exaktní reprezentaci strojového čísla (které z definice je vždy racionální číslo):

x = Rational(0.3)
\begin{equation*}\frac{5404319552844595}{18014398509481984}\end{equation*}
x.num / x.den
0.3
Rational(0.3) - 3 // 10
\begin{equation*}-\frac{1}{90071992547409920}\end{equation*}
Float64(Rational(0.3) - 3 // 10)
-1.1102230246251566e-17
Rational(0.5)
\begin{equation*}\frac{1}{2}\end{equation*}

Cvičení: Komplexní čísla

Vytvořte vlastní typ MyComplex{T} modelující komplexní čísla a vybavte ho standardními metodami sčítání +, odčítání -, násobení *, dělení / a inverze inv.

struct MyComplex{T <: Real} <: Number
    re::T
    im::T
end

Base.show(io::IO, z::MyComplex{T}) where { T <: Real } =
    if z.im >= 0
        print(io, z.re, " + ", z.im, "ı")
    else
        print(io, z.re, " - ", -z.im, "ı")
    end
z = MyComplex(1, 2)
z = MyComplex(-1, 2)
z = MyComplex(1, -2)
import Base.*, Base.+, Base.-, Base.inv, Base./

*(u::MyComplex{S}, v::MyComplex{T}) where {S, T} = nothing # FIX ME

+(u::MyComplex{S}, v::MyComplex{T}) where {S, T} = nothing

-(u::MyComplex{T}) where {T} = nothing

-(u::MyComplex{S}, v::MyComplex{T}) where {S, T} = nothing

function inv(u::MyComplex{T}) where {T}
    # ...
    return nothing
end

/(u::MyComplex{S}, v::MyComplex{T}) where {S, T} = nothing
w = MyComplex(3, 4)
z
z + w
z * w
inv(z) * MyComplex(1.0, -2.0)
MyComplex(1.0, -2.0) / MyComplex(1.0, -2.0)
z / z

Cvičení: Modulární multiplikativní grupa

Pro prvočíslo p∈Np \in \mathbb{N} tvoří množina {0,1,…,p−1}\{0,1,\ldots,p-1\} s operací násobení modulo pp grupu (tzv. modulární multiplikativní grupa; značí se Zp×\mathbb{Z}_p^{\times}, nebo GF(p)∗GF(p)^*). O pp pak mluvíme jako o modulu.

Vytvořte v Julia typ, který bude parametrizovaný typem integeru a modulem pp, a bude modelovat výše uvedenou strukturu. Vhodně zadefinujte operaci *, inv a zajistěte pěkný výpis objektů tohoto typu. Definujte metodu modulus vracící modul. Doplňte následující šablonu:

import Base.*, Base.inv, Base.show
using Primes

"""
Modular Multiplicative Group (MMG).
"""
struct MMG{T <: Integer, P} <: Number
    value::T
    
    function MMG(value::T, modulus::T) where { T <: Integer }
        isprime(modulus) || error("modulus ($modulus) has to be prime!")

        my_value = mod(value, modulus)
        iszero(my_value) && error("0 is not acceptable!")
        
        new{T, modulus}(my_value)
    end
end

modulus(u::MMG{T, P}) where { T <: Integer, P } = P

function *(a::MMG{T, P}, b::MMG{T, P}) where { T <: Integer, P }
    MMG(mod(a.value * b.value, P), P)
end

function inv(a::MMG{T, P}) where { T <: Integer, P }
    _, u, _ = gcdx(a.value, P)
    MMG(mod(u, P), P)
end

show(io::IO, a::MMG) = print(io, "|", a.value, "|_$(modulus(a))")

Následuje několik ukázek použití.

a = MMG(3, 11); b = MMG(5, 11); c = MMG(5, 13)
typeof(a)
modulus(a)
a * b
# toto by šlo ještě vylepšit..., výchozí chování.
b * c
inv(a)
a * inv(a)
c * inv(c)
inv(c)
b ^ 123
MMG(0, 3)

1.4 Definice metod: poziční argumenty

Už víme, jak v definici metody anotovat typy argumentů a návratové hodnoty. Pro připomenutí:

F(x::Int64)::Float64 = x / (abs(x) + 1)
F (generic function with 1 method)
F(1)
0.5
F(0)
0.0

Ovšem:

F("0")
MethodError: no method matching F(::String)

Closest candidates are:
  F(::Int64)
   @ Main In[95]:1


Stacktrace:
 [1] top-level scope
   @ In[98]:1

Asi je jasné, jak definovat metodu s více pozičními argumenty. V této části lekce si ukážeme, jak argumentům přiřazovat výchozí hodnoty, jak definovat metody s proměnlivým počtem argumentů, či jak definovat metody s argumenty ve tvaru keyword=value, u nichž nezávisí na pořadí.

U všech níže uvedených způsobů předání argumentů lze uvést i typovou anotaci.

Nepovinné argumenty / výchozí hodnoty

V definici funkce lze pomocí operátoru = přiřadit "posledním" (od zadu, jinak by zápis nebyl jednoznačně interpretovatelný) argumentům výchozí hodnoty, které poté při volání není potřeba vypisovat.

Například:

h(x, y=2) = x + y
h (generic function with 2 methods)
h(1)
3
h(1, 1)
2
methods(h)
# 2 methods for generic function h from Main:
  • h(x, y) in Main at In[99]:1
  • h(x) in Main at In[99]:1

I v tomto zápisu lze případně anotovat typ proměnné y pomocí ::.

Operátor ..., "varargs"

Metody mohou mít přirozeně více argumentů. Následující funkce má právě tři poziční argumenty:

g(x, y, z) = x + y + z
g (generic function with 1 method)

Argumenty jí můžeme předat buď explicitně jeden po jednom, nebo je předat v tuple a použít ... operátor.

g(1, 2, 3)
6
t = (1, 2, 3)

g(t...)
6

Ale pozor, následující volání selže. g nemá definovánu metodu, která by si poradila s tuplem na vstupu.

g(t)
MethodError: no method matching g(::Tuple{Int64, Int64, Int64})

Closest candidates are:
  g(::Any, ::Any, ::Any)
   @ Main In[103]:1


Stacktrace:
 [1] top-level scope
   @ In[106]:1

Operátor ... můžeme použít i v definici funkce samotné. Umožňuje nám pak vytvořit funkci mající měnící se počet argumentů (variable number of arguments, "varargs").

Následující funkce má jeden nebo více pozičních argumentů:

H(x, args...) = println(args)
H (generic function with 1 method)
H(1)
()

()
()
typeof(())
Tuple{}
(,) # <- blbost
ParseError:
# Error @ ]8;;file:///home/kalvin/documents/fit/B241-BI-JUL/bi-jul/tutorials/In[111]#1:2\In[111]:1:2]8;;\
(,) # <- blbost
#╙ ── Expected `)`

Stacktrace:
 [1] top-level scope
   @ In[111]:1
(1)
1
typeof((1))
Int64
(1,)
(1,)
typeof((1,))
Tuple{Int64}
H(1, 2)
(2,)

H(1, 2, 3)
(2, 3)

Zamyslete se nad následujícími třemi ukázkami.

H(1, ("a", "b", "c"))
(("a", "b", "c"),)

H(1, ("a", "b", "c")...)
("a", "b", "c")

H(1, "a", "b", "c")
("a", "b", "c")

Typický reprezentant:

println(1, 2, 3, "Ahoj!")
123Ahoj!

Argumenty tvaru keyword=value (keyword arguments, "kwargs")

Jakmile počet argumentů přeroste jistou hranici (pro mě někde kolem 3), tak může být vhodné místo pozičního předávání argumentů použít zadávání pomocí klíče a hodnoty u kterých poté nezávisí na pořadí. Těmto argumentům také lze přiřazovat výchozí hodnoty. Takovéto argumenty od těch pozičních oddělíme středníkem ; v signatuře funkce:

G(x, y; operator=+) = operator(x, y)
G (generic function with 1 method)
G(1, 2)
3
G(2, 3, operator=*)
6
G(2, 3, *)
MethodError: no method matching G(::Int64, ::Int64, ::typeof(*))

Closest candidates are:
  G(::Any, ::Any; operator)
   @ Main In[123]:1


Stacktrace:
 [1] top-level scope
   @ In[126]:1
U(x; y) = x + y
U (generic function with 1 method)
U(1)
UndefKeywordError: keyword argument `y` not assigned

Stacktrace:
 [1] U(x::Int64)
   @ Main ./In[127]:1
 [2] top-level scope
   @ In[128]:1
U(1, y=42)
43

Klíči nemusí být přiřazena výchozí hodnota, ale tuto možnost asi často nepoužijeme.

Julia podporuje i neomezený počet těchto argumentů. Uvažme lehce esoterickou funkci s následující signaturou:

function J(args...; kwargs...)
    println(length(args))
    println(kwargs)
end
J (generic function with 1 method)
J(1, 2, a=1, b="x")
2
Base.Pairs{Symbol, Any, Tuple{Symbol, Symbol}, @NamedTuple{a::Int64, b::String}}(:a => 1, :b => "x")

V proměnné kwargs je poté "slovník", kde pod symbolem odpovídajícím klíči uložena předávána hodnota.

function kwargs_example(; kwargs...)
    println(keys(kwargs))
    println(kwargs[:a])
end
kwargs_example (generic function with 1 method)
kwargs_example(a=1)
(:a,)
1

kwargs_example(b=10)
(:b,)

type NamedTuple has no field a

Stacktrace:
 [1] getindex
   @ ./namedtuple.jl:168 [inlined]
 [2] getindex
   @ ./iterators.jl:324 [inlined]
 [3] kwargs_example(; kwargs::@Kwargs{b::Int64})
   @ Main ./In[137]:3
 [4] top-level scope
   @ In[139]:1
function křoví(x)
    return x + 1
end
křoví (generic function with 1 method)

Poziční argumenty nelze předávat pomocí jejich názvu (klíče).

křoví(x=1)
MethodError: no method matching křoví(; x::Int64)

Closest candidates are:
  křoví(::Any) got unsupported keyword argument "x"
   @ Main In[140]:1


Stacktrace:
 [1] top-level scope
   @ In[141]:1

1.5 Návratová hodnota

V dosavadních příkladech metod jsme vždy vraceli hodnotu naposledy vyhodnoceného výrazu, často byl dokonce jenom jeden.

V mnoha situacích ale chceme vrátit hodnotu i z jiného místa, než konce těla. K tomu nepřekvapivě slouží klíčové slovo return.

function func(x::Integer)
    # some funny stuff
    for j = 1:10
        j >= x && return j
    end
    
    return 42
end
    
func(-10)
func(3)
func(15)

Pomocí tuplů můžeme vracet i "více" hodnot.

function func_tuple(x)
    return (x, x^2)
end

Pak je vhodné výsledek rovnou přiřadit do dvou proměnných:

a, b = func_tuple(10)
a
b

Nebo můžeme samozřejmě přijmout celý tuple.

c = func_tuple(10)

c

2. Makra a metaprogramování

Pod metaprogramováním máme na mysli schopnost programu generovat, či modifikovat, svůj zdrojový kód. Makra v Julia jsou inspirována Lispem. Nejde jen o pouhé textové transformace jako v případě maker v C/C++. V Julia má programátor přímý přístup k vnitřní reprezentaci zdrojového kódu.

Ukažme si, jak Julia zpracovává zdrojový kód. Na počátku máme řetězec. Například:

source = "1 + 2"
"1 + 2"

Co s tímto zdrojovým kódem udělá Julia parser? Vytvoří objekt typu Expr:

ex = Meta.parse(source)
:(1 + 2)
typeof(ex)
Expr

Objekt typu Expr obsahuje v zásadě dvě informace:

ex.head # symbol udávající význam
:call
typeof(ex.head)
Symbol
ex.args # argumenty
3-element Vector{Any}:
  :+
 1
 2

Přehledně lze tyto informace vypsat pomocí metody dump:

dump(ex)
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol +
    2: Int64 1
    3: Int64 2

Interpretace tohoto příkladu je nasnadě. Reprezentuje volání (call) metody + s Int64 argumenty 1 a 2.

Tyto výrazy lze přirozeně vytvářet i přímo pomocí konstruktoru Expr. Za chvilku si ale ukážeme další způsoby, jak výrazy vytvářet, tento by nebyl příliš efektivní.

myex = Expr(:call, :+, 1, 2)
:(1 + 2)
ex == myex
true

Výrazy dohromady vytváří stromovou strukturu (AST -- abstract syntax tree), lze je do sebe zanořovat:

dump(Meta.parse("(1 + 2) / 3"))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol /
    2: Expr
      head: Symbol call
      args: Array{Any}((3,))
        1: Symbol +
        2: Int64 1
        3: Int64 2
    3: Int64 3

A konečně, výrazy můžeme finálně vyhodnotit pomocí metody eval.

eval(ex)
3
eval(myex)
3
ex2 = Expr(:call, :na, 1, 2)
:(na(1, 2))
dump(ex2)
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol na
    2: Int64 1
    3: Int64 2

eval(na)
UndefVarError: `na` not defined

Stacktrace:
 [1] top-level scope
   @ In[37]:1

Dalším způsobem vytváření objektů typu Expr je quoting (kód v uvozovkách :-)). Toho lze docílit dvěma způsoby. Pro menší výrazy se hodí zápis pomocí :, za kterou v závorce uvedeme Julia výraz:

myex2 = :((1 + 2) / 3)
:((1 + 2) / 3)
dump(:(f(1+1)))
Expr
  head: Symbol call
  args: Array{Any}((2,))
    1: Symbol f
    2: Expr
      head: Symbol call
      args: Array{Any}((3,))
        1: Symbol +
        2: Int64 1
        3: Int64 1

Proměnné se ve výrazu uloží pod symboly, ne pod svými hodnotami!

x = 1
dump(:(x + 1))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol +
    2: Symbol x
    3: Int64 1

Pokud bychom chtěli použít skutečně hodnotu proměnné, pak k tomu můžeme použít interpolační symbol $:

x = 1
dump(:($x + 1))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol +
    2: Int64 1
    3: Int64 1

Pro větší výrazy můžeme použít quote blok.

ex = quote
    for j = 1:10
        println(j)
    end
end
quote
    #= In[42]:2 =#
    for j = 1:10
        #= In[42]:3 =#
        println(j)
        #= In[42]:4 =#
    end
end
typeof(ex)
Expr
dump(ex)
Expr
  head: Symbol block
  args: Array{Any}((2,))
    1: LineNumberNode
      line: Int64 2
      file: Symbol In[42]
    2: Expr
      head: Symbol for
      args: Array{Any}((2,))
        1: Expr
          head: Symbol =
          args: Array{Any}((2,))
            1: Symbol j
            2: Expr
              head: Symbol call
              args: Array{Any}((3,))
                1: Symbol :
                2: Int64 1
                3: Int64 10
        2: Expr
          head: Symbol block
          args: Array{Any}((3,))
            1: LineNumberNode
              line: Int64 3
              file: Symbol In[42]
            2: Expr
              head: Symbol call
              args: Array{Any}((2,))
                1: Symbol println
                2: Symbol j
            3: LineNumberNode
              line: Int64 4
              file: Symbol In[42]

eval(ex)
1
2
3
4
5
6
7
8
9
10

2.1 Makra

Makra akceptují jako argumenty výrazy (Expr), literály nebo symboly a vrací výraz (Expr). Makra definujeme pomocí klíčového slova macro. Ve zdrojovém kódu poté makra používáme s prefixem @. Makra se aplikují při parsování zdrojového kódu, před jeho odesláním kompilátoru.

Ukažme si nejprve, jak je v AST reprezentováno voláni funkce.

f(a, b) = a + b
dump(Meta.parse("f(x, y)"))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol f
    2: Symbol x
    3: Symbol y

Následující makro vypíše argumenty volání funkce.

macro show_args(expr::Expr)
    println("Arguments: ", expr.args[2:end])
end
@show_args (macro with 1 method)

Například:

@show_args f(1, 2)
Arguments: Any[1, 2]

x = 42; y = 11

@show_args f(x, y)
Arguments: Any[:x, :y]

dump(:(f(x, y)))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol f
    2: Symbol x
    3: Symbol y

dump(:(f(1, 2)))
Expr
  head: Symbol call
  args: Array{Any}((3,))
    1: Symbol f
    2: Int64 1
    3: Int64 2

To není přesně to co bychom asi chtěli (i když...). Pokud chceme vypsat i hodnoty proměnných, musíme trochu zapracovat....

macro show_args(expr::Expr)
    println("Arguments: ")
    
    for arg in expr.args[2:end]
        if typeof(arg) == Symbol
            println(arg, " = ", eval(:($arg)))
        else
            println(arg)
        end
    end
end
@show_args (macro with 1 method)
@show_args f(1, 2)
Arguments: 
1
2

@show_args f(x, y)
Arguments: 
x = 42
y = 11

@show_args f(1, x)
Arguments: 
1
x = 42

Občas pomocí maker chceme modifikovat prostředí, v kterém se volají. K tomu můžeme použít metodu esc. V prvním případě je x pouze lokální proměnná a nemá vztah ke "globální" proměnné x.

macro zerox()
    return :(x = 0)
end

macro zerox2()
    return esc(:(x = 0))
end
@zerox2 (macro with 1 method)
x = 42
42
@zerox
0
x
42
@zerox2
0
x
0

Psaní maker nemusí být úplně jednoduché. Více o této problematice se můžet dozvědět v dokumentaci.

Ve zbytku této části si ukážeme některá užitečná makra a zkusíme pár vlastních maker vytvořit. Výčet není zdaleka vyčerpávající a jde spíše o ochutnávku. Některým z těchto partií se ještě budeme věnovat později během semestru.

2.2 @which

Jak je již bylo zmíněno, pod jedním symbolem "funkce" se může skrývat mnoho a mnoho metod. Občas nemusí být úplně jasné, která z nich se vlastně volá. Makro @which nám umožňuje dohledat o kterou metodu se v konkrétním případě jedná.

@which 2^3
^(x::T, p::T) where T<:Integer in Base at intfuncs.jl:310
@which 2.0^3.0
^(x::Float64, y::Float64) in Base.Math at math.jl:1194
g1(x::Int64) = x + 1
g1(x::Float64) = x - 1
g1 (generic function with 2 methods)
@which g1(1.0)
g1(x::Float64) in Main at In[68]:2
@which g1(1)
g1(x::Int64) in Main at In[68]:1

2.3 @debug, @info, @warn, @error

Tato makra slouží k informování uživatele, lze i kontrolvat na jaké úrovni se logování provádí (k tomu slouží modul Logging, kterému se budeme věnovat při probírání standardní knihovny).

@debug "???"
@info "Hi!"
[ Info: Hi!

@warn "Beware!"
┌ Warning: Beware!
└ @ Main In[73]:1

@error "Unable to compute!"
┌ Error: Unable to compute!
└ @ Main In[74]:1

2.4 @time, @timed a @timev

Pomocí těchto maker můžeme měřit dobu běhu programu. Jde o jednodušší variantu makra @benchmark z balíčku BenchmarkTools.jl. Tato tři makra se liší pouze způsobem výstupu.

a = rand(1_000);
a[1:10]
10-element Vector{Float64}:
 0.33522692504562024
 0.0540407325929646
 0.6268536017371442
 0.8117844432188372
 0.6802725616611819
 0.8340812566526209
 0.8813294508590227
 0.5700993172815103
 0.1751006458851595
 0.6145782678709886
@time sort(a)
  0.000047 seconds (3 allocations: 18.062 KiB)

1000-element Vector{Float64}:
 0.0011825231850347562
 0.0012717133049696683
 0.0014020893941892876
 0.001538195563918765
 0.003238656813921992
 0.0037309381374944772
 0.004057797646481398
 0.005088327700723871
 0.0057472276842979175
 0.007934654219382442
 0.009044386241675806
 0.00955479178777563
 0.010303607206786913
 ⋮
 0.989069213117485
 0.9903635440624222
 0.9905049813804886
 0.9905844202259301
 0.9906231318811598
 0.9917433910225981
 0.9918657473032922
 0.9939242413467971
 0.995640662256972
 0.9965191960427823
 0.9967988273408663
 0.998454696565531

d jako dictionary:

@timed sort(a)
(value = [0.0011825231850347562, 0.0012717133049696683, 0.0014020893941892876, 0.001538195563918765, 0.003238656813921992, 0.0037309381374944772, 0.004057797646481398, 0.005088327700723871, 0.0057472276842979175, 0.007934654219382442  …  0.9905049813804886, 0.9905844202259301, 0.9906231318811598, 0.9917433910225981, 0.9918657473032922, 0.9939242413467971, 0.995640662256972, 0.9965191960427823, 0.9967988273408663, 0.998454696565531], time = 3.6927e-5, bytes = 18496, gctime = 0.0, gcstats = Base.GC_Diff(18496, 0, 0, 0, 3, 0, 0, 0, 0))

v jako verbose, čili podrobnější:

@timev sort(a)
  0.000039 seconds (3 allocations: 18.062 KiB)
elapsed time (ns):  39251
gc time (ns):       0
bytes allocated:    18496
pool allocs:        0
non-pool GC allocs: 3
minor collections:  0
full collections:   0

1000-element Vector{Float64}:
 0.0011825231850347562
 0.0012717133049696683
 0.0014020893941892876
 0.001538195563918765
 0.003238656813921992
 0.0037309381374944772
 0.004057797646481398
 0.005088327700723871
 0.0057472276842979175
 0.007934654219382442
 0.009044386241675806
 0.00955479178777563
 0.010303607206786913
 ⋮
 0.989069213117485
 0.9903635440624222
 0.9905049813804886
 0.9905844202259301
 0.9906231318811598
 0.9917433910225981
 0.9918657473032922
 0.9939242413467971
 0.995640662256972
 0.9965191960427823
 0.9967988273408663
 0.998454696565531

2.5 @inbounds a @simd

Makro @inbound "vypne" kontrolování používání správných indexů polí. Makro @simd umožňuje kompilátoru větši možnosti optimalizace for cyklu, viz dokumentaci.

a = [1,2,3,4]
4-element Vector{Int64}:
 1
 2
 3
 4
a[2]
2
a[5]
BoundsError: attempt to access 4-element Vector{Int64} at index [5]

Stacktrace:
 [1] getindex(A::Vector{Int64}, i1::Int64)
   @ Base ./essentials.jl:13
 [2] top-level scope
   @ In[83]:1
using BenchmarkTools
function f1(a::Vector{Float64}, n)
    val = zero(eltype(a))
    for j = 1:n
        val += a[j]
    end
    return val
end

function f2(a::Vector{Float64}, n)
    val = zero(eltype(a))
    @simd for j = 1:n
        @inbounds val += a[j]
    end
    return val
end

function f3(a::Vector{Float64}, n)
    val = zero(eltype(a))
     @inbounds for j = 1:n
        val += a[j]
    end
    return val
end
f3 (generic function with 1 method)
a = rand(10^8);
@benchmark f1($a, 10^8)
BenchmarkTools.Trial: 38 samples with 1 evaluation.
 Range (min … max):  130.425 ms … 142.578 ms  ┊ GC (min … max): 0.00% … 0.00%
 Time  (median):     132.695 ms               ┊ GC (median):    0.00%
 Time  (mean ± σ):   133.369 ms ±   2.623 ms  ┊ GC (mean ± σ):  0.00% ± 0.00%

     ▁▄ ▁█  █▁█  ▄▁                                              
  ▆▁▁██▁██▆▆███▆▆██▁▆▁▁▆▆▁▁▁▁▁▁▁▁▁▁▁▆▁▁▁▁▁▁▁▁▁▁▁▁▁▆▁▆▁▁▁▁▁▁▁▁▁▆ ▁
  130 ms           Histogram: frequency by time          143 ms <

 Memory estimate: 0 bytes, allocs estimate: 0.
@benchmark f2($a, 10^8)
BenchmarkTools.Trial: 97 samples with 1 evaluation.
 Range (min … max):  45.408 ms … 62.165 ms  ┊ GC (min … max): 0.00% … 0.00%
 Time  (median):     51.795 ms              ┊ GC (median):    0.00%
 Time  (mean ± σ):   51.708 ms ±  2.870 ms  ┊ GC (mean ± σ):  0.00% ± 0.00%

                  ▂▂▂  ▆ ▂ █ ▂▆▂ ▂                             
  ▆▁▁▆█▁▁▆▁▁▁▄▁▄▆████▆██▄█▆███████▆▆▁▆▄▆▄█▄▁▄▆▄▁▁▁▁▁▁▁▁▁▁▁▁▁▄ ▁
  45.4 ms         Histogram: frequency by time        60.3 ms <

 Memory estimate: 0 bytes, allocs estimate: 0.
@benchmark f1($a, 10^6)
BenchmarkTools.Trial: 3584 samples with 1 evaluation.
 Range (min … max):  1.203 ms …   2.869 ms  ┊ GC (min … max): 0.00% … 0.00%
 Time  (median):     1.303 ms               ┊ GC (median):    0.00%
 Time  (mean ± σ):   1.387 ms ± 213.847 μs  ┊ GC (mean ± σ):  0.00% ± 0.00%

  █▆▅▅▅▅▄▄▄▃▃▃▂▂▃▃▂▂▂▂▂▂▂▂▁▁▁  ▁   ▁                          ▁
  ██████████████████████████████████████▇▇█▇▇█▅█▆▄▅▆▄▅▆▅▅▅▃▅▅ █
  1.2 ms       Histogram: log(frequency) by time      2.13 ms <

 Memory estimate: 0 bytes, allocs estimate: 0.
@benchmark f2($a, 10^6)
BenchmarkTools.Trial: 10000 samples with 1 evaluation.
 Range (min … max):  251.878 μs …   2.220 ms  ┊ GC (min … max): 0.00% … 0.00%
 Time  (median):     370.495 μs               ┊ GC (median):    0.00%
 Time  (mean ± σ):   448.981 μs ± 194.126 μs  ┊ GC (mean ± σ):  0.00% ± 0.00%

     ▃█▃▂                                                        
  ▂▃▆█████▇▇▆▄▃▄▄▃▃▂▃▃▃▂▃▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▂▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▂
  252 μs           Histogram: frequency by time         1.12 ms <

 Memory estimate: 0 bytes, allocs estimate: 0.
@benchmark f3($a, 10^6)
BenchmarkTools.Trial: 3604 samples with 1 evaluation.
 Range (min … max):  1.202 ms …   2.732 ms  ┊ GC (min … max): 0.00% … 0.00%
 Time  (median):     1.297 ms               ┊ GC (median):    0.00%
 Time  (mean ± σ):   1.379 ms ± 211.344 μs  ┊ GC (mean ± σ):  0.00% ± 0.00%

  █▆▄▅▅▄▄▃▄▃▃▃▃▂▂▂▂▂▃▂▂▂▂▂▁  ▁                                ▁
  ████████████████████████████▇███▇██▇█▇▆▆▇▇▇▇▆▅▅▅▅▆▅▇▅▃▆▄▅▃▄ █
  1.2 ms       Histogram: log(frequency) by time      2.14 ms <

 Memory estimate: 0 bytes, allocs estimate: 0.

2.6 @test a @testset

Tato makra z modulu Test nám umožňují přehledně testovat náš kód. Pomocí @testset můžeme sdružit více testů dohromady a pojmenovat je (bere řetězec a blok). Druhé makro testuje, jestli výraz je pravdivý nebo nepravdivý. Například:

using Test

@testset "isodd method" begin
    @test isodd(3) == true
    @test isodd(2) == false
end

Dále máme k dispozici @test_throws pro testování vyvolání výjimky.

2.6 @code_native

a.k.a "We need to go deeper..."

function g(x::Int64)
    return x + 1
end
g (generic function with 1 method)
@code_native g(2)
	.text
	.file	"g"
	.globl	julia_g_3235                    # -- Begin function julia_g_3235
	.p2align	4, 0x90
	.type	julia_g_3235,@function
julia_g_3235:                           # @julia_g_3235
; ┌ @ In[92]:1 within `g`
# %bb.0:                                # %top
	push	rbp
	mov	rbp, rsp
; │ @ In[92]:2 within `g`
; │┌ @ int.jl:87 within `+`
	lea	rax, [rdi + 1]
; │└
	pop	rbp
	ret
.Lfunc_end0:
	.size	julia_g_3235, .Lfunc_end0-julia_g_3235
; └
                                        # -- End function
	.section	".note.GNU-stack","",@progbits

2.7 ProgressMeter.jl

using ProgressMeter
@showprogress for i in 1:50
    sleep(0.1)
end
Progress: 100%|█████████████████████████████████████████| Time: 0:00:07

@showprogress dt=1 desc="Computing..." for i in 1:50
    sleep(0.1)
end
Computing... 100%|███████████████████████████████████████| Time: 0:00:05

Cvičení

Vytvořte makro @dotimes, které zadaný výraz provede několikrát za sebou. Přesněji @dotimes n body provede body přesně nkrát.

macro dotimes(n, body)
  quote
    for i = 1:$n
      $body
    end
  end
end
@dotimes 2 println("Hi!")
body = 1
n = 3

@dotimes 2 println("Hi!")
body
n

Cvičení: generování kódu

Definujme vlastní "číselný" typ:

struct MyNumber <: Number
    value::Float64
end

Vygenerujte kód, který zadefinuje funkce sin, cos, log, exp pro tento typ.

for func in [:sin, :cos, :log, :exp]
    eval(:(Base.$func(x::MyNumber) = MyNumber($func(x.value))))
end
sin(MyNumber(0.3))
cos(MyNumber(0.3))
exp(MyNumber(0.3))
log(MyNumber(0.3))

Cvičení: Sledování průběhu for cyklu

Vyvořte makro, které bude zobrazovat jednoduchý průběh vyhodnocování for cyklu. Tj.

@progress for j = 1:n
    # ...
end

bude efektivně

for j = 1:n
    # ...
    println(j)
end

Případně se můžete pokusit výpis i více zkrášlit.

Zde jde samozřejmě o cvičení práce s makry. Julia jinak má poměrně excelentní balíček ProgressMeter.jl poskytující přesně tuto funkcionalitu.

macro progress(expr)
    # ....
    return expr
end
@progress for j=1:5
    sleep(1)
end

Řešení některých příkladů

Inverze.

import Base.inv

inv(p::MyRational{T}) where { T <: Integer } = MyRational(p.den, p.num)
inv(p)
p^(-3)

Modulární multiplikativní grupa.

import Base.*, Base.inv, Base.show
using Primes

struct MMG{T <: Integer, P} <: Number
    value::T
    
    function MMG(value::T, modulus::T) where { T <: Integer }
        isprime(modulus) || error("Modulus has to be prime!")
        
        new{T, modulus}(mod(value, modulus))
    end
end

modulus(u::MMG{T, P}) where { T <: Integer, P } = P

function *(a::MMG{T, P}, b::MMG{T, P}) where { T <: Integer, P }
    return MMG(mod(a.value * b.value, P), P)
end

function inv(a::MMG{T, P}) where { T <: Integer, P }
    # d = u * a + v * P
    d, u, v = gcdx(a.value, P)
    
    return MMG(mod(u, P), P)
end

show(io::IO, u::MMG) = print(io, u.value)

Makro dotimes.

macro dotimes(n, body)
  quote
    for i = 1:$n
      $body
    end
  end
end

Průběh for cyklu.

macro progress(expr)
    push!(expr.args[2].args, :(println(j)))
    return expr
end

Reference

V oficiální dokumentaci této problematice odpovídají sekce Methods a Macros.