Python Library/Pandas

Day 6. Frequent operations with pandas - merging

hellobird 2019. 6. 15. 23:53

import pandas as pd

d = { '_key'        : pd.Series(['K0', 'K1','K2','K3']),
      '_key2'       : pd.Series(['z0', 'z1','z2','z3']),
      'hire_date'   : pd.Series(['h0', 'h1','h2','h3']),
      'professtion' : pd.Series(['p0', 'p1','p2','p3'])  }

d

Out[6]:

{'_key': 0    K0
 1    K1
 2    K2
 3    K3
 dtype: object, '_key2': 0    z0
 1    z1
 2    z2
 3    z3
 dtype: object, 'hire_date': 0    h0
 1    h1
 2    h2
 3    h3
 dtype: object, 'professtion': 0    p0
 1    p1
 2    p2
 3    p3
 dtype: object}

In [8]:

df_right = pd.DataFrame(d)
df_right

Out[8]:

	_key	_key2	hire_date	professtion
0	K0	z0	h0	p0
1	K1	z1	h1	p1
2	K2	z2	h2	p2
3	K3	z3	h3	p3

In [9]:

d = { '_key'     : pd.Series(['K0', 'K1','K2','K3']),
      '_key2'    : pd.Series(['z0', 'z1','z2','z3']),
      'city'     : pd.Series(['c0', 'c1','c2','c3']),
      'user_name': pd.Series(['u0', 'u1','u2','u3'])  }
df_left = pd.DataFrame(d)
df_left

Out[9]:

	_key	_key2	city	user_name
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3

In [11]:

pd.concat([df_left, df_left])  # merge rows of two dataframe

Out[11]:

	_key	_key2	city	user_name
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3

In [12]:

pd.concat([df_left, df_right])

/home/hyeok/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:1: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version
of pandas will change to not sort by default.

To accept the future behavior, pass 'sort=False'.

To retain the current behavior and silence the warning, pass 'sort=True'.

  """Entry point for launching an IPython kernel.

Out[12]:

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

In [13]:

pd.concat([df_left, df_right], axis = 1, join = 'inner')

Out[13]:

	_key	_key2	city	user_name	_key	_key2	hire_date	professtion
0	K0	z0	c0	u0	K0	z0	h0	p0
1	K1	z1	c1	u1	K1	z1	h1	p1
2	K2	z2	c2	u2	K2	z2	h2	p2
3	K3	z3	c3	u3	K3	z3	h3	p3

In [15]:

pd.merge(df_left, df_right, how = 'inner')

Out[15]:

	_key	_key2	city	user_name	hire_date	professtion
0	K0	z0	c0	u0	h0	p0
1	K1	z1	c1	u1	h1	p1
2	K2	z2	c2	u2	h2	p2
3	K3	z3	c3	u3	h3	p3

In [16]:

df_left.append(df_right)

/home/hyeok/anaconda3/lib/python3.7/site-packages/pandas/core/frame.py:6692: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version
of pandas will change to not sort by default.

To accept the future behavior, pass 'sort=False'.

To retain the current behavior and silence the warning, pass 'sort=True'.

  sort=sort)

Out[16]:

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

In [18]:

tags   = pd.read_csv("./ml/tags.csv"  )
movies = pd.read_csv("./ml/movies.csv")

In [20]:

tags.head()

Out[20]:

	userId	movieId	tag	timestamp
0	2	60756	funny	1445714994
1	2	60756	Highly quotable	1445714996
2	2	60756	will ferrell	1445714992
3	2	89774	Boxing story	1445715207
4	2	89774	MMA	1445715200

In [21]:

movies.head()

Out[21]:

	movieId	title	genres
0	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy
1	2	Jumanji (1995)	Adventure\|Children\|Fantasy
2	3	Grumpier Old Men (1995)	Comedy\|Romance
3	4	Waiting to Exhale (1995)	Comedy\|Drama\|Romance
4	5	Father of the Bride Part II (1995)	Comedy

In [22]:

t = movies.merge(tags, on = "movieId", how = 'inner')
t.head()

Out[22]:

	movieId	title	genres	userId	tag	timestamp
0	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	336	pixar	1139045764
1	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	474	pixar	1137206825
2	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	567	fun	1525286013
3	2	Jumanji (1995)	Adventure\|Children\|Fantasy	62	fantasy	1528843929
4	2	Jumanji (1995)	Adventure\|Children\|Fantasy	62	magic board game	1528843932

In [23]:

del t['timestamp']

In [24]:

t.head()

Out[24]:

	movieId	title	genres	userId	tag
0	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	336	pixar
1	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	474	pixar
2	1	Toy Story (1995)	Adventure\|Animation\|Children\|Comedy\|Fantasy	567	fun
3	2	Jumanji (1995)	Adventure\|Children\|Fantasy	62	fantasy
4	2	Jumanji (1995)	Adventure\|Children\|Fantasy	62	magic board game

In [ ]:

저작자표시 (새창열림)

	_key	_key2	city	user_name
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

	_key	_key2	city	user_name	_key	_key2	hire_date	professtion
0	K0	z0	c0	u0	K0	z0	h0	p0
1	K1	z1	c1	u1	K1	z1	h1	p1
2	K2	z2	c2	u2	K2	z2	h2	p2
3	K3	z3	c3	u3	K3	z3	h3	p3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

	_key	_key2	city	user_name
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

	_key	_key2	city	user_name	_key	_key2	hire_date	professtion
0	K0	z0	c0	u0	K0	z0	h0	p0
1	K1	z1	c1	u1	K1	z1	h1	p1
2	K2	z2	c2	u2	K2	z2	h2	p2
3	K3	z3	c3	u3	K3	z3	h3	p3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

	_key	_key2	city	user_name
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3
0	K0	z0	c0	u0
1	K1	z1	c1	u1
2	K2	z2	c2	u2
3	K3	z3	c3	u3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN

	_key	_key2	city	user_name	_key	_key2	hire_date	professtion
0	K0	z0	c0	u0	K0	z0	h0	p0
1	K1	z1	c1	u1	K1	z1	h1	p1
2	K2	z2	c2	u2	K2	z2	h2	p2
3	K3	z3	c3	u3	K3	z3	h3	p3

	_key	_key2	city	hire_date	professtion	user_name
0	K0	z0	c0	NaN	NaN	u0
1	K1	z1	c1	NaN	NaN	u1
2	K2	z2	c2	NaN	NaN	u2
3	K3	z3	c3	NaN	NaN	u3
0	K0	z0	NaN	h0	p0	NaN
1	K1	z1	NaN	h1	p1	NaN
2	K2	z2	NaN	h2	p2	NaN
3	K3	z3	NaN	h3	p3	NaN