Django基础——ORM操作及进阶 聚合查询和分组查询 F查询和Q查询 锁和事务 在Python脚本中调用Django环境 Django终端打印SQL语句
ORM操作：
1.单表的增删改查
1.查询
models.Book.object.all() #得到所有书的对象'
models.Book.object.filter(id=1)
models.Book.object.get(id=1)
2.增加
models.Book.object.create(name=" ")
3.删
models.Book.object.get(id=1).delete()
4.修改
book_obj = models.Book.object.get(id=1)
book_obj.name = " "
book_obj.save() #必须要提交一下
2.外键的增删改查
增 ， 删，查同上
book_obj = models.Book.object.get(id=1)
boo_obj.publisher 是 这个书关联的出版社的对象
boo_obj.publisher.Id 和我这本书关联的出版社的id值
而boo_obj.publisher_id 是在数据库中存在的字段；为 和我这本书关联的出版社的id值
3. 多对多操作
1. 查id为1的作者都写过的书？
author_obj = models.Author.objects.get(id=1)
author_obj.books.all() --> 和我这个作者关联的所有书对象
2.想给作者绑定多本书？
author_obj = models.Author.objects.get(id=1)
publisher_obj = models.Publisher.object.filter(id_in[1,2,3]) #得到id为1，2，3的出版社对象
author_obj.books.set(publisher_obj ) #把id是1、2、3的书和我这个作者关联上
set 修改作者对应书的对象，是修改多对多的关系的，自动的帮你提交到数据库。
必知必会的属性：
<1> all(): 查询所有结果 <2> filter(**kwargs): 它包含了与所给筛选条件相匹配的对象 <3> get(**kwargs): 返回与所给筛选条件相匹配的对象，返回结果有且只有一个，如果符合筛选条件的对象超过一个或者没有都会抛出错误。 <4> exclude(**kwargs): 它包含了与所给筛选条件不匹配的对象; 就是 排除 符合条件的数据 <5> values(*field): 返回一个ValueQuerySet——一个特殊的QuerySet，运行后得到的并不是一系列model的实例化对象，而是一个可迭代的字典序列 <6> values_list(*field): 它与values()非常相似，它返回的是一个元组序列 <7> order_by(*field): 对查询结果排序 <8> reverse(): 对查询结果反向排序，请注意reverse()通常只能在具有已定义顺序的QuerySet上调用(在model类的Meta中指定ordering或调用order_by()方法)。 <9> distinct(): 从返回结果中剔除重复纪录(如果你查询跨越多个表，可能在计算QuerySet时得到重复的结果。此时可以使用distinct()，注意只有在PostgreSQL中支持按字段去重。) <10> count(): 返回数据库中匹配查询(QuerySet)的对象数量。 <11> first(): 返回第一条记录 <12> last(): 返回最后一条记录 <13> exists(): 如果QuerySet包含数据，就返回True，否则返回False
# ret = models.Publisher.objects.all().count()
# print(ret)
#get查询
# ret1 = models.Publisher.objects.get(name='高教园出版社')
# ret2 = models.Publisher.objects.filter(name='66')
# print(ret1)
# print(ret2)
# filter,可以查询多个，组合为List，如果查询不到，则返回一个空的列表,但不会报错；
#<QuerySet [<Publisher: Publisher_object:高教园出版社>]>
# reverse 将一个有序的QuerySet[] 反转顺序
#只有对有序的QuerySet[] 才能调用 reverse
# ret = models.Publisher.objects.all().reverse()
# ret1 = models.Publisher.objects.all().order_by('id').reverse()
# exclude 排除 满足的条件;排除id=2的表的对象
# ret2 = models.Publisher.objects.exclude(id=2)
# print(ret2)
#
# ret = models.Publisher.objects.filter(name__contains='曾辉')
# print(ret)
返回QuerySet对象的方法有：
all()
filter()
exclude()
order_by()
reverse()
distinct()
特殊的QuerySet
values() 返回一个可迭代的字典序列 [{},{}]
values_list() 返回一个可迭代的元祖序列[(),()]
返回具体对象的
get()
first()
last()
返回pool值的方法有：
exists()
返回数字的方法：
count()
QuerySet方法大全
##################################################################
# PUBLIC METHODS THAT ALTER ATTRIBUTES AND RETURN A NEW QUERYSET #
##################################################################
def all(self)
# 获取所有的数据对象
def filter(self, *args, **kwargs)
# 条件查询
# 条件可以是：参数，字典，Q
def exclude(self, *args, **kwargs)
# 条件查询
# 条件可以是：参数，字典，Q
def select_related(self, *fields)
性能相关：表之间进行join连表操作，一次性获取关联的数据。
总结：
1. select_related主要针一对一和多对一关系进行优化。
2. select_related使用SQL的JOIN语句进行优化，通过减少SQL查询的次数来进行优化、提高性能。
def prefetch_related(self, *lookups)
性能相关：多表连表操作时速度会慢，使用其执行多次SQL查询在Python代码中实现连表操作。
总结：
1. 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
2. prefetch_related()的优化方式是分别查询每个表，然后用Python处理他们之间的关系。
def annotate(self, *args, **kwargs)
# 用于实现聚合group by查询
from django.db.models import Count, Avg, Max, Min, Sum
v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id'))
# SELECT u_id, COUNT(ui) AS `uid` FROM UserInfo GROUP BY u_id
v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id')).filter(uid__gt=1)
# SELECT u_id, COUNT(ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1
v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id',distinct=True)).filter(uid__gt=1)
# SELECT u_id, COUNT( DISTINCT ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1
def distinct(self, *field_names)
# 用于distinct去重
models.UserInfo.objects.values('nid').distinct()
# select distinct nid from userinfo
注：只有在PostgreSQL中才能使用distinct进行去重
def order_by(self, *field_names)
# 用于排序
models.UserInfo.objects.all().order_by('-id','age')
def extra(self, select=None, where=None, params=None, tables=None, order_by=None, select_params=None)
# 构造额外的查询条件或者映射，如：子查询
Entry.objects.extra(select={'new_id': "select col from sometable where othercol > %s"}, select_params=(1,))
Entry.objects.extra(where=['headline=%s'], params=['Lennon'])
Entry.objects.extra(where=["foo='a' OR bar = 'a'", "baz = 'a'"])
Entry.objects.extra(select={'new_id': "select id from tb where id > %s"}, select_params=(1,), order_by=['-nid'])
def reverse(self):
# 倒序
models.UserInfo.objects.all().order_by('-nid').reverse()
# 注：如果存在order_by，reverse则是倒序，如果多个排序则一一倒序
def defer(self, *fields):
models.UserInfo.objects.defer('username','id')
或
models.UserInfo.objects.filter(...).defer('username','id')
#映射中排除某列数据
def only(self, *fields):
#仅取某个表中的数据
models.UserInfo.objects.only('username','id')
或
models.UserInfo.objects.filter(...).only('username','id')
def using(self, alias):
指定使用的数据库，参数为别名（setting中的设置）
##################################################
# PUBLIC METHODS THAT RETURN A QUERYSET SUBCLASS #
##################################################
def raw(self, raw_query, params=None, translations=None, using=None):
# 执行原生SQL
models.UserInfo.objects.raw('select * from userinfo')
# 如果SQL是其他表时，必须将名字设置为当前UserInfo对象的主键列名
models.UserInfo.objects.raw('select id as nid from 其他表')
# 为原生SQL设置参数
models.UserInfo.objects.raw('select id as nid from userinfo where nid>%s', params=[12,])
# 将获取的到列名转换为指定列名
name_map = {'first': 'first_name', 'last': 'last_name', 'bd': 'birth_date', 'pk': 'id'}
Person.objects.raw('SELECT * FROM some_other_table', translations=name_map)
# 指定数据库
models.UserInfo.objects.raw('select * from userinfo', using="default")
################### 原生SQL ###################
from django.db import connection, connections
cursor = connection.cursor() # cursor = connections['default'].cursor()
cursor.execute("""SELECT * from auth_user where id = %s""", [1])
row = cursor.fetchone() # fetchall()/fetchmany(..)
def values(self, *fields):
# 获取每行数据为字典格式
def values_list(self, *fields, **kwargs):
# 获取每行数据为元祖
def dates(self, field_name, kind, order='ASC'):
# 根据时间进行某一部分进行去重查找并截取指定内容
# kind只能是："year"（年）, "month"（年-月）, "day"（年-月-日）
# order只能是："ASC" "DESC"
# 并获取转换后的时间
- year : 年-01-01
- month: 年-月-01
- day : 年-月-日
models.DatePlus.objects.dates('ctime','day','DESC')
def datetimes(self, field_name, kind, order='ASC', tzinfo=None):
# 根据时间进行某一部分进行去重查找并截取指定内容，将时间转换为指定时区时间
# kind只能是 "year", "month", "day", "hour", "minute", "second"
# order只能是："ASC" "DESC"
# tzinfo时区对象
models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.UTC)
models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.timezone('Asia/Shanghai'))
"""
pip3 install pytz
import pytz
pytz.all_timezones
pytz.timezone(‘Asia/Shanghai’)
"""
def none(self):
# 空QuerySet对象
####################################
# METHODS THAT DO DATABASE QUERIES #
####################################
def aggregate(self, *args, **kwargs):
# 聚合函数，获取字典类型聚合结果
from django.db.models import Count, Avg, Max, Min, Sum
result = models.UserInfo.objects.aggregate(k=Count('u_id', distinct=True), n=Count('nid'))
===> {'k': 3, 'n': 4}
def count(self):
# 获取个数
def get(self, *args, **kwargs):
# 获取单个对象
def create(self, **kwargs):
# 创建对象
def bulk_create(self, objs, batch_size=None):
# 批量插入
# batch_size表示一次插入的个数
objs = [
models.DDD(name='r11'),
models.DDD(name='r22')
]
models.DDD.objects.bulk_create(objs, 10)
def get_or_create(self, defaults=None, **kwargs):
# 如果存在，则获取，否则，创建
# defaults 指定创建时，其他字段的值
obj, created = models.UserInfo.objects.get_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 2})
def update_or_create(self, defaults=None, **kwargs):
# 如果存在，则更新，否则，创建
# defaults 指定创建时或更新时的其他字段
obj, created = models.UserInfo.objects.update_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 1})
def first(self):
# 获取第一个
def last(self):
# 获取最后一个
def in_bulk(self, id_list=None):
# 根据主键ID进行查找
id_list = [11,21,31]
models.DDD.objects.in_bulk(id_list)
def delete(self):
# 删除
def update(self, **kwargs):
# 更新
def exists(self):
# 是否有结果
QuerySet方法大全
单表查询之神奇的双下划线
models.Tb1.objects.filter(id__gt=1, id__lt=10) # 获取id大于1 且 小于10的值 models.Tb1.objects.filter(id__in=[11, 22, 33]) # 获取id等于11、22、33的数据 models.Tb1.objects.exclude(id__in=[11, 22, 33]) # not in models.Tb1.objects.filter(name__contains="ven") # 获取name字段包含"ven"的 models.Tb1.objects.filter(name__icontains="ven") # icontains大小写不敏感 models.Tb1.objects.filter(id__range=[1, 3]) # id范围是1到3的，等价于SQL的bettwen and 类似的还有：startswith，istartswith, endswith, iendswith date字段还可以： models.Class.objects.filter(first_day__year=2017) # first_day 为表里面的一个字段;
单表的外键的正向查找
正向查询：比如book关联publisher，则通过book得到publisher 为正向；反之为反向
1.基于对象
# book_obj =models.Book.objects.first() # p_name = book_obj.publisher.name # print(p_name)
2.基于双下划线（跨表）
#2,基于跨表查询(即利用双下划线 来跨表查询)
# 双下划线 就表示跨了一张表
# book_obj = models.Book.objects.filter(id=5)
# p_name = book_obj.values_list("publisher__name")
# print(p_name)
反向查询
#1,基于对象的查询
publisher_obj = models.Publisher.objects.first() #得到一个具体的对象
#表名_set 来反向查询; 表名_set==related_name
# book_name = publisher_obj.book_set.all()
# print(book_name)
#2,基于跨表查询(即利用双下划线 来跨表查询)
# publisher_obj = models.Publisher.objects.filter(id=1) #得到的是<QuerySet [<Publisher: Publisher_object:沙河出版社>]>
# book_name = publisher_obj.values_list('books__bookname')
# print(book_name)
# #####################基于对象查询(子查询)##############################
# 按字段（publish）
# 一对多 book -----------------> publish
# <----------------
# book_set.all()
# 正向查询按字段：
# 查询python这本书籍的出版社的邮箱
# python=models.Book.objects.filter(title="python").first()
# print(python.publish.email)
# 反向查询按 表名小写_set.all()
# 苹果出版社出版的书籍名称
# publish_obj=models.Publish.objects.filter(name="苹果出版社").first()
# for obj in publish_obj.book_set.all():
# print(obj.title)
# 按字段（authors.all()）
# 多对多 book -----------------------> author
# <----------------
# book_set.all()
# 查询python作者的年龄
# python = models.Book.objects.filter(title="python").first()
# for author in python.authors.all():
# print(author.name ,author.age)
# 查询alex出版过的书籍名称
# alex=models.Author.objects.filter(name="alex").first()
# for book in alex.book_set.all():
# print(book.title)
# 按字段 authorDetail
# 一对一 author -----------------------> authordetail
# <----------------
# 按表名 author
# 查询alex的手机号
# alex=models.Author.objects.filter(name='alex').first()
# print(alex.authorDetail.telephone)
# 查询家在山东的作者名字
# ad_list=models.AuthorDetail.objects.filter(addr="shandong")
#
# for ad in ad_list:
# print(ad.author.name)
'''
对应sql:
select publish_id from Book where title="python"
select email from Publish where nid = 1
'''
# #####################基于queryset和__查询（join查询）############################
# 正向查询：按字段 反向查询：表名小写
# 查询python这本书籍的出版社的邮箱
# ret=models.Book.objects.filter(title="python").values("publish__email")
# print(ret.query)
'''
select publish.email from Book
left join Publish on book.publish_id=publish.nid
where book.title="python"
'''
# 苹果出版社出版的书籍名称
# 方式1：
# ret1 = models.Publish.objects.filter(name="苹果出版社").values("book__title")
# print("111111111====>", ret1.query)
# # 方式2：
# ret2 = models.Book.objects.filter(publish__name="苹果出版社").values("title")
# print("2222222222====>", ret2.query)
#
# # 查询alex的手机号
# # 方式1：
# ret = models.Author.objects.filter(name="alex").values("authorDetail__telephone")
#
# # 方式2：
# models.AuthorDetail.objects.filter(author__name="alex").values("telephone")
# 查询手机号以151开头的作者出版过的书籍名称以及书籍对应的出版社名称 ； 跨5张表; 都联合起来；
# ret = models.Book.objects.filter(authors__authorDetail__telephone__startswith="151").values('title', "publish__name")
# print(ret)
详细的各种ROM查询(点我)
多对多关联关系
方法：
1.create()
创建一个新的对象，保存对象，并将它添加到关联对象集之中，返回新创建的对象。
import datetime
models.Author.objects.first().book_set.create(title="番茄物语",
publish_date=datetime.date.today())
2.add()
把指定的model对象添加到关联对象集中。
author_objs = models.Author.objects.filter(id__lt=3) models.Book.objects.first().authors.add(*author_objs)
也可以直接添加id
models.Book.objects.first().authors.add(*[1, 2]) *是将list的元素打散，然后一个一个的添加
3.set()
更新model对象的关联对象
publisher_obj = models.Publisher.object.filter(id_in[1,2,3]) #得到id为1，2，3的出版社对象 author_obj.books.set(publisher_obj ) #把id是1、2、3的书和我这个作者关联上
4.remove()
从关联对象集中移除执行的model对象
book_obj = models.Book.objects.first() book_obj.authors.remove(3)
5.clear()
从关联对象集中移除一切对象。
book_obj = models.Book.objects.first() book_obj.authors.clear()
注意：1.对于ForeignKey对象，clear() 和 remove()方法 仅 在 null=True 的时候 才能执行；
2.对于所有类型的关联字段，add()、create()、remove()和clear(),set()都会马上更新数据库。换句话说，在关联的任何一端，都不需要再调用save()方法。
聚合(aggregate()) 它返回一个包含一些键值对的字典。；
分组(annotate)
#聚合aggregate
from django.db.models import Avg,Sum,Count,Max,Min
# ret = models.Book.objects.all().aggregate(price_avg = Avg('price'),price_sum = Sum('price'))
# print(ret)
#分组annotate
#查询每个作者的书的总价格
# ret = models.Author.objects.all().annotate(price_sum = Sum('book__price'))
# for author in ret:
# print(author.author_name,author.price_sum)
# ret = models.Author.objects.all().annotate(price_sum = Sum('book__price')).values_list('author_name','price_sum')
# #返回一个元组列表
# print(ret)
#统计出每个出版社买的最便宜的书的价格
# ret = models.Publisher.objects.all().annotate(min_price = Min('books__price')).values_list('name','min_price')
# print(ret)
#统计不止一个作者的图书 __gt >; __lt <
# book_obj = models.Book.objects.all().annotate(num_author=Count('author')).filter(num_author__gt=1).values_list('bookname','num_author')
# print(book_obj)
#根据一本图书作者数量的多少对查询集 QuerySet进行排序
# book_obj = models.Book.objects.all().annotate(num_author=Count('author')).values_list('bookname', 'num_author')
# print(book_obj.order_by('num_author'))
# #####################聚合和分组##############################
#聚合: 统计所有书的总价格; 不扩表的情况下
from django.db.models import Count,Sum,Avg
# ret = models.Book.objects.all().aggregate(sum_price = Sum("price"))
# print(ret) #是一个字典 ; {'sum_price': Decimal('554.00')}
#分组
#查询每一个出版社的书籍的平均价格
ret1 = models.Publish.objects.all().annotate(avg_price = Avg("book__price")).values("name","avg_price")
ret2 = models.Publish.objects.values("name").annotate(avg_price=Avg("book__price")).values("name", "avg_price")
#select publish.name , Avg(book.price) from publish inner join book on .... group by publish.id,...;
# print(ret1) # QuerySet 对象，avg_price 只不过是在连表中多了一个字段；
#查询每一个作者出版过多少书
# ret = models.Author.objects.all().annotate(num_book = Count("book")).values("name","num_book")
# # ret = models.Author.objects.all().annotate(num_book=Count("book__nid")).values("name", "num_book")
# print(ret)
#统计不止一个作者的图书名称；先统计每一个图书有多少个作者；然后 把不止一个作者的图书(就是作者的数量大于1的) 这个条件进行过滤；
# sql 语句就是 在分组后加上过滤的条件(having) , 在ORM中 分组后用.filter() 其实就是过滤了；
ret = models.Book.objects.annotate(author_c = Count("authors")).filter(author_c__gt=1).values("title",'author_c')
print(ret)
'''
ORM 关键点：
1.QuerySet 对象 . annotate();
2.annotate 进行分组统计，按前面select的字段进行group by ;
3.annotate() 返回值依然是 QuerySet 对象，增加了分组统计之后的键值对
'''
注意：
values_list 只有QuerySet才有这一属性；
补充：
1. 分组
ORM中values或者values_list 里面写什么字段，就相当于select 什么字段
ret = models.Employee.objects.all().values("dept", "age")
相当于：
SELECT `employee`.`dept`, `employee`.`age` FROM `employee` LIMIT 21; args=()
2. ORM中 annotate 前面是什么就按照什么分组！这是单表的分组
from django.db.models import Avg
ret = models.Employee.objects.values("province").annotate(a=Avg("salary")).values("province", "a") #annotate前面是所有的省，就按照省分组；
相当于：
SELECT `employee`.`province`, AVG(`employee`.`salary`) AS `a` FROM `employee` GROUP BY `employee`.`province` ORDER BY NULL LIMIT 21; args=()
3. extra --> 在执行ORM查询的时候执行额外的SQL语句
# 查询person表，判断每个人的工资是否大于2000
ret = models.Person.objects.all().extra(
select={"gt": "salary > 2000"}
)
相当于：
SELECT (salary > 2000) AS `gt`, `person`.`id`, `person`.`name`, `person`.`salary`, `person`.`dept_id` FROM `person` LIMIT 21; args=()
4. 直接执行原生的SQL语句，类似pymysql的用法
from django.db import connection
cursor = connection.cursor() # 获取光标，等待执行SQL语句
cursor.execute("""SELECT * from person where id = %s""", [1])
row = cursor.fetchone()
print(row)
F查询和Q查询
F查询（通常是两个字段的值做比较）
Q查询（通常是 filter() 等方法中的关键字参数or,而不是and，或者是更复杂的）
#F查询(当要用两个字段的值做比较的时候用)
#通常我们是用一个字段的值与常量做比较
# ret = models.Book.objects.filter(kucun__gt=500)
# print(ret)
# from django.db.models import F
#两个字段做比较的时候，另外的一个字段用F包起来,相当于把这个字段里面的值相应的取出来了
# ret = models.Book.objects.filter(kucun__lt=F("sell_num"))
# print(ret)
#修改操作也可以使用F函数
# models.Book.objects.update(sell_num = F('sell_num')*3)
#通常我们是修改数字的操作，但是我们想修改字符串，比如给书的title 后面加上第几版, 即用 Concat来拼接;拼接的内容要用Value包起来
# from django.db.models.functions import Concat
# from django.db.models import Value
# models.Book.objects.update(bookname = Concat(F('bookname'),Value(' '),Value('Ⅰ版')))
# Q查询(当要用filter过滤的条件是or的时候)，通常filet过滤的条件是and
#基于类的
from django.db.models import Q
# ret = models.Book.objects.filter(kucun__gt=100,price__gt=99) #这里是kucun的数量>100 and price >99
# print(ret)
#但是 要表示 kucun的数量 >100 or price >99
# ret = models.Book.objects.filter(Q(kucun__gt=100) | Q(price__gt=99))
# print(ret)
#查询函数可以混合使用Q 对象和关键字参数。所有提供给查询函数的参数（关键字参数或Q 对象）都将"AND”在一起。
# 但是，如果出现Q 对象，它必须位于所有关键字参数的前面。也就是关键字的参数必须是在最后面
# ret = models.Book.objects.filter(Q(kucun__gt=100) | Q(price__gt=99),bookname__contains='学')
# print(ret)
#基于Q对象的，字段可以是字符串.
#模糊查询
key_word = request.GET.get("p", "")
from django.db.models import Q
search_q = Q() # 基于对象的Q查询，字段名可以为字符串
for field in self.search_fields:
search_q.connector = "or"
search_q.children.append((field + "__contains", key_word),) #传一个元组 (字段,值)
data_obj = self.model.objects.filter(search_q) # 模糊查询后的结果，没有传查询字段的话，就过滤为空，相当于不过滤了。
锁和事务
select_for_update() 为锁；必须在事务中使用；
# import time # from django.db import transaction # #锁 select_for_update() 要在事务里面使用 ; 事务里面 要么全部执行，要么全部都不执行 # ret = models.Book.objects.select_for_update().filter(kucun__gt=100) # print(ret) # try: # with transaction.atomic(): #原子操作 # new_publisher = models.Publisher.objects.create(name="火星出版社") # # # 创建一本书 # # models.Book.objects.create( # # title="橘子物语", # # price=11.11, # # kucun=10, # # maichu=10, # # publisher_id=1000 # 指定一个不存在的出版社id # # ) # except Exception as error: # print(str(error))
在Python脚本中调用Django环境
import os
if __name__ == '__main__':
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "BMS.settings")
import django
django.setup()
from app01 import models
books = models.Book.objects.all()
print(books)
Django终端打印SQL语句
在Django项目的settings.py文件中，在最后复制粘贴如下代码：
LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'console':{
'level':'DEBUG',
'class':'logging.StreamHandler',
},
},
'loggers': {
'django.db.backends': {
'handlers': ['console'],
'propagate': True,
'level':'DEBUG',
},
}
}
更详细的参照(点我)